虚拟机部署问题研究报告_虚拟机安装软件

(59) 2024-08-03 21:01:01

 云计算作为一种新的资源供给和计算模式,使用户可以更为简单和便捷地以在线方式按需获取可配置的资源,降低用户上线部署门槛和管理复杂度的同时,带来高可靠、易用和低风险的好处[1]。该概念自2006年提出以来,相关技术便得到了广泛地关注和快速地发展。 当前云计算数据中心大多基于虚拟化技术。虚拟化技术使得多台虚拟机可共享同一物理设备[2],从而提升资源利用率并节约能耗。云计算数据中心提供IaaS,SaaS,PaaS3种按需服务[3]。与3种服务相关的资源分配和管理问题得到了广泛关注和研究。 虚拟机放置问题(VMP)作为云计算中资源分配和管理的重要组成,已经有不少相关的论文被发表。该问题 

指的是根据一定的方法和策略为虚拟机选择合适的PM,在满足虚拟机资源需求和约束限制的前提下,达到提高资源利用率、减少能耗和网络时延等目的。
当前已经有对VMP问题的若干综述研究。已有的综述研究主要分为如下4个方面:特定目标方面,例如针对VMP问题的能耗优化技术[4,5];场景中云架构方面,例如考虑普通的单数据中心和多数据中心架构[8]以及特殊架构(例如联合云[6])中的VMP相关技术;放置算法本身,例如大规模云环境下不同放置方法的性能对比[7];放置方法的设计,例如VMP问题特定类别方法(例如启发式算法[9])从虚拟机放置方案的部署和应用过程看,其主要部署和应用过程如图1所示。
虚拟机部署问题研究报告_虚拟机安装软件 (https://mushiming.com/)  第1张
根据实际的放置场景和需求,设定相应的放置优化目标和约束条件,以作为放置方法设计的输入参数。生成的放置方案需要经过方案评价后方可进入实施,并且在实施后要根据实际检测的效果适当地对放置方案进行调整,以进一步优化放置方案,达到预期效果。

VMP问题的优化目标

 VMP问题的优化目标可以分为单目标和多目标。单目标还可以细分为两类,一类为狭义单目标,该类目标只针对某个具体方面,例如能耗或资源利用率等;另外一类则是广义单目标,这类目标虽然也以单个目标函数的方式呈现,但其中却包含多个目标的组合。多目标则是同时优化多种目标。多目标是单目标的有机组合,本小节先对单个目标进行解释和总结,然后对多个单目标的组合进行解释和总结。 

2.1 单个目标
比较典型的目标有:能耗优化、网络流量优化、资源分配优化和性能优化。
2.1.1 能耗优化
数据中心能耗包括了数据中心各种用能设备能耗的总和。在当前数据中心能耗水平状况下,IT设备的能耗最高,占到总能耗的50%左右,其中服务器能耗占40%左右,存储设备和网络通信设备能耗各占5%左右;空调系统能耗占到40%左右;配电系统能耗占数据中心总能耗的10%左右[10]。
当前最小化能源的目标,主要也是减少IT设备的能耗,可以通过间接地减少服务器或路由器或同时减少两者的激活数量来达到减少能耗的目的。文献[11,12]分别只考虑了服务器和网络设备的能耗,文献[13,14]同时考虑最小化激活物理机和网络设备来降低能耗水平,文献[15]则考虑跨数据中心场景下数据中心内部服务器和网络设备能耗以及数据中心之间IP层和WDM层网络通信设备能耗。
除了间接方式,也可以通过一定的能耗模型,直接将能耗作为最小化目标,这里的能耗不仅包括服务器和网络通信等设备[16-18]的能耗,还包括虚拟机迁移等操作上的能耗[19]。对于能耗模型,物理和网络通信设备主要采用的是基于CPU利用率的线性模型[16-20]。基于利用率的线性模型,某时刻t单个设备的能耗采用式(1)计算。
虚拟机部署问题研究报告_虚拟机安装软件 (https://mushiming.com/)  第2张
2.1.2 网络流量优化
单纯考虑虚拟机之间的通信流量,文献[27]通过对VM进行聚类分组达到最小化组件流量、最大化组内流量,从而减少跨机架的通信流量。文献[26]根据策略将有通信需求的VM 放置得尽量靠近,以节省网络带宽资源。文献[26,27]中是在假定知晓虚拟机之间确切通信需求基础上进行相关优化,但是在实际中,虚拟机之间的通信流量多变,因此文献[28]则是通过虚拟机迁移,来达到减小网络通信流量的目的。
在业务运行的情况下,虚拟机需要与存储设备或节点进行通信。文献[24]针对的是集中存储时的网络通信开销,文献[25]则是针对采用Hadoop架构运行业务时的最大数据访问时延。
相对于单数据中心的流量考虑,文献[29]则考虑最小化跨数据中心的流量。总的说来,对于网络流量优化而言,需要根据实际应用和场景在时延和带宽消耗之间进行权衡,较为常见的目标包括:最小化总的访问时延或带宽消耗,最小化最大访问时延,在一定访问时延限制下最小化访问时延或带宽、在一定时间或带宽限制下最小化最大访问时延[30]。
2.1.3 资源分配优化
虚拟机之间的资源请求和服务器之间的可用物理资源在不同维度资源上均具备差异性,在资源分配时应同时考虑这两种差异性,较常见的目标是最小化资源浪费[31,34]和最大化资源使用均衡性[32,33],两者同时考虑时可以达到减少物理机激活数量的目的[35]。所以,有时也将减少物理机激活数量的目标等同于提升资源使用率。此外,对于跨数据中心的场景,文献[36]则旨在最小化最大资源利用率。
2.1.4 性能优化
从应用性能的角度,主要是优化应用的计算性能和网络性能,进而减少任务完成的时间。文献[37]主要考虑网络资源对应用的重要性,基于网络流量进行智能的虚拟机放置,通过一定的调度和虚拟机迁移达到提升网络性能的目的。文献[38]中则不仅考虑网络,还考虑虚拟机之间的干扰,从而优化计算性能或网络性能。
从可靠性的角度,主要是保证一个或多个虚拟机、主机、机框甚至数据中心失效时虚拟机的可靠性。文献[39]主要考虑保证虚拟机垂直和水平两种扩展策略下的可靠性。文献[40]则主要是保证k个主机失效时虚拟机的可靠性。
从安全性的角度,主要是满足虚拟机对硬件、中间件、客户操作系统、进程以及应用上的安全要求。文献[41]定义了基础设施中的安全指标,并提出相应的虚拟机放置算法以满足特定安全指标要求。
从服务质量的角度,主要是保证尽量满足上层业务和虚拟机对SLA的要求,尽量减少虚拟机启动数和避免发生SLA冲突等导致云服务器供应商CSP的利润受损。文献[42]只考虑资源分配对SaaS层SLA的影响,文献[43]则考虑对IaaS层SLA的影响。文献[44,45]则是分别考虑实时的服务和虚拟机需求对SLA的影响。
2.2 多个单目标的组合
2.2.1 多目标融合为单目标
现有研究普遍采用的方法为线性加权。将采用虚拟化技术的数据中心能耗建模为多个能耗子目标之和,例如文献[13,46]将服务器能耗目标和网络能耗目标线性相加,文献[16]将数据中心总能耗目标和拒绝请求开销目标线性相加。将多个目标进行融合时,需要对相关问题领域有较深的理解,以保证融合后目标的有效性[47]。
2.2.2 多目标优化
虚拟机部署问题研究报告_虚拟机安装软件 (https://mushiming.com/)  第3张

3 VMP问题的约束限制

 VMP问题的约束限制主要可分为4类:资源类约束、放置类约、性能约束和可靠性约束。为表述方便,本节先对VMP问题进行简单的抽象表示,然后对各类约束进行详细描述。 

4.实现方法

 已有的主要方法可以分为4类:确定性算法、启发式算法、元启发式算法和近似算法。 4.1 确定性算法 在VMP问题解决方法中较为常见的确定性算法包括约束规划、线性规划、整数线性规划、混合整数线性规划、伪布尔优化和动态规划等。确定性较为简单,但存在两个明显缺陷,一个是针对特定场景可能不合适;另外一个也是主要缺陷是可扩展性差,不适合于解决大规模的VMP问题[19]。 4.2启发式算法 虽然VMP问题的实际场景和目标函数不同,但是大多都是NP-Hard问题甚至是NP-完全问题[11,12,20,25,30]。由于物理服务器和虚拟机数量较多,求解空间大,找到唯一最优解的计算复杂度高,因此通常为了避免较大的开销,采用一些启发式算法来解决VMP问题。 较为常见的有首次适应算法(First Fit),即将所有虚拟机放入到单个物理服务器直到其资源耗尽,然后继续选择其它服务器进行放置;首次适应下降算法(First Fit Decreasing),即先将所有虚拟机按照资源需求由大到小进行排序,然后用 首次适应算法进行放置;最佳适应算法(Best Fit),即找出放置虚拟机所需物理服务器数量最少的方案,在放置的时候,尽量将虚拟机放置到已经启动的物理服务器中;最佳适应下降算法(Best Fit Decesing),即先将所有虚拟机按照资源需求由大到小进行排序,然后采用最佳适应算法进行放置[52]。除上述经典算法外,较为常见的一类方法分为3大步,第一步是根据一定策略对虚拟机进行分组或分类,第二步根据分组或分类的结果进行映射,第三步为按照一定规则对映射进行调优。其中,第一步的分组或分类中,较为常见的方法是基于虚拟机的流量拓扑图,通过最小化组间流量、最大化组内流量减少网络流量,节约带宽[12,13,27,53,54]。第二步的映射过程中,可能包含虚拟机组到机架的映射和虚拟机到物理服务器的映射[12,27],也可直接由虚拟机组映射到物理服务器[13,53,54]。第三步的优化过程中,则主要是以目标函数为目的进行调优。 4.3 元启发式算法 在解决VMP问题的方法中,较为常见的元启发式包括蚁群算法[55]、遗传算法[31,35]、粒子群算法[35]和模拟退火算 

法[56]以及相关改进,该类算法可以较好地找到全局最优解,但是其一般时间复杂度较高,导致可扩展性和算法实时性不强。此外,其对多目标进行优化时,通常将多个目标融合为单目标进行求解,无法做到真正多目标优化。
4.4 近似算法
启发式算法和元启发式算法在一定时间内,可以找到合理的解,但较难衡量所得解的优劣性。近似算法较为适合NP-Hard问题,能有效地将解约束在最优解的一定范围内。假设OPT为最优解,f(x)为通过ρ-近似算法所得的解,则有以下公式成立。
虚拟机部署问题研究报告_虚拟机安装软件 (https://mushiming.com/)  第4张
该类算法设计要求较高,当前开展的研究相对较少[30]。
结束语 本文从优化目标、约束限制和实现方法3个方面对数据中心虚拟机放置问题进行了系统的阐述。优化目标
的建立需要从具体场景出发,根据实际的需求进行选定,当前的目标建立中主要考虑对能耗和网络流量的优化;约束限制
中的资源类约束和放置类约束较为通用,而性能类约束和可靠性约束与上层应用及业务的需求相关;当前的实现方法以启发式算法和元启发式算法为主,而较为普遍采取的手段则是在启发式算法和元启发式算法中利用确定性算法来高效快速地解决问题,并保证解的优化性。VMP问题中的优化目标是方向,约束限制是条件,而实现方法则是在一定条件下朝特定方向前进的方式,三者紧密联系,构成了VMP问题从定义到解决的基本要素。
虽然已有较多针对VMP问题的研究工作,但还存在许多问题需要进一步研究。下面根据对前人工作的总结,并结合自己的理解,给出VMP问题中需要进一步研究的问题。
(1)在线的大规模VMP问题对算法的计算效率和可扩展性要求较高,已有研究较难以满足。数据中心的数量和规模都在急剧增加,使得VMP中的可扩展性问题日益突出。此外,由于任务或业务的请求是一个连续过程,这也意味着虚拟机放置是一个持续过程而非一次性过程,在进行虚拟机连续放置过程中,为了避免重新计算的时空复杂度,应设计合理的在线算法,保证任务和业务执行的时间。
(2)VMP问题解决方案的测试和评估方案多样,难以统一,缺乏对算法较为通用的验证方法。当前对VMP解决方
法的测试验证手段多样,主要体现在实验中使用的数据集及其中所包含的虚拟机负载特征。数据集中有模拟的[24,31,32]、基于实际数据中心所得[20]和基于测试工具[19]3种,而虚拟机负载特征主要服从随机分布、均匀分布[32]、正态分布[31,32]、泊松分布、高斯分布和幂律分布[24]等。对于模拟数据集,主要是通过自定义或参考的虚拟机实例类别来产生特定分布的虚拟机请求[32,53],较常用的虚拟机实例类别可参考AmazonEC2。
(3)已有研究关注的是提升物理资源利用率,减少激活的物理设备数量,节省能耗,对虚拟机的容错性和可靠性的考虑较为欠缺。虚拟机的容错手段往往是通过设置虚拟机副本,以牺牲资源的方式来提升虚拟机的容错性和可靠性,这样会降低物理资源利用率。需要设计较为合理的VMP方法以在资源利用率和虚拟机可靠性之间做到较好均衡。
参考文献:
[1] Qi Z,Lu C,Raouf B.Cloud computing:state-of-the-art and research
 challenges[J].Journal of Internet Services and Applications,
2011,1(1):7-18
[2] Barham P,Dragovic B,Fraser K,et al.Xen and the art of virtualization
[J].ACM SIGOPS Operating Systems Review,2003,
37(5):164-177
[3] Mell P,Grance T.The NIST definition of cloud computing[J].
National Institute of Standards and Technology,2009,53(6):50
[4] Beloglazov A,Abawajy J,Buyya R.Energy-aware resource allocation
 heuristics for efficient management of data centers for
cloud computing [J].Future Generation Computer Systems,
2012,28(5):755-768
[5] Salimian L,Safi F.Survey of energy efficient data centers in
cloud computing[C]∥IEEE/ACM 6th International Conference
on Utility and Cloud Computing.Dresden,2013:369-374
[6] Gahlawat M,Sharma P.Survey of virtual machine placement in
federated clouds[C]∥IACC.Gurgaon,2014:735-738
[7] Mills K,Filliben J,Dabrowski C.Comparing vm-placement algorithms
 for on-demand clouds[C]∥CloudCom.Athens,2011:91-
98
[8] Adam Z,Mann.Allocation of Virtual Machines in Cloud Data
Centers-A Survey of Problem Models and Optimization Algorithms
[J].CSUR,2015,48(1):11
[9] Zhan Z H,Liu X F,Gong Y J,et al.Cloud Computing Resource
Scheduling and a Survey of Its Evolutionary Approaches[J].
CSUR,2015,47(4):63
[10]谷力精,周伏秋,孟辉.我国数据中心能耗及能效水平研究[J].
中国能源,2010,32(11):42-45
[11]Aroca J A,Anta A F,Mosteiro M A,et al.Power-efficient assignment
 of virtual machines to physical machines[M]∥Adaptive
 Resource Management and Scheduling for Cloud Computing.
2014:71-78
[12]Fang W W,Liang X M,Li S X,et al.VMPlanner:Optimizing
virtual machine placement and traffic flow routing to reduce network
 power costs in cloud data centers [J].Computer Networks,
2013,57(1):179-196
[13]董健康,王洪波,李阳阳,等.IaaS环境下改进能源效率和网络性
能的虚拟机放置方法[J].通信学报,2014,35(1):72-81
[14]Maolin T,Shenchen P.A Hybrid Genetic Algorithm for the
Energy-Efficient Virtual Machine Placement Problem in Data
Centers[J].Neural Process Letters,2015,41(2):211-221
[15]Burak K,Luca F,Antonio C,et al.Inter-and-Intra Data Center
VM-Placement for Energy-Efficient Large-Scale Cloud Systems
[C]∥GC.California,2012:708-713
[16]Aisan D,Mohan G,Kee C C.Power-efficient resource-guaranteed
 VM placement and routing for time-aware data center applications
[J].Computer Networks,2015,88(9):249-268
[17]Chen K Y,Xu Y,Xi K.et al.Intelligent virtual machine placement
 for cost efficiency in geo-distributed cloud systems[C]∥
ICC.Budapest,2013:3498-3503
[18]Tang M L,Pan S C.A Hybrid Genetic Algorithm for the Energy-
Efficient Virtual Machine Placement Problem in Data Centers
[J].Neural Processing Letters,2015,41(2):211-221
[19]Zhang Z M,Hsu C C,Morris C.CoolCloud:A Practical Dynamic
 Virtual Machine Placement Framework for Energy Aware Data
 Centers[C]∥CLOUD.Dubai,2015:758-765
[20]Li X,Qian Z Z,Lu S L,et al.Energy efficient virtual machine
placement algorithm with balanced and improved resource utilization
 in a data center[J].Mathematical and Computer Modeling,
2013,58(5/6):1222-1235
[21]Le K,Zhang J R,Meng J D,et al.Reducing electricity cost
through virtual machine placement in high performance computing
 clouds[C]∥SC.Seatle,2011:1-12
[22]Li Y,Chiu D,Liu C B,et al.Towards Dynamic Pricing-Based
Collaborative Optimizations for Green Data Centers[C]∥ICDEW.
Brisbane,2013:272-278
[23]Khosravi A,Garg S K,Buyya R.Energy and Carbon-Efficient
Placement of Virtual Machines in Distributed Cloud Data Centers
[C]∥Euro-Par.Aachen,2013:317-328
[24]Rami C,Liane L E,Joseph N,et al.Almost Optimal Virtual Machine
 Placement for Traffic Intense Data Centers[C]∥INFOCOM.
Turin,2013:355-359
[25]Kuo J J,Yang H H,Tsai M J.Optimal Approximation Algorithm
 of Virtual Machine Placement for Data Latency Minimization
 in Cloud Systems[C]∥INFOCOM.Toronto,2014:1303-
1311
[26]Georgion S,Tsakalozos K,Delis A.Exploiting network-topology
awareness for vm placement in iaas clouds[C]∥CGC.Karlsruhe,
2013:151-158
[27]Jayasinghe D,Pu C,Eilam T,et al.Improving Performance and
Availability of Services Hosted on IaaS Clouds with Structural
Constrint-aware Virtual Machine Placement[C]∥SCC.Washington
Washington,
2011:72-79
[28]Fuang T P,Hamilton G,Oikonomou K,et al.Implementing
Scalable,Network-Aware Virtual Machine Migration for Cloud
Data Centers[C]∥CLOUD.Santa Clara,2013:557-564
[29]Teyeb H,Balma A,Ben N A,et al.Optimal Virtual Machine
Placement in Large-Scale Cloud Systems[C]∥CLOUD.Ancorage,
2014:424-431
[30]Alicherry M,Lakshman T V.Optimizing Data Access Latencies
in Cloud Systems by Intelligent Virtual Machine Placement[C]∥
INFOCOM.Turin,2013:647-655
[31]Zheng Q H,Li R,Li X Q,et al.A Multi-objective Biogeography-
Based Optimization for Virtual Machine Placement[C]∥CCGrid.
Shenzhen,2015:687-696
[32]Hieu N T,Francesco M D,Antti Y J.A Virtual Machine Placement
 Algorithm for Balanced Resource Utilization in Cloud Data
Centers[C]∥CLOUD.Anchorage,2014:474-481
[33]Lin X,Qian Z Z,Lu S,L,et al.Energy Efficient Virtual Machine
Placement Algorithm with Balanced and Improved Resource
Utilization in a Data Center[J].Mathematical and Computer
Modelling,2013,58(5/6):1222-1235
[34]Gao Y,Guan H,Qi Z,et al.A Multi-objective Ant Colony System
 Algorithm for Virtual Machine Placement in Cloud Computing
[J].Journal of Computer and System Sciences,2013,79
(8):1230-1242
[35]Adamuthe A C,Pandharpatte R M,Thampi G T.Multiobjective
Virtual Machine Placement in Cloud Environment [C]∥
Cloud& Ubiquitous Computing& Emerging Technologies.
Pune,2013:8-13
[36]Guo Y,Stolyar S,Walid A.Shadow-Routing Based Dynamic Algorithms
 for Virtual Machine Placement in a Network Cloud
[J].IEEE Transactions on Cloud Computing,2015(99):1
[37]Kakadia D,Kopri N,Varma V.Network-aware Virtual Machine
Consolidation for Large Data Centers[C]∥Third International
Workshop on Network-Aware Data Management.Denver,2013:6
[38]Gupta A,Kale L V,Milojicic D,et al.HPC-Aware VM Placement
 in Infrastructure Clouds[C]∥IC2E.Redwood,2013:11-
20
[39]Wang W T,Chen H P,Chen X.An Availability-aware Virtual
Machine Placement Approach for Dynamic Scaling of Cloud Applications
[C]∥UIC/ATC.Fukuoka,2012:509-516
[40]Bin E,Biran O,Boni O,et al.Guaranteeing High Availability
Goals for Virtual Machine Placement[C]∥ICDCS.Minneapolis,
2011:700-709
[41]Caron E,Le A D,Lefray A.et al.Definition of Security Metrics
for the Cloud Computing and Security-Aware Virtual Machine
Placement Algorithms[C]∥CyberC.Beijing,2013:125-131
[42]Wu L L,Garg S K,Versteeg S,et al.SLA-Based Resource Provisioning
 for Hosted Software-as-a-Service Applications in Cloud
Computing Environments [J].IEEE Transactions on Service
Computing,2014,7(3):465-485
[43]Lin J W,Jen F,Chen C H.Interference-aware Virtual Machine
Placement in Cloud Computing Systems [C]∥ICCIS.Kuala
Lumpeu,2012:598-603
[44]Ishakian V,Bestavros A.MORPOSYS:Efficient Colocation of
QoS-Constrained Workloads in the Cloud[C]∥CCGrid.Ottawa,
2012:90-97
[45]Dang D T,Hermenier F.Higher SLA Satisfaction in Datacenters
with Continuous VM Placement Constrains[C]∥Proceedins of
the 9th Workshop on Hot Topics in Dependable System(Hot-
Dep’13).2013:1-6
[46]Yang T,Lee Y C,Zomaya A Y.Energy-Efficient Data Center
Networks Planning with Virtual Machine Problem and Traffic
Configuration[C]∥CloudCom.Singapore,2014:284-291
[47]Baran B,von Lucken C,Sotelo A.Multi-objective Pump Scheduling
 Optimisation Using Evolutionary Strategies[J].Advances
in Engineering Software,2005,36(1):39-47
[48]von Lucken C,Baran B,Brizuela C.A Survey on Multi-objective
Evolutionary Algorithms for Many-objective Problems [J].
Computational Optimization and Applications,2014,58(3):707-
756
[49]Lee S,Panigraphy R,Prabhakaran V,et al.Validating Heuristics
 for Virtual Machines Consolidation:MSR-TR-2011-9[R].
Microsoft Research,2011
[50]Goudarzi H,Pedram M.Energy-Efficient Virtual Machine Replication
 and Placement in a Cloud Computing System [C]∥
CLOUD.Honolulu,2012:750-757
[51]Li X,Wu J,Tang S J,et al.Let’s Stay Together:Towards Traf
Traffic
 Aware Virtual Machine Placement in Data Centers[C]∥INFOCOM.
Toronto,2014:1842-1850
[52]Pires F L,Baran B.A Virtual Machine Placement Taxonomy
[C]∥CCGrid.Guangdong,2015:159-168
[53]Sun M,Wu W D,Zhang X C,et al.A Matrix Transformation
Algorithm for Virtual Machine Placement in Cloud[C]∥2013
12th IEEE International Conference on Trust,Security and Privacy
 in Computing and Communications(TrustCom).Melbourne,
2013:1778-1783
[54]Su K,Xu L,Chen C,et al.Affinity and Conflict-Aware Placement
 of Virtual Machines in Heterogeneous Data Centers[C]∥
ISADS.Taichung,2015:289-294
[55]Gao Y,Guan H,Qi Z,et al.A Multi-Objective Ant Colony System
 Algorithm for Virtual Machine Placement in Cloud Computing
[J].Journal of Computer and System Sciences,2013,79
(8):1230-1242
[56]Wu Y Q,Tang M L,Fraser W.A Simulated Annealing Algorithm
 for Energy Efficient Virtual Machine Placement[C]∥
SMC.Seoul,2012:1245-1250

THE END

发表回复