时间:2023-08-21 17:22:04
序论:好文章的创作是一个不断探索和完善的过程,我们为您推荐十篇云计算的基础架构范例,希望它们能助您一臂之力,提升您的阅读品质,带来更深刻的阅读感受。
摘 要 鉴于传统构架的协同决策(CDM)系统不能适应民航事业快速发展,提出建立基于云计算平台的CDM系统。
首先概述了云计算的基本概念和主要特征,并总结了云计算的关键技术和基本架构。之后,研究了对云计算拓扑设计算法,在树形拓扑结构的基础上对三种算法进行了比较和选择,确定方案为merge-MST。最后,完成云计算平台的初步总体设计,并搭建仿真测试平台,测试结果证明所设计的云计算CDM系统具有较好的性能。
关键词 民航,协同决策系统,云计算
中图分类号:TP392 文献标识码:A
doi:10.3969/j.issn.1674-7933.2015.04.004
*基金项目:上海市2013 年“ 科技创新行动计划”信息技术领域项目(13511504700) 。
作者简介:叶云斐,1984 年生,本科,助理工程师,主要从事及研究领域:航空计算机信息管理,Email :leaves616@126.com ;
陈晓建,研究生,高级工程师;
陈伟青,本科,工程师;
谷叶,研究生,助理工程师。
0 引言
近年来我国民航事业快速发展,航班延误现象愈发严重。中国民用航空局的《2013年民航行业发展统计公报》显示: 2013年不正常航班占比27.66%,旅客投诉率较2012年增长13.66%。华东区域经济发展迅速,人口密度大,以全国1/9的空域面积承载着1/3的航班流量,问题尤为显著。以发展的眼光看问题,有必要依靠各方可靠、全面、实时的信息,采用高效合理的航班排序、放飞算法,充分利用空域时隙资源,协同决策(CDM)的概念应运而生。
民航华东空管局CDM系统于2012年12月上线运行,系统基础数据多,计算量大,对软硬件资源要求高。以上海虹桥、浦东两个机场为例,每天就有5 000多架航班起落,涉及空域航路点300~400个,各航路点又分3~4个高度层;在此基础上,CDM系统必须结合实时的流量控制、气象预报等信息反复计算调整,且任何时刻的航班重新规划都会影响到一整条航路上与之相关的所有航班,使计算量成倍增加。随着航空流量的逐年增加,CDM系统计算量也以指数方式快速增长。
现有系统采用传统架构设计,不能满足前瞻性设计要求。理想的CDM系统架构应具有虚拟化、易扩展、按需部署、高灵活性、高可靠性、高性价比的特点。本文提出一种基于云计算的CDM系统构架,利用自动拓扑设计算法(merge-MST)设计网络拓扑,采用Hadoop开源管理软件实现任务调度,最后通过仿真手段验证了该方案的可行性和适用性。
1 现有民航CDM系统的不足
协同决策是一种技术手段,更是一种基于资源共性和信息交互的多主体(空管、机场、航空公司等)联合协作运行模式。华东空管局CDM系统从各个参与单位引接实时航班数据,建立塔台电子进程单系统、A-CDM系统、飞行计划处理系统等,并形成三大客户端——流量管理客户端、塔台客户端和公司机场客户端,系统构成如图1所示。
`该系统基于传统的关系型数据库,以塔台电子进程单为例,架构示意图如图2所示。尽管其成熟度高、可靠性好,但随着数据量逐渐增大,数据范围逐渐拓宽,其存储和查询效率已不能满足需求。
2 云计算平台及其架构设计
2.1 定义和特点
云计算是一种新的计算模式,由分布式计算、并行计算和网格计算的发展而来。其后台大量采用虚拟机,并通过互联网形成资源池。这些虚拟资源可以根据不同的负载动态重新配置,快速并以最小的管理代价提供服务[1]。从用户角度看,云计算具有可靠的存储技术和严格的权限策略,可为客户提供安全可靠的数据存储中心;对用户端的设备要求低,支持手机、平板电脑等无线通信设备;可实现不同设备间的数据、应用共享。
从硬件的角度看,云计算高度灵活,可按需投入或释放硬件资源,从而提高整体利用率。2.2 类型
云计算按其服务层次分为三类[2],如图3所示:
1)基础设施即服务(IaaS,infrastructure as a service)
在虚拟化技术的支持下,利用廉价计算机实现大规模集群运算能力,同时按需配置,为用户提供个性化的基础设施服务。此类型的典型代表有亚马逊云计算AWS(Amazon Web Services)、IBM蓝云等。
2) 平台即服务(PaaS,platform as a service)
提供的服务是开发环境,允许用户使用中间商提供的设备开发自己的程序。此类型的典型代表有GoogleApp Engine(GAE)等。
3) 软件即服务(SaaS,software as a service)
通过Internet直接提供运行在云计算设备上的应用程序。用户无需考虑基础设施及软件授权等内容。此类型的典型代表有Salesforce公司的CRM服务、ZohoOffi ce、Webex等。
2.3 关键技术
云计算作为一种集群计算和服务模式,运用了多种计算机技术,以编程模型、数据存储管理、虚拟化最为关键。
1) 编程模型
Google提出的Map-Reduce[3]是一种流行的云计算编程模式,Map(映射)程序将数据分割成不相关的数据块,Reduce(化简)程序则将将数据处理的中间结果进行归并,如图4所示。Map-Reduce可将海量异构数据的分析处理工作分解成任意粒度的子任务,并允许在多个计算节点之间进行灵活的数据调度,此外,程序员无需关心数据块的分配和调度,该部分工作由平台自动完成。
2) 数据存储管理
云计算采用分布式的方法存储和管理数据,并利用冗余存储保证数据的可靠性,常用技术有Google的GFS及Hadoop团队的HDFS[4],其中后者是前者的开源实现。
GFS系统架构如图5所示,整个系统节点分三类:Client(客户端)是GFS提供给应用程序的访问接口、Master(主服务器)是管理节点, Chunk Server(数据块服务器)则负责具体工作。Chunk Server可有多个,每个Chunk对应一个索引号(Index)。作为对比,HDFS体系结构如图6所示。
云计算的数据管理需满足大规模海量数据的计算和分析,大多采用列存储的数据管理模式。现有技术中最主流的是Google的BigTable,Google对BigTable给出了如下定义:BigTable是一种为了管理结构化数据而设计的分布式存储系统,这些数据可以扩展到非常大的规模。此外,Hadoop团队也开发了类似BigTable的开源产品HBase和Hive。
3) 虚拟化技术
虚拟化技术是云计算区别于一般并行计算的根本性特点,其实质是实现软件应用与底层硬件相隔离,把物理资源变成逻辑可管理资源。目前云计算中虚拟化技术主要包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。根据对象又可分为存储虚拟化、计算虚拟化、应用级虚拟化等等。
将虚拟化的技术应用到云计算平台,使得云计算具有灵活的进程迁移方式,更有效的使用主机资源,在部署上也更加灵活。
2.4 架构设计
云计算体系结构的特点包括:设备众多、规模大、采用虚拟机技术、任意地点、多种设备汇集,并可以定制服务质量等等。文献[5]提出了一种面向市场应用的云计算体系结构,如图7所示:
1) 用户:用户可以在任意地点提交服务请求;
2) SLA资源分配器:充当云后端和用户之间的接口,包括服务请求检测和接纳控制模块、计价模块、会计模块、VM监视器模块、分发器模块和服务请求监视器模块;
3) 虚拟机(VMs):为实现在一台物理机上的多个服务提供最大弹性的资源分配;
4) 物理设备:包括服务器、存储设备及路由器等。
基于云计算平台的华东CDM系统还处于初步研究阶段,采用本架构进行初步设计及仿真验证。
3 云计算网络拓扑设计
云计算系统后端的网络由大量服务器组成,分布广泛,复杂度高。要保证数据的畅通传输,需要设计一个合理高效的网络拓扑结构。
首先,为保证管理扩展和维护的方便,将云计算系统分成多个子网,各子网采用树形拓扑结构,如图8所示。在此基础上,把每个子网看成一个节点,各个节点具备流量、交换能力、地理位置等属性,将云计算网络拓扑抽象成图论数学模型。如何连接各个节点,才能即满足冗余度要求,又尽可能降低网络架设花销已被证明为NP-hard[6][7],故只能求解近似最优解。此类问题的解法有两种,一种是在限定网络花销的情况下最大化网络的抗毁能力[8],另一种是在保证网络一定抗毁能力的条件下尽可能减小花销[7],本文按照后者进行设计。
在图论领域,该问题可简化为求解特定连通度k时最小生成子图的问题,本文主要考虑基于图论的k-FOREST算法[9]、merge-MST算法[10]和启发式算法TEA[7]。通过理论推导,三种算法的时间复杂度如表1所示,其中TMST=O(m?logm)或O(n2),m代表图边数,n代表点数。
本文
参考文献[11]的仿真手段对三种算法进行比较,考虑7、10、15、25个节点的场景,得到平均边数和平均花销的比较示意图如图9、10所示。
通过比较可看出,在节点数目较少时TEA算法表现最佳,但随着节点数目增多性能迅速下降;在节点数多于20个时,则是merge-MST算法更优。
考虑到CDM系统规模庞大,仅华东区域就需要计算机点80~100个,故选取merge-MST进行网络架构的设计。
4 总方案设计
基于云计算架构的CDM系统,依托中心节点、区域节点和业务集中节点,整合分布的物理资源,形成统一的可调配的逻辑资源。总方案结构如图11所示。包括基础设施、虚拟资源层、信息共享云平台层,应用层以及贯穿始终的安全层和管理层。
1) 基础设施层:既包括支持民航CDM系统运行所必需的基础设施,也包括行业内可整合入CDM系统的其他设施。
2) 虚拟资源层:采用云计算技术,整合分布的硬件资源,形成资源池,灵活调配提供服务。
3) 云平台层:涵盖管理底层资源、支撑上层应用的各个软件和模块,包括平台管理、负载均衡、中间件、业务流程管理软件等等。
4) 应用层:将CDM系统功能进行最后一步封装后提供给用户。
5) 安全层:负责整个CDM系统的安全。
6) 管理层:管理整个CDM系统运行配置,包括资源管理、网络监控、部署管理、内容管理以及用户管理等,监控硬件、软件等多个层次,提高整体运行效率。
5 系统测试与应用
为验证所设计方案的可行性,并测试方案性能,本文搭建了测试环境,针对CDM系统多项业务进行了测试。
CDM系统主要业务涵盖协同决策系统、流量管理系统、统一飞行计划处理系统和塔台电子进程单系统。其中协同决策系统为顶层系统;流量管理系统帮助最大限度利用空中交通服务的容量;统一飞行计划处理系统负责接收、处理和飞行计划;塔台电子进程单系统则协助塔台管制员管制飞机的起降。
5.1 硬件环境
云计算集群设有3个master节点,18个slave节点,各节点均是基于X86架构的PC机。PC机配置如表2所示。
所有测试主机均连接在千兆网络中,网络环境中不存在其他设备,干扰因素可忽略不计。
5.2 软件环境
测试采用Hadoop团队开发的开源软件,版本如表3所示。
5.3 测试结果
通过编写程序,在测试环境中进行电报处理、雷达轨迹处理、气象与情报处理、桥位信息处理、航班信息、数据查询以及协同航班处理等压力测试,平均日最大处理条目数量如表4所示。
测试结果表明:云计算平台计算能力强,能够弥补现有民航CDM系统的不足,可满足华东地区CDM系统前瞻性设计要求。
6 结束语
本文针对华东地区巨大的航班吞吐量,提出了一套基于云计算平台的CDM系统设计方案。通过测试验证,该系统架构具备良好的计算能力和业务处理能力,使用灵活,更满足系统安全可靠、成本低、易拓展的需求。
基于云计算的华东空管CDM系统是现有CDM系统的发展方向,将在2015年开始详细设计。
参考文献
Vaquero L, Rodero-Marino L.Caceres J. et al. A break in theclouds: towards a cloud defi nition[J]. SIGCOMM ComputerCommunication Review. 2009,3(1): 50-55.
UC Berkeley 可靠自适应分布式系统实验室, 姚宏宇译. 云端之上——Berkeley对云计算的看法. 2009.
J. Dean, S. Ghemawat, MapReduce: Simplified DataProcessing on Large Cluster[C], OSDI’04, Sixth Symposiumon Operating System Design and Implementation, SanFrancisco, CA, December, 2004.
Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[C]. Proceedings of 19th ACMSymposium on Operating Systems Principles. 2003, 37(5):20~43.
R. Buyya, C.S. Yeo, S. Venugopal, Market-OrientedCloud Computing: Vision, Hype, and Reality for DeliveringIT Services as Computing Utilities [C], The 10th IEEEInternational Conference on High Performance Computingand Communications.
S. Pierre, G. Legault, A Genetic Algorithm for DesigningDistribute Computer Network Topologies[J], IEEE Trans.Man, Systems, and Cybernetics, 28(2), 1998: 249-258.
E. Szlachcic, Fault Tolerant Topological Design for ComputerNetworks[C], Proceedings of the international Conferenceon Dependability of Computer Systems, DepCos-RELCOMEX’06.
F.M. Shao, X. Shen, and P.H. Ho. Reliability Optimization ofDistributed Access Networks with Constrained Total Cost[J],IEEE Trans. Reliability, 2005,54:412-430.
中图分类号:TP302文献标识码:A文章编号文章编号:16727800(2013)0010000104
作者简介:赵曦(1971-),男,博士,上海金融学院信息管理学院副教授,研究方向为互联网金融应用。
0引言
随着大型商业银行业务规模的扩大和信息技术的发展, 数据中心已经成为大型商业银行业务系统与数据资源进行集中业务处理的枢纽,汇集了规模化的IT计算、存储和网络资源。
银行主要承担本外币储蓄、信用卡、对公存贷款业务,银行汇票及联行业务,国际结算和外汇买卖,代收代付等业务 [1]。银行业以网络和信息技术作为其业务处理的核心支撑,形成了前端业务信息采集、中端数据交换和数据中心处理“分布采集、集中处理”模式。随着业务量的增加和金融新产品的涌现,业务管理和信息处理“大集中”后对流程处理效率、系统扩展性和数据存储可靠性提出了更高的要求。金融行业特别是银行业在处理在线联机业务(online transaction)的同时,还需要处理大量的离线批处理业务(batch processing),如影像文件处理、票据结算、外汇清算、薪资、各类报表,批处理业务具有数据量大、占用计算资源多、限时处理完成的特点,银行信息中心通常要配备足够的资源在特定时间段(夜间、周末、月末)进行批量业务数据处理。如何提高批处理业务能力、合理配置计算资源是银行信息中心不断要面对的挑战。
以计算资源和服务虚拟化为核心的云计算架构和技术得到了广泛的认同,正在成为IT产业和信息化应用系统架构的发展趋势,实践表明,基于云计算架构的系统在资源利用、服务效率、运行成本及能源消耗方面具有明显的优势。
本文提出了一种应对批量业务流程处理的优化方法,基本原理是将业务流程的任务节点进行分解和分类,形成流程队列和若干可以进行并行处理分类任务队列,使用Hadoop MapReduce并行计算框架进行并行处理,MapReduce提供的资源调度和容错机制能够有效提高业务处理系统的可扩展性和稳定性。模拟实验表明,流程任务分解优化方法比通常的以流程为处理单元的方式具有一定的优势,可以在云计算环境下分组处理具有共同特征的计算和操作任务,实现优化资源调配,提高批量业务处理的效率。
1批处理业务流程优化
批量业务处理是指一组遵循同一处理流程的重复操作,而涉及的业务流程是一组将输入转化为输出的相互关联或相互作用的活动,活动之间不仅有严格的先后顺序限定,而且活动的内容、方式、责任等也都必须有明确的安排和界定,以使不同活动在不同角色之间进行交接成为可能,批量处理业务流程活动之间的转移不需要人工干预。处理流程中的活动根据数据处理的要求和特点进行设计,如先进行数据核对,然后进行计算,最后进行账户操作,每个活动会产生临时数据。为了提高处理能力和资源使用效率,流程活动设计尽可能遵循以下几个原则:
①独立于其它流程和活动,可进行重复操作;②使用较少类别的计算资源,CPU、网络、存储;③能够进行并行处理。
图1示意了批量流程处理的原理,银行信息中心在每个批处理周期安排若干批处理的规划,配置计算资源,启动和监控批处理过程。每个批处理中包括对应同一处理流程的批量处理任务。
银行信息中心根据资源配置情况,安排批处理规划中的批处理执行,可以做到并行处理,以满足处理时限的要求,每个批处理分配固定的或虚拟化的资源(服务器、CPU、存储、外设),当现有资源不能满足批处理要求时,则需要不断增加资源。这种以批处理流程为单位来决定资源配置的模式(图2)不一定能够确保资源的高效使用,如:需要大量CPU计算的流程同时配置I/O性能较高的资源,造成I/O资源的浪费。经过分析,可以通过优化批处理业务流程和操作来进行改进(图3),以进一步提高资源的使用效率。
以优化流程任务作为并行计算单元,形成批量处理任务队列,根据任务操作的类型来分配最适合的资源,理论上提高了资源配置的精细程度,有助于提高资源使用效率。
2基于MapReduce的批处理优化计算
为了验证提出的以流程任务为基础配置资源的批处理运算架构(图3),我们搭建了Hadoop/MapReduce并行计算实验环境,通过模拟批处理业务,对两种资源配置模式进行比较。
Hadoop[6]云计算平台的核心由HDFS分布存储和映射机制及MapReduce并行计算架构组成,具有开放性、稳定性和扩展性方面的优势,成为了云计算研究和应用的重要平台之一,其架构与提出的批处理流程优化模型吻合程度高。
MapReduce[8]通过两个函数Map和Reduce提供并行计算框架, 将计算任务(Job)分解为可以进行独立和并行计算操作集合(Tasks),提交给Map函数处理,而Reduce函数收集、整理、排序Map函数的计算结果。其基本功能是按一定的映射规则将输入的 (k1,v1)键值对转换成另一个或一批list(k2,v2)对输出,而Reduce将一个或多个Map输出的list(k2,v2)转换为新的键值对list(k3,v3),作为任务计算的输出[2]。
一种基于C++的脚本语言和解释器封装了实现上述功能的基本功能函数,用来描述任务的执行操作。根据上述模拟批次规划和流程节点类型,得出计算队列表。
硬件计算架构使用5台Ubantu Linux服务器提供Hadoop MapReduce并行计算平台,1个NameNode和4个DataNode,网络环境为100M局域网,通过SSH实现服务器之间的连接、控制和HDFS数据复制,流程和任务队列管理程序运行在NameNode上,Map和Reduce实现分布在DateNode上。图7所示为流程优化模拟架构。
平台模拟了以业务流程为处理单元和任务分解优化两种计算架构,使用同样的模拟流程和数据,同时检测了当一个DateNote服务器宕机时的任务容错机制和性能,表4汇总模拟运行的比较数据。
图7Haddop MapReduce流程优化模拟系统架构
流程最短处理时间指流程任务按照关键逻辑路径执行需要的累计时间,当一个任务处理完成后才能激活后续节点任务。以流程为单位的队列处理模式在4个DataNode平均分配流程,每个DataNode处理的流程数量几乎均等,资源的使用率也相同。任务优化分解方法形成了7个任务队列,DateNode资源分配按照优先资源对照表3进行。
流程平均处理时间指进入流程队列到所有任务处理完毕的时间,包括等待和任务处理时间,资源使用差异指CPU和I/O在高度使用和过度空闲的比例关系。
根据实验平台记录的运行数据,在同样的批处理流程和硬件架构条件下,使用业务流程分解优化的并行计算能够处理更多的事务(320min对比430min),资源的使用效率得到提高(54%对比31%),即使考虑到流程分解和多个任务队列管理的额外开销,运行结果还是表明了所提出方法的优势,为进一步深入研究和完善提供了基础。
3结语
银行批处理“大集中”后,其数量和规模不断扩大,银行信息中心不断面临IT资源优化和灵活配置的挑战,一方面要提升IT架构的资源数量和技术水平,另一方面要优化批处理的模式来更有效地利用IT资源(计算、存储、网络、I/O)。
云计算技术的研究和应用成为了IT产业发展的一个重要方向,基于云计算架构的系统在资源利用、服务效率、运行成本及能源消耗方面具有明显的优势。云计算架构的出现也引发了在信息系统设计、功能开发和维护服务的巨大变化。作为以信息化技术作为重要支撑的银行业,正在逐步尝试和分享云计算带来的各种优势。本文在此背景下,提出了一种针对银行批处理业务的优化流程分解方法。
业务流程分解优化方法通过对流程任务分组,可以为实时处理大批量流程的应用领域(银行、证券、保险、电子商务)提高处理效率,MapReduce原理为流程节点处理提供了并行计算框架,其调度和容错机制可以实现系统计算资源的高扩展性和稳定性。模拟实验表明,本文介绍的基于并行计算的优化流程分解方法比以整个批量处理流程为处理单元的方法在效率、架构和灵活性方面具有一定的优势。下一个阶段,拟将该方法进一步完善,在银行等典型批处理业务应用领域进行深化和拓展。
参考文献:
[1]李得仁.银行批量业务后台集中处理模式的实现[J].中国金融电脑 ,2012(11).
[2]李成华.MapReduce:新型的分布式并行计算编程模型[J].计算机工程与科学, 2011(3).
[3]杨志豪.一种适应数据与计算密集型任务的私有云系统实现研究[J].计算机应用研究 , 2011(2).
[4]易小华.面向MapReduce的数据处理流程开发方法[J].计算机科学与探索,2011(2).
[5]DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters[J].Communications of the ACM,2008, 51(1): 107113.
引言
电信业的重组促使了运营商正式转型为全业务运营模式,而全业务运营的市场竞争中,各运营商的重点都放在了业务提供速度的提升、服务的因人而异的定制个性化、差异化以及精准化的运营管理。
就过去的业务网络架构而言,业务系统规模的扩张势必增加投资费用以及管理费用,业务能力的重用性以及开放性并不理想,容易造成重复的建设,而且产品推出的周期都会受到极大影响,并且业务网络暂时无法提供融合业务,所以并不能提供全业务运营能力。中国移动在各类运营商中最先SDA业务网络架构,使得统一管理、现有平台的定位等部分问题得到解决,但是依然缺乏SDA业务网络提供融合业务建设方面指导。
在零九年开始,云计算概念成为了IT领域最热门的概念之一,在业界纷纷出现各类运营商提出的自家对云计算概念的理解以及自家推出的云计算产品。云计算是一种资源交付、使用模式以及计算模式,在此模式的运用中,数据、应用以及IT资源都可以通过服务方式以网络为媒介提供给各个用户使用。云计算同时也是基础架构方法论的其中一种,可以提供给用户使用高度虚拟化资源。
一、云计算
1.1架构
云计算的架构主要分为基础架构和服务架构,基础架构主要提供出快速部署和灵活拓展的云平台;服务架构则是在基础架构的基础上提供各类云计算服务。而云计算架构又可以分为基础差、平台层以及应用层三个层次。
基础架构的构造主要由硬件设备的资源虚拟化、管理的自动化、软件版本的标准化以及服务流程的一体化等手段来完成,用来为众多用户提供一定水平的服务。基础架构又可以细分为灵活的基础架构、企业云计算管理平台、端对端服务申请管理平台和中心服务IT管制四个子层。灵活的基础架构主要利用了虚拟化技术来实现物理设备内部资源共享以及动态调配,主要由服务器池、存储资源池和SAN等基础的资源组成;企业云计算管理平台主要负责IT资源自动分配、管理以及回收的工作,达到资源的部署和管理的自动化;端对端服务申请管理平台通过工作流引擎将企业中各个部门的合作进行协调工作,在端到端之间进行流程管理,从而显著提升了管理效率。
云计算的服务模式大致划分为基础设施即服务、平台即服务以及软件即服务三类基本服务。基础设施即服务简称laaS,是将储存和计算能力等基础IT资源作为标准化的服务项目提供给终端用户使用的一种服务;平台即服务简称PaaS,是针对开发环境抽象和对有效服务负载的封装服务,拥有强大的灵活性,可是受制于提供服务的供应商的能力大小;软件即服务简称SaaS是一个通过多重租用根据需求提供服务的完整应用程序,“多重租用”即是指云星宇基础层基础设施上的软件,可以同时为多个用户提供不同的服务。
二、云计算的应用
云计算主要应用在各类资源的共享及分配管理,架构分为基础层、平台层以及应用层。
1、基础层。基础层可以为各类平台提供基础软件与硬件资源、资源共享、资源管理、动态配置以及流程管理等服务。它可以利用虚拟化技术,虚拟化整合系统架构、全业务网络基础层的IT资源、应用程序基础设施、数据以及数据库、借口、网络、桌面系统以及业务流程、有效的节约了成本并提升了工作效率。
2、平台层。平台层可以达到平台能力的、调用以及申请的能力,主要根据全业务网络功能的需求才用以SOA为基础的方法重新构建全业务网的功能框架,整合各平台以及提供各平台的能力。以云计算为基础的全业务网架构在平台层使用了SOA架构方法,融合了现有的SDA的控制区域,打造出具有服务能力的注册平台,把重心放在了平台与平台之间的业务上逻辑处理工作。
3、应用层。应用层主要提供SaaS服务,以用户的需求作为工作根据,将平台层中的各类业务系统提供的应用提供给终端用户使用。在全业务网架构中,应用层拥有快速提供融合应用的巨大优势,因此地位十分重要。
结语:本文主要在全业务网运营方面,研究了云计算架构以及全业务网络功能的框架,并且提出了以云计算为基础的全业务网络架构建设。在全业务网络建设中利用云计算模式,可以带来良好的融合业务环境,拥有了实现平台资源、I务管理、业务交付以及业务提供的融合统一的能力。同时,可以覆盖多种网络将业务进行自动统一,全面地满足全业务运营各方面的需求。
参 考 文 献
0 引言
近年来,全球云计算产业蓬勃发展。我国云计算产业兴起于 20 世纪90 年代,云计算产业已经形成了竞争性的产业发展态势,以展览展示、网络游戏、远程教育、数字电视内容制作以及各种影视动画制作为主流的云计算消费市场日渐成熟,但传统互联网云计算也存在对应的问题,需要对之加以完善。
1 发展基于云平台服务云建设产业的历史机遇
1.1 云计算——第四次IT产业革命
作为新一代信息技术产业的重要组成部分,云计算被称为是继大型计算机、个人计算机、互联网之后的第四次IT产业革命,也是未来3~5年全球范围内最值得期待的技术革命,将可能引发信息产业商业模式的根本性改变。因此,传统IT巨头把云计算看作为未来决定成败的“必争高地”,纷纷向云计算模式转型,推出自己的云战略。
如今,云计算已逐渐渗透进了众多行业,对于我国经济发展日趋起到重要的影响和推动作用。作为战略性新兴产业中的“重头戏”,云计算无疑成为了“十二五”期间我国政府的发展重点。
1.2 政策力挺“十二五”云计算发展
日前,国家发改委、工信部、科技部等多部委共同参与的《加快发展高技术服务业的指导意见》已进入起草阶段,其中,云计算产业将被作为未来高技术服务业的主角。“十二五”规划纲要及《国务院关于加快培育和发展战略性新兴产业的决定》,均把“云计算”作为新一代信息技术产业的重要部分来强调。
为了加快应用和落地,推进云计算产业的切实发展,2010年10月18日,工业和信息化部圈定北京、上海、深圳、杭州、无锡等5个城市先行开展云计算服务创新发展试点示范工作,试点内容涵盖了平台搭建、产业联盟、核心技术研发和产业化以及标准和安全管理规范的研究制定等。今年,多个政企合作的云计算应用项目有望落地。
1.3 云计算引发商业模式发生巨大变革
云计算技术将从概念层面逐渐走向应用。许多研发公司已经将云计算作为新的战略核心,并探索其企业级、社会级的应用。云计算的技术实现手段并不是新生事物,从技术上讲已趋于成熟,但还缺乏成熟的商业模式。
云计算作为IT领域的一场变革,对于现有的公司是一种挑战也是一种威胁。云计算会推动新一代云存储、云网络、云安全的巨大需求和服务模式的创新,同时也会产生新的产业和商业模式。
根据IDC最新的报告预测,全球用于云计算服务上的支出在接下来的5年时间可能会出现3倍的增长,其增长速度将是传统IT行业增长率的6倍。到2012年,云计算将达到420亿美元的市场规模,占据IT支出增长总量中25%的份额。从2009年底到2013年底,云计算能为中国带来超过1.1万亿元的净业务收入。
可以说,国内云计算万亿市场启动在即。赛迪顾问IT系统产业研究中心总经理孙会峰对记者表示,云计算是提高生产效率的一个有效手段,是可以改变IT现状的应用模式,是一种可以更加高效、更加低成本、更加可持续发展的方法。
同时,他还指出,云计算等新兴技术将成为促进中国经济转型升级的新引擎。对于产业来讲,新兴技术将会带动传统产业的升级改造,调整经济结构,带动产业转型,还将孵化出一些新的产业。传统IT企业向云计算方向转型将会成为必然和根本所在,同时,其商业模式也可能发生变化。
2 传统互联网云计算存在的主要问题
首先,云计算企业规模相对普遍较小,云计算资源相对匮乏,难以与内容供应商有效合作,无法形成云计算创新产业链。
其次,科技投入不足,缺乏风险投资环境,缺乏在线运营经验和收费渠道,难以形成规模经济,总体反映出中小型 服务商进入门槛较高。
再次,大型云计算服务商都拥有自己的数据中心,分散、高耗能、成本高,互联网接入的数据缺乏一致性,少数大的数据中心需要进一步整合。
最后,在综合布局上,各区之间缺少横向交流,难于实现联动和错位竞争,形成云计算产业链;数据搭设和服务相互割裂,各自为政,资源无法实现共享,运营商的内部资源使用效率较低。
基于以上考虑,主要从下面这样几个方面对云平台的服务云建设进行完善。云计算云平台最终的目标用户定位为中小云计算服务商。通过云计算服务云的搭建,实现如下的建设目标:
通过搭建可靠的基础架构云(主要包括虚拟节点资源、存储资源、网络资源)将基础架构资源进行整合,采用最新的云平台技术达到减少物理资源及能源的使用成本,提高资源利用率。
1)搭建服务云的平台基础,包括管理平台和运营平台,提供多项基础的SDK接口,具备为中小型 服务商接入云计算云平台的能力。
2)引导中小型云计算服务商接入云计算云平台,从初期的“提供内容服务资源”,最终过渡到“提供完整云计算云应用运营平台”的分阶段建设。
3)最终目标是将现有的各类运营系统纳入到云计算云平台中来,搭建业务运营模式完整的云计算资源运营平台;利用现有的计费模块及无线互联网相关的成熟模块建立新的业务运营模式,以实现多渠道、全方位的增值服务。实现运营商、 服务商以及内容提供商共赢的运营模式。
基于以上的研究目标,需要从以下几个层次逐级展开研究工作:
1)高灵活性、高可用性的基础架构云(IAAS)建设实验和研究;
2)基于基础架构云的PAAS解决方案的研究;
3)面一站式SAAS平台对于 商广泛商用的可行性研究;
4)整体盈利模式及行业领先前景展望。
3 云计算服务云平台整体规划的研究
3.1 基础架构云(IAAS)
基础架构云在物理资源基础上搭建虚拟化资源池,包括硬件资源、虚拟资源、云计算内容(中国音像著作权集体管理协会协助认证)的资源池,云计算服务商可按照运营模式租用资源池内的各类资源。基础架构云通过IAAS的相关服务提供虚拟资源的统一管理与使用。IAAS架构如下图:
3.2 平台服务云(PAAS)
平台服务云以云计算数据管理和成熟运营模式为基础,提供各类服务接口,提供运营商的服务管理门户和云计算服务商的接入门户。平台服务云是整个云计算云平台的核心管理与运营平台,除了需要提供面向 服务商的各类服务接口之外,还要支持对各类资源管理、申请、分配、监控等相关的业务应用。平台服务云分为两个部分:管理运营平台和服务接口平台,整个平台服务云由统一的安全管理机制保证系统安全。
管理运营平台为运营商提供基础架构云及资源运营管理支持,运营人员可以通过管理运营平成虚拟资源管控、资源管理、服务资源管理、运营管理、数字版权管理、统计分析等功能。
服务平台为服务商提供接入服务,服务商可以通过此平成如下工作:
其一,服务资源、产品的订单申请、内容检索、资源监控等管理功能;其二,服务商应用(SAAS)可直接访问资源服务接口,为最终用户提供资源服务;其三,服务商可以选购运营商的非常成熟的运营服务接口,并将其引入到自建的应用中,这些运营服务接口包括但不限于如下内容:其一,转码接口:以适应服务商的应用平台可以更容易的覆盖传统互联网与移动互联网用户,通过对用户的差异化服务;其二,广告管理接口:服务商可以选择运营商提供的广告打包服务,也可以通过接口直接在用户访问的流中增加广告数据;其三,短信、彩信、位置、计费等运营接口:这些接口在移动互联网领域已经有了非常成熟的运营模式,服务商可以通过这些接口实现建立更加灵活、高效的运营模式。比如:移动服务的包月服务、订阅服务、流量计费;同时也可以将移动互联网领域的运营模式扩展到传统互联网领域。其四,服务商可以通过服务平台申请基础架构云中的虚拟资源并将自有的应用(SAAS)部署到运营商的基础架构云中。
3.3 应用云(SAAS)
应用云(SAAS)的建设初衷是搭建以提供云计算内容服务为主的服务平台云,为中小型服务商提供基于传统互联网和移动互联网的内容服务。应用云由云计算服务商自行建设和管理,利用平台服务云提供的各类接口为最终用户服务,远期目标可以由运营商完成应用云的建设。应用云(SAAS)的建设有三种方式:
1)通过SDK、API、Web Service等多种通用接口与平台服务云(PAAS)中的服务、运营服务接口进行应用整合。
2)服务商的SAAS也可以到基础架构云中,为服务商提供更低成本、更高效率的“云”服务。
3)平台服务云也会逐步提供各种增值应用服务,将整个云平善为一个从基础架构云(IAAS)到应用云(SAAS)的完整的云计算应用云平台,为各种不同规模的服务商提供更加多样的、差异化的云平台服务。差异化服务可以为运营商建立起更加稳定。
4 高灵活性、高可用性的基础架构云(IAAS)建设实验和研究
4.1 基础架构云(IAAS)业务需求分析
4.1.1 核心架构需求分析
1)方便的资源申请:IAAS应该允许用户方便的请求各种资源如CPU,存储,内存,网络等,而不需要考虑实际的计算能力,带宽,存储等物理资源的具体配置、位置等信息。如用户在申请虚拟机实例的时候就可以方便的指定CPU的规模,内存的大小,存储的大小,网络的基本设置,甚至针对运营商的网络带宽限制条件,可以在用户选择资源的时候直接选择带宽的性质(独占或共享)和带宽的大小。
2)集中的管理、统一的调度和维护:有了IAAS平台后,资源都统一的放置在资源池中,这样CPU、存储、内存、网络等资源应该全部由基础架构云来管理;并通过统一的调度平台进行资源的合理化弹性调度;由于已经把硬件资源统一的进行了管理,自然,将由运维团队对硬件资源进行统一的维护。
3)兼容性:作为基础架构云平台,应该满足两方面的兼容性,即软件和硬件,软件方面要保持和国际云计算的兼容,硬件方面要能够支持多样化,即不同型号、品牌的服务器都可以纳入资源池进行统一资源管理。
4)云计算数据源:在基础架构云平台的存储控制器上增加对云计算数据源的管理调度。云计算数据使用分布式存储技术存储在云的存储池中,而管理员平时则无需知晓最终数据的最终存放位置,这部分工作由基础架构云的存储控制器角色完成。而PAAS(服务云)则可以直接通过相应接口调用相关数据。
4.1.2 可扩展性需求分析
基础架构云(IAAS)必须是分层的可扩展的基础架构,以便未来可灵活扩展基础架构云的规模或部署模型。这样我们可以在计算资源不足时,可以很方便的实现资源池的扩容。
4.1.3 安全性需求分析
所有基础架构云的管理节点都必须容灾,以保证虚拟机可以移动到其他节点,确保操作任务不会丢失。
4.1.4 网络与数据安全
基础架构云必须保证在网络层面上的安全性。必须有访问控制功能。数据安全的主要工作在于:保证基础架构云底层操作系统安全;保证基础架构云上的虚拟机安全;保证用户权限的合理分配与管理。
4.2 方案整体概述
在此方案中我们采用国内最先进的云产品构建基础架构云(IAAS)。
产品特点主要体现在弹性、自助和标准化三个主要方面:
4.2.1 弹性资源伸缩。可智能调度管理从数台到数千台的物理服务器,依据贪婪模式、省电模式等资源调度策略进行自动化管理。并可将计算、存储以及网络能力进行开放让普通应用系统也可具备像水电一样,获得即开即用能力。
4.2.2 自助式服务。提供了一个友好的web界面可供使用,使用者可依据被分配的资源配额(资源是指虚拟机、存储、IP、负载均衡、防火墙等云资源),快速的创建资源,监控资源使用情况,关联资源(关联资源是指虚拟机挂接存储、为多个虚拟机创建负载均衡等云资源之间的关联操作),自动化部署应用系统等工作。
通过自助式服务,将会把运营商IT运维人员从繁杂的工作中解脱出来,简易的操作界面,可以使最终用户方便的利用Step By Step方式的操作很快的申请到资源,进而事业虚拟机、存储及网络资源。
4.2.3 标准化平台。使用开放式云计算标准接口与技术,与现有大多数基础架构云平台相兼容,可实现在不同厂家的云平台产品之间进行自由穿梭;不做技术绑架,用户可自由选择已经购买的虚拟化产品、服务器(需要支持Intel或AMD的虚拟化技术)、存储及网络设备提高资产利用率,避免不必要的投资。
4.2.4 逻辑拓扑概述。云平台采用多层架构,可有效提升整个云平台的可扩展性。采用控制器横向堆叠的方式,可将云基础架构的规模提高至一个新的层次,如下图:
当需要扩展集群规模时,在现有集群中添加节点即可。当需要扩展整个云的规模时,可创建新的群集。
云中的主要角色和服务:
1)云控制器。云控制器(Cloud controller\CLC)可以管理调度底层的一个或多个集群控制器(CC)的计算资源和网络资源,也可以管理调度底层的一个或多个存储控制器(SC)的存储资源。
2)集群控制器。集群控制器(Cluster controller\CC)
是下属节点控制器(NC)所组成的计算群集的前端(Front—end)桥头堡和管理者,它包括虚拟机镜像、节点群集调度、虚拟网络管理等功能。
3)存储控制器。存储控制器(Storage controller\SC)
是基于网络的块存储(按照Amazon的称呼,称为EBS,弹性块存储)实现,一个块存储被节点上运行实例的操作系统认为一个块设备,但其实它是一个通过网络连接到存储控制器的设备。支持通过iSCSI、AOE、FC SAN等存储适配器来访问各种存储设备。
4)节点控制器。节点控制器(Node controller\NC)可以是虚拟机的计算宿主,也可以是组成分布式冗余存储系统的存储节点或者存储目录节点。如果节点是计算宿主,也就是实例的运行载体,它将根据上层的集群控制器的指令来负责执行、监控、终止、善后处理实例,同时还需要及时将目前的可用资源通知集群控制器。
4.3 产品功能架构
以下是云的产品架构示意图,我们基于Erlang OTP,使用Eucalyptus框架,兼容AmazonEC2标准。
主要分为四层:系统核心层、接口调用层、实用工具层、应用服务层。
1)系统核心层。其主要功能是操作系统的主体内容,负责将计算机分布式群集中的各种资源管理、调度和监控。对应的具体功能如下:实例管理;存储管理;网络管理;资源监控;运行支撑。
现在很多企业一提到云计算成功模式就会联想到谷歌,继而马上认为分布式就是云计算,殊不知谷歌和亚马逊的业务应用和技术实力与自身企业存在着不同,一旦部署了分布式云平台,结果导致两个孤岛式的架构,造成资源上的浪费,虽然很快的部署了云计算,但没有达到最终的效果。建设云计算,要根据企业性质和业务应用的不同做到量身定制,同时应提升到战略层面。
提起云计算,必会谈及虚拟化,为什么说虚拟化如此重要呢?虚拟化可以提高设备的使用效率,提高设备的灵活性,获得更多的资源利用率。虽然大多数用户已经意识到虚拟化的重要性,但需要注意的是,云计算平台需要企业级的虚拟化,企业级虚拟化才是云计算的基础。
不管是x86架构还是RISC架构,世界上没有一个架构一定是最好的,只要是适合企业的业务架构就应是最好的,任何架构都要与业务相结合。企业中不同的工作负载要根据性质的不同放在不同的架构平台上,对于一般性业务应用运行在x86架构上,而关键业务应部署在Unix平台。最后即使云计算架构不一定是统一的,但要实现统一的管理。在这一方面,IBM Starter Kit for Cloud(SKC)可将您的虚拟化环境从“云就绪”状态过渡到真正的“云”环境,SKC是一个跨平台的快速云服务管理软件,它不仅能对Power平台提供无缝支持,而且对于用户已有的x86甚至都能提供支持。SKC对于x86上KVM提供与Power的一体化支持,统一部署引擎,统一管理界面。
根据IDC的《中国云计算基础架构建设指南》报告显示,以云计算为基础的第三平台已经来临。何为第三平台呢?第一平台是以主机为核心,第二平台以PC为核心、局域网、互联网为核心,第三平台以移动设备和应用为中心,实际上是以人为中心。其中云服务、大数据、商业分析、移动宽带社会化,这四方面作为第三平台的核心。在这里面,最大的基础是云,云在最底层,社会化移动普及率越高,产生的数据量就越大,对IT基础设施的需求也就越大。所以说,云计算是实现智慧行业的重要途径,而云基础设施是重要基础。
对于行业企业来说,企业服务化是一个大的趋势,特别是中国制造企业服务化趋势,目前很多制造企业已经往服务化转型,而不再是我们印象中的传统制造企业只生产产品,而是给用户或间接为有提供服务。所以采用云计算可以增强企业的核心竞争力。企业进行业务变革和转型,需要IT系统做很好的支撑,这些支撑后台一定要有云计算,需要数据整合。
企业建设云计算的六大误区
IDC(中国)行业研究与咨询服务部助理副总裁武连峰,在IBM Power Cloud新一代企业级基础架构云媒体交流会上,谈到了现在企业建设云计算时存在着六大误区:
误区一:重概念,轻本质。用户往往关注于买多少软硬件产品或服务,而忽略了云计算的本质是提高服务器资源利用率,节省成本和如何提供即时服务。
误区二:重实施,轻规划。
误区三:x86架构就是云计算。
误区四:重硬件,轻较件。很多企业一提到云计算,马上买服务器,买存储,如果云计算没有很好的基础架构软件,没有很好的系统管理自动化软件,云计算硬件就不能发挥它的作用。
误区五:重虚拟,轻管理。大部分企业只是实现局部的虚拟化。云计算本质应该是一个全方位的虚拟化,这些虚拟化必须要用到很好的管理,才能够使它自动化起来,使整个IT架构做更好的提升。
误区六:重创新,轻移植。大部分用户部署云计算是为了部署新应用,而忽略了对原有应用该如何进行移植。
基于以上六个误区,IDC建议云计算基础架构实施应经历以下三个时期:
第一时期:一是规划,二是准备
在规划方面应首要注意两点,一是明确企业实施云计算的目的,二是确保最高管理层的参与。从云计算整个基础架构来看,促进业务比节约成本更重要。云计算对于企业来讲,不仅是IT的变革,实际上还涉及到IT整体架构的改变,而这种变革与业务的变革息息相关,所以一定要有最高领导的参与,在实施过程中才会更加得心应手。
在准备阶段要明确企业IT中有哪些应用,对企业自身的业务进行分析,不同的业务将会采用不同的体系架构实施。对于企业的核心
应用,交付成本高,适合企业级的私有云的基础架构;而一些数据分析,包括一些协作,更适合融合性的云计算基础架构;与消费自动化相关的应用,适合开放云计算架构;像电子邮件或网站,更适合公共云的外包。
第二时期:实施和深化
虚拟化是云计算的开始,但需要注意的是一定要建立企业级的虚拟化资源池。通过虚拟化创建资源池,其中安全性是用户认为最重要的技术特性,灵活和可扩展性,硬件性能排在安全性的后面。
全方位的虚拟化,包括服务器、存储、网络。这三个虚拟化,一是计算能力的虚拟化,二是存储能力的虚拟化,三是传输能力的虚拟化,这样就会把服务器的计算资源、存储资源、网络带宽资源都会充分利用起来,不会有一个瓶颈。但现实情况是,用户购买了很多服务器,但如果做云计算,就需要采购一些虚拟化软件支持整个云计算平台基础设施,结果发现购买虚拟化软件甚至比买一台服务器还贵。最后还是要用单机甚至集群的方式把硬件搭建起来以后,在运行使用过程中出现很多问题。一是从性能和资源协调上没有把这些服务器做很好的资源利用。二是从自动化的角度来讲,没有做很好的自动化,包括资源分配的过程中,很多需要IT人员参与,大大降低了效率。
虚拟化完成之后,一定要通过管理自动化和资源自动化,最后实现资源的整体调度,包括资源池的实时监控,包括生命周期管理,映像管理,快速部署,动态迁移等。在这一方面,国内外用户的差异很大,国内用户在这方面的投资相较于国外要吝啬的多,其实,如果不做好管理自动化和资源自动化,做好资源池的匹配调度的话,实际上整个云计算的基础架构设备并没有很好地发挥起来,整个IT效率没有提高。
从虚拟化到自动化的云计算深化过程,分为4个阶段,第一阶段是虚拟化,据据IDC全球研究结果显示,服务器虚拟化率已经达到64%,第二阶段是将虚拟化和自动化流程结合起来,这部分用户有32%,第三阶段是把虚拟化、自动化流程以及融合的基础架构,包括网络、存储融合起来,从绿色节能以及从总体效率上会更少,这里目前还很低,只有3%。第四阶段是一个理想状况,通过虚拟化、自动化流程到融合架构,最后做到自服务、自适应,这样大大减少IT部门人员的压力,同时使IT能更好地跟业务融合。这部分用户只有2%。
第三时期:应用和管理
IDc中国企业级系统研究部高级研究经理周震刚认为,云计算的实施不是简单的软硬件集成项目,而是一种企业IT战略的改变。企业用户应着重考虑相关的一系列配套措施,包括业务和组织架构等各方面,需要把云计算提升到企业战略的层面上进行统筹。他建议企业用户在实施云计算项目之前需要谨慎评估,并与有经验的IT咨询服务提供商进行合作,对云计算项目进行整体的规划,考虑云计算中心的管理模式,将未来的运营纳入到整体规划中。
IDC针对企业用户的调研显示,在建设云计算基础架构的各类企业中,公共云服务提供商更关注如何通过云计算形成新的可持续盈利的业务模式,支撑和促进业务发展;私有云用户则更关注如何通过云计算提高IT系统使用效率,优化IT架构,实现IT部门的服务模式转型,使其从企业的成本中心转化为业务支撑中心。周震刚说:“企业用户在考虑如何建设云计算基础架构之前,首先应明确建设云计算的目的,一定要避免为了云计算而云计算。”
IDC根据多年研究和广泛调研为中国企业实施云计算项目设计了一个路线图,包括准备(完成数据集中、资源整合和系统架构)、实施(实现虚拟化和资源池化)、深化(完成管理和资源的自动化)以及应用(包括开发API/应用移植和开发)这四个阶段。而路线图中有几个要点需要企业特别给予关注。
首先,在云计算平台的系统设计和架构阶段方面,企业应重点考虑几个因素:根据自身的业务特点和行业特征选择系统架构,选择具有充分扩展性和高效能的硬件平台,从技术和业务两个方面保证云计算平台与现有平台的连续性。在Google和AWS等知名的公共云计算案例中,很多是基于分布式架构的云计算平台。这是由于互联网行业普遍具有自身技术实力雄厚、IT资产生命周期短、核心业务对实时性要求不高等特点。某公共云计算服务提供商CTO也认为x86是最理想的云计算系统架构:“我们运营云计算服务的,成本是最重要的因素。使用x86服务器构建分布式结构可以让硬件成本降到最低,同时分布式结构还可以保证系统的可靠性。”但周震刚指出,分布式计算或其他计算模式并没有绝对的孰优孰劣,互联网行业选择了适合自己的分布式计算,而其它行业本身的特性未必与互联网类似,用户应考虑自身的行业特征来选择真正适合自己的云计算架构。总之,对于大型企业的云计算平台,其对整体架构和硬件平台的选择是和企业自身情况以及平台上运行的工作负载息息相关的,系统设计中应考虑一致性和兼容性,如果在系统迁移中要求对现有应用重新编写,那么风险评估是不可缺少的。
其次,有些企业认为自己已经用虚拟化技术将物理服务器分成了若干虚拟机,并在不同的虚拟机上运行不同的应用,这便完成了云计算架构的部署。周震刚认为这种认识是片面的,虽然企业级虚拟化平台的创建是建设云计算基础架构必不可少的环节,但是仅将物理服务器分成虚拟机并不是完整的云计算实施过程,企业级虚拟化还要考虑更多方面。例如,从安全与稳定性角度来看,由于虚拟化所具有的整合特性,在其基础上可能会运行对企业至关重要的核心应用,企业在使用中考虑其底层的软硬件承载平台是否具有高安全性,高稳定性等特点;而从灵活性角度来看,先进的虚拟化软件应该可以做到对硬件资源的更细粒度调用,对底层硬件资源可以进行增加和减少操作从而实现真正的灵活控制与按需使用。灵活性的另一个体现方面则是应用可以在不影响业务的前提条件下在不同物理主机间进行迁移,达到平衡不同物理服务器负载,并使业务可以运行在更合适的环境中。
近日,杭州华三通信技术有限公司(简称华三通信)推出了全新的UIS(Unified Infrastructure System)统一基础架构系统,它是华三通信面向云计算基础设施层推出的融合基础架构,基于UIS架构,华三通信推出了集刀片服务器、机架服务器、交换机、存储于一体的全融合产品。UIS从全融合、全虚拟化、全面管理三方面入手,将计算、网络、存储三大类IT资源紧密集成,实现了软件定义IT基础设施资源。
华三通信的UIS正是希望通过一体机的方式,让云计算从基础架构层面开始就变得简单。华三通信云计算产品线总裁吴健介绍,构建云计算基础架构的传统方式,需要硬件平台、虚拟化软件和云管理软件分阶段部署,或者把多个厂商的各类产品拼凑起来交付给用户,而华三通信UIS为用户提供的是云计算基础设施的一站式交付和运维。
“UIS系统实现了可定制化的云计算基础设施整体交付,并对软硬件设备的性能进行了全面优化,用户不必考虑软、硬件基础设施之间的兼容性问题,UIS同时也解决了多厂商之间服务协调难度大,响应速度慢等问题,使用户从繁琐的设备选型、采购等环节中解放出来,从而把更多的精力投入自身业务的规划当中。”吴健说。
吴健认为,IT基础架构的融合是最难的。所谓的融合架构,不是把各类产品简单叠加在一起,而是可以将各类资源无缝融合,同时可以更简单、灵活地进行调度和调试,将IT管理员的管理难度和复杂度降到最低。UIS中的统一管理矩阵套件UISM(Unified Infrastructure System Manager)就是基于这种理念进行设计的,它具有统一的、符合中国用户使用习惯的管理界面,可以真正将用户的全IT基础资源和应用进行统一管理。对管理员而言,UISM可作为其IT基础架构管理的唯一入口,可以做到新设备的自助上线、应用的一键部署。
中图分类号:TB文献标识码:A文章编号:1672-3198(2012)01-0291-01
1 引言
随着科学技术的进步,IT行业所在的环境复杂性与日俱增,更多的IT预算被用于维护基础架构和维持应用程序的正常运行,而不是更好地满足客户的需要。云的出现似乎给人们带来了新的希望,于是有人做出这样的预测――未来云时代。
2 云架构体系设计
2.1 云架构的概念及特点
云架构这一概念是Google在2006年首次提出的,它是为满足按需分配的服务而设计的软件架构。云架构与我们所熟悉的传统计算机体系不同,云架构是一个层结构,整个云架构层分为显示层、中间层、基础设施层和管理层四个层次。显示层主要用于向用户显示所需的内容,并且利用HTML、JavaScript、CSS和Flash等云技术中间件层为用户提供更多的服务。中间层起着过渡作用,它不但为显示层提供支撑,也可以为基础设施层提供资源上的便利,还可以为用户直接使用。中间层主要通过5种云技术实现:REST、多租户、并行处理、应用服务器和分布式缓存。管理层则是为上面三个层服务的,它提供账号管理、SLA监控、安全管理等技术,目的在于更全面地管理和维护三个横向层的稳定。通过上述分析,整个云架构层可用如下框架来表示(见图1):
图1 云架构层云架构的特点是建立在云架构层的基础上的,它具有如下特点:(1)规模大。“云”系统涵盖大规模的容量,例如IBM、微软、苹果等的“云”具有成千上万台服务器运行,“云”的计算能力和数据容量是一般计算机技术不能媲美的。(2)数据安全性强。云架构层中的管理层对数据、帐号等资源监控和保护,使其免受不必要的侵害;而且管理层可以凭借自身的服务功能应对横向3个层的突况,因此云架构中储存的数据是相当安全的。(3)普适性强。云架构受“云”的支撑,可以对变幻莫测的应用加以控制,一个“云”就可以掌控多种不同的应用程序。(4)伸缩性强。云架构可以根据用户的需要随时改变其最佳容量,达到最优状态。
2.2 云架构的设计
要实现“云”的强大功能,前提是必须要有完整的云架构体系。云架构是一种计算模式架构,它通过“云”把资源、数据和应用等以服务形式提供到用户端。基于前人的研究,云架构主要包括服务控制机群、存储节点机群、计算节点机群、应用节点机群、输入和输出设备这六大部分。前面分析了云架构层的结构,于是可以根据云架构层进行拓展,对整个云架构体系具体设计(见图2)。
冗余度就是指数据的重复度,计算机系统中数据的重复存贮称为数据冗余。数据冗余不但对数据库的完整带来影响,还会浪费存储系统资源。尽可能地降低数据冗余度,是云架构设计的主要目标之一。与关系模式的规范化理论一样,计算机系统处理冗余问题的主要思想就是最小冗余原则。
云计算框架可以更好的管理存储空间,利用云计算的数据冗余处理机制,把数据资料分成若干文件片,分别存储在云层中不同的数据存储设备上,如果有存储设备出现异常,也不会影响到存储资料的完整性。云层中采用节点提取文件特征值,减少数据的重复性,在云层中创建了数据冗余的信息库。
如图2所示,云架构中存在冗余策略,表明在云架构存储中可能存在大量的数据冗余。由于有些关联数据可能需要重复存储,而降低相同数据的储存量,使关联范式达到最优化,是未来云架构所走的毕竟之路。关联数据的局限性体现在数据重复存储,从而产生冗余,加大了云架构的计算量,不仅浪费了存储空间,也减慢了计算机的运行速度。处理能力的受限性表现在对简单信息搜索、对复杂信息屏蔽以及动态信息混乱等。由于产生了数据冗余,使得计算机系统运行速度慢、维护难,达不到顾客的要求,满足不了客户的需要。
由于云存储服务都采用了分布式数据存储方式,通过将冗余数据分散存储在连入云系统的大量存储设备中去,以提高系统的抗摧毁性。在云架构中主要存在副本备份冗余,对于其备份可使用存储文件的不同之处,减少其存储量,处理好云架构中的数据冗余,节省资源,达到系统最优存储。
4 结语
IT即服务是云计算发展的最终目标,这是毫无疑问的。但是,从现有基础架构过渡到云计算架构,这中间还要经历多少步骤呢?
VMware明确提出了云计算发展的三个阶段:第一阶段以IT生产为标志,其核心任务是使现有基础架构的价值最大化,比如构建共享的资源池,实现容量的灵活供给;第二阶段以业务生产为标志,目标是提升服务的质量,提高系统的可用性、可控性和快速响应能力等;第三阶段就是IT即服务,目标是增强业务的灵活性,确定服务级别,实现自助式服务和按需付费。
“目前,大多数企业还处于第一阶段。经过这三个阶段,并最终达到IT即服务的目标可能需要几年甚至更长的时间。”VMware公司总裁兼首席执行官Paul Maritz表示,“早在两年前,VMware就确立了构建现代化数据中心和实现IT变革的愿景目标。VMware的虚拟化平台vSphere为实现前两个阶段的目标奠定了坚实的基础。”
其实,实现云计算的最终目标,技术因素只占50%,还有50%在于企业对自身流程的改造以及采用什么样的实施方式等。对于企业来说,明智的做法是,将基础架构全部虚拟化,使应用与基础架构相分离,让数据和应用能够透明地移动,IT基础设施可以根据业务需求的变化而灵活调配,从而实现快速响应。
IDC的数据显示,2009年,全球部署在虚拟机上的应用数量已经超过了运行在物理服务器上的应用数量。2010年,全球虚拟机的数量将达到1000万。虚拟化技术的快速发展将改变操作系统和终端设备的发展轨迹。Paul Maritz表示,由于创新能力逐渐减弱,传统操作系统虽然不会消失,但是其作用和功能将进一步弱化。虚拟化应用的终端设备将变得多样化,特别是包括iPad在内的移动终端设备越来越多,使得用户更加注重应用体验。
将IT即服务和实现混合云计算作为目标之后,VMware实现业务转型顺理成章。“VMware不再是一个单纯提供虚拟化软件的厂商,而是以实现数据中心的自动化为己任。时至今日,VMware已经是一个名副其实的基础架构解决方案提供商,并在此道路上不断进行技术创新和变革。”Paul Maritz表示,“VMware公司的定位十分明确,即不涉足硬件业务,不提供公共云服务,不插手行业应用,更不会与核心的合作伙伴发生任何业务上的冲突。”
云计算创新三部曲
在通往云计算的道路上,创新是没有止境的。VMware公司首席技术官Stephen Herrod表示,VMware在IT体系架构的每个关键层都进行了创新,包括基础架构、应用平台和终端。VMware在本次大会上推出了多款新产品,主要包括vCloud Director、vShield、vCloud数据中心服务和咨询服务以及View 4.5等。
1.基础架构的变革
VMware vCloud Director是一种全新的基础架构交付和使用模式。它在改变IT交付基础架构服务方式的同时,也改变了用户访问和使用这些服务的方式。通过扩展VMware vSphere的资源池化功能,VMware vCloud Director使得IT部门能够创建虚拟数据中心(VDC),包括计算、网络和存储资源组成的资源池以及预定义的管理策略、服务水平协议和定价机制。IT部门可以通过完全自动化的自助服务访问方式,为用户提供VDC以及包括虚拟设备、虚拟机和操作系统镜像等在内的基础架构和应用服务目录。
为了保证云的安全,VMware推出了vShield产品系列,包括vShield Edge、vShield App和vShield Endpoint。vShield产品系列可以对包括防火墙、虚拟专用网(VPN)和负载均衡等在内的安全和边缘服务进行虚拟化,使其摆脱物理基础架构的束缚。vShield产品系列能够提供比传统的物理部署模式更加安全的VMware虚拟化环境和云环境,而且成本较低。
2.应用开发模式的变革
云应用需要与之相匹配的开发平台和工具。此开发平台和工具应具备如下特点:具有高性能,能够实现快速交付,包含能够提高开发效率和确保应用可移植性的应用框架,具有高度集成性,并由策略驱动。用户采用这一新的开发平台构建应用,既可以确保应用在异构云环境中的可移植性,又可以与底层基础架构智能地共享信息,从而进一步提升应用性能、服务质量和基础架构的利用率。
VMware当初收购Spring Source公司,就是想获得新的云应用开发平台,在云基础架构和云应用之间搭建一座沟通的桥梁。现在看来,VMware不仅实现了当初的目标,而且在Spring Source产品的基础上又推出了vFabric。vFabric是一个集Spring Source产品与监控和管理功能于一体的平台。Spring Source的产品不仅可以应用于互联网等新兴行业,而且可以广泛应用于传统行业。很多中国的开发人员一直在使用开源的Spring Source的产品。
Stephen Herrod表示:“全球75%的Java开发人员都在使用Spring Source的产品。未来,Spring Source将继续走开源的道路,并且要在非关联性的数据访问以及与社交网站和数据网络的集成方面多下功夫,进一步简化开发的过程,更好地适应虚拟化环境下的开发需要。”
3.终端计算模式的变革
构建云计算平台,不仅要实现数据中心的变革以及应用开发模式的创新,而且要改变终端用户的计算方式。
VMware桌面虚拟化产品View 4.5的推出,标志着以PC为核心的个人计算模式正转向以客户为中心的多终端访问模式。在新模式下,任何人都可以通过任何设备安全地访问所需的应用和数据。采用VMware View 4.5解决方案,IT服务交付将变得更加灵活,系统的购买成本变得更低,数据访问更加安全,管理更加高效。VMware View 4.5的推出比原计划晚了两个月。Stephen Herrod表示,这是因为VMware要确保产品的品质。
服务器虚拟化与桌面虚拟化是否具有关联性?通常情况下,已经部署了服务器虚拟化技术的用户会更容易接受桌面虚拟化的理念。但是与标准化的服务器虚拟化技术相比,桌面虚拟化的应用需求比较特殊,用户必须搞清楚后端服务器与前台终端之间如何进行配合,安全性能否得到保证以及其他的限制条件。Stephen Herrod表示:“桌面虚拟化更注重流程以及前后台设备的衔接。对于用户来说,重要的不是拥有多少种终端设备,而是桌面虚拟化能带来什么样的价值和应用体验。”
云计算新势力
VMware公司标准架构总监 Winston Bumpus
云计算的浪潮正席卷而来。通过提供灵活、自助式的IT基础架构,云计算促使信息处理方式发生了革命性的转变。在这场变革中,虚拟化技术发挥了决定性作用。它所带来的独立性、高度整合性和移动性,改变了当前的IT基础架构、流程以及成本,通过消除长期存在于应用层与物理主机之间的障碍,虚拟化使部署更为轻松便捷,工作负载的移动性显著增强。可以说,没有虚拟化的云计算是无法想象的。
然而,真正实现从传统计算向云计算的变迁,还有一道障碍需要跨越。目前推出的各种云计算方案,由于连接各种计算机系统的技术标准、维护云计算正常运行的软件技术标准等多有不同,使用户在具体方案的选择上难免困惑,这极大地限制了云计算的普及与推广。因此,制定行业互操作性标准已成为当前云计算面临的最大挑战。
标准掣肘
目前,业界关于云计算的定义不胜枚举。参照美国国家标准与技术研究院(NIST)的定义,云计算是“一种基于按使用付费的模式,通过便携、按需的网络访问资源共享池,以最少的消费管理成本和服务提供商协作,获取可配置、可靠、能够快速提供及的计算资源,如网络、服务器、存储、应用、服务等”。
针对云计算的使用模式,业界也提出了三个不同的概念:软件即服务(Software-as-a-Service,即SaaS)、平台即服务(Platform-as-a-Service,即PaaS)和基础架构即服务(Infrastructure-as-a-Service,即IaaS)。SaaS是一种基于Web的软件租赁模式;PaaS是开发定制的、托管于Web系统的应用;IaaS则是指服务器、存储和计算能力采用“即付即用”的使用模式,在防火墙的内部和外部均能有效获取,分别对应相互独立的内部云和外部云。假如能在内部云与外部云之间制定一种标准,使两者实现协同管理,那么一种跨越内部云和外部云的虚拟私有云便将成为现实,它将帮助企业获得云计算的所有好处。
企业对于灵活性、可用性、性能等需求的日益增长,使IT管理标准越发彰显其重要价值。部署支持管理标准的系统、工具和解决方案,将有助于降低系统管理的复杂性并降低IT的总体拥有成本。然而,当前内部云和外部云之间普遍缺乏一种互操作标准,导致内部资源和可利用的外部资源无法实现有效连接。同时,用户由于普遍担心在专有工具、格式和基础架构方面的巨大投资无法取得预期回报,而不敢贸然选择云供应商。因此,标准的缺失导致云计算无法释放其全部潜能。
为实现云计算这一全新模式,有必要研发、采用和推广一种具备互操作性的IT管理标准。唯有如此,用户才能放心地选择云技术,获得随需应变的灵活性。同时,这还将促使IT技术厂商专注于改进功能、可靠性及性能,不必再将重点放在格式、和协议等方面。
创建OVF标准
为了描述基础架构的成熟度,Gartner专门创建了一种实现动态IT基础架构的模型。该模型分为五个层次,其中第一层是集中和标准化,第三层是虚拟化和便携性,第五层是IT基础架构转变为业务自动化平台,最终实现“基础架构即服务”。由此可见,为了实现最终的业务灵活性,既需要虚拟化技术实现便携性,又需要相关标准实现互操作性,从而更加全面地管理整个业务的基础架构,使用户不必像过去那样管理IT基础架构的所有要素,只需要利用一系列简单的工具,便可管理、控制计算基础架构,实现整个基础架构的自动化,令IT得以提供高水准的业务灵活性。
目前,业界已经建立了一个标准的、便携的元数据模型,使得跨虚拟化平台的虚拟机部署成为现实。独立软件开发商(ISV)通过测试和开发,可将应用与操作系统封装在一起并进行虚拟机认证。虚拟机在没有任何外部依赖的情况下作为预先配置、预先封装的单元迅速地转化为产品,这无疑非常具有吸引力。这种预先部署、可随时运行、封装成虚拟机(VM)的应用被称为虚拟设备。为使这种虚拟设备得到更加广泛的应用,必需采取独立于厂商的标准进行虚拟机和元数据封装,使任何虚拟化平台都能够自动、安全地进行安装、配置和运行虚拟设备。
这一由分布式管理任务组(DMTF)的开放虚拟化格式(OVF)标准,具备诸多优势:有效提高用户体验,简化安装过程;为用户提供独立、灵活的虚拟化平台;轻松地创建复杂的、预先配置的、多层次的服务;通过便携式虚拟机高效地交付企业软件;使特定平台功能增强,通过可扩展性更容易地采纳虚拟化技术的进展。
OVF与云的互操作
2009年4月,DMTF宣布组建一个被命名为“开放云计算标准孵化器”的组织,以便在系统管理标准的开发、确认、升级和采纳等环节展开合作,满足云计算对于开放管理标准的需求,为云资源管理制定一系列规范。