时间:2023-08-27 15:09:47
序论:好文章的创作是一个不断探索和完善的过程,我们为您推荐十篇云计算的基本架构范例,希望它们能助您一臂之力,提升您的阅读品质,带来更深刻的阅读感受。
中图分类号:TP391.9 文献标识码:A 文章编号:1009-914X(2014)47-0249-01
0 引言
自2006年以来,云概念的提出受到IT界内的很大重视,各大IT公司纷纷研发相应的云产品,为代表的云计算在全世界内得到快速发展。广义范围上,云技术是通过网络服务器向客户提供在线软件服务、软件租借、数据存储及数据挖掘的服务,涵盖多种技术,如虚拟化、分布式计算、分布式数据库及分布式存储等技术。虚拟化技术是云计算技术的基石,是实施的关键技术。利用虚拟化技术才可实现软硬件、操作系统、存储及网络等的虚拟化,最终得以实现云计算的目标。VMware vSphere作为重要的虚拟技术,对于云平台的搭建有着不容小视的作用。
1 VMware vSphere系统概述
1.1 虚拟化技术的含义及地位
当今社会的虚拟化技术是目前大型的数字化控制中心进行硬件资源的整合及提高价值的重要 技术,分为完全虚拟化、部分虚拟化及操作系统层虚拟化三种形式。虚拟化属于一个抽象概念,打破了普通物理硬件和操作系统间的物理连接形式。
服务器虚拟化系统实质是利用虚拟技术在服务器里虚拟出许多客户机进行整合式管理,而这些 客户机是能够相互独立且运行不同操作系统及应用程序。为了成为面向全体用户的系统,必须要设 计一个拥有简洁友好界面的虚拟化客户应用程序,能够更好满足对用户灵活有效管理与服务,实现虚拟化,VMware vSphere就是其中的典型虚拟技术。虚拟化技术涉及的范围十分广,包含服务器虚拟化、桌面虚拟化等技术。
1.2 VMware vSphere虚拟技术简介
VMware vSphere是从原先的VI3基础之上推出的新系统,被称作信息技术业界首款的云计算操作系统。它将应用程序及操作系统从底层的硬件分离出,并通过此简化了IT的操作难度。在现有的应用程序中可以看到有专有的资源,其服务则能够作为其资源池来进行管理。 系统主要包括三个部分:首先是虚拟化的管理器VMM处部分的VMware ESX4,Server一般是用于调配的物理服务器中相应内存、CPU、存储和网络之中的各种硬件资源,在物理服务器上运行的一个虚拟层并通过由此预定的策略将这些相关的资源分配到其中不同虚拟机的运行之中,这些相应的虚拟机凭借安全独立的模式进行并行运行;其次,用来整合及管理vCenter,在虚拟基础架构所有级别上集中控制及可见性都需要提高,利用主动地管理发挥其内在潜能,成为具有广泛合作的伙伴体系可支持、可伸缩及可扩展的平台。
2 云平台系统搭建中VMware vSphere的应用
2.1 VMware vSphere云计算应用综述
VMware vSphere系统能够利用虚拟化技术将数据中心转换为云计算的基础架构,能使IT行业拥有提供灵活可靠服务的机会。其两个核心组件包括VMware ESXi及VMware vCenter Server。其中ESXi属于用来创建及运行虚拟机的中体平台。而vCenter Server[2]可以归类于一种服务,相当于连接到网络的ESXi系统主机的主管理员。
vCenter Server可以将多个主机资源加入资源池中对这些资源进行。此外,vCenter Server还提供许多额外功能,可以来监控及管理物理及虚拟基础的架构。典型数据中心由物理构建块,如x86虚拟化服务器及存储器网络等。
2.2 可扩展VMware vCenter虚拟技术及其应用程序
VMware vCenter常指VMware vCenter Server。VMware vCenter Server提供一个可伸缩且可扩展的平台,给虚拟管理奠定基础。该管理的主机可以提升虚拟性构架的可见性,并能够实现集中化的控制与管理,对其潜能的充分发挥具有十分重要的作用。vCenter Client影响到所有VM的创建、管理、运行及维护的水平,可以使管理主机的服务器优化资源并提高其可用性,从而实现动态化迁移、容错率提高,并完成应用备份。一般VMware vCenter应用程序包含三种,其主要表现如表1所示。
2.3 Mware Data Recovery虚拟备份技术
VMware Data Recovery技术能够创建虚拟机备份,还可以不会中断虚拟机使用或其数据及资料的提供。Data Recovery可以管理现有备份数据资料,并且在备份过时后及时将它们删除。此外,它还可以支持重复功能用来删除其余的数据。
Data Recovery是建立在VMware vStorage API for Data Protection基础上的,与VMware vCenter Server之间集成,可以进行集中调度备份作业。通过与vCenter Server之间的集成,还可实现虚拟机的备份,也就是使用VMwarev Motion及VMware Distributed Resource Scheduler移动该类虚拟机。
Data Recovery可以使用虚拟机以及客户端插件来进行管理和还原相应的备份数据。备份设备是为了开放虚拟化格式而提供的。因此,该插件需要安装Client,基本可在所有由VMware ESXi支持虚拟磁盘上的存储备份。此外,还可以利用存储区域网络、网络附加存储设备和基于具体公用文件的系统。
3 总结
VMware vSphere的应用对于构建当今信息社会的云平台有不容忽视的作用,它的虚拟化的管理器VMM及用来整合及管理的vCenter等对于“云计算”虚拟管理十分重要。随着信息时代的发展,VMware vSphere、Mware Data Recovery等新虚拟平台应用将会越来越为人们所接受。
一、背景
随着互联网和移动互联网的高速发展,网络的灵活性和敏捷性要求更高,现有的传统分布式IP网络的局限性日益突显,主要表现为:
1.网络刚性。网络设备大量由单一功能的专用设备构成,造成网络复杂、无法协同、缺乏灵活性等弊端。
2.网元封闭。硬件和软件一体化的封闭结构,导致设备扩展性差、价格昂贵、不同厂家的网元互通困难。
3.业务僵硬。不同厂家的网元设备功能单一封闭,新业务开发周期长、成本高,难以满足快速灵活提供业务的要求。
4.运营复杂。大量厂家的各类专用设备以及相关的协议众多,网络规划复杂,整合难度高,运营复杂,造成运营成本居高不下。
多年来积累的问题已经使得今天的IP网络患有“动脉硬化症”,网络架构重构迫在眉睫。2006年,SDN概念于是应运而生。
SDN(Software Defined Network)即软件定义网络,是一种开放灵活和可持续演进的新型网络架构,采用软件化、虚拟化的“分离”方法,将现有传统的分布式网络架构进行重构,让网络中的控制面和数据转发面进行分离,由传统分布控制向集中控制的网络转变。
关于SDN网络架构,不同的组织有不同的定义,当前较为主流的是开放网络基金会ONF(Open Networking Foundation)对SDN分层架构的定义,如图1所示。
该分层架构模型得到了产业界的广泛认可和推广使用。
SDN的核心是“S”即软件,也就是网络不再是“硬”的,固化封闭的,难以扩展的,而是可以通过软件程序实现灵活的新I务开发和部署,网络资源可以灵活调度,使得网络作为一个管道变得更加智能和弹性可用,较好地解决运营商现有网络运营的痛点,因此,SDN概念一经提出,就受到了运营商的青睐和积极响应。2014年以来,随着SDN技术的逐步成熟,国内运营商开始进行局部试点商用。
二、传统分布式IP网络和SDN网络架构分析
SDN是对运营商现有网络架构进行重构,重构后的网络是否能够稳定运行,是否出了故障能及时恢复,是否能达到或接近传统分布式IP网络的可靠性可用性要求,是运营商关注的重点之一。
2.1可靠性、可用性
网络的可靠性使用网络运行阶段平均业务失效故障间隔时间来描述,用无故障运行时间来衡量。网络的可用性使用网络稳定不出现故障的时间与总的时间的百分比来表示。
从通俗的角度来理解,可靠性高是指网络持续一段较长时间(如一年或两年)运行稳定,不出现业务失效的故障;可用性高是指网络稳定运行不易出现故障,并且一旦出现故障能够快速恢复。
要提升网络的可靠性和可用性,通常采用冗错技术来实现,也就是在网络设计中增加冗余资源,避免单点故障造成业务失效。
2.2传统分布式IP网络基本架构分析
传统分布式IP网络的基本架构如图2所示,分为管理平面、控制平面和数据平面。管理平面为网管系统,负责网络监控和业务配置,当业务配置下发后即使脱网也不影响网络的正常运转。控制平面和数据平面由路由器等设备组成,路由器负责按路由表转发数据包,采用IGP和BGP两种核心分布式动态路由协议,当网管把业务配置上传到路由器后,如果网络状态发生变化,控制平面即路由器会在网络中自动扩散这些变化,各自根据新的状态自动重新计算路由,全网采用冗余路由技术和路由快速收敛技术,当故障发生时能够在秒级时间内使受到影响的业务得以恢复,网络具有故障快速自愈能力。
2.3 SDN网络基本架构分析
SDN网络的基本架构如下图3所示,分为应用层、控制层、基础设施层。应用层由各类商业应用软件程序组成,通过北向接口向控制器提交各种网络应用;控制层由SDN控制器组成,它是整个网络的控制中心和指挥中心,是整个网络的“大脑”,拥有全局网络视图,负责实时采集全网设备状态、网络拓扑和各链路流量,生成流表并通过南向接口下发给网络设备,同时根据网络状态变化或应用层提交的功能更改重新生成流表并下发;基础设施层由网络设备和线路组成,一方面负责接收控制器下发的流表并按之进行数据包转发,另一方面负责将网络资源信息和状态上报给SDN控制器,是执行单元,本身不做决策。
从SDN网络的架构来看,SDN控制器作为网络的“大脑”是关键部位,成为单点故障引发全网故障的风险点。
2.4两种架构的可靠性可用性比较
从传统分布式IP网络和SDN网络的基本架构来看,传统分布式IP网络的控制功能是分布式的,任何一个单点故障发生时网络具有快速自愈能力,而SDN网络的控制功能全部集中在SDN控制器,有单点故障引发所有业务失效风险,因此,传统分布式IP网络的可靠性和可用性较高,但是,SDN具有简化网络、快速业务开发和部署、低成本等核心价值,值得研究对策,让SDN网络可用。
三、提升SDN网络可靠性可用性的策略
可靠性和可用性是基于网络故障来考虑的,如果能够识别出各层可能发生的故障及对网络的影响程度,拿出应对策略,避免网络因单点故障而瘫痪。
从SDN网络架构来看,各层可能出现的故障如下:
应用层
设备方面:服务器故障、应用程序故障、服务器所在机房出现断电等故障。
链路方面:服务器与SDN控制器的通信链路故障。
安全方面:非法侵入等。
控制层
设备方面:服务器故障、SDN控制器软件故障、服务器所在机楼出现坍塌等故障。
链路方面:SDN控制器和网络设备之间的链路故障。
安全方面:非法接入或受DDOS攻击等。
基础设施层
设备方面:网络设备故障。
链路方面:网络设备之间的链路故障。
安全方面:非法侵入等。
针对以上各层可能出现的故障,以及各层在网络中的重要程度,权衡成本投入以及可接受的可靠性、可用性等因素采取以下的应对策略:
3.1应用层的应对策略
应用层的设备方面故障对网络的运行影响并不大,当应用需求通过北向接口提交给控制器,由控制器生成相关的业务逻辑变成相关流表下发给网络设备执行,此后,应用程序的服务器即使出现脱网等故障也暂时不会影响网络的运行。因此,用层的服务器、应用程序采用冷备份冗余设计,考虑到机房安全问题,在异地机楼部署冷备份系统。当主用系统出现异常时切换到冷备份系统上运行。
防范链路方面的故障,可采用一条主链路和一条备用链路。由于与应用程序通信的外部设备是可知的,因此,防范安全方面造成的故障,采取对连接的设备进行白名单设置并进行严格的身份认证。
3.2控制层的应对策略
SDN控制器是网络的控制中心和指挥中心,一旦SDN控制器无法提供服务,假设基础设施层的网络没有发生变化,网络设备仍按原有的流表进行转发,不影响网络运行,但是此时基础设施层的网络拓扑如果发生变化,没有SDN控制器重新计算路由生成新的转发流表,对网络的运行就会造成重大影响。因此,控制层健壮性设计非常关键。
防范设备方面的故障,采取SDN控制器异地机楼的热备份设计显得尤为重要,承载SDN控制器软件的服务器采用云化虚拟机集群,这些虚拟机独占物理设备不与其他用户分享,软件采用分布式部署,主用控制器和备份控制器同时运行,都在处理业务,是负载均担关系,因此具有超强的自愈能力来应对单台或多台服务器故障,冗余保护措施在故障情况下自动生效,对外服务不中断,故障服务器修复后重新上线,系统自动平衡工作负载。
控制器和网络设备之间的通信链路如果中断导致控制器无法控制网络,会造成重大影响,为了防范链路故障的影响,应采用控制器通过多条链路连接到网络设备,采取带外专门的链路通道,辅以带内控制通道作为冗余链路,使得任何一条链路故障,都不影响控制器与网络设备的通信。
为防范非法接入或受DDOS攻击,应采取在SDN控制器和网络边界处部署防火墙、入侵检测设备以及流量清洗系统。通过防火墙和入侵检测设备进行访问控制、病毒木马防治、非法入侵检测、安全漏洞扫描等,采取只对特定的IP地址提供服务并按需开放端口原则,阻断非法IP接入或攻击;通过清洗系统对进出控制器的流量进行分析,一旦发现非法攻击流量,立即引导非法流量到清洗部件。
3.3基础设施层的应对策略
基础设施层的网络设备或链路故障,会造成部分业务中断,故障发生后,SDN控制器会根据网络变化情况,重新进行路由计算并生成新的流表下发给在线运行的网络设备,实现网络收敛。在设计网络节点时采用传统的设备冗余、链路冗余技术,部署IP FRR快速重路由,一旦节点故障发生,网络设备在没有控制器控制下也能自动完成路径切换。适当加大资源冗余度,以轻载为主,链路带宽利用率控制在50%以下。防范非法侵入网络设备产生的故障,采取管理控制网络与公网隔离,对远程登录进行严格设置和身份认证。
四、SDN可靠性可用性策略在实际网络部署中的应用
中国电信广西公司从2014年以来,积极推进SDN网络的试点工作,在实际SDN试点网络部署中综合考虑以上可靠性可用性策略,采用如图4的方式部署:
应用层和控制层的软件使用云资源池分配的虚拟机来承载,同时在异地机楼云资源池上部署备用系统。应用层和控制层的虚拟机各自独占一个VLAN与云资源池中的其它网络进行隔离。这些虚拟机独占物理设备不与其他用户分享。SDN控制器采用热备份部署。
SDN控制器与网络设备的通信链路,采用带外管理控制网络和带内控制通道相结合的方式。
基础设施层采用设备、链路冗余配置。
在控制层部署防火墙、入侵检测设备和流量清洗系统,保障SDN控制器的安全。
通过在SDN试点网络进行了专线业务开通、业务流量优化、新业务开发和部署、模拟攻击、设备主备倒换等一系列实验,各项业务功能达到了预期效果,网络可靠性可用性也达到商用的要求。
五、结束语
SDN网络架构具有传统网络无可比拟的优势,虽然SDN网络的可靠性可用性相对于传统分布式IP网络而言,还有一些差距,但是可以通过以上的策略来提升SDN网络的可靠性可用性,从而使SDN网络达到可商用的目的。
参 考 文 献
[1]闫长江,吴东君,熊怡 .SDN原理解析―转控分离的SDN架构[M].北京:人民邮电出版社,2016
(一)智慧旅游概念研究现状
众所周知,当IBM公司首席执行官彭明盛在2008年首次提出“智慧地球”一词之后,便引发了对“智慧旅游”的研究热潮。从研究情况来看,国际上鲜有把智慧旅游作为旅游业发展的核心战略,而是从可持续发展的角度,把游客广泛参与、游客与旅游目的地的深层次关系,以及旅游业在社会经济全面发展中的作用等作为关注的重点,来探索旅游智慧化进程带给旅游业的整体利益。总的来说,主要关注智慧旅游在实践中的应用。例如,2000年12 月 5 日,加拿大旅游业协会的菲利普斯(Phillips)把智慧旅游定义为 “简单地采取全面的、长期的、可持续的方式来进行规划、开发、营销旅游产品和经营旅游业务。”在他看来,发展智慧旅游需要智慧的管理策略和营销技术,根据游客需要,及时传递信息。与国外相比,国内学者主要关注理论方面的研究,比较有代表性的观点是,一是以马勇、姚志国等为代表从“技术应用论”的角度,对智慧旅游进行定义,他们认为,智慧旅游以人本、绿色、科技创新为特征,利用云计算、物联网、高速通讯技术等信息高科技提升旅游服务质量与服务方式,改变人们的旅游消费习惯与旅游体验,从而成为旅游发展与科技进步结合的世界时尚潮流。二是以张凌云、史云姬等为代表,从“管理变革论”的角度解读智慧旅游,认为智慧旅游的目的是提升服务水平,改善旅游体验,创新旅游管理模式,提高旅游资源利用效率,进而促进整个旅游行业的发展。把智慧旅游定义为是基于新一代的信息通信技术(ICT),为满足游客个性化需求,提供高品质、高满意度服务,而实现旅游资源及社会资源的共享与有效利用的系统化、集约化的管理变革。纵观上述内容,国内学者在概念方面存在共识,他们都赞同智慧旅游的发展依赖云计算、物联网、互联网等信息高科技技术,通过对新技术的应用来改善旅游发展模式、管理方式、旅游服务质量。
(二)国内智慧旅游的发展方式
国内旅游业发展相比西方国家时间较短、经验不足、资本基础较薄弱,因此,国内在智慧旅游建设方面政府起主导作用,主要借助于政府的力量,形成国家和地方规划,整合旅游相关资源,建设公共服务平台,指导、协调市场主体参与的智慧旅游体系建设,激励旅游企业的技术创新,从而实现智慧旅游的跨越式发展,完成西方发达国家在过去数十年方才完成的旅游业变革。在国内,智慧旅游已被纳入“十二五”旅游发展规划体系之中,2009年国务院颁布了《关于加快发展旅游业的意见》( 国发[2009]41 号) ,在这一精神指引下,旅游业开始寻求以信息技术为纽带的旅游产业体系与服务管理模式重构方式,以实现旅游业建设成为现代服务业的质的跨越,受智慧城市的理念及其在我国建设与发展的启发,智慧旅游营运而生。另外国家旅游局还部署了“智慧旅游城市”的试点工作,确定洛阳等13个城市为首批“国家智慧旅游试点城市”,在这一机遇下,洛阳可以根据自身情况制定智慧旅游发展计划。
二、城市智慧旅游基本架构分析
从城市的角度来看,城市智慧旅游可视作智慧城市信息化的一个重要子系统,简单的来说,智慧城市是一棵树,而城市智慧旅游是这棵树的一个树杈,为实现智慧旅游的某些功能可借助或共享智慧城市已有的成果。因此,城市智慧旅游的架构体系依托智慧城市的发展。“智慧城市”是将物联网感知技术和“云计算”技术等融入“数字城市”中,从而实现对“数字城市”的质的提升与飞跃,达到经济上健康合理可持续、生活上和谐安全更舒适、管理上科技智能信息化,真正实现人与城市的完美融合。而城市智慧旅游就是借助智慧城市的技术基础设施整合旅游资源和旅游产业链,为旅游市场主体的旅游活动提供丰富的信息资源,其基本架构主要包括技术层、应用层、产业层和关联层。智慧旅游的技术层就是指智慧城市依托的新技术在智慧旅游中的应用,包括信息技术、物联网技术、互联网技术等,它为城市智慧旅游的根基,也是智慧旅游的来源。应用层是指技术层与旅游要素相融合,即把新兴技术运用到旅游要素中,为智慧旅游的科学有效发展提供依据,从而实现旅游资源分析智慧化、旅游服务智慧化、旅游环境智慧化、旅游营销智慧化、旅游接待体系智慧化等等。产业层是指通过渗透在旅游业各个市场中的智慧因素而实现旅游产业转型升级和产业的丰富,不仅包括智慧要素在原始旅游产业和部门中的实践,而且还包括智慧城市背景下带来的新的文化产业和创意产业的兴起。关联层就是指上述所提到的,城市智慧旅游是智慧城市的一个重要子系统,其存在是与智慧城市的其他部件相互关联在一起的。一方面,智慧旅游的构建体系与其他智慧产业体系都依赖于智慧城市的感知层和技术层,实现基础设施和资源的共享;另一方面,旅游业是一个关联度很高的产业,相应地,智慧旅游体系构建同时也需要借助与旅游相关的其他产业智慧化体系的构建。
从上述城市智慧旅游的基本架构体系来看,其设计重点应落实在三个方面:一是充分利用城市旅游产业发展过程中积累的各种旅游信息资源,采用数据挖掘技术对旅游产品进行聚类分析和关联规则的挖掘;二是要慎重选择城市智慧旅游各个项目的商业模式,形成良好的产业效应;三是要紧跟新科技发展步伐,注重云计算、云存储及物联网等新技术的应用,通过云平台的方式整合城市各种文化旅游资源,形成一个城市的旅游云,整体提升智慧旅游的建设水平。
三、探研洛阳市智慧旅游体系建设
(一)体系构建的可能性条件
洛阳市智慧旅游体系构建条件主要体现在以下方面:一是洛阳是国家首批智慧旅游试点城市之一,在智慧旅游的建设过程中,中央政府和当地政府起主导作用;二是洛阳市有良好的旅游资源,游客量大,为满足深入体验的需求,游客对旅游服务信息的要求全面而便捷,洛阳市智慧旅游体系的构建有强烈的市场需求;三是自洛阳被确定为“国家首批智慧旅游试点”之一以来,洛阳市政府着手进行智慧旅游城市建设,确立了以云计算架构建设综合数据中心的思路,建设支撑旅游产业及公共服务数据库,目前全市智慧旅游综合数据库已相当完善,并且全市3A级以上景区推进数字化景区建设,为游客提供无线上网、自助导游等智慧化服务,可以看出近年来洛阳市智慧旅游的发展已具规模;四是洛阳目前已制定了《洛阳市智慧旅游城市工作方案》《智慧旅游城市建设方案》,确定了“1个中心(旅游综合基础数据库暨云计算中心)、1个基础(智慧旅游基础设施建设)、4个平台(智慧旅游公共服务平台、智慧旅游综合监管平台、智慧旅游电子商务平台和智慧旅游市场营销平台)和8个智慧旅游业态(智慧旅游景区、智慧旅游饭店、智慧旅游餐饮、智慧旅游购物、智慧旅游乡村、智慧旅行社、智慧旅游交通、智慧旅游娱乐)”的智慧旅游城市建设总体框架,本文希望结合政府的建设框架,提出自己的构建体系,以期为洛阳市智慧旅游体系的构建贡献一份力。
(二)洛阳市智慧旅游建设目标
智慧旅游是基于新一代信息技术,包括云计算、物联网、移动互联网等,为满足市场活动主体个性化需求,提供便捷而全面的高品质服务,除此之外,新一代信息技术在旅游企业、政府管理等方面的运用,从而实现旅游资源及社会资源的共享与有效利用的系统化、集约化的管理变革。因此,洛阳的智慧旅游也应基于新一代信息技术,以政府为主导,通过智慧旅游体系的构建,来改善游客的旅游体验,改进旅游企业的管理模式。由以上定义可以看出,洛阳市智慧旅游建设服务的对象主要为大数据时代下的游客、与旅游相关的行业、当地旅游资源。对于游客来说,智慧旅游建设目标主要是让不同类型的游客拥有更加智能便捷而又愉悦的旅游经历;对于相关行业,主要是为旅游行业以及相关行业管理提供更高效、智能化的信息服务平台;对于旅游资源,主要是促进洛阳市自然、文化旅游资源的深度开发,创新旅游产品,使洛阳旅游资源拥有更强的生命力,构建洛阳旅游文化云。
(三)洛阳市智慧旅游总体构想的设计理念
洛阳市智慧旅游总体构想的设计理念主要是为实现旅游的智慧化而提出的。洛阳市智慧旅游应在技术、应用层的支撑下,构建资源统一管理、信息共享、应用广泛而便捷的城市智慧旅游总体架构,重点建设数据库,数据库是智慧旅游的生命线,没有数据的智慧旅游只能是空中楼阁。洛阳智慧旅游应确立以云计算架构建设综合数据中心的思路,建设支撑旅游产业及公共服务数据库,建立包括旅游公共服务数据、产业数据和综合管理数据交换系统。以数据库为基础的同时,还应以中央管理平台为中心,利用先进的技术设备,统辖与旅游相关的各个方面。
(四)洛阳市智慧旅游的总体架构体系
洛阳市智慧旅游的总体架构是:在完善智慧城市基础公共保障的前提下,主要分为旅游相关主体应用体系和技术支撑体系两大层次,并统一在中央管理平台之下。
如图1所示:
1、旅游相关主体系统
在洛阳智慧旅游总体规划体系中,旅游相关主体系统包含游客、景区、旅游社、饭店、其他服务者以及政府部门六大主体对象以及一套安全保障体系,实际上他们不仅是旅游的重要组成部分,而且在智慧旅游中各自扮演着不同的角色,智慧旅游主要是深化旅游体验和提供智能服务,因此,“游客”与“政府部门”在该系统中处于主要地位,而景区、旅行社、饭店以及其他从业者在该系统中作为游客体验与政府管理的实际载体而存在,共同组成智慧旅游的服务业者。可以看出,旅游业各个主体之间联系贯通,使智慧旅游主体更显完善而全面。智慧城市基础公共保障则包含智慧环保、公共安全、智慧交通、智慧医疗、突发事件智慧防控六个方面,该体系虽不完全直接隶属于智慧旅游的主体系统,但对智慧旅游主体的运作处于举足轻重的地位。
(1)游客
主要是指使用洛阳智慧旅游网络平台的游客,他们通过旅游年票、移动应用终端APP、信息服务触摸屏、智慧旅游咨询预订查询终端等进入并访问洛阳智慧旅游系统,以获取所需要的旅游相关资讯和智能服务。
(2)景区
洛阳自然景区和人文景区资源丰富,游客量大,在智慧旅游发展的基础上,洛阳景区着手进行智慧化建设,该系统主要包括手机二维码电子门票、无线旅游平台、景区客流动态监测系统、景区信息系统、旅游资源管理系统、景区定位导航系统等。
(3)旅行社
通过建立一个统一的管理系统,整合各种相对分散的旅行社业务信息、资源,为旅行社提供统一的界面、工作环境以及一种快速安全的数据交换标准,并做到及时汇总与更新,使旅行社业成为一个有机的、紧密联系的、高效的、共享的整体。旅行社信息系统主要是为旅行社以及服务对象构建一个完整有效的信息系统。
(4)饭店
饭店信息系统包括顾客数据管理系统、客房服务系统、饭店内部运营系统等子系统,目的是便于饭店的正常运营和管理,以及维护旅游者的权益。
(5)其他
这类旅游从业者,主要包括旅游在线服务商、各种服务业者,他们通过智慧旅游系统获取精确的旅游资讯,服务于旅客。具有代表性的系统是旅游目的地营销系统。
(6)政府部门
主要是指旅游行业管理部门,该信息系统主要包括旅游门户网站集群、智慧旅游指挥系统、12301旅游服务热线、智慧行政办公系统、旅游行业监督管理系统。特别是洛阳市政府部门近期开通的智慧系统统辖全局,即可对景区客流动态进行实时监控,也可通过旅游车辆GPS系统实现对旅游团队的监控,使洛阳旅游业在一个整体的框架内有条不紊的进行。
(7)公共保障
智慧城市基础公共保障则包含智慧环保、公共安全、智慧交通、智慧医疗、突发事件智慧防控六个方面,该系统的建设是充分运用信息和通信技术整合城市资源,为民生、环保、公共安全、城市服务、工商业、旅游业等各种需求做出智能的响应,为市民和游客创造更美好的城市生活。
2、技术支撑体系
技术支撑体系主要包括旅游信息资源数据库和基础服务系统,统一为旅游相关主体应用体系提供全面而强大的支持服务。
(1)技术层
该体系中的技术层就是指智慧城市依托的新技术在智慧旅游中的应用,包括信息技术、物联网技术、互联网技术等,它为城市智慧旅游的根基,也是智慧旅游的来源。
(2)旅游资源数据库
CIS数据库、游客资源数据库、旅游资源数据库、与旅游相关的交通等行业数据库等都是典型的旅游资源数据库,洛阳智慧旅游建设总体构架设想是从大旅游的格局以及旅游信息化整体和全局出发,目的是实现各种旅游资源的整合,在全市范围内制订标准与规范的数据,建立有效的旅游资源共享机制,数据库资源实现分级管理。
(3)智慧旅游公共服务系统
该系统包括呼叫中心、数据挖掘与决策支撑、地理信息服务、智能服务、融合通信服务等方面。从包含的内容来看,该部分就是一个信息接口平台,被旅游相关主体对象所使用,能够统一管理和智能调度各种旅游资源,并提供旅游资源调控、运行态势监督、资源使用、统计旅游情况预测等功能。
3、中央管理平台
智慧旅游中央管理平台在功能上是作为洛阳智慧旅游的大脑和枢纽,在整个智慧旅游总体架构中起到匹配、整合、协调、联动各个旅游相关主体应用系统和管理系统的作用,在实现智慧旅游各子系统相关高层业务数据统一抽取、融合共享的基础上,与多种配套保障体系相互配合,对景区、饭店、旅行社等旅游主体应用系统进行统一协同管理,实现多系统间的信息共享、协同联动,并为旅游行政管理单位人员提供统一的入口,以进行旅游行业监控与管理。
四、结语
二、云审计对供电企业审计工作带来的机遇和挑战
1.云审计对供电企业审计工作带来的机遇
(1)审计数据处理能力将全面增强。在云审计环境下,审计师不需要面对堆积如山的会计凭证和业务档案,云计算的高速计算技术可以根据不同的审计目的,在企业数据库中有针对性地筛选出可疑信息,进行由点及面的扫描分析,从而得到更加客观的审计评价。
(2)审计将为高层决策提供更有力的支持。云审计可以通过对特定领域的原始数据分析,提取工作流程数据的变化特点,了解业务发展的基本趋势,提前预警可能出现的风险和隐患,为高层决策提供关键支持。例如,在营销业务数据中如果发现某一类用户的满意度有所下降,就可以结合相关数据开展原因分析,研究一段时间内的变化趋势,为下一步制定用户服务策略提供依据和参考。
(3)审计项目的工作质量将得到充分提升。通过云审计,审计组负责人能实时了解每个组员的工作进度,并有针对性地提供指导、监督和复核。并能按照项目实际情况的变化,对审计要求和人员分工进行优化和变更,以更快的速度来处理审计项目的难点问题和反馈必要的审计信息,从而实现对审计全过程的有效控制,确保审计质量达到预定目标。
2.云审计对供电企业审计工作带来的挑战
云审计为供电企业审计工作的全面信息化奠定了坚实的基础,同时,也为审计工作带来了巨大的挑战。在云审计的实际应用中,还存在一些有待克服的难点和问题。一是对“离线操作”问题难以介入,当舞弊人员恶意录入与实物不符的业务数据时,数据分析工作就难以达到预定的审计目标。二是云信息安全风险,一旦用户端密码泄露或被破解,集中储存在服务器中的大量审计数据就存在泄密问题。三是电子证据取证较难,电子证据具有不可见、可迁移、可修改等特征,在取证时需要更多地关注审计证据的可靠性和准确性。四是审计师的综合分析能力还需提高,云审计需要更多的集财会、审计、计算机等技术于一身的复合型人才,审计部门必须加强对审计师的全面技术培养。
三、云审计系统的框架构建
1.云审计系统的概念和特点
云审计系统是一个全新的事物,国际上暂时还没有给出一个比较准确和完整的定义。为方便研究,本文基于信息技术现状和审计实际应用,对云审计系统的概念进行初步阐述:云审计系统是基于所获得的数据,根据审计对象的基本特性,通过设定计算、判断和限制条件建立数学或逻辑表达式,用于对审计目的进行验证的过程。云审计系统主要有五个特点:
(1)审计网络自助服务。审计自助服务免去了审计师与被审计单位在数据获取上的沟通,使审计师能自行获取所需数据,并设定疑点检查条件。
(2)高带宽网络。多个审计师可以在不同的地点获取同样的数据,在网络速度上不会受到影响。
(3)审计数据资源池。审计师可以将得到的所有数据上传至“云端”,形成审计数据资源池,共享给有相关权限的其他审计师。
(4)审计弹性架构。使审计师可以随时随地通过权限认证后登陆系统获取资源。
(5)可度量服务。为审计系统提供自动化的监控,并记录审计师的工作过程,包括审计方法、程序和证据获取手段等。
2.云审计系统建设的可行性分析云审计系统的建设并非遥不可及的事情,国内一些审计机关和大型审计机构使用的审计信息系统已经基本符合云计算的主要特点。供电企业建设云审计系统的可行性主要有三个方面:在理论基础方面,国际上关于云计算系统的理论体系已经基本完备,国内云计算技术的研究和发展也十分迅速,为云审计系统提供了充分的先决条件。在技术方面,实施云计算的各种技术方案体系已经在生活的各个方面投入应用,供电企业的审计信息化也有相当坚实的基础,完全可以借鉴其他行业在云计算方面的先进技术和经验。在成本方面,云审计系统的部署费用并不高昂。服务器和网络设备可以基于现有条件加以升级和改造,不需要全部更换。用户端也不需要更换新的设备,凡是能打开浏览器的电脑、平板电脑甚至智能手机都可以登陆云审计系统。
3.云审计系统的基本架构
目前的云计算模式有三类,包括公有云、私有云和混合云。公有云是为公众提供服务的平台,任何人都可以通过授权登入该平台;私有云是企业在内部建设的专用系统;混合云则是同时提供公有和私有服务的系统,是介于公有云和私有云之间的折衷方案。基于审计数据保密性和安全性的考虑,以组建私有云较为稳妥。基于私有云的基本服务架构,云审计系统主要包括审计资源层(IaaS)、审计平台层(PaaS)、审计应用层(SaaS)等3个层级。
(1)IaaS层是系统架构的基础,采用物理资源虚拟化技术,使系统中各个应用的不同用户实现资源共享,主要包括信息资源和硬件资源两个部分。硬件资源包括网络设备、计算设备和存储设备,为云审计系统提供网络、计算和存储等服务;信息资源通过对数据的采集、存储、分类、组织等为上层提供信息服务,包括企业审计基础信息资源库、共享数据资源以及各专业数据库组成的业务信息资源。
(2)PaaS层是系统架构的核心,采用分布式的存储和计算实现对数据的分析处理。并为上层应用服务提供运行和维护,为下层基础资源提供资源管理服务。业务开发组件提供系统程序拓展所需的环境和工具集;综合服务组件提供基础的综合管理、工作应用、用户管理、权限管理、访问控制和身份认证等服务。资源管理组件为审计资源层提供目录管理、数据采集、资源整理等服务。
(3)SaaS层是针对审计业务框架的软件服务集合,实现供电企业审计业务的核心功能,为客户端提供业务支撑。根据供电企业的业务需要,形成各项审计应用服务,并实现应用软件的云部署。其内容主要包括审计项目管理、审计业务流程、审计质量控制、审计数据分析、审计案例浏览以及其它审计应用等服务。此外,在客户端方面,审计师只要使用带有浏览器程序的电子设备便可登入系统。云审计系统还拥有高可靠性的云安全环境,对系统和数据进行全方位的防病毒检测和处理,确保审计数据的安全性。
4.云审计系统的数据处理流程
基于大数据背景,云审计系统可以将各供电企业的审计数据整合为海量的审计资源池,构成审计数据的采集、导入、分析、展示平台,使审计业务流程转化为数据处理过程。
(1)云审计系统的数据采集
云审计系统的数据采集方法必须非常全面,充分考虑审计数据的复杂性、多样性和异构性。常见的数据采集方法有两类,一类是复制采集,从被审计单位导出数据库信息或整个数据库的备份,用移动硬盘或优盘拷贝的方式,上传到云审计系统进行处理;另一类是在线采集,与被审计单位的业务系统制定标准的数据接口,不间断地连续采集业务数据,实现对业务流的动态监控。在线采集方式具有时效性强、响应速度快的优点,今后将成为主流的数据采集方式。
(2)云审计系统的数据导入
在供电企业各类业务系统的海量数据中,数据之间的结构和类型千差万别。在进行分析之前,应先将这些数据有效地导入系统,把重要数据如重要指标、近期变化数量等置入高性能存储器中,把不常用的次要数据置入一般存储器,并去除不需要的冗余数据。
(3)云审计系统的数据分析
云审计系统中集成了大量审计分析程序,利用分布式计算集群对海量数据进行各种分析和分类统计,以满足审计师的分析需求。云审计系统的数据分析具有以下几方面的特点:一是审计分析程序的可构造性。各种审计分析程序以模块化的方式提供给审计师,可以进行任意调整。审计师不再需要进行原始编程,只要在云审计系统中将程序模块像搭积木一样进行组合和排列,就可以完成分析程序的编辑,从而达到各种分析目的。二是注重对数据的全面分析。在传统审计中,由于审计师无法将所有信息和资料都看完,于是经常采用审计抽样的技术方法。但是在大数据处理时代,抽取样本检查和全部数据检查这两种方式,在云审计系统面前的区别,只不过在时间上相差数秒钟或数分钟而已。当审计师能够在很短的时间内处理完全部的数据时,就会减少对审计抽样方式的依赖。三是注重数据之间的关联度分析。在以往的审计中,对被审计单位工作数据的检查,只是对特定的业务数据进行简单的统计和复核。在云审计系统中,还可以从该项数据关联的其它数据,对审计目标加以验证。例如在审查工程费用时,可以同时检查物流部门的工程物资数据、监理机构的监理信息、工地用电记录等等,对工程的合理性和真实性进行多方位分析。四是实现对非结构化数据的分析。非结构化数据指的是图片、视频、音频等无法结构化的信息。非结构化数据在以往的信息化技术中也是一个难点,因为它们不像那些表格式的数据一样容易抽取和筛选。而在云审计系统中,图片、视频、文档也能做到自动摘要、分类处理和聚类分析,这就充分拓展了审计师的分析视野。五是实现对数据的深度挖掘。供电企业的审计数据挖掘可以从各个专业领域入手,在现有数据上进行基于各种算法的运算,实现高级别数据分析的需求,例如对业务情况进行一段时间内的趋势分析、计算业务风险发生的概率等等。
(4)云审计系统的数据展示
数据展示将实现可视化,能够直观地将数据的特点、变化和疑点呈现出来,将难以阅读的原始数据转变为界面清晰、易于理解的图表。进而使审计师能够与这些能讲故事的数据进行交流,对数据处理结果进行多维度分析,从中找到审计问题出现的基本规律和深度原因。
中图分类号: TN911?34; TP37 文献标识码: A 文章编号: 1004?373X(2013)14?0010?03
Cloud computing technology and modeling of mass VOD system
CHEN Xu?wen, HUANG Ying?ming
(Department of Information Engineering, Jieyang Vocational & Technical College, Jieyang 522000, China)
Abstract: With the promotion of the triple?net fusion, the mass VOD emerges out some characteristics such as complicating data, multiple platforms and huge business, which make a huge challenge to the traditional on?demand mode. By using the powerful computing ability and mass data efficient processing of cloud computation, the application of cloud computation in mass VOD system is discussed on the basis of analysis of the basic framework and technical characteristics of cloud computation and in combination with the characteristics of VOD service. The framework and working principle of the cloud computing system are analyzed. Some main technologies, such as redundancy backup of data, heartbeat detection, replacement of intelligent nodes and load balancing are elaborated. A new idea to make the mass video propagation smooth is put forward.
Keywords: cloud computation; mass VOD; Hadoop system; modeling
随着互联网技术和多媒体技术的迅猛发展,基于网络的视频点播(Video On Demand,VOD)业务成为了网络应用的一大热点。人们通过手机、掌上电脑等简易的终端设备随意欣赏视频的新型模式极大地颠覆了传统的电视观看模式,逐步成为视频点播的主流。虽然流媒体及P2P技术[1]的应用在一定程度上减轻了中央服务器和骨干网络的负担,优化了节目流的播放质量,但当面对热点视频时,海量视频的处理传播极大地考验着视频运营商的实力。另外,随着电信网、计算机网和有线电视网三网融合步伐的快速推进,对于视频点播业务的需求也将呈现出数据量剧增和多平台共存的局面,光靠原有的硬件基础绝对无法满足形势的发展,而增加投入势必会增加企业的运营成本,租用第三方运营平台将成为一种发展趋势。
作为一种新型的商业计算模型,云计算提供了强大灵活的计算能力和高效快捷的海量数据处理方法,其高可靠性也是普通的第三租赁方所无法比拟的。本文以云计算为平台,研究了基于云平台的视频点播模式,为解决海量视频的高效传输提供了新方法。
1 云计算技术及海量视频点播的技术特点
1.1 云计算的概念
自云计算(Cloud Computing)概念提出以来,至今仍没有统一、公认的定义,比较获得业界认可的是2011年由美国国家标准和技术研究院(NIST)提出的[2]:云计算是一种通过网络以便利的、按需付费的模式获取计算资源(包括网络、服务器、存储、应用和服务)并提高其可用性的模式,这些资源来自一个共享的、可配置的资源池,并能够以最省力和无人干预的方式获取和释放。
云计算是网格计算、并行计算、分布式计算、效用计算、网络存储、虚拟化、负载均衡等传统技术和网络技术发展融合的产物,它以虚拟化为核心,通过网络把多个成本较低的计算实体整合成一个具有强大计算能力的资源系统,以按需、易扩展的方式为用户提供所需的各种资源和服务。云是一个包含大量可用虚拟资源的资源池,云中的资源在使用者看来是可以无限扩展、随时获取、按需使用、按量付费的[3]。云模式[4]也即电厂模式,利用电厂的规模效应来降低电力价格,用户根据用电量付费,便可源源不断获取电力资源,而无需维护和购买任何发电设备。
云计算具有低成本、高性能、超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务等特点[5]。目前比较成熟的云计算业务和应用有:Google的AppEngine、Amazon的弹性计算云EC2、微软的Azure云平台和IBM的蓝云等。
1.2 云计算的架构[5]
(1)软件即服务(Software as a Service,SaaS):SaaS服务供应商将各类应用软件统一部署在服务器上,用户通过简易的互联网接入终端就能直接使用,并按需按量付费。云中的软硬件设施由供应商负责维护和管理,用户不需顾虑类似安装、升级和防毒等琐事,且免去初期高昂的硬件投入、人员配置、软件许可证等费用的支出,经济便捷。
(2)平台即服务(Platform as a Service,PaaS):PaaS主要面向开发人员提供一个应用的开发和部署平台,包括SDK、文档、测试环境和部署环境等。平台的部署和运维均由供应商负责,用户可一心一意致力于研发工作。
(3)基础设施即服务(Infrastructure as a Service,IaaS):IaaS由底层硬件或虚拟机资源构建而成,用户从供应商那里获取所需的计算或存储资源来装载相关应用,且仅需为所租借的那部分资源付费。
1.3 海量视频点播的技术特点
(1)文件庞大,数据量多。单个视频文件非常大,视频资源繁多,数据海量化。
(2)编码多样,业务复杂。随着三网融合的推进及视频播放技术的改革,必将出现多编码、多平台共存及多业务共享的局面。
(3)质量至上,要求严格。庞大的数据量对服务器性能及网络带宽要求甚高,而随着点播量的快速增长,对于计算能力及处理强度的要求也相应剧增。
2 海量视频点播系统的云计算技术与建模实现
2.1 系统架构
根据视频点播业务的技术特征及云计算技术的特点,本文提出了基于云计算的海量视频点播平台的基本架构,其拓扑图如图1所示。用户通过Web交互服务器向视频点播系统发出业务请求,经Web交互服务器受理后将具体的业务要求提交给云核心服务器,由核心服务器对整个云文件系统进行控制处理,完成视频文件的调用并反馈回客户端。
图1 系统架构图
2.2 系统工作原理
系统采用Hadoop系统实现云点播平台SaaS层的构建[6]。根据点播系统的功能要求及Hadoop系统的基本构成,包括以下几个功能组件,阐述如下:
2.2.1 Web交互服务器
在整个点播系统中,Web交互服务器作为系统前端窗口,负责受理用户的点播、注册、用户管理等常规业务,当涉及视频文件调用时,则将业务请求转交给后台的云核心服务器处理,Web交互服务器仅负责点播信息的传递工作,没有涉及具体视频文件的传输内容。
2.2.2 云核心服务器
云核心服务器位于云计算的最上层,负责整个云系统的资源管理及任务控制。
(1)资源管理。作为Hadoop系统的主控节点,云核心服务器负责记录文件的数据块分割规则及这些数据块的具体存储位置,对内存及I/O进行集中管理。为加快维护效率,同时减轻本身负担,云核心服务器通过与各集群主控服务器进行交互控制,对集群中的所有节点和所有虚拟机进行实时控制,维护系统的资源状态信息表。为提高系统的运作性能,云核心服务器仅管理文件系统的元数据,具体的数据访问则交由下层服务器负责[7]。
(2)任务控制。响应Web交互服务器的点播请求,检索资源状态信息表,获取资源的具置,然后通过集群主控服务器汇总节点信息,建立客户端与各虚拟机实例的通信,实现数据传输。
2.2.3 集群主控服务器
为提高云系统的运作效率,减轻核心服务器的负担,将云系统的资源划分成多个集群,由集群主控服务器负责管理该集群中的所有资源。集群主控服务器主要有以下作用:
(1)集群主控服务器管理其集群中的所有节点控制器和虚拟机,对系统资源进行实时监控,形成子资源状态信息表,并将结果反馈给云核心服务器,更新整个云系统的资源状态信息表。
(2)响应云核心服务器的任务要求,快速调用集群中的虚拟机实例,建立与客户端机器的连接,传输数据。
(3)担任Hadoop系统的主节点,控制集群中的所有从节点,对集群中所有虚拟机实例及系统资源进行统筹管理,提高系统的响应效率。
2.2.4 节点控制器
节点控制器是整个云系统的前沿阵地,在节点控制器上真正运行着虚拟机实例,并通过虚拟机管理器进行管理,虚拟机实例的数量由节点控制器的资源及计算任务的类型决定,一般为3~5台。节点控制器的功能包括以下三方面[8]:
(1)节点控制器负责监控节点上运行的所有虚拟机实例的运行状态及资源的使用情况,并将监控状况实时返回给上层的集群主控服务器。
(2)响应集群主控服务器的需求,启动虚拟机实例实现数据通信。当任务完成后或在规定时间内客户端无响应(如客户异常退出)时,则停止虚拟机实例运作,释放网络带宽及点播资源。
(3)监控和管理虚拟机实例。包括虚拟机资源的存储备份、虚拟机宕机的应急处理等。
2.3 系统设计的关键技术
2.3.1 数据的冗余备份
云系统的文件传输采用流媒体技术实现,即将多媒体文件压缩后分解成若干大小相等的数据块(数据块的大小可根据实际情况进行配置),并统一编号,再由服务器对客户端进行实时传送。为了容错,文件的所有数据块都会有副本,即冗余备份。系统运行时,节点控制器利用虚拟机管理器对虚拟机上的文件系统进行监控,产生一份数据块与本地文件对应关系的列表,形成块报告返回给节点控制器,节点控制器根据块报告进行完善(如增加数据块具体路径等)后反馈给集群主控服务器更新资源状态信息表。
云系统的集群一般运行在多个机架上,不同机架上的数据通信必须通过交换机,通常机架内节点之间的带宽比跨机架节点之间的带宽要大,这有可能影响云系统的可靠性和性能。采用机架感知(Rack?aware)策略[9],将数据块以多个副本形式部署在本地机架和不同机架上,改进数据的可靠性、可用性和网络带宽的利用率。此策略可防止机架失效时的数据丢失,也可保证系统的性能。
2.3.2 心跳检测技术
在任何系统设计中,硬件异常检测总是极其重要的。云系统采用心跳检测[10]技术来控制系统硬件的异常情况。集群主控服务器周期性地通过节点控制器接受虚拟机的心跳包和块报告,以此判断虚拟机的存活状态:收到心跳包说明工作正常;若在特定时间t内没有收到心跳包信息,则认为宕机,系统将不会发给它们任何新的I/O请求。对于宕机的虚拟机,系统将不断进行检测并通过虚拟机管理器进行故障修复,若在特定时间内仍无法恢复,则将重新复制该数据块,避免该数据块副本数减少所造成的影响。
2.3.3 智能节点替换技术
智能节点替换技术与心跳检测技术联合应用,当系统在特定时间内仍无法检测到某数据块的心跳包时,则将该数据包重新复制,此时,节点控制器将更新数据包的新位置,并使用新节点替换原来的故障节点,保证数据传输的连贯性。
2.3.4 负载均衡技术
负载均衡是很多系统中需要解决的重要问题。在云系统中,云核心服务器根据节点控制器发送的心跳信息和存储的数据块情况,掌握各节点的当前状态,通过平衡资源状态信息表中的资源分配情况,将数据块分配给负载较轻、写入速度较快的节点控制器。具体包括:在新数据加入时,为新数据寻找优越的存储位置;若现有的资源过于集中,可采用数据块迁移方法,重新分配合适的存储位置,平衡整个文件存储系统。
3 结 语
随着三网融合进程的不断推进,视频点播业务将面对内容繁杂、平台多样、业务量激增等局面,这对传统的视频点播模式提出了巨大的挑战。
本文在分析云计算的基本架构和技术特点的基础上,结合视频点播业务的特点,论述了云计算在视频点播系统中的应用,对其系统架构、工作原理和关键技术进行了详细的阐述,为解决海量视频的流畅传播提出了一个全新的思路。
参考文献
[1] 陈旭文,林若波.基于P2P的多原VOD系统的设计[J].测控技术,2012,31(8):27?30.
[2] MELL P,GRANCE T. NIST SD 800?145 the NIST definition of cloud computing [S]. Gaithersburg,MD: NIST Special Publication,2011.
[3] 吴朱华.云计算核心技术剖析[M].北京:人民邮电出版社,2011.
[4] GROSSMAN R L.The case for cloud computing [J]. IEEE Computer Society,IT Professional, 2009(11):23?27.
[5] 周洪波.云计算技术、应用、标准和商业模式[M].北京:电子工业出版社,2011.
[6] HADOOP W T. 权威指南[M].曾大聃,译.北京:清华大学出版社,2010.
[7] 刘鹏,黄宜华,陈卫卫.实战Hadoop:开启通向云计算的捷径[M].北京:电子工业出版社,2011.
软件定义网络(Software-Defined Networking,SDN)采用了控制与转发分离架构,能够在控制平面上逻辑集中可编程控制器并掌握全局网络的各种状态信息,抽象后通过开放接口提供给应用层,它拥有灵活调整与实验部署能力,能够实现基于应用的开放式网络体系架构。
1 技术背景与基本架构
1.1 技术背景
SDN始于2006年斯坦福大学的CleanSlate研究课题,2009年,Mckeown教授正式提出SDN概念,核心思想是通过分层将数据与控制解耦合,以此消除现有网络的局限性,实现可编程网络控制与转发分离。SDN的开放可编程性提供主动网络(Active Network),能够通过简单转发节点设备来动态执行报文中所携带的应用程序,这也使得SDN能够实现对网络的灵活管控。另外,SDN的4D架构也将可编程的决策平面从数据平面中完全分离出来,它提高了异构网络的管理能力。
SDN技术在学术界的理论拓展以及企业的广泛推广使其快速成长,诸如美国的GENI、Internet、欧盟的SPARC和日本的JGN2Plus都先后开展了基于SDN的技术研究与工作部署。在电信领域等方面,德国电信、Google、微软、Yahoo等公司联合成立了开放网络基金会组织(ONF),希望将SDN相关标准化定制工作快速推广。SDN技术理念打破了传统网络的运行模式及格局,受到了来自于世界各地科研机构与商业领域的青睐,逐步成为网络标准化体系的技术标杆,也体现出作为潜力网络技术的实际价值。
1.2 基本架构
在互联网及软件学术领域,SDN软件定义网络拥有狭义与广义两种定义,从广义来看,SDN表示向上层应用最大限度开放资源接口,进而帮助系统实现应用的编程控制与基础网络架构流程;而从狭义角度来讲,SDN是指符合ONF定义的开放架构,并要求在控制器的控制条件下基于OpenFlow协议来实现网络架构转发功能。其中所存在的区别就在于狭义SDN严格规定要采用OpenFlow,而广义SDN则不仅仅局限于OpenFlow,它还可以采用诸如Netconf、XMPP等等其它控制接口或协议,如图1。
总体而言,SDN框架应该满足以下两点设计思想:
(1)实现对网络的控制层面与数据转发层面分离,提高网络管理的控制能力;
(2)提高硬件平台的可编程性,实现快速配置,满足灵活的应用需求。
而无论哪个组织提出的SDN体系结构,实现目标其实是一致的,SDN概念下的数据控制相分离的网络具有开放性和可编程性,科研人员及运营人员可以通过PC、手机/PAD、Web网页以及未来可能出现的各种途径进行全网部署,部署工作仅仅是应用的简单定制开发及配置。可以预见,针对SDN架构的业务应用研究,是未来研究发展的重要方向。
2 SDN的应用及未来发展
2.1 SDN在数据中心及云计算方面的应用
SDN转发控制分离特性赋予其在流量工程方面的天然优势,在2012年,谷歌公司就推出了B4项目,该项目充分展示了SDN的优越性,它利用OpenFlow技术将包括美国、比利时、芬兰、新加坡、台湾等12个国家的数据中心连接起来,促成了全球首个广域商用SDN体系。基于OpenFlow技术的流量工程实施应用后,数据中心的平均链路利用率从30%蹿升到70%,甚至某些链路在繁忙时利用率达到100%,该项目的成功也为SDN在全世界信息领域的推广奠定了信心基础。有理由相信,未来数据中心在软件定义的框架下,能够对云计算实现重构,为网络资源、计算资源和存储资源提供重新整合的发展机会,使各项资源能够协同控制,进而有效提升资源利用效率和服务质量。
2.2 SDN在无线接入网络中的应用
SDN在无线接入网络中的应用也已相当广泛,通过利用可编程物理层与介质层来共同构建无线接入网络数据平面,该数据平面可以同时兼容多个技术制式的网络,例如WIFI、3/4G-LTE、GSM等。当这些数据技术平面被接入到SDN后,就可以通过向上接口来实现对业务应用的支撑,通过业务应用实现对用户的集中式业务逻辑控制和移动性管理,从而能够解决网间无缝切换以及单链路丢包严重等问题,研究结果也表明可以明显提升此类应用的流畅度和视频清晰度,大大提高用户的体验效果与质量。
2.3 SDN在光网络中的应用
光网络的集中控制涉及设备集中控制机制,通过它来设置转发策略可以实现编程控制等技术的自我突破。将SDN应用于光网络中,就可以构建出面向业务的新一代光网络体系架构,例如SDON(Software-Defined Optical Networks),可以通过控制与传送平面解耦来屏蔽光网络中所存在的物理技术细节,并利用集中控制策略来提高光网络的智能调度与协同控制机能。在2013年4月,ONF就成立了光传送工作组OTWG(Optical Transport Working Group)。通过基于SDON架构和OpenFlow协议来实现多厂商的互操作。在2014年底,中国电信协调华为、中兴等企业基于OpenFlow实现了SDON互通,也使得该业务能够在未来的发展中可以充分融合到企业通信与合作应用体系当中。
3 结语
软件定义网络通过抽象将控制面和转发面分离,能够很好地解决传统网络中如配置复杂度、控制方式等诸多现实问题,同时,可编程网络的相关研究也为SDN奠定了理论依据,使得应用层面可以直接调用接口而无须关心控制层乃至底层硬件,较好的开放性使其可以根据需求灵活定制各种应用,能够在未来信息发展中应用于多个领域和行业。目前,更多的研究人员基于软件定义技术拓展出了新一代技术的各种应用方向及思路,同时也应该意识到,应用的多样化使得北向接口呈现多样性,如何实现统一还需要业界进一步推动。
2.云计算特点结合上述定义以及云计算的应用背景,其特点可归纳为:(1)资源租用化:云计算提供对计算、存储、网络、软件等多种IT基础设施资源的租用化服务,用户不需要自己拥有和维护这些资源。(2)共享资源池:资源以共享资源池的方式统一管理。利用虚拟化技术,将资源分享给不同用户,资源的存储、分配与管理对用户透明。(3)弹性化服务:服务的规模可快速伸缩,以自动适应负载的变化。(4)按需化服务:以服务的形式为用户提供应用程序、数据存储、基础设施等资源,并可根据用户需求自动分配,不需系统管理员干预。(5)服务可计费:监控用户的资源使用量,并根据资源使用情况对服务计费。(6)泛在式接入:用户可以利用各种终端设备(PC、笔记本、移动终端等)随时随地访问云计算服务。
3.云计算优势云计算是在互联网技术的基础上把所有硬件、软件结合起来,充分利用和调动现有一切信息资源,通过架构一种新型服务模式结构,为人们提供不同层次、不同需求的低成本、高效率的智能化信息服务模式。与传统的IT服务相比,其优势主要集中在:(1)资源使用灵活:以并行计算为核心,按需调度计算任务、分配计算资源,并提供从数据整合处理、计算模型设定到计算结果输出等完整的数据处理服务,为用户提供灵活可靠的平台。(2)提高设施利用率:通过虚拟化技术,在不增加新的计算能力前提下,有效提高硬件利用率。(3)节约成本:配置简单,资源即取即用,无需花费大量的时间搭建、维护计算环境,以服务的方式使用及存储资源,按需取用,按需付费,不需购买大量设备。(4)管理统一:通过云计算的统一整合,转变原来IT管理一对多模式,实现物理资源池化的机制,通过云平台统一调度,实现统一的管理入口。
二、云计算的服务类型及关键技术
1.云计算的服务类型云计算核心服务分为3种类型:基础设施即服务、平台即服务、软件即服务。其基本架构如图1所示:IaaS为用户提供硬件基础设施部署服务,如处理能力、存储空间、网络组件等,用户可以根据需求向IaaS提供基础的配置信息,以及运行于基础设施的程序代码和用户数据。IaaS采用虚拟化技术向用户提供高可靠性、可伸缩、可扩展的服务。典型服务,如AmazonEC2、Rackspace。PaaS为用户提供应用程序的计算平台和解决方案堆栈的服务。PaaS模式的重要应用场景之一是向用户交付一个支撑应用运行的应用运行平台。用户不必关注底层的网络、存储和操作系统。基于PaaS模式构建应用运行平台,需要具备:提供应用需求接口的能力、提供快速构建应用运行环境的能力、提供实时动态满足应用需求的能力。典型服务,如:GoogleAPPEngine、Hadoop。SaaS是基于云计算平台所开发的应用程序服务。软件系统各个模块可以由每个用户自己定制、配置、组装和测试,得到满足客户自身需要的软件系统。可以在此定制满足远程教育需要的远程教育教学平台,而不必考虑系统的维护和管理,终端用户可将桌面应用迁移至互联网上,实现泛在访问。典型服务,如:GoogleApps,ZohoOffice。
2.云计算的关键技术云计算的目标是以低成本的方式提供高可靠、高可用、规模可伸缩的个性化服务。为达到这个目标,需要虚拟化、海量数据存储与处理、平台管理与调度等关键技术加以支撑。(1)虚拟化技术:虚拟化技术是指计算元件在虚拟的基础上运行,它可以扩大硬件的容量,简化软件的重新配置过程,减少软件虚拟机相关开销、支持更广泛的操作系统。通过虚拟化技术可以实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面,是提高服务效率的最佳解决方案。虚拟化技术是实现云计算资源池化和按需服务的基础。(2)海量数据存储与处理技术:云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式数据存储技术,用冗余存储的方式保证数据的可靠性。这种方式保证了分布式数据的高可用、高可靠和经济性,即为同一份数据存储多个副本,如GFS。另外,由于海量数据资源部署在大规模硬件基础上,因此海量数据的处理分析需要抽象化处理,并要求其编程模型支持规模扩展,屏蔽底层细节,如Google提出的并行程序编程模型MapReduce。(3)平台管理与调度技术:由于资源规模庞大,服务器数量众多并分布在不同地点,同时运行着上百种应用,如何有效管理服务器,保证整个系统提供不间断的服务是个巨大的挑战。云计算系统的平台管理与调度技术能够保证大量服务器协同工作,方便进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化手段实现大规模系统的可靠运营。(4)节能环保技术:云计算数据中心规模庞大,为保证设备正常工作,需要消耗大量的电能。因此,实施绿色环保的节能技术,不仅可以降低云计算中心的能耗,而且可以减少二氧化碳的排放。(5)安全管理技术:由于云计算的海量数据特性(TP甚至PB级),使得传统的安全机制难以满足安全需求,因此云计算环境下的数据安全与隐私保护成为关键技术之一。
三、基于云计算的远程教育平台建设
现代远程教育是基于互联网技术发展起来的教育新模式,它打破了时空限制,使学习者可以随时、随地获取学习资源,其优势在于资源利用最大化、教学形式多样化、学习行为自主化、学习形式交互化、教学管理自动化。目前,无论是电大开放教育、高校网络教育还是远程教育培训机构,其平台建设都是采用B/S工作模式,这种方式具有技术成熟、管理简单、资源集中、访问便捷等优点。但随着用户规模的扩充,学习需求的多样化、软硬件更新速度加剧等诸多因素的影响,传统的远程教育平台的缺点逐渐显示出来,如:资源重复建设、软硬件投入大、系统扩充能力弱、可配置性差、集中访问时对网络和服务器压力大等。
1.基于云计算的远程教育平台架构设计
云计算技术的出现为远程教育的发展注入了新的活力,为远程教育带来了更高层次的变化,也为学习者获取更好的教学支持服务提供了技术支撑。本文提出基于云计算的远程教育平台建设方案,其架构如图2所示。从图2可知,基于云计算的远程教育平台基本架构由物理资源池、基础管理层、应用接口层和远程教育应用层组成。它应包含从事远程教育所必须的一切软硬件计算资源,这些计算资源经过虚拟化后,向远程教育机构、学生提供以租用计算资源为形式的服务。远程教育云区别于其他云的关键技术在于远程教育应用层,它体现远程教育主要的业务逻辑,由一组经拓展的远程教育程序组成。远程教育应用层主要包括:(1)远程教育管理程序。实现远程教育教学和管理的业务,包含远程教学平台、教务管理系统、OA管理系统、作业管理系统、考试管理系统、虚拟实验室等;(2)远程教育应用程序。包含流媒体播放软件、文档阅读软件、在线交互程序、电子邮件等程序;(3)远程教育中间件。远程教育机构可以通过中间件系统快速开发出适合自己应用的远程教育程序。构建基于云计算的远程教育平台,其优势包括:(1)物理层方面:由于云服务提供商能提供跨平台、运算能力强大、资源丰富统一的通信平台,因此,无需购买本地服务器和网络硬件设备,仅需投入少数管理终端及云接入设备即可。其次,因所有的服务都由云端提供,无需考虑服务器运行的可靠性、可用性、安全性、完整性,大大降低维护、升级等工作量,从而节省大量的人力、物力。(2)应用层方面:教师能够轻松构建自己的个性化教学环境,促进学生高级思维能力和群体智慧发展,提高教育质量。通过网上视频教学、实时课堂、在线作业、在线测评、虚拟实验室、在线答疑等功能,为学生提供教学辅导。(3)资源建设方面:基于云计算的远程教育平台能够充分发挥云计算的特点,统筹使用各地软、硬件资源,提供强大的远程教学能力和资源提供能力,各地远程教育机构能够统一部署资源,有效避免资源的重复建设。资源访问者不需要知道资源位于何处,系统使用统一的资源列表提供最合理的服务,不再受地域、时间的限制。对于任意的一个资源访问者,系统可以自动分析IP、确定路由,寻找离他最近的资源并建立连接。(4)客户端:随着移动互联网的飞速发展,学习者可以通过配置各种标准浏览器的终端(如PC、iPAD、手机等)使用远程教育云提供的各种资源和服务,师生之间能更加快捷地采用协同模式开展教学活动,真正做到泛在学习。
2.国内远程教育云平台建设模式
目前,国内远程教育主要由电大系统、普通高校网院、远程教育公共服务体系、远程培训机构等组成,其运作模式都是自成体系,各自为阵,很难统一。其缺点显而易见,其一,造成软硬件资源的极大浪费,重复建设情况严重。其二,由于地区、观念、师资等因素差异导致教育教学平台建设质量参差不齐,教育教学发展不均衡。其三,教育模式不能有效统一,学分不能互认,学分银行建设很难有效推进。随着国家开放大学的挂牌成立,建立终生教育的立交桥有望取得突破,而云计算技术作为催化剂可以加速这一趋势的发展。中央电大校长杨志坚在2012年中国远程教育大会上发表的《选择适应与追求卓越》上提到:云计算越来越成为经济发展过程中的一个必然选择和趋势,我们要去迎接、拥抱新技术,推进国家开放大学教育信息化建设,利用新技术改变现有的教育方式。中央电大作为我国远程教育的领头羊,其具有成为建设远程教育云平台的物质条件和内在动力。因此,笔者认为国内远程教育云平台建设,可以以政府为主导、国家开放大学具体实施、高校和教育培训机构共同参与建设的方法进行。一方面,基于云计算技术建立的网络支持环境可以作为一种基础设施,供任何远程教育办学机构使用,实现了基础设施即服务。另一方面,云计算中虚拟化、按需服务等概念使得原有各级电大系统的基础设施都能充分利用,并与新增的基础设施一起通过资源调度管理后对外集成服务。因此,可以建立国家级、分部级、学院级等多级网络架构,在用户边缘采用内容缓存以减少网络流量为用户提供高可靠、高体验的远程教育服务。
摘 要 鉴于传统构架的协同决策(CDM)系统不能适应民航事业快速发展,提出建立基于云计算平台的CDM系统。
首先概述了云计算的基本概念和主要特征,并总结了云计算的关键技术和基本架构。之后,研究了对云计算拓扑设计算法,在树形拓扑结构的基础上对三种算法进行了比较和选择,确定方案为merge-MST。最后,完成云计算平台的初步总体设计,并搭建仿真测试平台,测试结果证明所设计的云计算CDM系统具有较好的性能。
关键词 民航,协同决策系统,云计算
中图分类号:TP392 文献标识码:A
doi:10.3969/j.issn.1674-7933.2015.04.004
*基金项目:上海市2013 年“ 科技创新行动计划”信息技术领域项目(13511504700) 。
作者简介:叶云斐,1984 年生,本科,助理工程师,主要从事及研究领域:航空计算机信息管理,Email :leaves616@126.com ;
陈晓建,研究生,高级工程师;
陈伟青,本科,工程师;
谷叶,研究生,助理工程师。
0 引言
近年来我国民航事业快速发展,航班延误现象愈发严重。中国民用航空局的《2013年民航行业发展统计公报》显示: 2013年不正常航班占比27.66%,旅客投诉率较2012年增长13.66%。华东区域经济发展迅速,人口密度大,以全国1/9的空域面积承载着1/3的航班流量,问题尤为显著。以发展的眼光看问题,有必要依靠各方可靠、全面、实时的信息,采用高效合理的航班排序、放飞算法,充分利用空域时隙资源,协同决策(CDM)的概念应运而生。
民航华东空管局CDM系统于2012年12月上线运行,系统基础数据多,计算量大,对软硬件资源要求高。以上海虹桥、浦东两个机场为例,每天就有5 000多架航班起落,涉及空域航路点300~400个,各航路点又分3~4个高度层;在此基础上,CDM系统必须结合实时的流量控制、气象预报等信息反复计算调整,且任何时刻的航班重新规划都会影响到一整条航路上与之相关的所有航班,使计算量成倍增加。随着航空流量的逐年增加,CDM系统计算量也以指数方式快速增长。
现有系统采用传统架构设计,不能满足前瞻性设计要求。理想的CDM系统架构应具有虚拟化、易扩展、按需部署、高灵活性、高可靠性、高性价比的特点。本文提出一种基于云计算的CDM系统构架,利用自动拓扑设计算法(merge-MST)设计网络拓扑,采用Hadoop开源管理软件实现任务调度,最后通过仿真手段验证了该方案的可行性和适用性。
1 现有民航CDM系统的不足
协同决策是一种技术手段,更是一种基于资源共性和信息交互的多主体(空管、机场、航空公司等)联合协作运行模式。华东空管局CDM系统从各个参与单位引接实时航班数据,建立塔台电子进程单系统、A-CDM系统、飞行计划处理系统等,并形成三大客户端——流量管理客户端、塔台客户端和公司机场客户端,系统构成如图1所示。
`该系统基于传统的关系型数据库,以塔台电子进程单为例,架构示意图如图2所示。尽管其成熟度高、可靠性好,但随着数据量逐渐增大,数据范围逐渐拓宽,其存储和查询效率已不能满足需求。
2 云计算平台及其架构设计
2.1 定义和特点
云计算是一种新的计算模式,由分布式计算、并行计算和网格计算的发展而来。其后台大量采用虚拟机,并通过互联网形成资源池。这些虚拟资源可以根据不同的负载动态重新配置,快速并以最小的管理代价提供服务[1]。从用户角度看,云计算具有可靠的存储技术和严格的权限策略,可为客户提供安全可靠的数据存储中心;对用户端的设备要求低,支持手机、平板电脑等无线通信设备;可实现不同设备间的数据、应用共享。
从硬件的角度看,云计算高度灵活,可按需投入或释放硬件资源,从而提高整体利用率。2.2 类型
云计算按其服务层次分为三类[2],如图3所示:
1)基础设施即服务(IaaS,infrastructure as a service)
在虚拟化技术的支持下,利用廉价计算机实现大规模集群运算能力,同时按需配置,为用户提供个性化的基础设施服务。此类型的典型代表有亚马逊云计算AWS(Amazon Web Services)、IBM蓝云等。
2) 平台即服务(PaaS,platform as a service)
提供的服务是开发环境,允许用户使用中间商提供的设备开发自己的程序。此类型的典型代表有GoogleApp Engine(GAE)等。
3) 软件即服务(SaaS,software as a service)
通过Internet直接提供运行在云计算设备上的应用程序。用户无需考虑基础设施及软件授权等内容。此类型的典型代表有Salesforce公司的CRM服务、ZohoOffi ce、Webex等。
2.3 关键技术
云计算作为一种集群计算和服务模式,运用了多种计算机技术,以编程模型、数据存储管理、虚拟化最为关键。
1) 编程模型
Google提出的Map-Reduce[3]是一种流行的云计算编程模式,Map(映射)程序将数据分割成不相关的数据块,Reduce(化简)程序则将将数据处理的中间结果进行归并,如图4所示。Map-Reduce可将海量异构数据的分析处理工作分解成任意粒度的子任务,并允许在多个计算节点之间进行灵活的数据调度,此外,程序员无需关心数据块的分配和调度,该部分工作由平台自动完成。
2) 数据存储管理
云计算采用分布式的方法存储和管理数据,并利用冗余存储保证数据的可靠性,常用技术有Google的GFS及Hadoop团队的HDFS[4],其中后者是前者的开源实现。
GFS系统架构如图5所示,整个系统节点分三类:Client(客户端)是GFS提供给应用程序的访问接口、Master(主服务器)是管理节点, Chunk Server(数据块服务器)则负责具体工作。Chunk Server可有多个,每个Chunk对应一个索引号(Index)。作为对比,HDFS体系结构如图6所示。
云计算的数据管理需满足大规模海量数据的计算和分析,大多采用列存储的数据管理模式。现有技术中最主流的是Google的BigTable,Google对BigTable给出了如下定义:BigTable是一种为了管理结构化数据而设计的分布式存储系统,这些数据可以扩展到非常大的规模。此外,Hadoop团队也开发了类似BigTable的开源产品HBase和Hive。
3) 虚拟化技术
虚拟化技术是云计算区别于一般并行计算的根本性特点,其实质是实现软件应用与底层硬件相隔离,把物理资源变成逻辑可管理资源。目前云计算中虚拟化技术主要包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。根据对象又可分为存储虚拟化、计算虚拟化、应用级虚拟化等等。
将虚拟化的技术应用到云计算平台,使得云计算具有灵活的进程迁移方式,更有效的使用主机资源,在部署上也更加灵活。
2.4 架构设计
云计算体系结构的特点包括:设备众多、规模大、采用虚拟机技术、任意地点、多种设备汇集,并可以定制服务质量等等。文献[5]提出了一种面向市场应用的云计算体系结构,如图7所示:
1) 用户:用户可以在任意地点提交服务请求;
2) SLA资源分配器:充当云后端和用户之间的接口,包括服务请求检测和接纳控制模块、计价模块、会计模块、VM监视器模块、分发器模块和服务请求监视器模块;
3) 虚拟机(VMs):为实现在一台物理机上的多个服务提供最大弹性的资源分配;
4) 物理设备:包括服务器、存储设备及路由器等。
基于云计算平台的华东CDM系统还处于初步研究阶段,采用本架构进行初步设计及仿真验证。
3 云计算网络拓扑设计
云计算系统后端的网络由大量服务器组成,分布广泛,复杂度高。要保证数据的畅通传输,需要设计一个合理高效的网络拓扑结构。
首先,为保证管理扩展和维护的方便,将云计算系统分成多个子网,各子网采用树形拓扑结构,如图8所示。在此基础上,把每个子网看成一个节点,各个节点具备流量、交换能力、地理位置等属性,将云计算网络拓扑抽象成图论数学模型。如何连接各个节点,才能即满足冗余度要求,又尽可能降低网络架设花销已被证明为NP-hard[6][7],故只能求解近似最优解。此类问题的解法有两种,一种是在限定网络花销的情况下最大化网络的抗毁能力[8],另一种是在保证网络一定抗毁能力的条件下尽可能减小花销[7],本文按照后者进行设计。
在图论领域,该问题可简化为求解特定连通度k时最小生成子图的问题,本文主要考虑基于图论的k-FOREST算法[9]、merge-MST算法[10]和启发式算法TEA[7]。通过理论推导,三种算法的时间复杂度如表1所示,其中TMST=O(m?logm)或O(n2),m代表图边数,n代表点数。
本文
参考文献[11]的仿真手段对三种算法进行比较,考虑7、10、15、25个节点的场景,得到平均边数和平均花销的比较示意图如图9、10所示。
通过比较可看出,在节点数目较少时TEA算法表现最佳,但随着节点数目增多性能迅速下降;在节点数多于20个时,则是merge-MST算法更优。
考虑到CDM系统规模庞大,仅华东区域就需要计算机点80~100个,故选取merge-MST进行网络架构的设计。
4 总方案设计
基于云计算架构的CDM系统,依托中心节点、区域节点和业务集中节点,整合分布的物理资源,形成统一的可调配的逻辑资源。总方案结构如图11所示。包括基础设施、虚拟资源层、信息共享云平台层,应用层以及贯穿始终的安全层和管理层。
1) 基础设施层:既包括支持民航CDM系统运行所必需的基础设施,也包括行业内可整合入CDM系统的其他设施。
2) 虚拟资源层:采用云计算技术,整合分布的硬件资源,形成资源池,灵活调配提供服务。
3) 云平台层:涵盖管理底层资源、支撑上层应用的各个软件和模块,包括平台管理、负载均衡、中间件、业务流程管理软件等等。
4) 应用层:将CDM系统功能进行最后一步封装后提供给用户。
5) 安全层:负责整个CDM系统的安全。
6) 管理层:管理整个CDM系统运行配置,包括资源管理、网络监控、部署管理、内容管理以及用户管理等,监控硬件、软件等多个层次,提高整体运行效率。
5 系统测试与应用
为验证所设计方案的可行性,并测试方案性能,本文搭建了测试环境,针对CDM系统多项业务进行了测试。
CDM系统主要业务涵盖协同决策系统、流量管理系统、统一飞行计划处理系统和塔台电子进程单系统。其中协同决策系统为顶层系统;流量管理系统帮助最大限度利用空中交通服务的容量;统一飞行计划处理系统负责接收、处理和飞行计划;塔台电子进程单系统则协助塔台管制员管制飞机的起降。
5.1 硬件环境
云计算集群设有3个master节点,18个slave节点,各节点均是基于X86架构的PC机。PC机配置如表2所示。
所有测试主机均连接在千兆网络中,网络环境中不存在其他设备,干扰因素可忽略不计。
5.2 软件环境
测试采用Hadoop团队开发的开源软件,版本如表3所示。
5.3 测试结果
通过编写程序,在测试环境中进行电报处理、雷达轨迹处理、气象与情报处理、桥位信息处理、航班信息、数据查询以及协同航班处理等压力测试,平均日最大处理条目数量如表4所示。
测试结果表明:云计算平台计算能力强,能够弥补现有民航CDM系统的不足,可满足华东地区CDM系统前瞻性设计要求。
6 结束语
本文针对华东地区巨大的航班吞吐量,提出了一套基于云计算平台的CDM系统设计方案。通过测试验证,该系统架构具备良好的计算能力和业务处理能力,使用灵活,更满足系统安全可靠、成本低、易拓展的需求。
基于云计算的华东空管CDM系统是现有CDM系统的发展方向,将在2015年开始详细设计。
参考文献
Vaquero L, Rodero-Marino L.Caceres J. et al. A break in theclouds: towards a cloud defi nition[J]. SIGCOMM ComputerCommunication Review. 2009,3(1): 50-55.
UC Berkeley 可靠自适应分布式系统实验室, 姚宏宇译. 云端之上——Berkeley对云计算的看法. 2009.
J. Dean, S. Ghemawat, MapReduce: Simplified DataProcessing on Large Cluster[C], OSDI’04, Sixth Symposiumon Operating System Design and Implementation, SanFrancisco, CA, December, 2004.
Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[C]. Proceedings of 19th ACMSymposium on Operating Systems Principles. 2003, 37(5):20~43.
R. Buyya, C.S. Yeo, S. Venugopal, Market-OrientedCloud Computing: Vision, Hype, and Reality for DeliveringIT Services as Computing Utilities [C], The 10th IEEEInternational Conference on High Performance Computingand Communications.
S. Pierre, G. Legault, A Genetic Algorithm for DesigningDistribute Computer Network Topologies[J], IEEE Trans.Man, Systems, and Cybernetics, 28(2), 1998: 249-258.
E. Szlachcic, Fault Tolerant Topological Design for ComputerNetworks[C], Proceedings of the international Conferenceon Dependability of Computer Systems, DepCos-RELCOMEX’06.
F.M. Shao, X. Shen, and P.H. Ho. Reliability Optimization ofDistributed Access Networks with Constrained Total Cost[J],IEEE Trans. Reliability, 2005,54:412-430.
使用者定义IT
如今,在许多IT厂商的会上,云计算、大数据、移动和社交化已经成了必提的影响IT变革的四大要素。在这四大因素的作用下,IT系统越来越庞大和复杂,而用户对IT系统的要求也水涨船高,希望IT资源随时可用。为了应对新应用、新技术带来的挑战,很多用户有些疲于奔命,不断尝试对IT系统进行调整和优化,虚拟化、云计算、大数据等技术手段都被派上了用场。但是在尝试变革的过程中,一些用户的精力过于集中在如何解决眼前的技术问题上,在埋头苦干的时候,并没有抬起头来看一看未来IT的发展趋势。其实,无论是IT厂商还是用户,在这个IT变革的转折点上都应该把眼光放得更长远些,将技术变革的趋势与应用的需求更紧密地结合在一起。
在“应用定义IT”、“软件定义一切”等一系列新概念被热炒后,HDS公司提出了自己对IT变革的看法――业务定义IT。软件定义IT也好,业务定义IT也罢,其本质是相同的,都在强调用户的需求和应用的重要性。HDS高级副总裁兼亚太地区总经理Neville Vincent解释说:“业务定义IT就是从用户的商业需求出发,重新审视IT能为其业务的发展提供哪些积极有效的服务。IT服务必须与用户的业务需求紧密联系起来。”
利用业务定义IT可以更好地保证IT服务的移动性、经济性,并使用户获得更佳的洞察力。Neville Vincent举了中国某大型汽车销售商的例子。该销售商不仅要掌握每个省的汽车销售情况,而且要具体了解每个商的销售数字,还要对多年的历史销售数据进行对比分析,这就需要借助大数据分析工具。掌握第一手的销售数据,并通过数据分析对销售策略进行调整,从而提升竞争力,这就是该汽车销售商的首要业务需求,也是IT在不断演进的过程中必须解决的实际问题。业务定义IT其实就是这么简单。
Neville Vincent小结说:“IT是由使用者决定的。用户希望不受时间和空间的限制,只要需要,就能获得所需的信息。这在以前是不可想象的,而现在则成了IT努力的方向。”
业务永不中断
业务定义IT并不是一句空话,其技术基础就是永续IT云架构。对于云计算架构,人们已经十分熟悉,而HDS公司在云架构之前加上了“永续”二字,着重强调的是IT架构的可用性必须得到有效提升和保障,即使是在数据迁移的过程中,业务的连续性也不会受到影响,不会产生意外宕机。
如上文所述,业务定义IT可以改善业务的移动性、经济性和洞察力,而确保这些改变的实现,就需要IT云架构始终可用,并且保持自动化和敏捷性。这三点恰好也是HDS赋予永续IT云架构的关键内涵。为了保证永续IT云架构的落地,HDS此次了一系列新产品和新的版本升级,比如VSP G1000、存储虚拟化操作系统(SVOS)、Command Suite v8、Unified Compute Platform等。
“在云计算方面,我们提供的是私有云和混合云解决方案。在公有云方面,我们主要是配合合作伙伴的工作,而自己不会提供公有云服务。”Neville Vincent告诉记者。在HDS的云计算框架中,基础架构云、内容云和信息云三部分今年都会有更新,而永续IT云架构是HDS云平台的基础与核心。比如,VSP G1000和存储虚拟化操作系统进一步充实了HDS的基础架构云解决方案。虽然作为软件定义存储的代表,VSP G1000本身就极具卖点,不过在Neville Vincent的眼里,HDS还是以端到端平台解决方案取胜,并在全面服务的基础上实现方案的差异化。以VSP G1000为代表的存储基础架构、内容平台和管理软件等构成了HDS的差异化解决方案。
“为了推出永续IT云架构方案,我们已经准备了一年。我们相信,永续IT云架构方案一定能够在亚太市场上取得成功。”Neville Vincent希望内容移动性解决方案、永续IT云架构方案和整合方案今年能够增长一倍,而作为平台方案重要支撑的数据保护解决方案和文件管理方案也是HDS关注的重点。
存储虚拟化的演进
HDS永续IT云架构最大的亮点就是存储虚拟化操作系统和VSP G1000,两者软硬结合,相得益彰。HDS 产品规划副总裁兼信息技术平台部(ITPD)总工程师Michael Hay介绍说,存储虚拟化操作系统是HDS首个用独立软件方式实现虚拟化功能的系统,它采用通用的软件架构,能够跨越HDS的整个基础架构产品组合,同时增强服务器虚拟化的效能。存储虚拟化操作系统使得用户可以拥有更多选择、更大的灵活性和一个简约的基础架构,能够将传统数据中心平滑迁移至软件定义的数据中心。
存储虚拟化操作系统兼具软件定义存储的灵活性和HDS企业级存储软件的成熟功能,在闪存优化、高级存储虚拟化、自动分层、平滑数据迁移等方面实现了新的突破,且无需外置设备就能提供多系统和多数据中心的双活功能。
在存储虚拟化方面,HDS是基于存储控制器虚拟化方式的成功代表。HDS使用基于存储控制器的虚拟化,将存储控制器与磁盘存储系统分离。这种方法将逻辑视图与物理资产分离,可以虚拟化其他厂商的存储系统。而存储虚拟化操作系统是在存储硬件平台上的一个软件层,它利用软件定义存储的思路,将软件与硬件相分离,充分发挥了软件的灵活性与管理的方便性。Michael Hay表示,未来HDS的存储平台都将支持存储虚拟化操作系统。
VSP G1000是运行存储虚拟化操作系统的理想硬件平台。VSP G1000可以实现逐步扩展,具有超过48GB/s的可用带宽和超过120万次操作/秒的NFS操作性能。 在各项配置和性能指标上,VSP G1000全面超越了以前的VSP系列,比如IOPS提高3倍多,缓存容量和HNAS集群节点数量都增加一倍,能效提高10%以上。Michael Hay表示,VSP系列与VSP G1000有不同的市场定位,两者将并存。
简化管理是最大卖点
[9] 无锡市政府.无锡市人民政府办公室印发关于更大力度吸引物联网技术和产业高层次人才三年行动计划的通知[EB/OL]., 2013-5-4.
Study on the Operation Mechanism of Internet
of Things Industry Ecosystem Based on System Dynamics
GUO Jinfei REN Licheng ZHANG Yongyun