云计算数据论文汇总十篇

时间:2022-03-22 20:11:55

序论:好文章的创作是一个不断探索和完善的过程,我们为您推荐十篇云计算数据论文范例,希望它们能助您一臂之力,提升您的阅读品质,带来更深刻的阅读感受。

云计算数据论文

篇(1)

通过对大数据的汇集、智能分析和挖掘技术,发现数据中的潜在价值信息,帮助人们做出正确决策,这就是大数据产业的利益。国外大数据的起步比较早,比较成功的大数据应用案例有:商业龙头沃尔玛公司通过对消费者的购物数据进行分析,了解顾客的行为喜好,对超市的商品结构进行搭配重置以增加销售额;亚马逊公司通过大数据构建自己的推荐系统,每年可以靠此多收益20%;奥巴马通过大数据分析系统进行数据挖掘,用科学的手段获取选票、募集资金,赢得了总统竞选的胜利。相比于国外,国内的大数据研究和应用还处于起步和发展中的阶段,比较成功的案例有:淘宝数据魔方平台,通过大数据,为买家量身打造完善的购物体验产品;新浪微博大数据产品,通过大量的社交数据,创造不同的社会经济价值等。

1.2云计算的发展

云计算可以像电力资源一样提供弹性的按需服务,事实上它是集合了一系列的服务提供给用户。云计算的核心可分为三个层次,分别为基础设施层、平台层、应用层,如图2所示。云计算将基础设施、软件运行环境、应用程序抽象成服务,具有可靠性高、可用性强、规模可伸缩等特点,满足了不同企业的发展需求,各个云服务提供商根据各自服务对象的差别分别开发了各具特色的云服务。(1)基础设施即服务层基础设施即服务(InfrastructureasaService,IaaS)层通过部署硬件基础设施对外提供服务,用户可以根据各自的需求购买虚拟或实体的计算、存储、网络等资源。用户可以在购买的空间内部署和运行软件,包括操作系统和应用程序。消费者不能管理或控制任何云计算基础设施,但能控制操作系统的选择、存储空间、部署的应用,也有可能获得有限制的网络组件(如防火墙、负载均衡器等)的控制。云服务提供商为了使硬件资源得到更有效的利用,引入了Xen、KVM、VMware等虚拟化技术,使得云服务商可以提供更个性化的IaaS服务。亚马逊弹性云计算(AmazonElasticComputeCloud,AmazonEC2)是亚马逊Web服务产品之一,AmazonEC2利用其全球性的数据中心网络,为客户提供虚拟主机服务,让使用者可以租用云服务运行所需应用的系统。(2)平台即服务层平台即服务(PlatformasaService,PaaS)层是指云计算应用程序开发和部署的平台,包括应用设计、应用开发、应用测试和应用托管,都作为一种服务提供给客户。开发者只需要上传代码和数据就可以使用云服务,而无需关注底层的具体实现方式和管理模式。鉴于PaaS平台的重要意义,国内外厂商根据各自的战略提出了相应的PaaS平台,国外的如GoogleAppEngine(GAE),通过GAE,即使在重载和数据量极大的情况下,也可以轻松构建能安全运行的应用程序。国内也有新浪的SAE(SinaAppEngine)、阿里的ACE(AliyunCloudEnginee)等。(3)软件即服务层软件即服务(SoftasaService,SaaS)层是为云计算终端用户提供基于互联网软件应用服务的平台。随着Web服务、HTML5、AJAX、Mashup等技术的成熟与标准化,SaaS应用近年来发展迅速,典型的SaaS应用包括GoogleApps、SalesforceCRM等。国外云计算平台比较成功的应用案例有:亚马逊电子商务网站根据用户的购买行为和搜索技术搭建Hadoop集群,构建推荐系统;Twitter社交网站搭建Hadoop分布式系统用于用户关联的建立。国内云计算平台的成功案例有:阿里巴巴目前整个集群达到1700个节点,数据容量达到24.3PB,并且以每天255TB的速率不断攀升;2013年,华为推出国内首个运营云平台,目前为止与该平台签订协议的ISV有3000多家。

1.3云计算相关技术

(1)分布式文件系统分布式文件系统(GoogleFileSystem,GFS)[3]是Google公司针对云计算过程处理海量数据而专门设计的。一个GFS集群由一个主节点和多个从节点组成,用户可以通过客户端访问文件系统,进行正常的文件处理工作。在云计算中,海量数据文件被分割成多个固定大小的数据块,这些数据块被自动分配到不同的从节点存储,并会在多个节点进行备份存储,以免数据丢失。主服务器管理文件系统记录文件的各种属性,包括文件名、访问控制权限、文件存储块映射、块物理信息等数据。正是通过这个表,文件系统可以准确地找到文件存储的位置,避免数据丢失,保证数据安全。图3是GFS的体系结构示意,每一个节点都是普通的Linux服务器,GFS的工作就是协调成百上千的服务器为各种应用提供服务。(2)分布式并行数据库BigTableBigTable[4]是一个为管理大规模结构化数据而设计的分布式存储系统,可以扩展到PB级数据和上千台服务器。很多Google的项目使用BigTable存储数据,这些应用对BigTable提出了不同的挑战,比如对数据规模的要求、对时延的要求。BigTable能满足这些多变的要求,为这些产品成功地提供了灵活、高性能的存储解决方案。BigTable采用的键是三维的,分别是行键(RowKey)、列键(ColumnKey)和时间戳(Timestamp)。行键和列键都是字节串,时间戳是64位整型;值是一个字节串,可以用(row:string,column:string,time:int64)string来表示一条键值对记录。(3)分布式计算框架MapReduceMapReduce[5]是Google公司提出的大数据技术计算框架,被广泛应用于数据挖掘、海量数据处理以及机器学习等领域,由于其并行化处理数据的强大能力,越来越多的厂商根据MapReduce思想开发了各自的云计算平台,其中以Apache公司的Hadoop最为典型。MapReduce由Map和Reduce两个阶段组成。用户只需要编写简单的map()和reduce()函数就可以完成复杂分布式程序设计,而不用了解计算框架的底层实现。MapReduce的数据分析流程如图4所示。分布在不同服务器节点上的海量数据首先通过split()函数被拆分成Key/Value键值对,map()函数以该键值对为输入,将该键值对进行函数处理,产生一系列的中间结果并存入磁盘。MapReduce的中间过程shuffle()将所有具有相同Key值的键值对传递给Reduce环节,Reduce会收集中间结果,并将相同的Value值合并,完成所有工作后将结果输出给用户。MapReduce是一个并行的计算框架,主要体现在不同的服务器节点同时启动相同的工作,并且在每个独立的服务器节点上又可以启动多个map()、reduce()并行计算。

2基于云计算的大数据处理

目前大数据处理的基本流程如图5所示,整个流程经过数据源的采集,用不同的方式进行处理和加工,形成标准的格式,存储下来;然后用合适的数据计算处理方式将数据推送到数据分析和挖掘平台,通过有效的数据分析和挖掘手段,找出大数据中有价值的信息;最后通过可视化技术将信息展现给人们。

2.1数据采集存储

大数据具有不同结构的数据(包括结构、半结构、非结构),针对不同类型的数据,在进行云计算的分布采集时,需要选择不同的数据采集方式收集数据,这也是大数据处理中最基础的一步。采集到的数据并不是都适合推送到后面的平台,需要对其进一步处理,例如来源不同的数据,需要对其进行加载合并;数据存在噪声或者干扰点的,需要对其进行“清洗”和“去噪”等操作,从而保障数据的有效性;数据的格式或者量纲不统一的,需要对其进行标准化等转换处理;最后处理生成的数据,通过特定的数据库,如NoSQL数据(Google的BigTable,Amazon的Dynamo)进行存储,方便进行下一步的数据读取。由于传统的数据仓库无法适应大数据的存储要求,目前基于云计算的数据仓库都是采用列式存储。列式存储的数据具有相同的数据类型,可以大大提高数据的压缩率,例如华为的云存储服务MOS(MassiveObjectService)的数据持久性高达99.9%,同时提供高效率的端到端保障。

2.2数据计算模式

这一环节需要根据处理的数据类型和既定目标,选择合适的计算模型处理数据。由于数据量的庞大,会消耗大量的计算资源,因此,传统的计算技术很难使用大数据的环境条件,取而代之的是分而治之的分布式计算模式,具有代表性的几种计算模式的特点见表1。采用批处理方式计算的Hadoop平台,例如,Facebook拥有全球最大规模的Hadoop集群,集群机器目前超过3000台,CPU核心更是超过30000个,可以存储的数据量能够达到惊人的40PB;采用流处理方式计算的Storm平台分布式计算的时延比Hadoop更小;实时处理方式计算的Spark是一种基于内存的计算模式,例如,Yahoo运用Spark技术在广告营销中实时寻找目标用户,目前在Yahoo部署的Spark集群有112台节点和9.2TB内存;交互处理方式计算的Dremel在处理PB级别的数据时耗时可以缩短至秒级,并且无需大量的并发。

2.3数据分析挖掘

数据分析挖掘环节是从海量数据中发现隐藏规律和有价值信息的过程,这个环节是大数据处理流程最为有价值和核心的部分,传统的数据分析方法有机器学习、商业智能等。传统的数据挖掘十大算法[6](其中有K-Means、Na觙veBayes、SVM、EM、Apriori等)在云计算环境下都得到了大幅度的并行优化,在大数据的背景下,计算速度得到了很大程度的提升。现在新兴的深度学习是原始机器学习的一个新领域,动机是在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,这种新的数据分析挖掘技术已经在计算机视觉、语音识别、自然语言处理等领域有了成功的应用。

2.4数据解释展现

将挖掘出来的复杂信息进行数据解释和展现是整个大数据处理流程的最后一个环节,数据分析的结果需要向客户进行恰当的展现。与传统的数据输出和文本展示等方式不同,现在绝大部分的企业都通过引进“数据可视化”技术来展示大数据分析的结果信息,这种方式以图像、动画等方式,形象地向客户展现数据处理分析的结果,也容易被客户理解和接受,更为先进的是,现在逐步形成的“交互式可视化技术”,大大地方便了数据与人之间的“亲密交流”。目前面向大数据主流应用的可视化技术见表2。

3大数据和云计算的未来挑战

大数据需要超大存储容量的计算能力,云计算作为一种新的计算模式,为大数据的应用研究提供了技术支持,大数据和云计算的完美结合,相得益彰,发挥了各自的最大优势,为社会创造了巨大的价值。虽然国内大数据和云计算的研究还是处于初步阶段,但随着研究的不断进行,所面临的问题也越来越多。在大数据向前不断迈进的阶段里,如何让我们对大数据的研究朝着有利于全人类的方向发展成为了重中之重。

3.1重要战略资源

在这个信息社会里,大数据将会成为众多企业甚至是国家层面的重要战略资源。国家层面要将大数据上升为国家战略。奥巴马在2012年3月将“大数据战略”上升为最高国策,像陆权、海权、空权一样,将数据的占有和控制作为重要的国家核心能力。大数据资源也会成为各种机构和企业的重要资产以及提升企业社会竞争力的有力武器。在大数据市场里,客户的各种数据信息都会为企业创造价值,也会在促进消费水平、提高广告效应等方面扮演重要的角色。

3.2数据隐私安全

大数据如果运用得当,可以有效地帮助相关领域做出帮助和决策,但若这些数据被泄露和窃取,随之而来的将是个人信息及财产的安全问题得不到保障。2011年索尼公司遭到黑客攻击,造成一亿份客户资料泄露,经济亏损约1.71亿美元。为了解决大数据的数据隐私安全问题,Roy等在2010年提出了一种隐私保护系统,将信息流控制和差分隐私保护技术融入到云计算平台中,防止MapReduce计算过程中的数据泄露问题。在数据更新飞速的情况下,如何维护数据的隐私安全成为大数据时代研究的重点方向。

3.3智慧城市

人口的增长给城市交通、医疗、建筑等各方面带来了不小的压力,智慧城市就是依靠大数据和云计算技术,实现城市高效的管理、便捷的民生服务、可持续的产业发展。在刚刚结束的“两会”的政府工作报告中,总理也特意强调了智慧城市发展的重要性,目前国家智慧城市试点已遍布全国各地,多达409个。智慧安防、智慧交通、智慧医疗等都是智慧城市应用领域。智慧城市的建设也趋使大数据人才的培养。据预测,到2015年,大数据将会出现约100万的人才缺口,全球将新增440万个与大数据相关的工作岗位来填补这个空缺。

篇(2)

云计算技术的发展为计算机的进一步技术提升提供了方向,由于云计算自身有着对空闲资源整合的优势并能使之合理化的分配,所以在当前的工作生活中发挥了重要的功能作用。云计算的出现是技术上的革新,但为人们带来方便的同时,在安全性上也存在着诸多问题,其中最为突出的就是数据的完整性,所以加强这一层面的理论研究就有着实质性意义。

1 云计算中数据完整性具备的特征及检测技术

1.1 云计算中数据完整性具备的特征分析

云计算环境下的数据完整性自身具备着鲜明的特征,主要体现在对动态操作的支持,为能够对云中的应用得以有效满足,此时就需要完整性的验证机制加以支持动态操作。当前的数据更新需要生成大量的签名标签,从而使得计算代价以及通信开销方面相对较大。另外则是无状态的认证以及对用户隐私的确保,还有就是公开认证允许任意第三方替代用户完成数据的完整性验证。

1.2 云计算中数据完整性检测技术分析

云计算中的数据完整性检测技术比较多样,此次分析比较重要的几个协议,首先是哨兵完整性检测方案,这一技术方案主要是在数据当中进行随机插入小段数据作为哨兵,在进行实际的检测过程中,对哨兵进行检测替代对整个文件的检测。这一技术方案的安全性主要体现在原始文件以及哨兵除了在数据的拥有着之外其他人是无法进行分辨的。这一协议主要是先对数据进行处理,按照纠错以及加密和哨兵产生置换等程序进行实施。

从纠错这一程序傻上来看,主要就是将文件按照每组数据当中有多块的合理化分组,通过参数纠错码加以编码。另外在加密过程中所使用的对称密钥加密编码后每块数据,再者就是哨兵的产生,而在最后的环节置换上,首先是要通过伪随机置换函数将多个哨兵及加密后数据重新的排列并混合,从而实现数据中的嵌入工作。

2 云计算的数据完整性检测方案设计

2.1 数据完整性检测模型分析

云计算所提供的服务性能及成本管理等都有着很多的优势,能够让用户享受到高规格以及大容量的计算服务,而在云计算的数据完整性检测的模型应用框架方面也比较重要,其应用框架主要有参与方以及云服务商等。在云服务商所建立的云系统方面主要是向数据的拥有着及请求者提供的云计算服务,为能有效的达到这一服务目标,云服务商就要能采取相应安全措施来对服务的安全性得以确保。

大数据的完整性检测方案上,由于大数据信息量比较大,这就决定了其和普通大量数据间的区别,并能看出普通轻量级检测协议是不能完成大数据完整性检测的。要想能够有效完成数据的完整性检测,就需要满足相应的条件,数据的检测量和检测位置可由用户自己进行定义,倘若是检测的方案不能实现检测块数量由用户定义,是通过所有数据进行的监测,这样在检测所消耗的资源及时间上都有着较大的耗费。另外就是整个协议检测阶段的效率要能够和文件以及数据块大小保持独立性,适用于大数据完整性检测协议在数据检测阶段计算量不能与数据块大小有关,否则就会造成计算随着数据块的增大而增大。

2.2 检索公钥加密算法设计

为能够保障用户的信息数据安全完整,就要进行制定相对应的方案,从方案的主要参与方上来看主要有数据信息的发送者以及接收者、服务器、可信第三方这几个方面。其中的信息数据发送者主要是对数据的创建然后通过云服务商及接收者公开密钥加密以及发送数据。而在接收者则主要是通过私钥生成的所要查询的关键信息,发送给云服务商进行检索,在接收到云服务商检索结果过程中,进行解密数据和对结果数据进行核对。再者就是云服务商以及可信第三方,云服务商主要是向接收者提供云中文件存储及搜索服务,而可信第三方则主要是对云服务商的服务加以安全评估及认证,其主要的框架如图1所示。

对数据的完整性及安全性的考虑,主要是从离线关键词猜测攻击以及抗不可区分性选择明文攻击层面进行考虑。从方案的设计过程来看,首先假设k是一个安全参数,在云计算的系统实施部署的过程中,可信第三方调用子算法来进行计算公共参数,而后通过调用子算法生成服务器及接收者公私钥对并分发。在发送者所需要的明文文件n传输到接收者的时候,要对文件n的关键词进行确认。这些程序完成之后在进行调用Trapdoor(cp,pks,skR,W)进行对对应的陷门信息进行计算,并传输至服务器,在对信息接收之后通过检索得到密文并通过函数部分进行对密文解密。在这一过程中,接收者通过函数来解密文件的密文,然后通过相关的关键词来判定返回密文和检索的要求是否是符合的。

另外也可通过全同态加密的方式进行对数据完整性进行检测,这一检测的方法主要是在隐私的保护及数据处理过程中的应用,用户把需要存储的数据通过密文的形式进行提交云端服务器,其他的用户能够直接性的对密文数据进行处理操作但不能获得原始的数据,而用户则能通过云端服务器来获取数据处理结果并进行同态加密。

3 结语

总而言之,云计算当中的数据完整性检测是保障用户数据信息的重要途径,随着科学技术的不断发展,在检测技术上也随之而得到了升级,这样对数据的完整性将会得到更有效的保障。由于本文的篇幅限制,不能进一步深化探究,希望此次努力能起到抛砖引玉的作用,以待后来者居上。

参考文献

[1]姜日敏.电信运营商数据脱敏系统建设方案探讨[J].中国科技信息,2014(08).

[2]程风刚.基于云计算的数据安全风险及防范策略[J].图书馆学研究,2014(02).

[3]王衍锋,陈典友,姜帆,关磊,范瑾辉.商业银行敏感数据识别与风险分析[J].计算机安全,2013(10).

[4]王志文,王强.云计算敏感数据防泄露技术研究[J].信息安全与通信保密,2013(08).

篇(3)

2云计算环境下工作流执行模型

科学工作流由工作流管理系统提交和管理,工作流管理系统驻留在提交主机,协调调度工作的流执行。工作流管理系统将工作流中的任务分配到虚拟机的工作节点,任务的执行所需要的数据可以从一个或多个输入数据存储点输入。中间文件在工作流执行期间驻留在数据暂存站点。当工作流结束时,工作流管理系统删除中间数据,同时将输出文件从暂存站点转存到输出站点,然后永久性保存。根据工作流管理系统和目标执行环境的不同,多个数据站点可以协同工作。例如,在输入数据已经驻留在计算节点的情况下,该计算节点和输入点是相同的。图2显示了具有两个任务的工作流,来说明工作流所需的文件是如何在逻辑上独立的站点之间移动的。

3对象存储应用于科学工作流中的数据管理

对象存储系统主要包括存储服务器、元数据服务器、客户端等组成部分,其核心思想是将数据的读和写与元数据存储分离,如图3所示。存储服务器主要负责数据存储、智能的数据分布以及每个对象元数据的管理;元数据服务器主要提供对象存储访问、文件和目录访问管理以及客户端缓存的一致性管理等功能。为了提供可扩展的可靠服务,对象存储器的内部结构非常复杂。例如,亚马逊的简单存储服务(S3)[12]通过REST(RepresentationalStateTransfer)、SOAP(SimpleObjectAccessProtocol)和APIs(ApplicationProgrammingInterfaces)提供检索和删除操作;它将一个对象的多个副本布局在存储服务器上以提供错误情况下的冗余。很多网格存储服务和为数据密集型应用设计的协议可以认为是对象存储,这种架构对构建来自不同的执行环境的数据管理模式而言具有重要的借鉴意义。针对面向大数据工作流,利用对象存储的优点,本文提出两个方案:一是工作流中的3类数据文件都使用远程的对象存储;二是在计算节点上使用共享文件系统作为数据暂存点来存储中间数据。

3.1单独使用对象存储

在这种情况下,所有的数据都存储在对象存储系统中,工作流管理系统需要从对象存储中无缝检索数据,为本地工作流任务使用。在这样的设置中,工作流管理系统从对象存储中检索输入文件和中间文件,然后,工作流中的任务对本地的POSIX文件系统做必要的输入/输出设置,任务完成时,工作流管理系统能够将中间数据和输出数据存储到对象存储中。这样,即使工作流被部署在分布的资源上,科学应用只需要对POSIX做常规的输入/输出设置,就能完成工作流的执行。工作流管理系统与对象存储的多次交互增加了工作流执行的开销,而该开销与分布资源上的计算相比并不算大。对象存储中既有输入数据也有中间数据,只要工作流系统与对象存储能够无缝检索和存储,那么任务执行可以在任何地方。如图4中,任务t1可以在校园计算机集群上完成,而属于同一工作流的任务t2可以在亚马逊的EC2上完成,t1、t2使用亚马逊的S3对象存储作为中间数据文件的暂存。总之,数据存储和执行环境的分离,使得工作流在分布资源上的执行更为容易。一个常见的情况是,当计算需求超过本地或校园计算所提供的资源时,将使用云资源。图4也说明了工作流的数据移动情况。在这里,文件F-i被传送到云中的高性能计算集群工作节点的本地文件系统。任务t1从该节点开始,读入输入文件F-i,然后写入本地文件系统的中间文件F-t,F-t被传回到作为数据暂存点的对象存储中。F-t文件将从对象存储中被检索进入到EC2节点的本地文件系统。任务t2启动后读取F-t文件(该文件是由t1创建),然后将F-o写到本地磁盘,再传送到对象存储中。以上所有的数据传输工作都由工作流管理系统完成。科学工作流中单独使用对象存储的明显不足之处是,数据重复传输会引起在大数据处理过程中的延迟。工作流中的多个任务使用相同的文件,所以重复传输是显而易见的[13][14]。对象存储将对同一资源的重复请求认为是不同的请求,对象存储通常以其良好的扩展性减轻这种重复对工作流性能造成的影响。另外,工作流系统可能在本地节点选择缓存文件,或者利用集群中的共享文件系统来减轻此问题。延迟是整个工作流性能应该关注的问题,云对象存储的设计提供了很高的带宽,但对单个检索或对象操作可能需要数秒钟的延迟。对具有大量文件的数据密集型的科学工作流而言,这种延迟显著增加了工作流运行的时间开销。大型工作流中的另一个问题是多数中间文件需要被传输到对象存储中由相关后续任务检索并使用。由于商业对象存储提供以GB为单位的存储,并按迁移、存储和检索的请求数付费,所以重复传输也就意味着费用的增加。

3.2共享文件系统作为数据暂存

解决由数据重复迁移造成的延迟问题的方法之一,是工作流管理系统将中间文件暂存在POSIX兼容系统中,由多个计算节点文件系统共享,然后在一个资源节点上运行所有的计算。文件共享系统保存了工作流管理系统中所有任务的中间数据,在这种情况下,只有输入输出文件存储在对象存储中。由于中间文件不需要在对象存储与计算节点之间传送,从而可降低使用商业云对象存储的费用。如图5所示,是一个具有文件共享系统的高性能计算环境下具有2个任务的简单工作流。文件F-i被工作流管理系统传送到集群文件共享文件系统。任务t1在计算节点1上启动,从共享文件系统中读入文件F-i,然后将中间文件F-i-t写入到共享文件系统中,任务t2在计算节点2上启动,从文件共享系统中读入F-i-t(由任务t1创建),然后将其输出写入到F-o,F-o由工作流管理系统送到对象存储中,这种方法的优点在传统的有高速并行超级计算环境中尤为显著。例如,XSEDE(ExtremeScienceandEngineeringDiscoveryEnvironment)节点对多数科学工作流点有极大扩展性[15]。值得注意的是,如果第一个计算节点忙而需要将计算溢出到另一个节点时,这种随数据布局任务的方法,损失了布局计算的灵活性。以上两种方法各有所长,选择使用哪种方法取决于工作流的类型和工作流执行的目标环境,这就要求工作流管理系统的开发具有弹性的数据管理方案,允许科学家有效使用对他们有用的基础设施。工作流中的数据管理方案应该具有如下特征:首先,科学工作流管理系统允许任务和数据后绑定,任务依据资源的可用性映射到计算资源上,任务在执行时能够发现资源,并从众多存储中选择数据暂存位置;其次,在科学家只有一个计算资源可用的情况下,允许任务和数据的静态绑定;再次,支持使用不同协议和不同安全机制访问对象存储。

4相关工作

工作流管理系统处理数据的方法很多,Swift[16]采用与本文所描述的第二种模式类似,使用本地文件系统或共享文件系统作为数据缓存,提交主机扮演数据暂存的角色。系统首先选择一个计算站点来运行一个任务,然后将数据从提交主机推向该站点的文件系统,任务执行后,输入的文件被回传给提交主机,中间文件被留在共享文件系统中以便后续任务的执行。相对而言,本文将数据文件(包括输入、输出、中间文件)与提交主机分离,并使用不同的协议,具有更好的灵活性。其他工作流管理系统如Kepler[17],Triana[18]和Taverna[19]关注的是流式工作流中任务的调度和其他Web资源的调用,这些工作流具有图形化的用户界面,允许用户搭建具有不同部件的工作流,但通常没有涉及访问大量数据集的问题。这些工作流中的数据管理很大程度上依赖于用户,数据管理自动化非常有限。Kepler[20]引入了一个MapReduce执行器,允许执行采用MapReduce算法的混合工作流。Hadoop平台通常用来运行数据密集型的科学应用,它所提供的文件操作与POSIX类似,允许随机读,但不允许随机写。在这种情况下,Hadoop平台负责将输入文件切片并分布在各个数据节点。而本文提出的方法主要针对工作流运行在多个不同的执行环境中,代码不能MapReduce的情况。在XSEDE中,任务利用分布式文件系统如GPFS-WAN[21](GeneralParallelFileSystem-WAN)来访问数据,分布式文件系统支持POSIX操作,可以对输入和输出文件进行远程访问。研究表明[22],将大型数据集布局在本地计算节点会更好,但这一策略也会带来新的问题,如不同类型工作流的融合以及数据布局策略算法等。

篇(4)

中图分类号:TP393 文献标识码:A 文章编号:2095-2163(2015)02-

Improve the Security of Cloud Computing Data with Encrypting the Communication Channel

ZHANG Jianzhen

(ShanXi Institute of Mechanical & Electrical Engineering, ChangZhi ShanXi 046000,China)

Abstract: With the development of cloud computing, the security of cloud data gets more and more attention, in order to make the data in the cloud computing, data storage, data communication be more secure, this paper analyzes main risk and the existed security measures, puts forward through encrypting the communication channel to strengthening communications’ security, which could promote cloud computing data security.

Keywords: Cloud Computing; Data Security; Data Encryption; Access Control; Channel Encryption

0 引 言

自2010年以来,云服务得到广泛的应用,云计算、云存储、云平台几乎渗透到工作、学习、生活的各个领域,许多企业纷纷搭建云平台以提供云服务,还有一些企业则开始迁移企业数据至云平台,以节约成本、提高效率。由于云计算对网络的依赖,使其除了云计算技术本身安全性外,同时更要考虑计算机网络的安全风险。如何保障云中数据的安全性,成为云技术发展的重要课题。

1 云计算数据风险分析

云计算的一个主要特征就是网络依赖,其一切服务均通过计算机网络来实现,用户的数据存放在云端,无论使用PaaS、IaaS还是SaaS服务,均需要通过网络与用户通信。因此,云计算在平台架构、网络连接、用户访问等环节均存在安全风险。

1.1 平台架构

2010年以来,OpenStack提供了最简单可行的私有云平台架构技术,支持仅通过5台计算机建立一个正常运行的简单云计算平台,5台计算机功能分别是计算服务器nova、存储服务器swift、镜像管理服务器glance、身份与访问管理服务器keystone和Web服务接口Horizon,其中计算服务器Nova是OpenStack的核心,负责管理和优化云计算资源配置[1]。因此,如果Nova节点出现故障(SPoF,single point of failure),将直接导致OpenStack云平台的崩溃,云中数据的可用性也不复存在[2]。

1.2 网络连接

由于云计算对网络的依赖性,所以一般网络存在的安全风险在云计算中同样存在,如中间节点、网络设备、连接设备等构成云计算网络每个环节的安全性,不仅如此,云计算平台构建的网络连接本身也将是云中数据安全的重要一环。

1.3 用户访问

分布式虚拟技术是云计算关键技术之一,在云中,用户不仅不清楚自己的数据储存在哪台服务器上,也不了解服务器具体放置何处,用户之间通过分布式虚拟技术实现共享计算或存储资源,此时若用户之间安全隔离不够,就使得一些恶意用户利用溢出等攻击技术读取共享区数据,从而使得用户数据被窃取、篡改或丢失。

2 云计算数据安全主要措施

为保障云中数据安全,目前采用的安全保障措施主要包括数据加密和采用访问控制策略。

2.1 数据加密

采用数据加密技术是实现用户信息在云计算环境下安全存储与安全隔离[3]的有效手段,目前比较流行的数据加密方法有同态加密[4-6]和基于属性的加密。同态加密使云端在不知道用户明文数据m情况下,对加密的用户数据e直接进行操作,如同对明文进行操作,另外也有类似的半同态或somewhat同态加密技术。基于属性的加密使用用户的属性集合作为公钥对用户数据加密[7],若一个访问用户要解密一个密文,则要求该用户的属性集合与公钥的属性集合相同属性的数量达到要求数量才能解密。但加密数据的密钥管理往往成为另一个新的问题。

2.2 访问控制

用户访问云中数据时,必须经过云服务商CSP认证,因此,云服务商需要采用访问控制策略来控制用户对云中数据和云服务的访问[8]。由于云计算中,用户都有自己的数字ID,因此基于身份的加密IBE和签名IBS的IBACC认证协议广泛用于云计算身份认证,采用此身份认证方式,可以进行实时身份监控、权限认证和证书检查,从而防止来自恶意用户的越权访问。访问控制不能就消息传输过程的安全性作出反应。

3 通信信道加密保障安全

正如密码学上经典的Alice和Bob通信问题,目前保障云中数据安全的方法无论加密消息本身还是在Alice和Bob之间设置访问控制协议,均各有利弊。为保障云中数据的安全可靠,除采用数据加密和访问控制外,充分借鉴计算机网络通信加密技术提出通过信道加密来保障云数据安全。OSI通信模型中,加密可以发生在通信低层如物理层、数据链路层,也可以发生在如应用层等较高层。物理层与数据链路层等低层加密也叫链―链加密(link-by-link encryption),即通过该链路的所有数据将被加密;发生在较高层(如应用层)的加密叫端―端加密(end-to-end encryption),数据传输到此处时被有选择性地加密,并且只在最后的接收端解密[9]。以下为加密具体实现方法。

3.1 链―链加密

链―链加密方法是在标准物理层接口处添加硬件设备,在线加密,每一次链接仅需要一组密钥。通过物理接口的所有数据将被加密,如数据、路由信息、协议等,对用户透明,发送端与接收端之间的任务智能交换或节点要处理数据必须对其进行解密,因此链―链加密以后,由于所有数据被加密,窃听者得不到任何关于数据结构的信息,也无法猜测数据来源及目的地,侦听到的仅是貌似随机的位序列。由于链路加密需要对每个物理链路加密,只要有一处没加密就会危及整个网络安全。因此,对于大网络,链―链加密开销将变大,且中间节点数据易被暴露。链路加密原理如图1所示。

图1链路加密原理模型

Fig.1 Link encryption principle model

3.2 端―端加密

端―端加密方法主要是在通信模型的较高层――网络层或传输层之间添加加密设备,加密设备根据OSI模型低三层的协议理解数据,由于端―端加密只加密传输中的数据单元,不处理路由信息,因而省去了通信中在物理层加解密信息的繁琐,数据单元可以保持加密状态,直到传输结束。端―端加密独立于网络所用的通信结构,加密和解密离线完成,因此密钥管理相对复杂。由于路由信息不加密,因此攻击者将可根据路由信息分析通信双方,通信时间及时长等。端―端加密原理如图2所示。

图2端―端加密原理模型

Fig.2 P2P encryption principle model

3.3 组合加密

根据链―链加密与端―端加密的优缺点,考虑一种针对云计算有效的网络安全方式,即加密每个物理链路同时加密数据单元,从而既避开了端―端加密攻击者对路由信息的分析,也提升了链―链加密中间节点数据的安全性。密钥管理方面,用户仍采用离线的端―端加密,网络管理员负责物理层在线的链―链加密。

4 结束语

随着云计算技术的发展,云服务不断渗透人们生活的方方面面,但是由于云计算模式下数据异地存储导致数据超出人们的掌控范围,数据安全成为时下普遍关注的焦点。数据加密与访问控制是最常规的安全措施,作为云计算数据传输的“高速公路”――通信信道往往被人们所忽视,数据安全环环相扣,只要其中任何一个环节出现漏洞,均会导致功亏一篑。通过数据加密、访问控制、信道加密三位一体的安全措施,相信在一定程度上解决云计算数据安全问题,但随着网络技术的高新、快速发展,有效的安全手段仍需要不断深入研究,力争实现防患于未然。

参考文献:

[1] 陈伯龙,程志鹏.云计算与OpenStack[M].北京:电子工业出版社,2013.

[2] 曾文琦,叶家炜,杨阳,等.面向应用服务的虚拟机性能评估[J].计算机工程与设计,2014(10): 156-158.

[3] 张启云.云计算中数据安全问题研究[J].计算机光盘软件与应用, 2012(6):25-26.

[4] 吴旭东.云计算数据安全研究[A].第26次全国计算机安全学术交流会论文集[C]. 上海:信息网络安全, 2011:38-40.

[5] Marten van Dijk and Craig Gentry and Shai Halevi and Vinod Vaikuntanathan.Full Homomorphic Encryption over the Integers[C]//Eurocrypt.Nice,France:ICAR,2010.

[6] 彭伟.面向云计算安全的同态加密技术应用研究[D]. 重庆:重庆大学, 2014.

[7] 程玉柱,胡伏湘.云计算中数据资源的安全加密机制[J].长沙民政职业技术学院学报, 2013(2):132-134.

篇(5)

【中图分类号】G40-057 【文献标识码】A 【论文编号】1009-8097(2012)03-0099-05

引言

随着的IT(Information Technology,信息技术)逐渐渗透到高校的教学、科研和办公等核心业务,各类信息系统数量和存储的数据越来越多,数据中心规模越来越大,学校对数据中心的可靠性、安全性、灵活性提出了更苛刻的要求,传统的数据中心建设管理模式己无法满足当前数字化校园的建设需求。服务器虚拟化以其高效、节能、高可用等诸多优点已经为人们所熟知,在高校校园网中服务器虚拟化的应用也越来越广泛。许多高校在使用虚拟化技术改造或新建数据中心时,仅实现了服务器的虚拟化,对实现数据中心整体虚拟化及云计算技术在数据中心的研究和应用较少。服务器虚拟化提升了服务器硬件使用效率,但如果不能实现数据中心的整体虚拟化,虚拟机得不到存储及网络系统的支持,虚拟化技术提供的高可靠性、高可用性、灵活性等更有价值的功能将无法得到应用。本文分析了利用云计算、虚拟化和无状态计算等技术对服务器、存储、网络和应用交付设备进行全面虚拟化整合的方法,并对关键技术的选择进行了深入的探讨。最后在徐州师范大学数据中心建设方案的基础上,提出了一套基于云计算以实现数据中心计算服务化、资源虚拟化和管理智能化为建设目标的数据中心优化解决方案。

一、高校数据中心建设的现状

不断成熟的虚拟化技术正在帮助更多的高校数据中心减少服务器数量、优化资源配置并简化管理,利用虚拟化和云计算技术可以实现动态IT基础设施环境,进一步改善现有的架构和管理模式,得到了诸多高校的认可。但是目前多数高校仅实现了用虚拟服务器简单代替物理服务器,而没有把数据中心内的存储、网络及应用交付系统进行针对性调整,虚拟化技术提供的高可用性、高可靠性和资源动态分配等非常有应用价值的功无法实施,传统数据中心普遍存在的业务连续性差、灵活性差、业务部署周期长、管理维护成本高和高负载应用(如每学期的集中选课)等问题依然没有得到解决。

在数据中心仅对服务器进行虚拟化,而不对其它硬件资源进行针对性的调整,各类信息系统仍然无法与其使用的硬件资源彻底脱离关系。当应用系统使用的硬件资源性能无法满足需要或出现故障时,信息系统的运行仍将受到影响。在利用云计算技术实现了存储、网络应用交付系统整体虚拟化的数据中心,所有的硬件资源都在一个统一管理、分配并具有弹性伸缩能力的资源池中,这可以为应用系统屏蔽底层硬件架构的复杂性,使应用系统与硬件资源彻底分离,系统使用的计算、存储和网络资源可以从数据中心的资源池中按需获取,资源池中的设备出现故障时或系统需要更多的计算、网络和存储资源时,云计算管理平台可自动从资源池中分配新的可用资源,从而保证业务的连续性和可用性。数据中心整体虚拟化基础架构与服务器虚拟化架构比较如图1所示。

在高校数据中心建设中可以通过云计算技术解决服务器虚拟化带来的问题。云计算是通过整合、管理、调配分布在数据中心的各类资源,并以统一的界面向用户提供安全可靠的数据存储、网络和计算能力。作为一种共享的网络交付信息服务的模式,云计算的使用者看到的只有服务本身,而不用关心相关基础设施的具体实现,利用云计算和虚拟化技术构建数据中心,对数据中心的服务器、存储、网络和应用交付系统进行整体虚拟化,使整个数据中心的运行实现高效、可靠、安全和高可用的同时,还可对硬件资源进行智能管理、灵活部署、动态调整和按需分配,最终实现IaaS(Infrastructureas a Service,基础设施即服务)的目标。利用云计算技术可根本解决高校传统数据中心普遍存在的多种问题,考核数据中心运维情况的TCO、服务器利用率、节能、稳定性、容灾、可用性、安全性等指标,与传统无虚拟化的数据中心和仅对服务器做了虚拟化的数据中心相比有明显提升,根据[3]中调查数据,利用雷达图对相关指示做了比较如图2所示。

二、云计算数据中心的关键环节

建设云计算数据中心时,除了已被广泛接受的虚拟化技术以外,资源池化、资源动态管理和资源动态扩展等技术是实现高校云计算数据中心的关键环节。本节将分析这些环节实现技术的特点及其在数据中心建设过程中的作用。

1.资源池化

资源池化是指通过虚拟化手段,将数据中心内的软、硬件资源虚拟成一个大的“资源水池”,从而简化硬件资源管理、调度难度,实现资源按需获取和空闲资源自动释放,是实现云计算数据中心的关键技术之一,也是实现云计算数据中心的基础。云计算数据中心对虚拟化的要求不仅仅是将一台服务器变成多台这么简单,它需要把数据中心的各类硬件资源虚拟并转化为多个资源池,包括计算资源池、网络资源池、存储资源池、安全和应用交付池等。资源池化是云计算的一个典型特点,只有实现了资源的池化,才有可能实现资源的灵活分配。

实现资源池化可以使数据中心的硬件资源管理方式由管理离散的硬件更改为管理虚拟化的共享资源池,管理工作将变得更加简单和高效,同时还可以提高硬件资源利用率并针对关键应用优先进行动态的资源分配。从资源池可以按应用系统需要分配出个性化的逻辑构造块(包含计算、网络、存储和安全能力),根据应用系统需求这些从资源池中获取的逻辑构造块经过针对性调整,可提供修改化的服务级别或业务需求。实现资源池还有一个优势就是可以实现业务的快速部署,将资源池中的资源动态的分配给应用程序。每个应用程序与。个vApp(Virtual Application,虚拟化应用程序)堆栈捆绑,而vApp配有应用程序需要的应用服务器、数据库和服务器操作系统配置,这使得业务部署变得更加灵活、高效。

2.资源动态管理

资源动态管理可以简化资源管理、调度难度,实现资源按需获取和空闲资源快速释放是云计算数据中心必须具备的能力。变更指定给应用系统负载的硬件资源或硬件资源离线维护时,负载需要在硬件资源之间进行转移,这需要数据中心对资源池进行动态管理。如何智能化的分配、调整、回收资源池中的资源是云计算数据中心必须解决的问题。数据中心资源的动态管理可有效提高设备利用率和数据中心可用性、可靠性和灵活性。

数据中心资源池的管理和调度可以通过负载均衡设备及虚拟化软件的DRS(Distributed Resources Scheduler,分布式

资源调度)、HA(VMware High Availability,高可用性)、FT(Fault Tolerance,系统容错)等功能实现各类应用程序产生的负载在不同的硬件资源上动态移动,从而实现硬件资源的按需分配、动态调整和自动回收。通过多种资源管理技术的实施可以整合工作负载、提高利用率、减少单点故障、实现故障自动切换等功能,使各类应用系统不必再去关心硬件资源的分配及运行情况,应用系统面对的只是一台虚拟机,虚拟机产生的数据流被灵活、均衡地分配到资源池中,从而实现了资源的动态管理。

3.动态扩展

现有资源池内的资源无法满足应用系统的需求时,就需要数据中心的资源池可以在不中断服务的情况下实现快速扩容。采用模块化数据中心(Portable Optimized Datacenter.POD)的建设方式,在每个模块里有支撑业务部署的计算、网络、及存储资源,这种方式实现了资源的高度整合,缩短了建设周期,避免了大型平台建设中不必要的衔接问题。同时每个模块具有独立承载业务能力,提升了后期设备选型的灵活性。随着技术的发展,IT行业越来越意识到把应用部署在单一支撑点的缺陷,云计算环境建议采用并行分布部署方式将业务加载到多个物理上完全独立的模块上,从而确保云环境下应用的高冗余及业务连续性。通过POD建设方式动态扩展资源池的过程如图3所示。

三、关键设备和软件的选型

本节将介绍各资源系统实现方法并给出一些高校在建设云计算数据中心时技术、设备选择的建议。重点介绍计算系统、网络系统、存储系统和安全应用交付系统和云管理平台的建设方法。

1.计算系统设计与实现

计算资源的虚拟化是通过服务器虚拟化软件来实现的,关于服务器虚拟化软件的选择争议并不大,在高校中应用最广泛、最具有代表意义的服务器虚拟化软件是VMware公司的vSphere,也有部分高校使用了少量的Hyper-V、XenServer和Virtuozzo。vSphere是目前唯一可供生产环境使用的虚拟化套件,与同类产品相比其整合比最高,优势明显。

在服务器的选择上首先考虑的是设备的性能,系统最终能否支持海量用户服务及时响应的需求是系统设计是否成功的关键。其次是系统结构应该具有伸缩能力,保证系统能够在维持系统框架、追加少量备件或设备的前提下,满足数年内学校业务增长的需要。徐州师范大学计算系统采用统一计算、一体化架构设计,计算能力主要由两台Cisco UCS 5108刀片服务器提供。UCS采用了Service Profile和无状态计算概念,UCS中的所有服务器在没被启用前均可视为裸机,其物理特性已经不再重要。配置文件会自动寻找第一个可用的服务器,并和它关联。当该服务器损坏,配置文件会自动寻找第二个可用服务器。由于配置文件中设置了服务器的物理参数,备用服务器也会获取和原服务器一样的物理参数,因此,无需在网络和存储设备上做任何重新设置,备用服务器就能具有原服务器所有物理特性,操作系统和应用还可以实现自动重启,完全无需人工干预即实现了备机的自动上线。

高校公共数据平台使用的数据库产品多数是Oracle,因Oracle公司不建议将其产品部署于第三方公司的虚拟化平台上,同时高校公共数据平台是整个数字化校园的基础,对硬件性能、可靠性、可用性要求都非常高。因此在徐州师范大学计算资源中还另外增加了两台IBM公司的Power 740小型机供数据库系统使用,同时服务器负载均衡,这在提升了服务器处理能力的同时实现了双机热备,该方案整体性能可满足学校公共数据平台运转需求。

2.网络系统设计与实现

云计算数据中心网络区别于传统的数据中心网络及校园网,网络资源调用方式是面向云服务而不是面向复杂的物理底层设施进行设计的。通过网络虚拟化可以把数据中心的网络设备以一种与物理位置、物理存在和物理状态无关的方式进行调用,这是云计算架构中IT资源池形成的关键环节。网络虚拟化是实现网络资源复用、降低管理维护复杂度、提高网络设备利用率、保证全局服务策略一致性的关键,同时也是为自动化资源调用和配置打下基础。

高校数据中心承载业务的应用特点决定了其网络既要考虑传统校园网络接入,又要考虑数据中心网络接入,因此在方案设计上采用超大规模数据中心交换机Cisco Nexus 7000作为核心,在性能上实现了网络核心和数据中心汇聚交换机资源的共享和复用,解决了核心层数据量和数据中心数据量可能存在较大差异的问题。数据中心核心配备了两台10插槽Nexus 7000,通过虚拟交换技术以双机冗余的方式部署在网络核心。配置了1块48端口1/10G板卡,通过选配不同的光纤模块,可同时实现万兆和千兆的接入。在网络虚拟化方面,Nexus采用了VDC(VirtualDeviceContent,虚拟化数据中心)技术,可以将一台物理交换机逻辑上模拟成多台虚拟交换机,从而实现更加灵活的、与物理设备无关的跨平台资源分配能力,为数据中心这种底层设施资源消耗型网络提供更经济高效的组网方式,也为管理和运营智能化、自动化创造了条件。

另外还可以通过改进虚机系统平台内的软交换机运行方式来提升虚拟化网络的运行质量。Cisco与VMware联合推出了一款内置于vSphere系统的分布式交换机Nexus 1000v,替代V/V1ware原有的vSwitch和分布式交换机。该交换机使得在一个集群内主机上的所有虚机可以看成连接在单一的一台智能化交换机上,如图4所示,它可实现无论虚机如何迁移,配置在虚拟交换机上的所有网络策略都随虚机迁移而自动跟随,这在降低管理复杂性的同时提升了虚拟机的迁移速度。

3.存储系统设计与实现

云计算采用分布式存储的方式来存储数据,在云计算数据中心对服务器稳定性的要求有所降低,但对存储可靠性与性能要求大幅提高。存储系统是数据中心的核心基础,其性能的优劣、质量的好坏,对全局影响重大,因此如何保证数据中心的存储系统能够不断地完善、发展,保持系统的实用性和技术的先进性是在整个数据中心建设方案中必须重点考虑的问题。在存储系统平台的选型上应充分考虑系统应用水平和处理数据量的大小,在云计算数据中心因虚拟化带来的服务器密度增加,导致I/O(Input/Output,输入输出)成为系统性能瓶颈,因此需要根据实际情况重点考虑系统I/O性能。

云计算数据中心存储系统建设基本原则是利用虚拟化技术和先进的大容量存储设备,集中、智能管理所有存储设备,形成存储资源池。系统应能提供完善、便捷的备份恢复解决方案,保证数据的高可用性。EMC公司VNX存储系统在以上几个方面都有卓越的表现,并且和本方案的软、硬件基础架构有机结合,形成一个完善的软硬件存储系统虚拟化解决方案。徐州师范大学数据中心建设方案中,我们采用一台EMC VNX5300存储作为数据中心主存储,配置两个SAN(Storage

Area Network,存储区域网络)控制器,已提高系统的可靠性,配置一个NAS(network attached storage,网络附加存储)控制器以提高系统的灵活性。配置SAS硬盘,用于对I/O性能要求高的应用。为了降低成本,还配置了SAT硬盘用于存储对容量要求高,但对性能不太敏感的数据。另外设计一台EMC VNX5100存储作为数据中心的容灾存储。存储网络通过FC(Fiber Chanel,光纤通道)和FCoE(Fibre Channel over Ethernet,以太网光纤通道)共存的方式实现,这样不仅解决了新旧技术过渡问题,还减少了接入交换机类型、数量和复杂性,整合了网络资源,提高了数据中心资源部署效率,降低了功耗。

4.安全应用交付系统设计与实现

虚拟化环境下虚拟机的数量及密度迅速膨胀,为了减少防毒过程中的资源消耗、简化管理手段并加强虚拟机的透明性和安全性,我们在虚拟机安全产品上选择的是Trend公司的Deep Security。该系统是一套保护服务器和应用程序的综合安全系统,拥有无安全防护技术,该系统通过与VMware的控管中心整合,无需在虚拟机中安装任何插件,即可实现对虚拟机的安全防护,这进一步减少了虚拟服务器的资源消耗,提升了计算资源工作的有效性。

虚拟化平台本身具备部分对平台内的计算资源、存储资源的负载均衡能力,可以在运行期间持续监控群集内所有主机和虚拟机的CPU、内存资源的分布情况和使用情况,根据运行情况执行相应虚拟机迁移或提供迁移建议,从而保持计算资源的负载平衡。徐州师范大学数据中心建设中,轻负载通过创建基于VMware vSphere的主机DRS集群和存储SDRS(Storage Distributed Resources Scheduler,分布式资源调度)集群实现管理。大型负载如选课、统一身份认证的负载分流由F5公司的本地流量管理设备BIG-IP LTM实现。该设备通过与vSphere的深度整合,维护方便,利用虚拟化环境软件的自动迁移功能,可靠性也较高。

根据主流备份系统的搭建准则,徐州师范大学通过具有重复数据删除功能的EMC Avama备份系统组建了统一的智能备份系统。通过新的数据备份技术,实现了在存储系统中完成对所有数据的备份工作,备份工作不再基于数据所处的操作系统,这在大幅简化数据备份工作难度的同时,提升了数据备份的效率。同时因备份工作不再通过服务器,从而节省了大量的计算和网络资源,降低了数据中心的负载。Avama直接运行于VMware vSphere虚拟化平台之上,无需其他操作系统支持。另外系统支持操作系统的快速恢复,且备份的操作系统可以灵活的恢复到不同的硬件服务器上。恢复数据时不需采用全备份叠加增量备份来恢复至指定的时间点,而是采用任意时间点恢复的方式。

5.云管理平台

云管理平台负责整个数据中心资源管理,是各资源池的管理和工作负载交付管理平台,是实现IaaS的关键环节。云管理平台应能针对不同的资源池,提供统一的云管理接口,以实现对本架构中的各资源池集中管理,包括资源管理、监控、配置、诊断、故障检测、审核及统计数据收集等方面的管理。徐州师范大学云管理平台是在vSphere为云计算系统提供的基础设施架构的基础上,通过第三方个性化开发软件实现了与vSphere的对接。该平台具有良好的跨平台和功能扩展性,系统用户通过Web界面就可以实现自助式申请和管理,系统管理员不再需要手工生成和配置用户所要求的虚拟机,而是交由管理平台自动完成。

6.数据中心拓扑

篇(6)

一、云计算基本概念

近些年,云计算这一概念在行业内被普遍提及,也随之为这一技术带来了巨大的发展。维基百科()对云计算的定义如下:一种基于互联网的计算机新方式,通过互联网上的异构、自治的服务为个人和企业用户提供按需即取的计算。分析这一概念我们可以了解到,在互联网时代,计算能力已经成为了一种“商品”在进行销售,它就像我们日常生活中的水电、煤气一样,价格便宜,使用方便。目前,国内外的互联网商业巨头纷纷推出自己的云计算平台,如google、微软、IBM、亚马逊等,并将其作为未来发展的重要战略之一。因此,针对云计算的研究不仅是互联网时代业界技术发展的重要趋势,也具有十分重要的应用价值。

二、云计算的体系结构

云计算是一个革命性的举措,它不仅带来了IT模式的变化,也引发了IT服务的变革。在云计算时代,数据是自己的,而对于数据的计算、处理等操作,都可以交给云计算数据中心进行。云计算平台可以看成是一个强大的“云”网络,不仅将众多并发的网格计算和服务连接起来,还利用虚拟化技术对每一个服务器能力进行拓展,这样就通过云计算平台使得各自的资源整合起来,拥有超级计算和存储能力。从总体上看,云计算由三个基础部分组成:基础设施,网络和终端。

三、云计算的关键技术

云计算是以数据为中心的一种数据密集型的超级计算方式,它在数据存储和管理、编程模式和虚拟化等方面都具有自身独特的技术。

(一)数据存储和管理。云计算的数据一般采用分布式方式进行存储和管理。为了保证数据的高吞吐率、可靠性及高利用率,冗余存储的方式也时常采用。此外,鉴于云计算中对数据读取和分析的频率高于数据更新频率,云计算系统的数据管理常采用列存储的数据管理模式---将表按列划分后存储。

(二)编程模式。在云计算系统的编程实现过程中,应当尽可能的简单化。究其原因,主要是因为简单化的编程模式能够为基于云计算服务的开发人员提供便利,可以帮助他们在进行后台并行执行和任务调度时获得相对透明的流程,进一步得帮忙他们专心于业务逻辑。

(三)虚拟化技术。虚拟化技术是云计算有别于一般并行计算的根本性特点,也是云计算中的一个关键技术。采用虚拟机技术对云计算资源进行管理具有以下几点优势:移动性、独立性和高整合性。

四、云计算中的网络拓扑设计

云计算作为基于互联网的商业计算模型,其后端的网络拓扑结构十分复杂。对云计算系统中后端大量的服务器进行有效地组织和管理一直是云计算研究中重要的方面,这是保证云计算系统稳定运行的关键。和一般的企业网络、公网相比,云计算网络结构的特点有以下几方面不同:

(一)云计算系统后端网络的复杂程度远远大于一般公司的网络,因此,合理高效的网络拓扑结构是云计算系统中的关键,其主要的作用在于为网络中数据传输的畅通和稳定提供保证。

(二)云计算系统网络内部的数据流量大,主要由于系统主要面向大量的用户和大规模的业务处理。同时,还可能会有服务等级区分度较大的问题。

(三)云计算系统的中网络需要保证高稳定性,这主要是由于用户所有业务及数据都依赖云来开展。

(四)云计算系统需要有良好的可扩展性。云计算系统的规模较大,不可能一次性建设完成,而且用户规模会随服务的增加持续扩大,因此,如果没有良好的可扩展性很难满足要求。

图 1. 云系统后端网络结构示意图

云计算系统中整个网络的效率、稳定性和复杂度由核心交换层的网络拓扑结构决定。显而易见的,如果核心交换节点直接两两相【摘 要】本文的出发点为云计算的网络需求,针对云计算系统中的网络拓扑结构特点进行研究与分析,提出了云计算系统中网络拓扑结构的基本思想――由中心的主干交换部分和树状子网组成;并给出了相应的实现解决思路。

【关键词】云计算 网络拓扑设计 算法实现

连,由此形成的全连通网络抗稳定性是最优的,网络的畅通性也能够得到保证。但是,这样拓扑结构的网络其建设和维护的成本较高,各个核心交换节点中的路由和管理复杂度极高。另一方面,直接以各自交换节点为根生成最小生成树也可以构建网络,这样的网络拓扑结构相对简单,成本低,但是其稳定性较差,容易造成网络的不连通。

因此,一种合理且有效的方式可以简化为如图1所示的结构。通过对该网络抽象化,将需要研究的问题突出显示,即抽象化每一个子网为一个节点,给每个节点附上交换能力、子网流量和地理位置信息等特性。此时,针对网络主干拓扑结构的设计问题就可以表示为如何在已知若干节点容量、地理位置信息和可能流量等信息的前提下,将这些节点互相连接并形成一个冗余小、网络架设开销小的网络拓扑。

针对云计算网络拓扑设计已有众多研究者进行了深入的研究和讨论,该问题可以表示成图论中的一个数学模型:即抽象化云计算系统中的网络节点和所有可能的链路,表示为图论中图的顶点和边,抽象化带宽、延时、链路长度等表示为图的边权重。

本文针对云计算系统后端网络的特点,给出了云计算网络拓扑结构组成---主干交换部分为中心和树状子网为结构。通过将该问题抽象化为数学模型,并求解该抽象化问题,能够有效地计算出云计算系统的网络拓扑结构。

参考文献:

[1]邓自立, 云计算中的网络拓扑设计和Hadoop平台研究,[D].中国科学技术大学. 2009. 学位论文

篇(7)

0 引言

2006年谷歌推出了“Google 101计划”,并正式提出“云”的概念和理论。随后亚马逊、微软、惠普、雅虎、英特尔、IBM等公司都宣布了自己的“云计划”。

云计算的思想可以追溯到20世纪60年代,John McCar2thy[1]曾经提到“计算早晚有一天能变成公用的基础设施”,意味着计算能力可以流通,像人们使用商品一样使用计算机资源。将计算、服务作为一种公共设施为公众提供,像使用电话、煤气和水电一样使用计算机资源,并且费用低廉、取用方便。云计算是通过互联网进行传输的,数据存储在云端,服务存储在云端,通过利用数据的强大计算能力,为用户服务。继2007年IBM和Google宣布在云计算领域的合作后[2],云计算迅速成为产业界与学术界的热点研究,得到广泛的关注。

1 云计算的定义

云计算(Cloud Computing)是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机技术和网络技术发展融合的产物,是新兴的商业计算模型。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统,并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这强大的计算能力分布到终端用户手中。Cloud Computing的一个核心理念就是通过不断提高“云”的处理能力,进而减少用户终端的处理负担,最终使用户终端简化成一个单纯的输入输出设备,并能按需享受“云”的强大计算处理能力通俗的理解是,云计算的“云”就是存在于互联网上的服务器集群上的资源,它包括硬件资源和软件资源,本地计算机只需要通过互联网发送一个需求信息,远端就会有成千上万的计算机为你提供需要的资源并将结果返回到本地计算机,这样,本地计算机几乎不需要做什么,所有的处理都在云计算提供商所提供的计算机群来完成。

2 云计算的主要服务形式

目前,云计算的主要服务形式有:SaaS、Paas和IaaS。

(1)软件即服务(SaaS)。SaaS服务指的是提供商在自己的服务器上将应用软件统一部署,用户通过互联网来订购自己需要的应用软件,提供商会根据所定软件的时间长短和数量来收费,服务提供商会通过浏览器给用户提供软件。(2)平台即服务(PaaS)。PaaS是指将开发环境作为服务来提供。厂商提供开发环境、服务器平台、硬件资源等服务给客户,用户在其平台基础上定制开发自己的应用程序并通过其服务器和互联网传递给其他客户。PaaS能够给企业或个人提供研发的中间件平台,提供应用程序开发、数据库、应用服务器、试验、托管及应用服务。(3)基础设施服务(IaaS)。IaaS即把厂商的由多台服务器组成的“云端”基础设施,作为计量服务提供给客户。它可以提供存储资源和虚拟化服务器,前提是它将I/O设备、内存、计算能力和存储整理合并成虚拟的资源池。这是一种托管型硬件方式,用户付费使用厂商的硬件设施。

3 云计算的核心技术

云计算系统运用了许多技术,其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术最为关键。

(1)编程模型。MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。(2)海量数据分布存储技术。云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证了数据可靠性。(3)海量数据管理技术。云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT数据管理技术和Hadoop团队开发的开源数据管理模块HBase。(4)虚拟化技术。通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。(5)云计算平台管理技术。云计算系统的平台管理技术能够将大量的服务器进行协同工作,进行业务部署和开通非常方便,发现和恢复系统故障也非常的快速,通过智能化、自动化的手段实现大规模系统的运营。

4 云计算技术发展面临的主要问题

随着云计算技术的日益发展和广泛应用,云计算模式同时存在着一些问题。(1)数据隐私问题。如何保证存放在云服务提供商的数据隐私不被非法利用,不仅需要技术的改进,也需要法律的进一步完善。(2)数据安全性。有些数据是企业的商业机密,数据的安全性关系到企业的生存和发展。云计算数据的安全性问题解决不了会影响云计算在企业中的应用。(3)用户使用习惯。如何改变用户的使用习惯,使用户适应网络化的软硬件应用是长期而艰巨的挑战。(4)网络传输问题。云计算服务依赖网络,目前网速低且不稳定,使云应用的性能不高。云计算的普及依赖网络技术的发展。

5 结语

目前,云计算技术的发展正处在起步阶段,但云计算技术的发展将会改变用户对计算资源的使用方式,使用户从以桌面为核心转向了以Web为核心。云计算的前景美好,但还存在一些技术问题亟待解决,例如可扩展的并行计算技术、高可靠的系统容错技术、数据安全技术、负载均衡技术、海量数据的挖掘技术、任务调度技术等方向。随着云计算技术的发展,将会有更多的平台和服务不断涌现出来进而推动云计算技术及其应用的发展。

篇(8)

中图分类号:TH16, TP311 文献标识码:A 文章编号:1007-9416(2017)02-0108-01

1 系统设计

1.1 系统软件的开发平台

数控机床可靠性管理系统采用SQL Server 2000作为数据库软件,采用VC++6.0作为应用程序。VC++6.0是微软公司推出的一种可视化的、面向对象的Windows应用程序开发工具,VC既具有C++的强大功能和高效性,同时又具有可视化编程的方便性,所以越来越受到使用者的欢迎。

1.2 系统的功能模块[2]

该系统主要包括:用户管理模块、数据信息管理模块、设备运行状态查询模块、可靠性指标分析模块、报表输出模块。

2 SQL数据库的建立

2.1 ADO数据连接技术

ADO(ActiveX Data Objects)是微数据库应用程序开发的新接口,可以通过VC++先建立一个ADO连接对象,然后通过该对象打开到数据库的连接。为了简化操作,在使用ADO对象时可以将其封装到类中,这样只要引用封装类的头文件,即可使用封装过的ADO对象。[3]

2.2 数据的录入

系统主要录入机床名称、故障维修时间、故障部位、故障现象和故障原因等数控设备基本数据信息。

3 功能模块实现

3.1 用户管理模块

该模块主要是为了确保系统数据的安全,将登录用户分为:普通、高级、管理员三类用户。

三类用户的权限如下:普通用户可以浏览和导出数据,不能编辑数据;高级用户可以编辑数据;管理员用户除了可以编辑数据外,还可以对普通和高级用户进行权限管理。

3.2 数据信息管理模块

该模块主要实现数控设备故障信息的添加、修改、删除、保存、导出等功能。

3.3 数控设备运行状态查询模块[4]

该模块是对数控机床的故障状态进行统计和查询,可以根据字段名、逻辑关系、过滤条件等进行查询,也可以导出相关的机床编号、故障编号、运行时间、故障率等信息,以方便进行故障分析。

3.4 可靠性指标分析模块[5]

该模块主要计算数控机床可靠性分析常用的三个指标MTBF、MTTR、A的值。

(1)平均故障间隔时间MTBF,一般可用式(1)计算。

(1)

其中,N0 为在评定周期内机床累计故障频数;

n为机床抽样台数;

ti为在评定周期内第i台机床的实际工作时间(h);

ri为在评定周期内第i台机床出现的故障频数。

(2)平均维修时间 MTTR,一般可用式(2)计算:

(2)

其中:tMi ――在评定周期内第i台数控床的实际修复时间(小时)。

(3)固有可用度 A,固有可用度A 综合了可靠度和维修度的可靠性特征量,其计算公式为:

(3)

3.5 报表输出模块

该模块主要是打印功能,可以输出数控设备的故障信息表、数控设备的运行状态、数控设备的可靠性指标分析等数据信息。

4 结语

数控机床可靠性管理系统是针对数控机床产品的基本故障信息管理和可靠性评估而开发的,通过软件的使用可以实现用户管理、数据信息管理、设备运行状态查询、可靠性指标分析、报表输出等功能,实现了设计的目的和要求。此外, 通过该软件的数据结果可以分析出数控机床的薄弱环节和潜在缺点,方便生产厂家采取改进机床的可靠性的措施, 并为机床使用厂家的维修计划提供建设性的依据,增加企业的经济效益。

参考文献

[1]李南,卢晓红,韩鹏卓,武文毅.数控机床及其关键功能部件可靠性研究综述[J].组合机床与自动化加工技术,2012(11).

[2]郑锐.基于可靠性分析的数控机床维修策略研究[D].吉林:吉林大学硕士论文,2011.6.

篇(9)

一、SDN技术的发展历史

2006年,SDN诞生于美国GENI项目资助的斯坦福大学Clean Slate课题。

2008年,基于Ethane 及其前续项目Sane的启发, Nick McKeown 教授等人提出了OpenFlow 的概念,并于当年在ACM SIGCOMM 发表了题为《OpenFlow: Enabling Innovation in Campus Networks》的论文,首次详细地介绍了OpenFlow 的概念。

2009年12月,OpenFlow规范了具有里程碑意义的可用于商业化产品的1.0版本,之后又进一步修订推出了1.1、1.2、1.3、1.4版本。

在工业界,2010年1月,Google数据中心开始采用OpenFlow技术。

2011年3月,开放网络联盟ONF成立,标志着SDN/ OpenFlow从单纯的学术研究正式过渡到产业化发展的轨道中。

2012年底,AT&T、英国电信(BT)、德国电信、Orange、意大利电信、西班牙电信公司和Verizon联合发起成立了网络功能虚拟化产业联盟(Network Functions Virtualisation,NFV),旨在将SDN的理念引入电信业。除ONF外,包括互联网工程任务组、国际电信联盟、欧洲电信标准协议也在推动SDN的发展和应用。

二、应用场景

目前,SDN主要应用于通信技术领域,具体涉及校园网、移动网络以及云计算网络等,随着SDN技术的深化发展,其应用领域会更加广泛。

2.1应用于校园网

SDN最早诞生于斯坦福大学的Clean Slate课题,该课题主要是用于校园网络的试验创新,旨在改变设计已略显不合时宜,且难以进化发展的现有网络基础架构,从而构建一个灵活高效的校园网。

2012年,国家“863”项目“未来网络体系结构和创新环境” 获得科技部批准。该项目是一个符合SDN思想的项目主要由清华大学牵头负责,清华大学、中科院计算所、北邮、东南大学、北京大学等分别负责各课题,项目提出了未来网络体系结构创新环境FINE(Future Internet innovation Environment)。

2.2应用于移动网

SDN逻辑上集中的控制平面能够更好地实现网络融合,使统一管理成为可能。利用SDN技术可以在固定网络和移动网络中实现无缝控制、提高VPN管理的灵活性等。

在运营商网络中利用SDN技术不但能够降低网络管理难度,还能加快业务部署速度,提高网络服务器的适应能力。

目前,我国三大移动运营商纷纷找有实力的SDN技术研发公司进行合作,如华为与电信运营商的合作,其合作的目的是将现有的网络结构向SDN网络结构转型,以期能够适应时代的潮流,为客户提供更好的服务。

2.3应用于云计算网络

随着网络通信技术的发展以及客户需求的增长,传统的存储处理系统远远达不到数据处理的需求,因此提出了集群及云计算概念。

云计算数据中心的交换机管理结构复杂,因此需要对服务器和虚拟机进行快速配置和数据迁移。如果不能在大量的服务器集群中进行快速高效的寻址与数据传输,就极容易造成网络拥塞,发挥不出网络功能。

在数据中心网络中部署OpenFlow交换机,可以借助SDN技术,实现高效寻址、优化传输路径、负载均衡等功能,提供数据交换的效率。

三、展望

SDN是一种新兴的网络架构,属于下一代网络技术研究范畴,但又与其他下一代网络技术研究方向有很大区别。由于SDN技术刚刚提出,因此目前使用软件定义网络还存在一些问题,如让不同的网络服务提供者互相交换网络信息从商业的角度来说是不容易实现的,在实现数据平面和控制平面的分离时如何实现分离转发和控制面的OpenFlow协议的完善等。

但是相信随着SDN技术的发展,这些问题在不久的将来会得到妥善解决。

参 考 文 献

篇(10)

中图分类号:TP309 文献标识码:A 文章编号:1671-7597(2013)19-0059-02

随着云计算技术的兴起,传统的C/S和B/S模式网络服务形式正在发生着各种变革。在云计算模式下,客户端和服务器端的定位正在发生变化,网络的主要功能从服务器端到客户端信息的传送变化成服务的传送。云计算服务体系由许多企事业单位的私有云及其相互之间的连接网络组成。云的增多使得云内部、云之间和客户之间的连接网络越来越庞大和复杂,网络内部的数据存储和传输也变得越来越复杂,作为云计算信息传输的基础网络而言,传统的网络架构和协议无法应对越来越复杂的数据传输要求,而数据在不同节点的存储和传输控制显得复杂化,所以有必要对传统的网络结构和存储技术进行相应的改进,建立一个具有高连通性、高吞吐量、高可靠性与安全性的云中数据存储与传输架构。同时具有较低的实现成本。

1 云计算数据中心拓扑结构改进

云计算采用虚拟化技术建立一个抽象的云概念和透明的访问方式,便于用户的使用。云计算需要建立一个数据中心,数据中心由网络将不同的云或云计算单元互联,网络需要实现较高吞吐带宽和较高的可靠性。传统的基于核心层、汇聚层和接入层三层的网络拓扑结构能将数据实现分层,应用于局域网传输具有较大的优势。为了提高网络的可靠性每层网络设备之间还使用了多根线路连接,具备了链路冗余和流量负载均衡的功能。但作为提供云计算服务的服务器位于接入层交换机之下,服务器与接入层交换机只能实现单线连接,无冗余和流量负载功能。不利于发挥服务器群的性能。本文提出了一种在原有拓扑结构基础上利用可管理交换机实现网络结构改进,使服务器能实现双出口设计,大大增强服务器的数据吞吐量。同时具有较好的容错功能。具体如图1所示。

在本拓扑结构中,出现两个对称的网络拓扑结构树,将服务器实现了双出口设计。此网络能容纳的服务器数量主要以交换机的端口数为准,核心层和汇聚层交换机可以通过增加插槽和模块的方式扩容,端口一般够用。接入层交换机一般为固定端口,以24、48口居多。如果以每个交换机48个口为例,则整个网络可以容纳27648台服务器。对一般的企事业单位构建私有云来说都足够了。当然此结构的成本低廉,且容易实现,具有双倍的数据吞吐量,能充分挖掘服务器的性能。如果网络中虚拟主机需要迁移则更容易实现。

改变了网络拓扑结构后需要对网络重新进行IP地址的划分,并重新进内网的路由设计。为了提高网络的可伸缩性、增加服务器的容量。建议采用10.0.0.0/8的A类私网地址,然后根据汇聚层和和接入层交换机的数据量划分子网,一般推荐每一个接入层交换机划入一个VLAN,因为每个接入层交换机的端口数为48,所有保留5个主机位即可,剩下19个主机位可以作为子网划分用。根据业务和管理需要,将连接相同功能的服务器的接入层交换机划入相同子网,然后再对每个接入交换机划分子网。也就是说子网的划分从核心、汇聚到接入逐级划分,这样的好处是路由汇总容易,路由条目较少,便于网络维护。需要注意的是,服务采用双网卡,两个网卡处于不同的网段,服务器本身采用负载均衡技术实现两个网卡的流量平衡。由于全网采用VLAN的方式结合冗余路由协议实现全网互通的话存在一定安全隐患,当某台服务器感染病毒时可能会导致整个网络传输大量垃圾信息。所以推荐在汇聚层和核心层之间采用路由模式。以提高整个网络的抗攻击能力。采用此方式还可以发挥汇聚交换机的交换性能。

2 网络缓存技术设计

对云计算机平台设计好网络拓扑结构后,需要对网络中服务器进行功能定位。服务器系统有索引服务器、存储服务器和客户端节点三个部分组成。索引服务器主要保存账户、空间、内容目录、文件片与存储位置等信息。该服务器主要给方便用户访问所需要的资源。存储服务器主要保存云计算平台所提供的各种资源及其备份。客户节点则提供系统入口,通过预先定义的规则与云中的其他服务器进行交互。这样的网络存储系统可以利用广域网中大量开放的存储服务形成云服务。能提供较大空间和数据传输带宽。当用户的数量剧增或出现黑客攻击时,也可能出现许多用户请求同一服务而导致拒绝服务。具体表现在:

1)当较多用户下载同一数据时,将导致大量的访问请求指向存储该数据的服务器,该服务器由于压力剧增而出现崩溃的几率将大增。

2)云服务方便用户上传大量文件,当用户频繁访问某种存储服务时出现速度变慢等现象,这是由于出现了服务拒绝的情况,当然可以通过重传的等方式,但执行任务的周期会增加,从拖累了整个系统的效率。

针对该问题,本文提出了给云计算数据中心增加缓存服务器层的思路来改进云计算平台的数据保存和传输效率的思路。主要做法如下:

1)引入缓存服务器层概念,增加相应的数据存储服务器,将服务器集中统一的方式进行管理,作为系统初始的文件冗余备份机制。如果将云计算平台看作一台计算机,那么该服务器群相当于给整个数据中心增加了内存容量。该服务器群定位于临时数据的存储。

2)将客户端的带宽和存储资源利用起来,运用分布式哈希算法来解决结构化的分布式存储问题,将用户节点组织起来,使用户之间能够彼此交换数据和资源共享。这样可以减轻存放数据的服务器的压力,避免服务器成为系统瓶颈或出现崩溃现象。

3)添加点对点的网络传输层,引入服务节点群和传输节点全两个模型,服务节点具有带宽高、计算能力强、存储量大、在线时间长的特点。传输节点则相对于服务节点性能较弱、资源较少。服务节点根据一定评价指标进行筛选,然后根据KAD算法组成一个网络,网络信息有缓存服务器进行保存,服务节点的主要作用是共享数据或提供服务。具体拓扑结构如图2所示。

4) 处理流程:

上传数据:用户节点联入网络后,如果达到了服务节点的要求,将成为服务节点,并向缓存服务器汇报自己的节点信息,缓存服务器根据缓存的节点信息调度各个服务节点协同作业。用户节点向索引服务器请求网络存储服务器,获得授权后首先向缓存服务器上传数据,作为冗余备份。然后通过缓存服务器层向网络存储服务器上传数据。

协同传输备份:索引服务器将需要备份的数据信息发送到缓存服务器,缓存服务器根据其保存的各种节点信息协调节点进行传输备份,这样缓存服务器、服务节点和存储服务器都具有备份的数据。当然缓存服务器、服务节点保存的时间有限,存储服务器是永久保存。根据传输备份结果将数据保存信息反馈给索引服务器,方便下次用户数据下载请求访问。

下载数据:用户节点下载数据时,索引服务器将用户引导至缓存服务器,当缓存服务器存在用户下载的数据时,将引导用户从上传该数据的服务节点下载,用户节点还可以根据下载速度同时从服务节点、缓存服务器和存储服务器同时下载。服务节点、缓存服务器和存储服务器会根据负载的情况动态调整带宽。多方下载的前提是数据进行了合理的分片。下载后用户需要将分片的数据进行重组。

3 总结

云计算技术的不断应用,促使传统的数据中心拓扑结构不断发生着改变,数据中心内部、用户与云平台之间的数据传输和存储方式在不断发生着改变,本文提出的新型拓扑结构和数据传输技术适用于目前常见的云计算平台。数据中心的网络拓扑结构的优化,充分利用了传统三层结构的稳定性与高效性,同时也增加了服务器的出口容量,释放了服务器的潜力,消除了云计算平台数据中心的系统瓶颈,提高了整个系统的可靠性和效率。缓存数据层的引入则加快了用户使用云计算平台的有效传输效率,特别是用户下载数据体验会更好。经过模型的测试,采用优化网络拓扑和增加缓存数据层结构的云计算平台能教明显的提高数据的传输速率,该结构的特点是投入有限的硬件设备的条件下,利用用户节点的资源充分挖掘云计算平台本身潜力,实现了整个系统的资源配置优化。

项目基金

本论文是湖南省教育厅科学研究项目“基于云计算的安全数据存储服务技术研究”(11C0273)的研究成果。

参考文献

上一篇: 健康社团活动总结 下一篇: 建筑施工工艺实训总结
相关精选