云计算技术及其应用汇总十篇

时间:2023-08-15 17:20:45

序论:好文章的创作是一个不断探索和完善的过程,我们为您推荐十篇云计算技术及其应用范例,希望它们能助您一臂之力,提升您的阅读品质,带来更深刻的阅读感受。

云计算技术及其应用

篇(1)

abstract: virtualization and distributed parallel architecture are two typical technologies of cloud computing. for virtualization technology, this article discusses the pool of physical resources, resource pool management and use, cluster fault location and maintenance, resource pool grouping, and the building and application of heterogeneous virtualization platforms. it also discusses the distributed file system and key/value storage engine associated with distributed technology. a “master bottleneck” storage interface standard is proposed for the distributed file system, and directory-based storage is proposed for the key/value storage engine.

key words: virtualization; distributed computing; cloud computing management platform; key/value storage engine

云计算由google提出,随后在互联网界风起“云”涌,随之而来的云计算服务和技术平台成功案例层出不穷,如google的gfs、mapreduce、bigtable、chubby和app engine,亚马逊的dynamo、ec2、s3、sqs、simpledb和cloudfront,微软的azure、sql、“.net”和live服务,开源云计算平台的hdfs、hbase和eucalyptus,vmware的虚拟化平台等。

1 云计算的核心技术

云计算主要基于资源虚拟和分布式并行架构两大核心技术,同时互联网上有大量的开源软件为用户提供支撑,如xen、kvm、lighttpd、memcached、nginx、hadoop、eucalytus等。云计算技术有效地节约了云服务商的硬件投入、软件开发成本和维护成本。

虚拟化技术最早由vmware公司引入并在x86 cpu上实现。虚拟化平台将服务器虚拟为多个性能可配的虚拟机(vm),对整个集群系统中所有vm进行监控和管理,并根据实际资源使用情况对资源池灵活分配和调度。

分布式并行架构是云计算的另一个核心技术,用于将大量的机器整合为一台超级计算机,提供海量的数据存储和处理服务。整合后的超级计算机通过分布式文件系统、分布式数据库和mapreduce技术,提供海量文件存储、海量结构化数据存储和统一的海量数据处理编程方法和运行环境[1-3]。

2 虚拟化技术

虚拟化技术主要分为两个层面:物理资源池化和资源池管理。其中物理资源池化是把物理设备由大化小,将一个物理设备虚拟为多个性能可配的最小资源单位;资源池管理是对集群中虚拟化后的最小资源单位进行管理,根据资源的使用情况和用户对资源的申请情况,按照一定的策略对资源进行灵活分配和调度,实现按需分配资源[4-7]。

2.1 物理资源的池化

云计算平台如图1所示。物理硬件设备的虚拟化对象包括服务器、存储、网络、安全等多个方面,不同的虚拟化技术从不同角度解决系统的各种问题。

(1)服务器虚拟化

服务器虚拟化对服务器进行资源虚拟和池化,将一台服务器虚拟为多个同构的虚拟服务器,同时对集群中的虚拟服务器资源池进行管理。

(2)存储虚拟化

存储虚拟化主要是对传统的存储区域网络(san)、网络附加存储(nas)设备进行异构,将存储资源按类型统一集中为一个大容量的存储资源,并将统一的存储资源通过分卷、分目录的权限和资源管理方法进行池化,然后将虚拟存储资源分配给各个应用使用,或者是直接分配给最终用户使用。

(3)网络虚拟化

网络虚拟化将一个物理网络节点虚拟成多个虚拟的网络设备(交换机、负载均衡器等),并进行资源管理,配合虚拟机和虚拟存储空间为应用提供云服务。

2.2 资源池的管理和使用

资源池由云管理平台实现统一的管理、调度和监控,涉及云平台的合理使用和维护管理。云管理平台共分为4个管理层面,分别为:设备的管理、虚拟资源的管理、服务的管理和租户管理。

(1)设备管理

设备管理为云计算平台的硬件设备提供管理和告警功能,主要包括系统管理员在日常的维护工作中查询各物理设备性能情况,并对如应用服务器的cpu使用率、内存使用率、硬盘使用率、网络接口使用率、存储设备的空间使用率、io情况等关键指标进行监控。用户可以根据应用物理设备的实际配置,设置相应的监控阈值,系统会自动启动对相应指标的监控并报警。

(2)虚拟资源管理

虚拟资源管理为各种应用提供虚拟资源的统一管理、资源分配和灵活调度,同时还包括系统管理员在日常的维护工作中查询各个最小虚拟资源的性能情况,并对应用虚拟机的cpu使用率、内存使用率、硬盘使用率、网络接口使用率,虚拟存储(如亚马逊的ebs)的空间使用率、io情况等关键指标进行监控。用户可以根据虚拟资源的实际配置,设置相应的监控阈值,系统会自动启动对相应指标的监控并报警。

(3)服务管理

服务管理包括服务模板、服务实例、服务目录等管理。服务管理在虚拟资源的基础上,快速向租户提供用户指定的操作系统、应用软件等软件资源。

(4)租户管理

租户管理对每一个租户对应的资源群进行管理,内容包括资源的种类、数量、分布情况等,同时对租户生命周期进行管理,包括租户的申请、审核、正常、暂停、注销等。

2.3 集群的故障定位与维护

google的集群维护方式给我们留下了深刻的印象,维护人员推着小推车对损坏的机器进行更换,故障定位通过定制pc的故障灯进行判断(在通用的因特网数据中心(idc)应用中,计算资源通常使用通用pc机)。目前所有的云平台对物理机和虚拟机的监控、告警,都是按照机器的ip地址作为机器的编号进行管理。对于承载着虚拟机的物理机而言,其host os模块的ip地址对应和代表着物理机器在集群中的唯一标志。ip地址的分配一般采用两种方式:采用动态主机配置协议(dhcp)方式自动获取;通过手工指定方式确定。由于集群中机器很多,手工指定工作量非常巨大,因此通常采用dhcp的方式对ip地址进行分配。

但是维护人员在云管理平台上发现物理设备出了故障,维护人员无法通过ip地址对应到故障机器的具体物理位置,通用的pc机又没有故障灯等辅助定位手段。定位故障机器的物理位置并更换或维护它成为一个复杂和繁琐的过程。

在的虚拟化集群中,可以采用简单而有效的方法解决此问题。对于每一台物理机器,配置一个usb接口的key,key中保存了物理机器的位置信息,同时usb key与物理位置直接绑定(如绑在机架上)。机器在启动时,会到usb key中读取物理位置信息,根据读取的物理位置信息,依据固定的算法和物理信息算出机器的ip地址,并在管理平台中体现。这样,每个物理机器的ip地址就与物理位置绑定,在物理机器故障时,维护人员在云管理平台可以准确获取故障机器的ip地址和物理位置。

2.4 资源池的分组与异构

对于服务器的虚拟化,由于架构不同,sun、ibm等厂家的小型机虚拟化都采用相互独立的架构,与基于x86架构的虚拟化系统(如xen、kvm等)无法兼容,因此造成了资源浪费。

对于服务器虚拟化的异构问题,可以从两个层面去解决:(1)通过资源池的分组,对不同架构的服务器和小型机进行虚拟化,不同架构的资源池归于一个独立的组,针对不同的应用,分配特定的虚拟机资源。(2)通过业务的定制和调度,将不同架构的虚拟化平台通过管理融合,实现异构虚拟机的调度。

异构资源池如图2所示。在云计算平台中,把ibm的powersystems小型机集群通过ibm的powervm系统虚拟为基于powersystems架构的计算资源池,把hp的小型机集群通过hp的vse系统虚拟为基于hp架构的计算资源池,把x86架构的计算资源通过xen\kvm系统虚拟为基于x86的zxve资源池。在业务部署时,不同的应用的可以根据自己的业务特点和操作系统特点,选择性地部署在不同的资源池上,从而实现虚拟化对各类小型机的异构。x86架构的计算资源池、powersystems架构的计算资源池和hp架构的计算资源池分别受各自的虚拟化管理软件(如vmm、ivm和gwlm)管理。在vmm、ivm和gwlm的上层,可以通过融合的虚拟化管理器(ivmm),对3个计算资源池进行统一管理。

图3所示为虚拟资源对应用实现异构的方法。此方法的核心在于4个方面:ivmm、业务调度器、业务系统针对不同的资源池架构提供应用功能相同的不同版本、ivmm和业务调度器之间的occi扩充接口。

在业务应用层面,针对业务系统,本文增加业务调度器模块。业务调度器根据业务的繁忙程度,向ivmm申请增加或减少虚拟机资源,并调整负载均衡策略。业务系统针对不同的资源池架构,需要准备与之对应的功能相同的不同版本。occi扩充接口的工作流程为:

业务系统的业务调度器通过occi接口向云计算平台申请资源,同时向云计算平台提供业务系统可以支持的操作系统等信息,并提供优先级信息。

云计算平台根据业务系统的请求和云内资源的空闲情况,分配计算资源,通过occi接口通知业务调度器云计算平台向业务系统提供了何种架构的计算资源。

业务调度器根据申请到的资源情况,将业务处理机的操作系统、业务版本等模板信息通过occi接口通知云计算平台,由云计算平台进行操作系统和业务程序的部署,完成后提交给业务系统进行使用。

3 分布式技术

分布式技术最早由google规模应用于向全球用户提供搜索服务,因此必须要解决海量数据存储和快速处理的问题。其分布式的架构,可以让多达百万台的廉价计算机协同工作。分布式文件系统完成海量数据的分布式存储,分布式计算编程模型mapreduce完成大型任务的分解和基于多台计算机的并行计算,分布式数据库完成海量结构化数据的存储。互联网运营商使用基于key/value的分布式存储引擎,用于数量巨大的小存储对象的快速存储和访问。

3.1 分布式文件系统

分布式文件系统的架构,不管是google的gfs还是hadoop的hdfs,都是针对特定的海量大文件存储应用设计的。系统中有一对主机,应用通过文件系统提供的专用应用编程接口(api)对系统访问。分布式文件系统的应用范围不广的原因主要为:主机对应用的响应速度不快,访问接口不开放。

主机是分布式文件系统的主节点。所有的元数据信息都保存在主机的内存中,主机内存的大小限制了整个系统所能支持的文件个数。一百万个文件的元数据需要近1g的内存,而在云存储的应用中,文件数量经常以亿为单位;另外文件的读写都需要访问主机,因此主机的响应速度直接影响整个存储系统的每秒的读入输出次数(iops)指标。解决此问题需要从3个方面入手:

(1)在客户端缓存访问过的元数据信息。应用对文件系统访问时,首先在客户端查找元数据,如果失败,再向主机发起访问,从而减少对主机的访问频次。

(2)元数据信息存放在主机的硬盘中,同时在主机的内存中进行缓存,以解决上亿大文件的元数据规模过大的问题。为提升硬盘可靠性和响应速度,还可使用固态硬盘(ssd)硬盘,性能可提升10倍以上。

(3)变分布式文件系统主机互为热备用的工作方式为1主多备方式(通常使用1主4备的方式),通过锁服务器选举出主用主机,供读存储系统进行改写的元数据访问服务,如果只是读访问,应用对元数据的访问将被分布式哈希表(dht)算法分配到备用主机上,从而解决主机的系统“瓶颈”问题

对于分布式文件系统,外部应用通过文件系统提供的专用api对其进行访问,这影响了分布式文件系统的应用范围。对于标准的posix接口,可以通过fuse的开发流程实现,但将损失10%~20%的性能。对于网络文件系统(nfs),在实现posix接口的基础上,可以直接调用linux操作系统的nfs协议栈实现。

3.2 key/value存储引擎

key/value存储引擎最大的问题在于路由变更后,数据如何快速地实现重新分布。key/value存储引擎如图4所示。可以引进虚拟节点的概念,将整个key值映射的ring空间划分成q个大小相同的bucket(虚拟节点,key的映射算法推荐采用md5)。每个物理节点根据硬件配置情况负责多个bucket区间的数据。同一个bucket上的数据落在不同的n 个节点上,通常情况下n =3。我们将dcache的q设定成10万,即把整个ring空间分成了10万份,如果整个dcache集群最大容量为50 tb,每个区间对应的数据大小仅为500 mb。对500 mb的数据进行节点间的迁移时间可以少于10 s。图4中,n =3,bucket a中的数据存储在b、c、d 3个节点。

4 结束语

云平台的构建是一个具有挑战性的课题,本文详细描述了虚拟化和分布式架构两大核心技术。在基础设施即服务(iaas)层面,着重描述了虚拟化技术,以及异构的虚拟化云计算平台的建设和应用,同时介绍了云管理平台的功能。在分布式技术方面,介绍了分布式文件系统和key/value存储引擎。对于分布式文件系统,本文着重介绍了主机“瓶颈”解决方案及存储接口标准化的想法;对于key/value存储引擎,本文提出了用于目录化存储的解决方案。

5 参考文献

[1] 张为民, 唐剑峰, 罗治国, 等. 云计算:深刻改变未来 [m]. 北京: 科学出版社, 2009.

[2] 刘鹏. 云计算 [m]. 北京: 电子工业出版社, 2010.

[3] 王庆波, 金, 何乐, 等. 虚拟化与云计算 [m]. 北京: 电子工业出版社, 2009.

[4] scott granneman s. google apps deciphered: compute in the cloud to streamline your desktop [m]. upper saddle river, nj, usa: prentice-hall, 2009.

[5] reese g. cloud application architectures: building applications and infrastructure in the cloud [m]. sebastopol, ca, usa: o'reilly media, 2009.

[6] arrasjid j, epping d, kaplan s. foundation for cloud computing with vmware vsphere 4 [m]. berkeley, ca, usa: usenix association, 2010

[7] service delivery platforms and telecom web services: an industry-wide perspective [r]. the moriana group, 2004.

收稿日期:2010-05-28

篇(2)

中图分类号:TP3 文献标识码:A 文章编号:1672-3791(2011)09(a)-0026-01

1 云计算概述

1.1 云计算的定义

1.1.1 什么是云计算

云计算的概念源于网格、公用计算和 SaaS概念。这是一种新兴的模型,利用该模型,用户可以在任何地方通过连接的设备访问其应用程序。应用程序位于可大规模伸缩的数据中心,计算资源可在其中动态部署并进行共享,以便能够实现显著的经济规模。

狭义的云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。 广义的云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。

1.1.2 云计算的特征

(1)硬件和软件都是资源,通过互联网以服务的方式提供给用户;(2)应用资源可以根据需要进行动态的扩展和配置;(3)资源在物理上以分布式的共享方式存在,但最终在逻辑上以单一整体的形式呈现;(4)资源按需分配,按实际使用量付费,自动化管理。

1.2 云计算的优势

(1)优化产业格局,推进专业分工;(2)降低管理开销,提升资源利用率;(3)减少初期投资,减轻基础设施风险;(4)降低入市资本,加快技术创新。

2 云计算的关键技术

2.1 云计算的技术支撑

2.1.1 资源调度

资源调度指的是在特定的环境下,根据一定的资源使用规则,在不同的资源使用者之间进行资源调整的过程。目前,通常有两种途径可以实现计算任务的资源调度:一种是在计算任务所在的机器上它的资源使用量;另一种是将计算任务转移到其他机器上。

2.1.2 多租户技术

与传统的软件运行和维护模式相比,用户的应用软件不需要一次性购买和部署在个人的数据中心中,这些计算机硬件资源和软件资源能够更好的被共享,具有良好的伸缩性,任何一个企业用户都能够按照自己的需求对SaaS软件进行客户化配置而不影响其他用户的使用。多租户技术就是目前云计算环境中能够满足上述需求的关键技术。

2.1.3 海量数据处理

作为以互联网为计算平台的云计算,将会更广泛的涉及到海量数据处理任务。海量数据处理指的是对大规模数据的计算和分析,通常数据的规模可以达到TB甚至PB级。

2.1.4 大规模消息通信

云计算的一个核心理念就是资源和软件功能都是以服务的形式进行的,不同服务之间经常需要通过消息通信进行协助。可靠、安全、高效能的通信基础设施对于云计算的成功至关重要。

2.1.5 大规模分布式存储

分布式存储的目标是利用多台服务器的存储资源来满足单台服务器所不能满足的存储需求。分布式存储要求存储资源能够被抽象表示和统一管理,并且能够保证数据读写操作的安全性,可靠性,性能等各方面要求。目前,云环境下的大规模分布式存储领域已经有了一些研究成果和应用。

2.1.6 许可证管理与计费

随着云时代的到来,IT基础设施的许可证管理和计费模式将发生重大的变化。在云计算环境中,用户每月可以估计使用量选取许可证的数量,甚至可以根据系统自动跟踪用户在云环境里的使用情况定期生成的账单付费。

2.2 云计算的技术挑战

2.2.1 数据安全与隐私保护

在云环境中,云暴露在公开的网络中任何一个节点及它们的网络都可能受到攻击,而且服务器的更新和升级都在远程进行,每一次升级都可能带来潜在的威胁。

2.2.2 资源高效性和服务可用性

云环境下,通过技术创新,保证即使在计算机软硬件出现问题,服务仍然可用,云计算服务商希望预测到可能的可用性问题,并通过提前准备副本、提前解决故障、通知用户等手段来避免这些故障的发生,或者减少故障发生带来的损失。

2.2.3 资源的动态分配

在云计算环境中对资源的管理提出了更高的要求,要求资源的调度必须动态、及时、适量、细粒度、自动化和预动性。

2.2.4 统一的编程规范和标准化

为了使用户能更轻松地享受云计算带来的服务,让用户能利用该编程模型编写简单的程序来实现特定的目的,云计算上的编程模型必须十分简单。

3 云计算的应用前景

云计算正在成为IT的一种发展趋势,进入数字化、信息化的社会,为人们的生活和工作提供了无限多的可能,构建在网络之上的云计算给人们带来了诸多方便。无论是普通网络用户,还是企业员工,无论是IT管理者,还是软件开发人员,他们都能亲身体验到这种改变,成为云计算的真正受益者。

3.1 云计算面向大公司

对于大型企业而言,其具有相当完善的IT基础设施和相关的专业IT管理人员,对已有的IT基础设施进行高效的利用。将云计算的强大功能引入数据中心,变传统的IT基础架构成私有云(根据需要与外部云建立联邦的内部云集合),从而使IT基础架构作为可轻松访问的服务来交付将是最理想的解决方案。此方案优点在于:降低成本并最大限度提高IT效益,通过服务级别自动化加强IT控制力,为IT部门提供更多选择性。

3.2 云计算面向中小企业

对于中小企业来说,充分利用现有IT资源来部署新应用程序、提高可用性和确保业务持续性,以发挥虚拟化的强大功能。通过使用业界最受信赖、最可靠的虚拟化平台,大幅度降低资金和运营成本。同时,为企业提高IT人员效益,提供“IT永不停机”,保证其服务具备高可用性、高性能和高可靠性,混合云模式是中小型企业最理想的云计算方案。具有优势在于:减少资金投入和运营成本,提高IT人员生产效率和企业响应能力,保护应用程序和数据,提高业务可用性。

3.3 云计算面向家庭

现阶段,云计算和智能家庭在其各自的领域内发展都非常快速,为了能够在智能家庭中利用云计算提供的服务,那么需要将起桥接作用的家庭网关进行有效的改进,使之能够完成将智能家庭中提供的服务到云上,还能从云中搜索在智能家庭的网关层上看,每一个智能家庭被看作是一个结点,而智能家庭云是由很多个智能家庭结点构成的集群,智能家庭云就像其他由计算机组成的云一样是整个云架构的一部分,并且智能家庭云也可以向外界提供不同的服务。

篇(3)

中图分类号:TP29 文献标识码:A文章编号:1007-9599 (2011) 06-0000-01

Enterprise Applications Analysis of Cloud Computing and Cloud Storage Technology

Cai Han

(China Shipping,Xiamen361006, China)

Abstract:Cloud computing use the Internet as computing platforms,

will be more widely involving mass data processing tasks.Mass data processing refers to the large-scale data analysed and calculated.In the Internet age,the Internet data statistics and analysis of many is mass data level for corporate data storage,provides an important service.This paper analyzes the application of cloud computing,introduces the types of cloud computing infrastructure,in-depth analysis of the cloud computing and the relationship between the enterprise applications.

Keywords:Cloud computing;Cloud storage;Enterprise application

云计算技术带来了IT技术领域的重大变革。它极大地降低了企业的IT建设及运营维护成本,降低了能源消耗,大大加快了企业信息化建设进程。云计算与互联网的结合也催生了IT商业模式的革命,使得越来越多的公司不再购买和维护软硬件,而是从亚马逊等公司租用计算、存储、网络资源以及IT服务,使得企业实现信息化变得像获取自来水一样方便、廉价。

一、云计算的应用类型

目前流行的几种基于云计算的应用类型。这些应用分为三层或三类,分别是平台或基础设施方面的应用、业务应用和业务服务。基于平台的应用主要集中在为用户提供存储服务(云存储)、计算能力(计算云)、数据库服务(云数据库)。云存储是一种基于网络的数据存储模式,数据被存储在多种虚拟服务器上,通常由第三方的组织来管理,而不是用专门的服务器来管理。数据托管公司运营大型的数据中心,用户通过从公司购买或租用存储空间来存储自己需要托管的数据。数据中心的运营商在后台根据用户的需要虚拟化资源,对用户来说就像在使用虚拟服务器,这样用户可以自己管理自己的数据。而实际上,这些资源或许横跨了很多不同的物理服务器。

二、云计算中的基础设施

云计算中的基础设施可以建立在虚拟化、网格计算或二者结合的基础上。网格计算(或者计算网格的使用)是指多个计算机同时处理一个问题的计算模式,处理的往往是需要大量计算资源、需要访问大量数据的科学或者技术问题。它是一种分布式的计算模式,通过将网络上的、松耦合的计算机联合起来组成一个“超级虚拟计算机”来完成大型计算任务。这项技术已经应用在运算密集的科学、数学和理论问题的运算上,参与运算的计算机是以自愿的形式加入的。在商业机构中也有多种不同的应用,如药物研发、经济预测、地震分析、股票数据处理、电子商务和Web服务。在这种计算模式下,计算任务被拆分为许多小的部分,不同的部分在不同的计算机上同时、独立、并行地进行。因此,对于需要在计算过程中交换中间结果的应用,这种计算模式是不适用的,因为不同的处理器和存储系统很难保证高速的连接。网格可以实现本地、大学内部、区域性和国际性的应用、数据和存储资源的分享及管理。Google的搜索引擎就是以网格计算的形式,通过上千台服务器来处理搜索请求、寻找新的站点、存储文件和管理广告。

三、云计算对企业的影响

云计算模式能极大地降低企业或者学校的信息系统建设的成本。对于他们来讲,通过投资建立计算中心成本较大,并且难以与他们的信息系统的快速成长和服务多元化要求相匹配。具体来讲,云计算为企业带来的便利归纳为以下几个方面。

(一)商业模式和理念的转变。IT公司的商业模式从实体的软件或硬件产品销售转变为相应的软硬件服务的提供。通过云计算,更多的应用能够以互联网服务的方式进行。云计算的先驱者之一谷歌甚至强调未来几乎所有的软件都可以搬上互联网,以服务取代软件。云计算将带动整个商业模式的转变,延伸出新的商业体系,特别是IT企业商业理念也需要转变,当前的软件销售转变为服务销售,将实体变为网络中的相关服务提供给个人用户或企业用户。

(二)提高管理效率、服务水平。利用云计算的商业服务平台提供用户和提供商之问交互的平台,用户不用花精力去开发相应的软件或提供相应平台,只需要付少量的费用就能实现现代化的信息管理,将更多的精力用在企业的实质管理和服务客户,增强了企业的自动化度,能提高企业的管理效率及相应的服务水平。

(三)降低运行维护成本。企业只需定制相应的服务,由云服务商或云端提供需要的基础架构、服务、软硬件资源等,可以节约成本,不用投资购买昂贵的硬件设备,负担频繁的维护与升级,企业不需要建立自己的数据中心、大型机房、服务器中心等并相应减少硬软件的运行维护费用。

(四)提高了资源利用率。云计算模式中多企业共用相应的基础架构,由云计算提供更强的管理机制、自动化部和高层次的虚拟化,将实现网络虚拟环境上的最大化资源共享和协同工作。企业可以自己组建云计算基础设施,也可以按需或按时租赁的方式来完成企业的计算任务、存储、平台服务等,多个企业共享云计算基础设施,在节约成本的同时提高资源的利用率。

四、结束语

云计算是集成了大量资源的高效运行模式,在数据存储与处理中具有极高的应用价值,因而在企业中广泛应用,应用云计算和云存储技术能够改变企业运营模式、提高管理效率、降低系统成本、提高资源的利用效率,对现代企业的信息操作产生了划时代的影响,在企业信息系统的发展中必将起到更重要的作用。

参考文献:

篇(4)

期权是一种广泛的金融衍生产品,它即是一种投资手段,也能帮助买方规避风险。其中美式期权允许期权持有人在期权到期日之前的任何时刻执行期权,所以其定价过程十分复杂,运算量及数据规模都极端庞大。云计算技术的迅速发展为这一课题提供了良好的运算环境与条件。

1 美式期权的定价方法

目前对于期权定价的方法有Black-Scholes期权定价方法和蒙特卡罗模拟方法等。前者给出显式解,但只适用于某些比较特定的情形。蒙特卡罗模拟方法是一种在期权定价上非常有效的数值方法,近年来许多研究也是针对蒙特卡洛方法开展的。蒙特卡洛方法可以模拟多标的资产的价格路径,从而克服了二叉树模型和有限差分模型不能为多标的资产期权定价的问题。最小二乘蒙特卡洛方法 (LSM)能模拟多资产标的价格,同时又能解决提前执行期权的问题。为了使定价结果尽可能的准确,在使用蒙特卡罗方法时应尽可能多的产生样本路径数据,以保证定价的可靠性。但是大数据量产生同时也带来运算困难的问题,因此可以考虑采用分布式的云计算模型来实现。

2 LSM模拟算法的实现步骤

LSM模拟方法是根据标的资产价格的模拟样本路径在每个时刻的截面数据,利用最小二乘法回归求得继续持有期权的期望收益,并将其与该时刻立即执行期权的收益相比较,如果后者大于前者,则立即执行期权。具体实现步骤如下文所述。

2.1 生成标的资产价格样本路径

根据期权理论,我们假设期权的到期日为T,执行时间为T*,则对欧式期权而言,T=T*,即期权只能在到期日执行;对美式期权而言,T*∈[0,T],即期权可以在到期日前的任意时刻执行。期权在执行时间T*的价值为:

通过随机抽样对公式f进行求解,从而得到期权价值的一种数值方法。因此,价格路径的生成就显得非常重要。给定发行日的标的资产价格为S0,任意时刻ST标的资产价格为:

其中δ是标的资产的价格波动率,由公式2可以得到标的资产价格的一条样本路径,经过M次模拟,就可以得到样本路径矩阵P。

2.2 最优执行时间和期权受益的计算

在每条路径上,LSM方法通过逆向求解,从期权到期日开始,通过回归得到一个当前标的资产价格的多项式,我们将样本路在时刻i的价格Si作为X值,将对应的样本路径上的未来期望收益的贴现值作为Y值,并采用多元线性回归的方法:

为了求解每条样本路径上的最优执行时间和相应的期权收益,我们从到期日开始考虑,期权执行的条件是执行期权当且仅当期权是溢价的,同事还要考虑继续持有期权至到期日的期望收益的贴现值,如果它小于X- Sn-1,则立即执行期权,否则,继续持有期权。我们仅以那些在N-1时刻处于溢价的样本路径为基础进行回归。以N时刻的收益在N-1时刻的贴现值作为Y值,Sn-1作为X值,采用曲线拟合,就可求的各项系数,然后再求出此时的未来预期收益,然后决定此时是否执行期权,以此类推,即可计算出执行时刻和收益的贴现值。

3 算法并行化设计

为了充分利用云计算技术强大的运算能力,需要多整个期权定价的计算过程进行并行化设计。最终选择在每一步的最小二乘法回归处进行并行化处理,每一步的最小二乘法采用公式3进行拟合,则问题等价于求解矩阵(XTX)β=XTy。

本论文选择使用开源的Hadoop平台实现算法。Hadoop平台对于矩阵的运算具有显著优势。Map函数负责将每一条价格路径作为一条记录提交提交给节点,节点对这些价格路径求解矩阵, Reduce函数负责将所有矩阵的对应元素相加,得到XTX矩阵。与此类似,XTy也用相同的方法求得。在求出这两个矩阵之后,利用多元线性回归,求得最小二乘法的系数向量,进而倒推得出最终期权价格。

4 测试结果及结论

测试平台选择Hadoop集群的MapReduce模块,一个NameNode,3个DataNode,对比测试环境使用单机MATLAB。为了使定价结果尽可能的准确,在使用蒙特卡罗方法时应尽可能多的产生样本路径数据,以保证定价的可靠性。但是大数据量产生同时也带来运算困难的问题,因此可以考虑采用分布式的云计算模型来实现。

通过上述论断可以看出,在价格路径较少的情况下,云计算平台的优势并未发挥,这是因为在分布式的运算中,用于节点间通信的消耗较大,此时单机运算效率更高;当价格路径及时间点数增加的时候,云计算平台的分布式计算能力优势明显,运算效率赶超单机模型;当数据量大到一定程度时,单机运算模型将无法负担运算的强度。

参考文献

[1]无建祖,宣慧玉.美式期权定价的最小二乘蒙特卡洛模拟方法[J].统计与决策,2006,1:155-157.

[2]Wang F Y,Yan A M,Yang L bined application of cloud computation technology and Business Intelligence[C].ICECE,2011:2933-2936.

作者简介

刘源(1986-),男,河南省鹤壁市人。硕士研究生学历。现为鹤壁汽车工程职业学院助教。主要从事网络计算、物联网方向的研究。

篇(5)

中图分类号:TP39    文献标识码:A     文章编号:

1. 云计算技术的工作原理

    云计算是2008年兴起的概念,通过近几年的发展,已逐步应用在许多领域,云计算通过网络将庞大的计算处理程序自动拆分为许多小的子例程,操作功能可以正常及时应用。这些要求并不比机软件。在云计算软件崩溃或错误不会影响其他用户的使用,但在云计算模型中的一个软件问题,它将导致大量的工作可不会顺利进行,以便现有的软件,作好准备,提高安全性、 可靠性和容错能力,在网页上提供。服务,这在目前有很多技术上的困难。

4. 云计算在企业应用中存在问题的解决办法

4.1 采用混合云计算技术

    混合的云计算技术是私有云计算和云计算在两种模式,这两个私有云计算的安全属性的实用程序和公共云计算功能强大的计算能力,实现优势是互补。特别是在企业中现有的基于云计算技术,通过建立基于企业局域网私有云计算,各种类型的服务器整合,并计算性能的功能更强大的 PC 机计算能力还通过网络共享私有云,根据实际的需要,向动态分发给不同用户的计算设备。该公司的核心数据存储在其自己的服务器,以便通过物理层和隔离和防火墙的保护,以避免外部之间的接触和互联网,防止可能泄露关键的企业数据。

4.2 提高软件的体验。

    局部区域网络高速带宽用于输入的数据可以快速反应,确保相比以前的单一的软件服务的操作感觉可以显著地减少。例如,现在互联网已经 0ffice 软件、 输入法,只是大软件、 图像处理软件等软件的网页版,这些在线软件服务相比,单机版软件差很多的经验,这个党但因为速度限制,以及它是这些软件是免费的和将存在巨大差距的收费软件功能和那里的体验。。但同时云计算软件的网页的主要客户是企业,因此该自定义项,真正可以提供软件企业历史上好的软件经验来改进优化,享受一个云计算服务企业使历史好接受这项新技术。

4.3 建立一个完整备份、 数据保护和访问系统 。

    云计算服务,所有数据将保存在云计算服务器中,所以必须高度重视的数据保护,建立和完善的实时数据备份的系统,通过分散的存储和备份保护,确保企业数据安全和稳定的环境中。通过数据密码、 身份验证和指纹识别来区分不同的立场,不同级别的人可以联系的数据。担保公司每一位员工在任何时间,以访问或修改的数据都有案可稽的强制访问跟踪保存,以减少数据泄漏率。此外访问密码和人力资源管理系统实时协会,以确保雇员可以工作,工作人员离开该密码可以实时取消,尽可能的企业数据保护所有安全保护措施。

篇(6)

云计算技术当前互联网技术之一,其定义在互联网技术行业还没有统一的标准定义,但是通过目前各个产业中存在的各类云技术使用范畴进行有序的统一,不难得到云技术的模糊定义,云计算技术是以资源虚拟化为基础网络载体,以提供基础框架、平台、应用等服务为形式,整合大规模的计算、存储、数据、应用等分布式资源,按照服务等级协议向使用户收费的资源平台服务模式。云计算技术作为一项互联网资源平台化分享的技术,它更多的是将电子计算机的硬件和软件为基础,进行虚拟化的信息平台建立,并且以用户的需求实现不同资源信息的提供,当前形势下,云计算技术发展迅速,形成了很多成熟的技术,例如网格计算、海量存储、Web服务、浏览器和虚拟技术等等。

2 云计算对于国企未来发展的影响

云计算技术作为当前各行业主要流行的网络技术之一,已经被现代的许多工业生产管理活动所应用,我国国有企业作为社会主义市场竞争中的主体构成,更多时候代表着社会生产力先进水平,代表着我国经济的发展方向,对于我国经济的发展和社会的进步有着其他私营企业和民营经济没有的优势,新的市场经济条件下,伴随着社会主义市场经济体制中外来企业、混合型企业的参入、民营企业的不断壮大,我国国企面临着严峻的竞争局势。新的形势下提高生产效率,提高管理工作生产工作的效率,成为我国国企提高本身综合竞争力新的工作重点。根据现代化管理经营理念的战略发展指导思想,不难得到要实现我国国企生产管理工作效率的提高,首要的就是进行传统旧有管理工具和管理方式的改良,在我国旧有的传统管理生产工作中,生产管理工作的信息多是以语音纸质的形式进行传递,新形势下伴随着竞争机制的加剧,原有的传统信息传递方式已经无法适应当前瞬息万变的竞争市场,尤其是信息搜集和汇集速度的不及时,极大程度上给我国国企相关生产管理政策的制定造成了一定的延迟,从竞争的源头,我国大多数国企的经济活动的开展已经落后于广大的私营或者外来企业,因而改变信息传递模式成为当前国企生产管理工作效率提高的一大重点。

云计算技术作为当前适用性强、信息传递速度快的新式网络技术闷雷,其对于企业信息传递和企业经济策划制定有着极大的帮助。云计算技术通过服务器提供商提供的信息平台,对于企业本身的各种生产销售业务信息进行汇总整理,从而在最短的时间内整理出对企业现阶段或者将来阶段有用的信息,并且能够对企业往昔的生产活动信息进行有序科学的列表式对比,从而以远超传统数据信息整理人员的工作成绩,向广大的国企管理人员提供清晰完整科学的企业市场数据信息支持,为国企下一步的生产策略的制定奠定基础。

与此之外,云计算技术作为当前主流的企业应用型互联网技术,其更大的效能在于信息的综合平台化。企业通过自己私营的云服务器或者服务商提供的服务器,通过在虚拟的平台上建立企业本身的生产管理制度表,从而以互联网技术独有的动态感官功能,实现对企业各个不同阶段数据的记录比较,进而保证对企业的二十四小时不间歇监察监督工作,极大程度的提高了企业本身各个部门的工作效率。云计算网络信息技术的一大优势便是其部署迅速,对于未来企业各项目的发展具有巨大的弹性扩展能力。云计算的规模并不是一成不变的,其服务器的节点可以伴随着国企本身经济的发展和规模的扩大从而扩多,并且及时的将新的企业生产节点或者部门节点拉入到国企整体的规划管理活动当中,极大程度的提高了国企在进行前瞻性战略核心观念方面的工作效率,更节省了不少的工作时间。而且云计算技术本身有着强大的计算能力、高可用性能够更快的相应市场信息的发展变化,从而实现高度虚拟化资源统一组织、组成一个庞大的资源平台,统一提供服务,在引导企业更低消耗的同时,提高国企的利润从而实现企业的战略经营,形成国企可持续发展的产业模式。

3 云计算在我国国企中的应用现状

我国云计算技术相比较发达国家,其发展的速度和发展开始时间均较落后。Google作为我国第一个运行Goolge云计划的厂商,在我国大范围各大高校合作建立云服务器联络站,从而建造起了自己的云计算服务网络。而IBM\HP等大型公司紧随其后,2008年我国无锡市政府率先与IBM合作开展了一系列的云计算项目合作,这标志着我国国企第一个应用云计算系统的特例出现,随后伴随后我国南京政府开始建设国内首个“电子商务云计算中心”并且与广大服务器厂商合作,实施布局全国范围的云计算推广方案。与此同时北京、山东、广东等省市也开始加快了对云计算技术的相关服务的建设和云营,通过云计算搭建了政府办公信息平台,逐步完成了对电子政务、公共医疗、数字化城市等方面的应用部署,而此段时间我国多数国企业在政府的引领下开始大范围的引用云计算数据信息技术,纵观我国国企当前的云计算技术应用,不难发现我国多数国企云计算技术的应用范围和应用深度相比较国外先进大型企业,仍存在较大差距。

当前阶段伴随着我国经济市场的发展,国内经济市场中参与元素的多元化,国企所占的市场地位已经从原来一家独大的局势变成了多强竞争的局面,新的形势下广大国企管理者要从自己的工作角度出发,从而着眼于当前市场的发展状况,采用新的云计算网络技术来提高国企的管理工作效率,提高生产消耗、提高生产效率、扩大销售渠道、提高企业管理策略的制定实施,从而根本上提高国企的综合竞争力,在新的条件下不断的开发新技术,吸收新的人才理论,提高企业本身的品牌文化内涵,实现国企的可持续高速发展。

参考文献:

篇(7)

作者简介:王晓蓉(1974-),女,本科,副教授,研究方向:计算机应用。

计算机应用技术的不断发展,在很大程度上带来了企业信息化的建设,不管是在生产、业务拓展、管理等方面,都带来了非常好的效果。计算机应用技术主要是指利用计算机软件,进而满足人们的需求,并且从企业发展的角度来说,为了提升企业在市场中的竞争力,开拓新的发展道路,向信息化的运作模式转变已经是势在必行了,合理地使用计算机应用技术,通过利用相应的计算软件,可以对企业现有的发展情况,进行有效的整合,寻找一个新的发展方向,这样不仅仅促进了我国企业发展的进程,也为企业带来了良好的经济效益。

1企业信息化发展概述

计算机应用技术主要是利用各种软件,通过自身的性能、设置、性质和应用等方面,在不同的环境下熟练地进行操作,从而满足客户的需求,提供着不同的服务性能。同时,在企业信息化运作的过程中,主要是利用先进的技术手段,以及最新的管理理念和方式,将企业现有的资源进行有效的整合,形成企业运营框架,这样主要是保证企业的任何一方面,都得到合理的配置。另外,企业信息化的不断的建设,对企业在业务拓展、生产、管理等方面,都进行了进一步的规范,这样不仅仅提升了企业自身的发展实力,也保证了良好的经济效益。

2计算机应用技术在企业信息化的作用

计算机应用技术在企业信息化建设和发展的过程中,起到了非常重要的作用,主要表面在管理和生产效率的提升,以及经济效益的提升,总结起来可以从以下几个方面分析:

2.1数据获取的准确性

企业在运作的过程中,会存在着大量的数据和信息,计算机应用技术可以企业在获取数据和信息方面,变得更加的准确。一个企业经营和管理的过程中,所包括有很多,例如:企业内部信息、员工信息、财务信息等方面,传统的管理模式主要是通过纸质文件的方式,将这些数据和信息进行详细的记录,并且加以保存,仅仅是在需要的时候调出查阅,这样的管理方式是存在着很大的弊端,主要是表面在两个方面:(1)主要是利用人工的方式,对各项数据和信息进行抄录,这样不仅仅工作负担相对较大,很容易出现误差;(2)信息和数据调用相对较为麻烦,并且及时性不够,很容易发生延误的现象。然而,计算机应用技术在企业信息化运用的过程中,主要是利用相应的软件,构建相对完善的数据和信息库,这样不仅仅保证了各项数据的准确性,也实现了各项数据和信息自动化管理的模式。

另外,计算机应用技术可以利用远程方式,对各项数据和信息进行调用,这样可以在很大程度上方便了对数据的使用,时效性和准确性也相对较高。

2.2管理效率提升

企业信息化包含着很多内容,管理就是其中的一个内容。企业在运营的过程中,各项信息和数据来源都相对较为复杂,数量也相对较大,这样给管理也会一定的困难,其管理工作也相对较低。然而,计算机应用技术在企业信息化运用的过程中,企业管理逐渐转向自动化管理模式,其优点主要分为两个方面:(1)利用计算技术对复杂的、大量的信息和数据,进行有效的整合、归类,化繁为简,这样在信息和数据使用的过程中,相对较为清晰化,进而有效地提升了管理工作的效率。(2)管理灵活性相对较强,并且在业务拓展的过程中,不会受到传统因素的限制。同时,计算机应用技术在企业信息化在运用的过程中,还会对办公室的人员进行相应的简化,人力、财力、物力等方面,进行了有效的节约,进而有效地提升了企业良好的经济效益。

2.3提升企业的综合实力

企业的综合实力是保证企业可持续发展的基础,然而计算机应用技术在企业信息化运用的过程中,主要是通过利用相应的软件技术,以此提升企的综合实力。企业综合实力主要包括有:资产规模、营业收入、市场份额、企业文化等方面。同时,在管理的过程中,通过利用计算机应用技术可以加强各项数据和信息之间的交流,实现员工信息交流和共享的功能,从而提升了企业的工作效率。另外,信息和数据的共享,可以在最大程度上提升良好的经济效益,进而提升企业在发展中的综合实力,保证了企业良好的经济效益。

3具体应用

企业信息化主要是以提升经济效益、竞争力等方面为基础,降低企业运营的成本,合理配置企业资源,为企业带来新的发展方向。但是,在企业信息化构建的过程中,计算机应用技术是必不可少的一项内容,下面就对计算机应用技术在企业信息化中运用的相关内容,进行简要的分析和阐述。

3.1企业生产

生产是企业产生经济效益,以及长期生存和发展的重要环节,并且对各项技术都有着相对较高的要求。那么,计算机应用技术在企业信息化应用的过程中,主要是对生产过程进行有效的控制,尤其是生产流水线和批量生产方面。另外,计算机应用技术在企业信息化运用的过程中,主要是利用仿真技术、微电子技术、自动控制技术、网络技术等方面,对整个生产过程进行良好的控制和调控,避免生产过程中产生不必要的误差,提升生产质量的同时,也保证了良好的效益和效率。另外,在应用的过程中,针对不同的生产环节,所应用的技术也是不一样,比如:应用计算机辅助设计技术、计算机辅助制造、复杂工程结构设计、辅助工艺设计等方面,这可以进一步地保证企业的经济效益。

3.2内部管理

管理是任何一个企业发展的基础,信息化管理的构建组要就是对企业的基础工作,业务流程、管理流程等方面是,进行有效的规范,并且利用集成应用系统的形式,对其中所含有的数据和信息,进行全面的收集、整合、存储等,根据这些信息和数据,指定企业下一步的发展方向,这样不仅仅保证发展方向具有一定的针对性,还可以降低企业内部管理成本,并且为一些业务的拓展和决策,提供了重要的信息和数据支持。

另外,传统企业管理模式不仅工作量相对较大,操作也不是很便捷,然而计算机应用技术在企业信息化运用的过程中,通过利用一些相关的技术形式,可以对操作流程进行相应的简化,降低了工作梁,所涉及的范围相对交广,例如:事务处理系统、决策支持系统、企业资源计划、产品数据管理等方面。同时,计算机应用技术在企业管理运用的过程中,还会涉及到一些其他方面,像办公室表格、文档和邮件以及幻灯片等,进而提升办公室工作效率。

3.3企业供应链

随着市场经济的不断发展,经济效益的不断提升,企业整体运营过程已经从开始时候的孤立封闭状态逐渐横向和纵向发这就需要供应链信息化管理。其实,所谓供应链是指从原材、零部件的采购、仓储、加工、营销形成了一套由供应商、生产商和及售后的服务流程。同时,这个过程的好坏直接影响着企业的发展。因此,计算机应用技术在企业信息化应用的过程中,一定要构建相对完善的供应链,这也是企业发展中的重点。在应用的过程中,其重点主要是在于企业局域网、Internet互联网、数据库、电子商务等方面,并且应当对企业资源、供应商、销售商、售后服务商等方面,进行有效的整合,根据企业自身发展的需求,进行相应调整,这样可有效地提升企业在市场发展中的竞争力。

3.4企业与业内沟通

行业的发展不是依靠一个企业就可以的,企业信息化水平的提升也是一样的。因此,在计算机应用技术在企业信息化的过程中,通过利用相应的技术形式,可以加强企业与业内之间的交流,并且定期可以和兄弟企业展开相应的交流活动,加强各项数据和信息之间的交流,进而实现共赢的局面。另外,计算机应用技术在企业信息化运用的过程中,可以通过网络通道对市场发展的走向,以及市场最新信息,进行及时、全面的了解,这样可以为企业各项决策的制定,提供重要的参考依据,避免发生决策上的失误,导致经济效益的损失。

3.5业务拓展

篇(8)

【中图分类号】G623.58 【文献标识码】A 【文章编号】1672-5158(2012)11-0137-01

在计算机方面虚拟化通常是一个广义的术语,它的虚拟性主要体现在计算机元件一般并不是在现实基础上而是在虚拟的基础上运行的。虚拟化技术不仅对硬件容量的扩大有重要作用,而且能够使软件的重新配置过程得到简化。单CPU模拟可以与多CPU并行,是CPU的虚拟化技术一个显著特点,它不仅能够允许在一个平台上对多个操作系统同时运行,另一方面可以使应用程序运行在互相独立的空间不被彼此影响,对计算机工作效率的提高有显著作用。而作为IT产业的又一次的成功变革,云计算的产生是伴随着互联网技术、分布式技术及虚拟化技术与处理器技术的发展而出现的。使计算从远程服务器或本地计算机中集中分布在一定量的分布式计算机上,是云计算的基本原理。从某种层面上来说,支撑云计算的最重要的技术基石就是虚拟化,因此,虚拟化与云计算是相辅相成的。在云计算中几乎所有的部署环境与物理平台都对虚拟平台的迁移和备份以及扩展等有所依赖。甚至可以说云计算的各种操作都要通过虚拟化的层次才能完成,云计算中很大部分的硬软件对虚拟化在一定条件下都能支持,从各种技术的发展来看,过不了多久就能实现各种资源在物理平台上的透明运行,在资源上实现自动化分配。在现代这个信息化飞速发展的社会,信息化建设对企业来说,是影响其生存与发展的一大因素。在云计算出现之前,由于资金、人力等方面的不足限制,一些中小企业在信息化建设上上仍然面临不少问题。虚拟化技术及云计算的产生与发展,给众多中小企业的在信息化建设上又多提供了一项选择。目前,虚拟化技术及云计算在企业中的应用,领先的有谷歌、雅虎、微软、亚马逊、IBM、Sun等。虚拟化技术及云计算在解决企业信息化建设中有很多优势,被广泛应用在各个领域。

1.在降低企业信息化成本中的应用

虚拟化技术及云计算模式与传统11r模式有着明显的区别,虚拟化技术及云计算包括

弹性收缩、按使用量收费及快速部署和资源抽象四个显著特征。依据访问用户数量的多少,云计算可以相应对对包括中间件应用、带宽、CPU及存储等IT资源进行增减,以使IT资源在规模上可以进行动态的伸缩,依靠用户需要可以进行资源等及时陕速的部署,对其规模变化的满足有重要作用。云计算的特点主要有先期成本低、虚拟化技术及按需、升级便利等。此外,由于其基础设施的租用性,云计算的应用将会使企业在运营管理成本有很大节省,大大缩减了企业在服务器、机房电力和制冷等方面的开支。虚拟化技术及云计算在企业信息化的应用中首先是根据企业自身信息系统的需求或直接购买或委托开发商开发,置购服务器等软硬件设施,采用企业自己建设、自己维护的信息化建设模式,在自己的服务器上部署自己的软件系统。虽然,虚拟化技术及云计算这种应用方式可能会使企业承担一定的IT投资风险很购置与维护费用,但毕竟只需要购置一次,无需再购买其他软件产品,在人力维修更新等方面也不用再花费大量人力物力等,解决了企业信息化建设成本高的问题。

2.在企业平台丰富、性能与信息化实施效率以及软件功能集成上的应用

虚拟化技术及云计算,带有庞大的平台和商性能的服务器集群,可以把各种资源整合在“云”中。尤其是云计算,能够给一些资金不足的中小企业同样体验到性能先进而又丰富的大型系统平台以及重要的信息资源在企业中的应用。在之前信息化发展的传统环境下,一般只有大型的企业集团与重要客户才能用到这些重要的平台与资源。可以说,虚拟化技术及云计算在企业中的应用,拉小了大企业与中小企业之间先进信息化与资金的差距。虚拟化技术及云计算所采用的架构是一种高可靠器集群数据中心架构,对系统可以实施动态更新、负载均衡,通过SSL安全套接层进行加密传输,实现安全身份远程校验,对一些中小企业来说安全性与可靠性会更高。除此之外,虚拟化技术及云计算在企业中应用是可以满足其不同业务多种多样的发展需要,甚至能够依据条件量身定制各种软件应用服务,有助于企业因盗版问题而牵扯的知识产权问题的克服与解决,有效提高信息化实施效率,避免“信息孤岛”的出现。

篇(9)

云计算是物联网发展的基础。互联网主要解决人与人的互联,连接了虚拟与真实的空间;而物联网主要解决的是物与物之间的互联,连接了现实与物理世界。物联网是以互联网的发展为前提的。随着物联网应用的发展、终端数量的增长,会产生非常庞大的数据流,这时就需要一个非常强大的信息处理中心。传统的信息处理中心是难以满足这种计算需求的,在应用层就需要引入云计算中心处理海量信息,进行辅助决策。云计算作为一种虚拟化、分布式和并行计算的解决方案,可以为物联网提供高效的计算能力、海量的存储能力,为泛在链接的物联网提供网络引擎和支撑。

1 分布式缓存的发展

在互联网应用刚起步时,各种平台大多采用的是关系型数据库。那时PC机昂贵、性能低下并且网络不普及,而关系型数据库因为处理能力强、数据安全可靠、一致性好等优势,一直处于主导地位,并发挥了重要的作用。随着互联网的发展,特别是WEB 2.0等交互式、个性化应用的出现,数据量急剧增加,传统的关系型数据库已经无法满足这种快速增长的存储需求。为此不少IT服务提供商都设计开发了自己的存储系统,如亚马逊在2007年10月份开发出的Dynamo就是其中非常典型的一种存储系统(如图1所示),作为状态管理组件和存储服务的基础被用于众多的亚马逊的系统中。

对于Google,Amazon,淘宝这样的互联网企业,每时每刻都有无数的用户在使用它们提供的互联网服务,这些服务带来的是大量的数据吞吐量,在同一时间,并发的会有成千上万的连接对数据库进行操作。在这种情况下,单台服务器或者几台服务器远远不能满足这些数据的处理需求,单靠提升服务器性也已经改变不了该情况,所以唯一可以采用的办法就是扩展服务器的规模。服务器规模扩展通常有两种方法:一种是仍然采用关系型数据库,然后通过对数据库的垂直和水平切割将整个数据库部署到一个集群上,这种方法的优点在于可以采用基于关系型数据库(RDBMS)的技术,但缺点在于它是针对特定应用,实施非常困难;另外一种方法就是Google和Amazon所采用的方法,抛弃关系型数据库,采用Key-Value形式的存储,这样可以极大地增强系统的可扩展性。事实上,基于Key-Value的分布式缓存就是由于Google的BigTable,Amazon的Dynamo以及Facebook的Cassandra等相关论文的发表而慢慢进入人们的视野,这些互联网巨头在分布式缓存上的成功实践也使之成为了云计算的核心技术。

2 分布式缓存技术

2.1 分布式缓存的部署方式

缓存服务器集群采用无主架构,所有服务器节点地位完全一致,互相之间采用网状的全连接方式。应用通过调用分布式缓存提供的API对数据进行透明访问,无需关心数据在后端服务节点的分布情况。数据在集群各节点均匀分布,集群数据处理能力随集群中节点数量的扩充呈线性增长。集群通过数据的多副本机制能够提高系统的可用性,某几台服务节点的宕机对应用的数据访问没有任何影响。服务器节点能够根据应用的需求灵活配置数据是否持久化存储。

分布式缓存同时提供操作控制台,能够登录到任何一个服务节点并对集群的成员关系、访问负荷、数据分布进行监控和配置,同时通过操作维护台可以完成分布式缓存集群软件版本的安装、升级和配置。目前分布式缓存提供基于命令行(telnet登录)和基于B/S的图形化运维方式。分布式缓存系统的具体部署如图2所示。

2.2 分布式缓存功能架构

分布式缓存为应用程序提供了客户端程序库以及若干数据服务节点组成的服务集群,客户端通过和数据服务节点通信形成可用服务器列表,并将应用程序提交的存取请求通过路由算法映射到一个确定的数据服务节点上,具体的功能架构如图3中所示。

数据服务节点主要分成3个层次:通信支撑层、数据处理层和数据存取层。

通信支撑层主要负责通信协议适配,根据数据处理层中路由链路管理模块的指示进行端口的侦听和主动建链,同时完成底层通信数据包的发送和接收。

数据处理层包括路由链路管理模块、访问控制处理模块以及数据迁移控制模块。

数据存储层提供内存/SSD/硬盘介质的三级存储管理,具体可以根据应用的要求进行不同的配置。内存管理关注内存分配的效率以及如何避免内存碎片的形成,并根据数据访问频度进行最近最少使用算法(LRU)控制。SSD和硬盘存储模式在保证访问性能的同时提供数据的持久化存储,在这两种存储模式下数据不会随着服务节点重新启动而丢失。数据存储层提供数据生存期管理机制,能够自动清理过期数据。

2.3 分布式缓存关键技术

分布式缓存在保证数据访问可靠性、最终一致性的同时对应用提供高吞吐、低时延的访问服务,通过增加数据服务节点即能实现处理能力的性能扩充,扩容过程对应用访问完全透明。下面对分布式缓存涉及的关键技术进行介绍。

2.3.1 NRW多副本机制

分布式缓存通过多副本机制实现数据访问的可靠性,同时多个副本之间的数据同步又会带来性能和一致性的问题。我们采用NRW多副本技术来保证数据在可靠性、高性能访问以及最终一致性之间取得平衡。图4是NRW机制的示意图,其中N是一个数据的副本数,R代表一次成功的读取操作中最小参与节点数量,W代表一次成功的写操作中最小参与节点数量。当分布式缓存的访问模型满足R+W >N时就能保证数据访问的可靠性和一致性。

R和W直接影响性能、可用性和一致性。如果W设置 为 1,则分布式缓存集群中只要有一个节点可用,就不会影响写操作;如果R 设置为1,则分布式缓存集群中只要有一个节点可用,就不会影响读请求。但显而易见R 和W值过小都会对影响数据访问的性能和可用性,为兼顾性能、可用性和一致性,这两个值一定要合理设置。

2.3.2 一致性Hash和虚节点

一致性Hash需要首先求出分布式缓存数据服务器(节点)的哈希值,并将其配置到0~232的圆上,用同样的方法求出存储数据的键的哈希值,并映射到圆上。然后从数据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器上。如果超过232仍然找不到服务器,就会保存到第一台缓存数据服务器上。因为数据节点服务器的机型并不统一,其性能和容量是不同的,可以使一个物理节点负责多个Hash区间的处理,使高端机器能够被充分利用。在出现热区时,可以将过热的Hash区间以虚拟节点的方式放在负荷较低的物理节点上。

分布式缓存平台结合了一致性Hash和虚拟节点的特点并加以改进,形成了如图5的方案:将232的Hash空间等分为若干分片,每个分片即是一个虚节点,根据各物理节点性能差异配置处理不同数量的虚节点,这些虚节点在物理节点上的部署关系即形成虚节点的路由。

通过一致性Hash和虚节点相结合的方式,实现了数据在集群的均匀分布,同时也实现了数据服务器节点热点的消除。

2.3.3 智能路由交换

路由是指分布式缓存集群中虚节点在数据服务节点上的分布情况。分布式缓存平台构建了一个分布式锁同步系统来存放全局路由表,这张路由表是分布缓存集群路由管理的基准表,路由变更时必须要首先修改这张路由表中对应的路由记录。

为避免每次路由查找都需要查询分布式锁服务,各数据服务节点在本地同时存储全局路由表,路由查找时可直接在本地进行。这样带来的一个问题是本地路由记录可能已经过期,因此在路由记录中增加修改时间戳来进行路由记录版本的控制,举例说明:

(1)第10号虚节点的路由信息是:存在3个副本,依次存放在服务节点A、B、C上,该条路由信息在集群中所有节点本地都有存储。

(2)A节点发生故障宕机,在A宕机期间,操作员对10号虚节点的路由记录进行了手工调整:仍然是3个副本,依次存放在服务器节点A 、D、C上,集群中除A节点外都完成了本地路由记录的更新。

(3)此后A恢复了服务,A节点本地10号虚节点的路由记录成为一个过期的记录,当A节点收到落在10号虚节点上的数据读写请求时,就会对B、C节点的副本进行访问,访问时会带上本地10号路由记录的时间戳,B、C节点收到访问请求后会立即通知A路由信息已经过期,通过这样的路由交换机制,A快速地完成了本地路由记录更新。

上述例子中路由交换是通过数据访问请求被动触发,同时集群中每个节点的路由管理模块也会定时启动路由交换,通过这种类似病毒传染式的智能路由交换,路由变更能在集群所有节点中快速生效。客户端API的路由记录也采用同样的方式:客户端API本地缓存路由信息表,在数据访问的同时完成和服务节点的路由交换,大大提高了路由查找的效率,降低了数据访问的时延。

2.3.4 成员关系维护和故障检测

分布式缓存将节点分成两类:种子节点和普通节点。

种子节点是系统配置时,需要预先从所有节点中选出若干个节点,它们的职责是指挥系统的链路建立和拆除等。

普通节点启动后,根据配置向种子节点主动建链,种子节点对连接上的普通节点进行统一管理,根据一定的原则比如按照IP数值的大小,通知普通节点完成互相之间的建链,种子节点互相之间也根据这个原则完成两两之间的连接。图6描述集群成员关系建立的过程。

(1)分布式缓存当前有节点1、2、3、5共4个节点,相互之间两两存在链路,节点1、2是种子节点,节点0、3、5是普通节点。

(2)普通节点4新加入缓存集群,它首先根据配置主动连接种子节点1和节点2。

(3)种子节点1发现当前有普通节点0、3、5和它建立了链路,当普通节点4连接成功后,它根据节点大小原则指挥节点4连接普通节点 0 和3,同时指挥原有普通节点5连接节点4。

分布式缓存通过上述机制维护集群中节点的成员关系,最终在各节点间形成网状的全连接模型,两两之间具备通信链路,任何节点故障和恢复都能够快速被集群中其他节点检测到。

3 分布式缓存助力物联网平台云化

3.1 分布式缓存的优势和解决的问题

分布式缓存具有明显的技术优势。分布式的架构从架构上保证了良好的扩展性,当性能不够时,可以轻松地通过添加新节点的方法扩展性能;因为良好的扩展性,所以分布式缓存的容量可以随着节点规模的增大而呈线性增加,容量不会成为系统的瓶颈;分布式缓存采用的是基于Key-Value的简单存储方式,缓存的架构和以内存为基础的访问方式使得分布式缓存性能非常高,单节点每秒可以达到24万多次的读写操作;分布式缓存所使用的多份副本复制的方法,避免单点故障;同时无中心化的架构和一致性Hash的数据分布算法,使得局部节点的损坏不会影响整体集群的可用性,把故障的影响降到最低。

目前的应用在部署运行过程中常会遇到一些问题:第一,单节点不能满足性能要求时,需要扩展到多个节点,通常采用按号段的方式进行扩展,此种扩展方式不具有通用性,与各个应用密切相关,开发和维护的成本也较高;第二,在不同的物理节点的应用上共享数据,通常通过文件的方式或同步的方式进行共享,但是这在性能和一致性的处理上存在较大的风险和困难;第三,因为多个节点同时访问数据库,使得数据库和磁盘I/O成为系统的瓶颈,通常使用单节点的缓存方式来解决,这样一方面会造成系统资源的浪费,另一方面也使各个节点中缓存一致性的处理也非常复杂;第四,应用节点的应用程序意外退出重启动后,如何保证已有的会话不掉线,往往通过写文件的方法实现,这时磁盘I/O以及系统初次的加载都存在性能瓶颈。把分布式缓存引进应用后,可以方便地帮助应用解决这些问题。应用通过调用分布式缓存提供的API接口,把关键的数据放到分布式缓存中,而自身重点关注应用逻辑的处理,这样可以轻松打造出高性能的、可扩展的、高可靠的分布式应用系统,通过标准接口的封装,对外提供云服务。

3.2 分布式缓存在物联网中的应用

物联网的出现是信息通信技术(ICT)的新挑战。物联网无所不在,它可以使所有的物体,从洗衣机到冰箱、从房屋到汽车通过物联网进行信息交换。物联网技术融入了射频识别(RFID)技术、传感器技术、纳米技术、智能技术与嵌入技术。物联网技术将是改变人们生活和工作方式的重要技术。物联网主要包括3个层次,如图7中所示。第1个层次是传感器网络,也就是目前所说的包括RFID、条形码、传感器等设备在内的传感网,主要用于信息的识别和采集;第2个层次是信息传输网络,主要用于远距离无缝传输来自传感网所采集的巨量数据信息;第3个层次是信息应用网络,该网络主要通过数据处理及解决方案来提供人们所需要的信息服务。

物联网业务网关属于第3个层次,如图8所示。它是实现物联网应用和物联网终端智能连接的桥梁,能够提供接入认证、智能路由、业务计费、能力接入、服务质量(QoS)服务保障等核心功能。支持通用分组无线业务(GPRS)、短信、有线接入等多种网络接入方式。物联网业务网关汇聚所有的机器到机器(M2M)终端消息,除了支持标准协议终端的消息处理外,对非标准协议终端也提供IP层路由转发和业务鉴权功能。因此对业务网关相关的性能提出了极高的要求。

中兴通讯物联网业务网关采用多模块架构,通过引入云计算分布式缓存平台,使其具有极高的吞吐率,保证了网关的高并发处理能力,系统在两个刀片机框满配置的情况下,可达到18万条/秒的报文转发速率。分布式缓存的应用,使系统支持数据动态迁移,在个别节点故障不会造成事务的中断。

4 结束语

物联网与云计算存在着密不可分的关系。一方面,物联网的发展离不开云计算的支撑。从量上看,物联网将使用数量惊人的传感器(如数以亿万计的RFID、智能尘埃和视频监控等),采集到的数据量惊人。这些数据需要通过无线传感网、宽带互联网向某些存储和处理设施汇聚,而使用云计算分布式缓存等系列技术来承载这些任务具有非常显著的性价比优势;从质上看,使用云计算系列技术对这些数据进行处理、分析、挖掘,可以更加迅速、准确、智能地对物理世界进行管理和控制,使人类可以更加及时、精细地管理物质世界,从而达到“智慧”的状态,大幅提高资源利用率和社会生产力水平。可以看出,云计算凭借其强大的处理能力、存储能力和极高的性能价格比,很自然就会成为物联网的后台支撑平台。另一方面,随着物联网针对智能交通、智能医疗、智能电网等领域解决方案的落地,物联网将成为云计算最大的用户,为云计算系列技术取得更大商业成功奠定基石。

篇(10)

石油产业是我国重要的能源产业与支柱性产业,技术与知识作为石油企业核心竞争力的所在,是促进其实现健康、可持续发展的重要基础,因而建设数据中心并不断优化对数据资源的管理与应用,对现代石油企业而言势在必行。以云计算为基础,开展数据中心的建设与管理,能够实现数据中心信息资源化、基础设施服务化的目标,帮助企业实现更为高效的资源管控、成本管控、人力资源管理等。

云计算技术通过虚拟系统实现数据中心的构建与管理,相对于传统的企业管理信息化系统具有以下几项显著的优势:首先,基于云计算的石油企业数据中心建设与管理,能够大大减少因购置机房、物理服务器等硬件设备的资金投入,且相能够有效降低企业数据中心运行所消耗的电力资源和制冷维护成本,以及相关的资源、人力、财务投入,因而将最大限度地提升企业数据中心的运行效益;其次,更快的响应速度,更高的IT服务质量,更为灵敏便捷的IT设施资源,使得云计算背景下的石油企业数据中心能够为石油企业的经营管理提供更为有利的技术保障;再次,我国石油企业多采取集团化运营模式,基于云计算技术的企业数据中心,能够更好地满足集团内信息数据资源共享的需求,以有效提升资源利用率。

基于云计算技术的石油企业数据中心构建与管理可采取以下几项对策:

(1)科学测试,全面验证。虚拟化系统厂商的选择对云计算技术在石油企业管理中的应用成效有着显著的影响,对此石油企业应在多方考察主流厂商的基础上,结合自身业务特点开展全面的系统测试与验证工作,以此选定最能够满足自身需求的虚拟系统厂商。

(2)由总部牵头联合企业各部工作组,制定科学的虚拟化系统工作方案,由总部到二级单位依次推行。

(3)不断深化网络云、服务器云、桌面云的建设,实现对石油企业员工终端的集中管控。

2 云计算技术在石油企业资源调度管理中的应用

以往,我国石油企业信息化管理建设中的重复构建、闲置浪费现象较为严重,严重制约了石油企业对自身信息化管理系统的有效应用和不断优化。而云计算技术的应用,能够有效减少重复建设,实现企业资源的集约化管理和科学调度。

云计算技术的应用可满足现代石油企业资源调度管理的以下几项要求:

(1)提升管理系统的规模效应,减少信息化系统及相关资源建设的成本,如石油集团企业中,总部与二级单位之间存在着许多想通或相近的需求,如档案管理、项目管理、合同管理等,通过云计算系统建设可避免因不同级别单位资质不一而对管理系统建设成效造成影响的问题。

(2)充分利用规模效应来提升企业资源管理的经济细化程度,使企业有效的人力、资本、设备与原料等发挥出最大的效用,创造更高的价值。

(3)集中的、系统性的资源调度管理,减少了中间环节,规避了部分管理风险,有助于提升石油企业资源管控水平。

云计算技术在石油企业资源调度管理中的应用可遵循以下流程:首先,应由总部牵头,各个二级单位配合,梳理好企业资源调度管理需求,建立验证场景,搭建试点系统,先在集团总部开展培训和推广,积累经验,再次基础上陆续在各单位推广应用;其次,选择共性强,且需要相当个性化的应用,如项目资源管理等,由总部建立验证场景,搭建试点系统,积累经验并分析效益,作为典型示范,引导二级单位依次开展试点和推广;再次,集中分析企业资源调度管理工作需求,找出总部与下属单位在各项资源调度管理实务中的共性与个性,逐步完善应用云。

3 云计算技术在石油企业业务与组织管控中的应用

云计算技术在石油企业业务与管理组织管控中的应用多以,有助于提升石油企业业务管理的可控性和实现企业内组织框架的不断优化,从而使企业发展战略得到统一与有效落实。

首先,基于云计算的石油企业业务执行更为便捷、高效和灵活,使企业内各项管理、技术、人力资源得到有效利用,便于打造统一、灵活的企业组织;其次,在云计算Paas平台上开展企业构架,便于使管理者判断组织构架的科学性,进而针对其中存在争议的部分作出讨论和研究,在可视化的环境下实现企业组织结构的不断优化。

云计算技术在石油企业业务与组织管控中的应用可采取以下对策:

(1)由总部率先建设PaaS平台并不是相关试验、测试工作,构建平台服务库并进行试点成果分析。

(2)引入企业架构的阶段性成果,和集团平台相结合,定义企业架构,抽象企业现状,引入企业能力,在平台上输入企业业务流程和组织结构,开展相应的分析、讨论、研究与优化工作。

上一篇: 社会治理一体化 下一篇: 建筑行业项目管理
相关精选