时间:2023-12-05 11:00:59
序论:好文章的创作是一个不断探索和完善的过程,我们为您推荐十篇云计算技术分析范例,希望它们能助您一臂之力,提升您的阅读品质,带来更深刻的阅读感受。
云计算技术可以给提供计算机数据传递与共享的条件,融合软硬件数据保存,促进计算机处理工作更好的开展。云计算技术可以给用户提供良好的网络环境与保存空间,处理数据传递环节的各项问题。与传统大数据分析技术相比,云计算计算可以提高大数据分析质量。人们借助云计算技术获得云终端的数据,切实满足人们对于数据的需求。现阶段计算机市场形成完善的结构体系,围绕云计算技术推动计算机大数据分析工作的开展,奠定后期云计算技术发展的基础。目前,人们生活中全面运用云计算技术,基于云计算技术研发的服务器及操作系统方便人们处理各类信息技术。同时,云计算技术数据保存有着较强的安全性,极小可能出现数据丢失情况,满足人们的实际需求,直接体现出云计算技术的优势。优化云计算环境下计算机的数据处理中心,就可以不断提升计算机的云计算能力,让云计算不仅为网络信息所用,还在计算机网络安全中发挥极为重要的作用。目前,计算机的使用人群更为注重的是在高速发达的信息社会,自己的信息,也就是使用计算机网络的安全性能是否能得到保障,这时候考验的就是云计系统的完善性。目前存在的最主要计算机安全问题就是黑客问题和系统漏洞问题。系统漏洞这一人为因素可以通过不断检索进行漏洞的发现和修补,面对黑客的攻击,能够做的就是防患于未然,不断地升级和优化系统,最终达到完善的数据处理效果。
2云计算技术下计算机大数据分析面临的问题
2.1网络技术安全
由于相关技术的不断发展,云计算环境下的网络安全技术正在朝着稳定和成熟的方向发展,但在具体的应用过程中依然表现出一定的网络安全问题,因此用户在使用过程中应该做好相关的应对工作。网络安全问题具体表现在用户在使用信息传输的过程中,一旦出现服务性中断问题,难以保证数据的安全性,启动被动保护模式的情况使信息的安全性更加难以保障,这也成为云计算模式下的网络技术安全中的重点问题,一旦得不到及时有效的解决,用户在使用过程中就会受到不同程度的威胁。
2.2网络环境安全
网络环境安全是保证网络正常使用,信息传输质量有保证的重要前提,一旦网络环境存在不安全因素,将会引发病毒的入侵和黑客的攻击。因此网络环境安全也是云计算技术价值得以发挥的重要前提。计算机在使用过程中如果长期受到病毒的困扰和黑客的威胁,将会降低人们对计算机的信赖性,甚至在工作和生活中将会在网络环境安全方面投入更多的成本。
3计算机大数据分析中云计算技术的具体应用
3.1数据传输安全分析
在云计算的作用下,云安全含义逐渐形成,具体来说,云安全主要指在用户借助云计算技术来实现计算机大数据分析时,让数据安全性得到了保证。用户端数据和数据安全往往呈现出正比关系,随着应用群体数量的增多,涉及的计算机数据范畴将不断扩充,假设计算机遭受病毒的攻击,可以在云计算技术的作用下实现病毒的拦截,以此让计算机数据安全性得到保证。从云计算技术自身角度来说,其提供的各个服务均是由IaaS基础设施级服务以及PaaS平台级服务两项内容构建而成。首先,IaaS基础设施级服务其作用在于,可以给用户提供对应的服务,也就是对各个计算机基础设备进行操作和应用,其中包含了CPU处理、数据保存、数据传递等。其次,PaaS平台级服务则是指,把云计算中各个服务器及开发环境当作服务,通过PaaS平台用户能够结合自身需求实现对应操作流程的部署和应用。
3.2监督数据资源共享
网络资源在传输过程中遭遇到的安全威胁是用户时时刻刻关注的问题,因此在具体的工作和管理中,需要提高云计算网络安全技术的应用程度,通过不断创新安全模式,完善相应的防护体系,从而有效消除安全性问题,提升数据传输的安全性和稳定性。具体在应用过程中,可以借助云计算技术的优势,对数据传输的整个路径进行监控,保证传输通道环境的安全性,一旦出现问题及时进行预警,有效预防黑客的攻击,降低网络安全事故发生的概率。对此,有关部门应该提高重视程度,同时完善相应的监督管理制度,采用科学的管理方式,实现预期的监测目标。
3.3提高数据使用安全
计算机用户本身的安全意识也是当前需要关注的重要方面,为了进一步提升用户数据信息和计算机系统的安全系数,需要重视身份认证工作的提升,具体可以使用实名制的方式进行认证处理,从而不断提升整个网络结构的安全性。对于网络应用过程中涉及到的安全问题,可以通过实名追踪的方式进行可疑目标锁定,从而有效控制恶意攻击情况的发生。但在应用过程中也需要重视假人名情况的出现,提高网络数据信息窃取的预防水平。计算机网络环境算是一种相对开放的环境,在使用过程中会面向大量的用户,通过重视用户的身份认证,可以有效避免用户对数据的非法访问。同时在使用者进行计算机登录和使用的时候,需要对用户名和密码进行核实。按照权限的不同,确保数据库信息的安全有效性。通过对数据库信息加密处理,可以确保数据库信息的安全性。这种加密处理可以在原有数据信息的基础上进行算法的处理改进,使用者可以通过自身的权限获取想要了解的信息,如果没有解密方式,不法分子将会难以获取数据的原始信息。
3.4网络安全等级防护
在云计算环境下的安全管理中心具备系统管理、安全管理和安全审计等功能,能够满足不同云计算环境下不同安全等级的保护要求,并且通过服务层的安全保护框架,实现对不同等级云服务客户端的安全保护,为使用者提供安全可靠的资源访问服务。在访问云服务商时,用户可通过通信网络、API接口和Web服务方式访问云服务器,但是用户终端系统的安全防护不在网络安全等级保护框架体系内。在保护框架体系内,资源层和服务层安全是云计算环境安全保护的重点,资源层包括物理资源安全和虚拟资源安全,应按照安全设计要求构建资源层安全保护框架。云计算环境下的网络安全等级保护要针对不同等级云计算平台确定不同的安全目标,一般情况下安全保护等级最低为二级,并根据安全目标和等级要求实施安全设计步骤,具体包括:第一步,根据云平台的租户数量和业务系统情况确定云计算安全保护标准,制定云计算平台的安全保护策略,以避免在云计算平台上发生安全事件;第二步,细化安全技术要求,针对安全计算环境、安全区域边界、安全通信网络以及安全管理中心制定出相应的安全保护策略;第三步,根据云计算功能框架中的各层功能和保护要求,制定安全技术机制,使其满足云计算功能框架的安全保护要求。在完成云计算环境下的网络安全等级保护设计之后,还应增加虚拟化安全、镜像安全、接口安全等安全控制点,并采用访问控制技术、身份识别技术等安全防护技术,实现与云计算平台上各功能层次的对接,提出各层的安全保护措施。
3.5重视相应程序开发
中图分类号:TP393 文献标识码:A
0. 引言
云计算技术是近些年新出现的应用技术,能够在网络技术的应用下,将软硬件系统加以整合成价值更高的分布式系统,从而来实现数据可靠性存储以及高效处理。在当前社会迅速发展背景下,加强对云计算技术的应用就比较重要。云计算技术在当前的电子商务以及IDC中心能方面都有着相应的应用,也发挥着积极的作用。
1. 云计算技术的内涵和主要特征
1.1 云计算技术的内涵分析
云计算技术主要是面向服务器方式来为用户提供计算资源的,是资源交付以及使用的重要模式。在对网络的应用下,从而获得需要的资源,在云当中的资源使用是能够进行无限扩展的,对云中的资源也能随时获得。用户在对云计算技术的应用中,只要能掌握应用的功能即可,结合自身对资源的需求在云计算技术下都能得到实现。
对云计算技术的统一性概念至今还没有形成,从诸多对云计算技术的定义综合来看,云计算主要是通过云加终端的技术模式。其中的云就是对网络的代称,而终端则是服务设备,云计算是将虚拟技术作为主要的服务模式的,所以云计算并非是孤立存在的,是通过多个方面进行综合形成的一个概念。云计算在具体的工作中是将服务形式对网络中用户进行提供必要计算机网络资源,在资源的丰富性要远远优于传统的计算机技术资源存储。云计算技术在当前的各个领域中都有着应用。
1.2 云计算平台的主要特征分析
云计算平台的特征体现得比较显著,对底层的软硬件实施细节进行了屏蔽,能够有效提供链接服务标准接口,这样就方便用户和网络进行连接实现资源的共享。在当前云计算平台的不断发展下,已经和云计算的技术框架相符合,由于实际应用不同,在平台类型方面也会有着一定的差距。例如综合性的云计算平台主要是提供上层服务资源的,在基础资源方面主要是提供网络服务的,而在虚拟化技术方面主要是提供基础资源的相关服务。
但是不管是哪种类型的云计算平台,体现出的特征都是比较显著的。
第一,在灵活性特征上比较鲜明,在需要的规模方面能够按照实际需求加以调整。在对虚拟技术的应用下,能够实现按需服务的目标,这样就能有效地降低云计算平台应用成本,对实际的需求也能有效地保障。在云计算平台的应用下,能够对数据的共享轻松地实现。
第二,云计算平台的应用特征还体现在应用时不用关心底层实现,只要能够对提供的接口加以调整即可完成工作,在平台的方便性特征上就比较突出。除此之外的数据安全可靠特征也比较鲜明,云计算的数据信息存储的安全性要能得到有效保证。
第三,云计算平台的另一特征就是高性能特征。由于云计算平台是大规模数据中心,在提供的服务方面也比较优越,在资源的利用上是无限量的。云计算为用户提供了诸多存储管理的数据控件,在计算能力方面也比较强大,这些功能就使得在应用过程中有着无限的资源。
2. 云计算的体系结构和应用优势分析
2.1 云计算的体系结构分析
从云计算的体系机构层面来看,云计算作为比较强大的云网络,将其和网络以及服务器相连接,就能在资源上得到无限扩大,在存储能力以及计算能力都是史无前例的。从云计算的体系结构层面来看,主要有几个重要的要素(如图1所示)。其中的云用户端是比较关键的。这是用户请求服务的交互界面,是对云使用的入口,通过浏览器进行注册然后登入和定制服务,然后对用户进行管理和配置。在管理系统和部署工具要素上,主要是提供管理服务的,然后对云用户实施管理,进行对用户授权和认证等。也能对可用计算资源进行管理,结合实际的请求来转发相应的应用程序,对资源的调动和部署按照实际加以实施。
另外,在云计算体系结构中的服务目录要素方面,主要是用户在获得了相应权限后,对服务列表进行选择以及定制。也能对定制的目录进行操作,这样就会在用户端的界面显示相应的图表以及服务的内容等。在监控结构方面主要是对系统资源使用情况的监控,对节点的同步设置以及资源的监控,按照资源能够合理地分配给用户。在服务器集群的结构要素方面,通过管理系统进行实际的管理,对一些计算实施高效的处理,在进行存储的时候对数据切割算法加以应用。
2.2 云计算技术的应用优势分析
云计算技术在实际中的应用中有着诸多的优势发挥,在具体的应用过程中,允许用户自定义资源使用的时间,这就对资源的闲置或者是过载问题的出现有了避免。并且在分布式处理以及并行式处理的特性上展现得比较显著,这就对数据处理需要的时间得到了很大程度的缩短。云计算平台能够为用户提供比较安全可靠的数据存储中心,在完善的权限管理规则以及数据备份技术等综合性应用下,就能对数据信息的安全完整性得到有效保障。
另外,云计算中的一些功能都是在云端的,这就在客户端的要求得到了有效降低。在对云计算技术的实际应用过程中,能对不同类型以及性能的设备加以应用进行访问云空间,进行执行相应的操作,有的在网页的应用下就能得到有效完成。在云计算技术的应用下,能够对数据间的共享和传输也比较的方便。所以在具体的应用过程中就有着很大的优势。
3. 云计算技术的实际应用和发展趋势
3.1 云计算技术的实际应用分析
云计算技术在实际中的应用范围比较广泛,例如在ICT业务平台中的应用上就发挥着重要的作用。以往的ICT运行模式有着诸多缺陷,资源浪费问题比较突出,在管理的效率也比较低,对实际的需求得不到有效满足。但是在云计算技术的应用下,就能够对这一业务平台实现升级,能够建立集中性的资源池管理的体系,对用户能够提供Paas、Saas等服务,这样就大大地提升了服务效率。客户只需要对浏览器进行操作就能完成数据系统的访问管理,在使用上比较方便,也对这一业务的不兼容终端的问题得到了有效解决,从整体上提升了业务水平。
云计算技术在IDC数据处理平台中的应用作用的积极发挥也比较突出。主要是在虚拟技术的应用下,能对这一控制中心的软硬件资源实施有效整合,对其中的各种资源实施动态化的管理监控等。不能为用户提供IaaS的相关业务服务,对用户也能出租硬件资源,这样就比较便于系统部署工作的完成,在资源的分配方面也能合理化地完成。在云计算技术的应用作用下,能够在计费功能上得到充分发挥,能结合资源的使用情况实施付费,这样就有效地对投入成本得到了降低,在管理的平台方面也能实现规范化以标准化的目标。
3.2 云计算技术的发展趋势探究
云计算技术在实际应用中发挥着积极作用,在未来的发展中,云计算技术将会有着更大的发展潜力。云计算对互联网的应用以及产品应用模式等方面都会产生很大的影响,主要的发展方向就向着手机云计算以及商业发展和时代资源这几个方向迈进。在移动终端设备的迅速发展下,云计算技术的兼容性就得到了体现,为客户在移动终端的服务上得到了进一步发展,能够将手机和云计算技术得到有机结合。这样就能更为便捷地实现高效云计算的应用功能。
结语
总而言之,云计算技术的不断发展过程中,对社会的进步发展起到的作用也愈来愈大,在相应的维护工作有效性以及经济性方面将更为重要。云计算的实际应用中的优势发挥,将会进一步地为这一技术的推广起到积极作用,在社会效益上就会有更大的价值体现。
参考文献
[1]李瑛,胡新炜.云计算关键技术分析研究[J].现代电子技术,2014(14):65-66.
[2]许知博,刘钊.基于云计算的工厂信息监测系统设计[J].电子科技,2011(8):148-150.
[3]曹青.云计算技术的应用及展望[J].江苏通信,2012(2):59-62.
对于网络技术的发展,云计算技术是核心技术,它作为一种新兴资源使用模式,影响着网络的未来发展,并改变数据访问、应用模式,实现高效、安全的应用交付[1]。在电力系统中,云计算技术的应用,为电力系统的运行、电力企业的办公等提供方便,应用前景广泛。
一、电力系统中云计算技术的应用
(一)电力系统的运行方式
云计算具有强大的存储与计算能力,可扩展性强,便利软件的开发、资源共享,在电力系统中得到广泛应用。对于智能电网而言,其利用通信技术与现代信息,对电力系统的发电、变电、用电等环节的数据采集、存储、传输等进行不断深化,以此使系统达到数字化的数据采集、自动化的生产、信息化的经营管理等。近几年,随着电力工业的改革、优化,电力系统不断采用分布式电源,电力系统逐渐向分布式空控制发展。
(二)在信息处理方面的应用
将云计算技术应用于电力系统,利用智能云,拆分电力系统内网中庞大的计算,使其形成比较小的计算块,然后通过多台的服务器对其进行处理,并向客户反馈处理后的结果。通过这种方式,便可实现在极短的时间内,智能云对巨大信息的处理。此外,利用云计算,实现资源的共享,方便员工的信息利用与工作开展,而计算能力的强大也方便了系统中各种复杂的计算问题的解决,优化了系统控制。
(三)电力系统潮流计算
通过电力云的应用,可提高电力系统运行的潮流计算速度,优化潮流计算方法。利用最优潮流并行算法,在进行计算预想事故时,可对预想事故进行分组,将分为多个不同的组别,然后分配给不同的处理器,对其进行分析。同时,还可利用于牛顿法的并行潮流解法,通过分解、协调等技术手段,协调分类系统中出现的问题,将问题分解为多个子问题,通过多个处理器对其进行计算求解,通过这这种方式,提高了计算速度,对需要处理的预想事故数目进行准确的计算。
二、电力系统中云计算技术的重点
(一)海量数据管理技术
由于云计算平台为大量用户提供支持,而每个用户都有自己的数据,因此在系统内会产生海量数据。研究云计算在电力系统中的应用,根据电力系统与云计算自身的特点,合理优化应用技术。在电力系统仿真计算云环境下,数据的检索、存储、管理技术系统运行的关键。利用数据库、选择合适的分布式文件系统,可有效解决灾难数据恢复、数据分布式检索等问题。
(二)仿真数据安全技术
在系统运行中,为了确保数据安全,需要认真研究数据管理、用户管理、资源认证、权限管理等技术,确保电力系统仿真数据的安全性、完整性。因此,在系统运行中,云计算技术应加强对数据的保密,提高仿真数据的安全性,可通过数据加密技术,利用华为技术公司的IaaS层资源管理软件,使数据安全问题的到有效解决[3]。
(三)大规模分布式计算技术
在电力系统中,对于大规模分布式仿真技术的应用,包括仿真任务的动态分配、仿真时间的准确评估、仿真任务的优先管理等。在云环境下,对电力系统的仿真技术属于密集型与计算密集型应用,其数据的调度、技术需要遵守“就近原则”,充分利用计算资源,并降低数据的获取时间,使单个仿真任务性能得到最大限度地提高,优化云仿真系统的总体性能。
(四)一体化数据管理技术
对于云计算在电力电力系统中的应用而言,在系统的多级调度中,采用一体化数据管理技术与模型。在目前的的数据模型中,一般采用EICCIM国际标准,并用国网E格式规范数据交换,而对于计算输入数据而言,可采用BPA和PSASP兼容的模式。
三、结语
云计算作为一个新技术,各领域的应用还处于初步阶段,云计算技术的应用与技术发展还有待提升。云计算技术在电力系统中应用,为电力系统的运行提供了保障,电力云的提出与构建,对电力系统的计算、存储、信息交换带来影响,通过对信息资源的整合调度,为电力系统的运行、企业办公、计算等带来改变,提供了系统的存储、计算能力,使电力系统的整体性能得以提高。
参考文献
中图分类号:TE319 文献标识码:A 文章编号:1671-7597(2013)22-0106-01
1 什么是云计算
云计算技术的实质是将网络中的各种软硬件资源进行集合,并对资源进行统一管理和分配,协同合作完成用户提出的需求与业务,其关键技术包括以下几个方面。
1)虚拟机技术。
虚拟机技术就是将服务器进行虚拟化,将多个虚拟服务器当成一个服务器,集合多个服务器的资源,统一进行分配和管理,以实现对数据的处理和运算。
2)数据存储技术。
云计算的存储技术是利用分布式系统、计算机集群的原理,整合网络中数量庞大的各种类型的存储设备,通过软件集合的方式共同工作,达到向外部提供业务访问和数据存储的功能。目前数据存储技术主要有Google的GFS(Google File System,非开源)以及HDFS(Hadoop Distributed File System,开源),目前这两种技术已经成为事实标准。
3)并行计算。
并行计算是指利用大量的计算资源同时执行多个计算过程来解决计算问题,可以有效的提高计算效率与处理速度。并行计算的运行原理是将一个大的问题化整为零,分成多个小的问题,分别对这些问题计算处理,最后将计算完成的结果进行整合处理,返还给用户。
2 我国石油工业发展现状与趋势分析
随着国际石油行业的发展,国内石油企业开始意识到信息化在企业发展中的重要性。我国的石油行业目前正在由传统模式向信息化、数字化进行转变。信息化的企业可以为企业管理者提供更多的资源,更高效的管理模式。
企业信息化需要重点解决以下问题。
1)信息检索花费大量时间。
缺少统一的信息共享策划,目前阶段在企事业单位内,信息的传输和利用效率还比较低。例如生产设施的科研资料、设计资料不能有效传递到生产运营阶段,很多设计和施工阶段的资料都存放在档案馆,造成生产运行和维护阶段没有准确资料进行设备维护,另外已建生产系统设施运行的生产经验也无法传递到的设计阶段。经过数年的实践证明,信息资源共享可以有效的提高企业的生产效率,就国际石油企业的发展看,信息技术的应用增强了企业各部门的协同工作,加快了企业对市场的反应能力。
2)需要全生命周期的生产设施管理。
项目的科研、设计、施工、试运行、生产运行、运行维护各阶段之间资料不能有效传递,造成设计的资料在生产阶段无法利用。在运行维护阶段缺少准确的资料维护设备。
3)缺少行业信息化建设标准。
石油行业中各级企业的地理信息资源分布一般比较分散,油田勘探开发、炼油生产、化工生产、产品销售、工程设计、工程建设等部门都有各自的信息管理系统,多个系统的功能重叠,企事业单位之间无法顺利的共享信息资源,导致了系统的重复建设。
4)信息展示不直观。
信息展示没有空间信息和图形作为载体,显得空洞、乏味,不够直观。
3 云计算技术在石油行业的应用
3.1 构建统一的“数字油田”地理空间框架数据库
建设统一的基础地理数据库,包括各级比例尺的二维矢量数据库、影像数据库、三维基础地理数据库等。
3.2 制定“数字油田”建设参考标准
制定石油企业地理信息标准和生产设施数字化参考标准,为“数字油田”的基础数据采集、交换、共享、服务提供实施基础。
3.3 研制“数字油田”相关模型,探索“数字油田”建设流程
分析研究石油生产设施全生命周期中各阶段的特点,在统一的地理信息框空间架上使用数字化技术深化描述石油生产设施科研、设计、施工、运行、维护和改造的过程,分别建立生产设施设计模型、工程建设管理模型、生产营运模型、维护与改造模型等,同时探索“数字油田”建设流程,进而实现石油行业板块之间的信息资源的有序流动,节约投资,延长生产设施的寿命提高投资回报率。
3.4 整合各类专业信息资源,建立“数字油田”综合资源库
通过生产设施数字化建模,收集整理生产设施各类设计、施工和改造的基础数据,建立各类专业地理数据库,与基础地理数据库共同组成“数字油田”综合资源库,为生产设施全生命周期管理提供基础。实施过程中不断完善各类生产设施基础信息收集、整理、数字化建模、入库流程和方法。
3.5 建设“数字油田”典型生产营运指挥应用
充分利用“数字油田”综合资源库的建设成果,与生产实际工作需求紧密结合,选择数字化基础好的板块建设生产营运典型应用,为全面建设集团化生产营运指挥平台积累实施经验。
3.6 试点实施“数字油田”
在石油上中下游选择规模较大,基础条件较好的企业,建立总部和企业两级分布式平台,利用“云技术、云存储”技术,实现集团内总部和企业对基础信息和运营动态的数据共享,促进石油行业的生产设计、施工、运行指挥、维护等流程改造,促进石油企业管理方式的变革。
4 结论
通过云计算技术使得在互联网中可以自由的交换各种资源,比如硬件、软件、硬件、平台等。云计算具有虚拟化、通用性、超大规模、高可靠性等诸多特点。云计算虽然是新兴的技术,出现的时间不长,单却给信息界带来了巨大的改变。虽然有了云计算后,使得人们感受到了它的方便和高效,但是这项技术也对安全提出了更高的要求。作为云计算技术的受益者,只有清楚的认识到它在提供便捷的服务的同时所隐含的安全风险,并且针对这些风险和安全问题进行有效的规避、解决,才能充分发挥云计算的优势,使其为我们创造更多的效益。
参考文献
[1]刘鹏.云计算(第2版)[M].电子工业出版社,2011.
[2]吴朱华.云计算核心技术剖析[M].人民邮电出版社,2011.
中图分类号:G250.74 文献标识码:A 文章编号:1672-3791(2012)08(c)-0255-02
随着Web2.0的发展导致数据量快速增长,如何处理海量的数据与服务,有效地为用户提供方便、快捷的网络服务,成为互联网当前发展面临的重大问题。提升图书馆社会地位的同时,也遇到了一些困境和挑战,如何在现有的技术水平条件下,利用较少的、合理的投资解决图书馆所面临的上述问题,是当今图书馆在网络环境下所要解决的重要难题,而云计算技术的出现无疑为上述问题的解决提供了一种崭新的、较为理想的方法。
目前,CALIS数字图书馆云服务平台已初步建成,该平台作为一个载体,承载了图书馆所需的各种服务。图书馆可在云平台上开发和集成新的服务,通过线上线下互动,以更好地满足高校图书馆的内部管理和用户服务的需求,为实现来自不同服务平台/系统的服务整合。CALIS数字图书馆云服务平台能提供标准化、低成本、自适应、可扩展的数字图书馆统一服务和集成解决方案既能满足CALIS构建公有云服务中心的需要,也能满足图书馆构建私有服务云的需要,还能实现对这两类服务云的整合。
1 云计算技术
1.1 云计算的概念
云计算的定义众多,目前广为认同的一点是,云计算是分布式处理、并行处理和网格计算的发展,或者说是这些计算机科学概念的商业实现。具体的说,云计算是基于因特网的超级计算模式,在远程数据中心里,成千上万台电脑和服务器连接成一片电脑云,用户可以通过电脑、手机等方式接入数据中心,按自己的需求进行运算。用户所处理的数据并不存储在本地,而是保存在互联网上的数据中心中,用户所需的程序也不是运行在自己的个人电脑、手机等终端设备上,而是运行在互联网上大规模的服务器集群中。
1.2 云计算的特点
1.2.1 安全可靠的数据存储中心
云计算使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠,同时严格的权限管理策略可以帮助用户放心的与指定的人分享数据,所有的服务分布在不同的服务器上,如果云中的某台服务器出现了问题,立即会有其他服务器接管,以保证应用和计算的正常进行。
1.2.2 使用方便,性价比高
云计算集成了无数的软件和服务,使用起来更方便、快捷。用户只需要一台连上Internet的电脑和浏览器,就可以随时随地获取云服务。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,因此用户可以充分享受“云”的低成本优势。
1.2.3 无限的计算能力与空间容量
云服务中成千上万的计算机,形成一个超强的服务器,当我们利用“云计算”时,成千上万台计算机会同时为我们服务,“云群”为存储和管理数据提供无限多的空间。
1.2.4 虚拟化技术
将底层的硬件,包括服务器、存储与网络设备全面虚拟化,建立起一个共享的可以按需分配的基础资源池。通过虚拟平台,用户使用网络资源、计算资源、数据库资源、硬件资源、存储资源等,与在自己计算机上使用的感觉一样。
1.2.5 潜在的危险性
云计算服务除了提供计算服务外,还必然提供存储服务,但是云计算服务当前垄断在私人机构(企业)手中,而他们仅仅能够提供商业信用。一旦商业用户大规模使用私人机构提供的云计算服务,无论其技术优势有多强,都不可避免地让这些私人机构以“数据”的重要性挟制整个社会。另一方面,云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的,但是对于提供云计算的商业机构而言确实毫无秘密可言。
2 云计算给图书馆带来的新机遇
2.1 真正的信息资源共享
云计算提供统一的信息资源平台,对用户端的设备要求很低(用户使用手机、PDA等设备也可以使用图书馆提供的电子资源服务),而且提供了强大的无线接入功能,使用者既不需要在固定的时间和空间获取资源,也不需要在个人终端上安装各种各样的软件,可以轻松实现不同设备间的数据与应用共享,轻松实现馆与馆的数据共享。
2.2 安全的文件存储
云计算为用户提供了安全、可靠、经济方便的数据存储中心,用户不用再担心数据丢失、病毒入侵等麻烦,云计算技术存贮与检索利用方便,可能会使图书馆编目与图书剔旧功能弱化,图书馆可能更多地会关注电子出版物的版权管理与使用问题。
2.3 强大的计算能力
普通的服务器的相关硬件资源都有一定的限制,若服务器同时响应用户的数量超过了自身的限制将导致服务器的瘫痪。因此,为确保服务器内数据资源的安全性及服务器的可靠运行。图书馆对服务器的最大服务响应数量及接入终端数量等都进行了一定的限制,如果有数万用户同时使用图书馆中的电子资源,有的用户的访问将出于安全的需要而不被响应。而应用云计算技术,通过支付少量的费用,图书馆就可获得云模式中百万台服务器提供的服务,用户的请求便可在毫秒的时间内获得响应,从而使图书馆以较低的成本获得较高的效益。
2.4 更低的运行费用
为了确保网书馆工作正常平稳的运行,图书馆人员需要经常对图书馆的计算机、服务器等终端进行维护、升级和更新,很多图书馆由于技术力量较为薄弱,对新技术的使用总是小心谨慎。云计算的应用将改变这一状况,由于云计算模式对于用户终端的配置没有限制。因此,有关的技术人员不必担心需要升级图书馆的相关硬件,因为在“云”的另一端,有专业的管理人员帮你维护硬件,这样工作人员的工作强度就会大大降低。或许如谷歌所构想的那样,在将来仅仅一个浏览器就能够满足用户的所有需求,其他事情将由云计算服务提供商代为解决。据统计云计算可以帮助节约大至80%的使用面积,60%的电源和制冷消耗,各类型图书馆能够为纸质书刊腾出更多的使用空间,使馆藏资源获得更好的应用效果。
2.5 更有效的用户服务
目前,数字图书馆的网络数据基本上处于“分布式存储,分布式访问”的状况,基于云计算的图书馆在技术上能够将分布式存储的数据库和一站式的检索界面结合起来,用户通过Google式的检索界面将检索请求提交给云计算服务器,服务器根据用户提交的请求调配强大的计算能力,充分分析用户需求。在云计算模式中,相关的数据存储在“云海”之中,用户可以在随时随地以某种便捷、方便、安全的方式获得云中的相关的信息或服务。数字图书馆真正成为没有围墙的图书馆、没有技术障碍的图书馆,信息用户有更大的自由来选择和控制自己的学习,真正做到“按需而用、即需即用、快速聚合”。
2.6 提高信息服务水平
在云计算环境下,数字图书馆的数据管理和信息设施的维护都交给了云计算中心,无需担心数据出现问题,图书馆的信息人员应该将更多的精力投入到创新服务中,云计算环境下要求数字图书馆提供“服务主导型”的服务来满足信息用户更加个性化的信息需求,信息人员应该更主动、提供更多个性化的服务给信息用户。
3 云计算在图书馆应用上面临的问题
3.1 数据的安全问题
图书馆购买云计算服务后,将自己的数据迁移到“云”端,图书馆仍然完全拥有被托管数据的知识产权,其他人不得使用和修改这些内容。这应该成为图书馆应用云计算必须满足的条件之一,被托管数据不能成为云计算企业开发利用的资源。
3.2 知识产权问题
在云计算模式中,各个加入云模式的图书馆之间可以通过有关的协议共享彼此的信息资源,也就是说“云”中的用户像使用本馆的电子资源一样使用他馆的电子资源。在基础架构“云图书馆”时,各成员馆间可以通过有关的协议共建信息资源,对可能引起版权纠纷的资源、共享权限等问题要仔细研究、讨论,制定可行的标准和方案,从而方便用户使用各馆信息资源。
3.3 网络的建设、协议和接口问题
由于云计算也是建立在网络的基础上,所以网络的畅通与否就关系到图书馆的数字资源能否顺利的利用与共享,这是最关键的问题,同时由于各图书馆服务器的配置和所使用的操作系统也千差万别,图书馆目前应当密切关注云服务提供商所针对不同的操作平台开发的接口软件,或与有关单位合作,开发适合本馆具体情况的接口插件。
综上所述,云计算技术的出现与发展,为图书馆的资源管理工作提供了方便,为存储和管理数据资源提供了几乎无限多的空间,也为图书馆完成各类数据资源服务提供了几乎无限强大的计算能力,必将对图书馆的服务和管理带来新的变革。当然,目前云计算的应用还处在探索发展阶段,相信随着图书馆界对云计算技术的关注以及云计算技术的日趋成熟,云计算技术在图书馆中的应用必将拭目以待。
参考文献
[1] Sims K.IBM introduces ready-to-use cloud computing collaboration services get clients started with cloud computing[EB/OL].2007.http:///press/us/en/pressrelease/22613.wss.
[2] IBM. Google and IBM announced university initiative to address intemetscale computing challenges [EB/OL].(2007-10-08)[2008-10-15].http:///press/us/en/pressrelease/22414.wss.
1.1完全虚拟化
当前使用最为普及的虚拟化方式就是结合Linux系统所开发的hypervisor软件。该软件是一款介于虚拟服务器以及硬件之间的抽象层。该软件的运作逻辑流程为,hypervisor获取CPU的指令,这一虚拟机技术可以在不变动操作系统的基础上对服务器上的虚拟技术进行运用。所以hypervisor的实质性作用就是指令访问硬件控制器与外部设备之间沟通的桥梁。在完全虚拟的情况下,hypervisor即为主机操作系统的角色,而虚拟服务器的运行环境则为用户端操作系统。
1.2准虚拟化
虚拟化技术在云计算过程中的虚拟服务器管理中最为关键的任务就是实现虚拟服务器之间的独立。然而这一技术为处理密集型技术,会给虚拟环境的工作带来一定的负载。为了妥善解决这一问题,hypervisor在工作中需要对客户操作系统进行改动,使运行环境与完全虚拟化实施技术之间能够和谐运行,正常工作。这种技术方案即为准虚拟化实施方案。目前来说,典型的准虚拟化技术有Xen[1]。各操作系统在虚拟化服务器运行过程中首先要对操作系统的核心层面进行虚拟化处理。相对于完全虚拟化技术来说,准虚拟化技术的优势更加明显,其性能优越,响应能力强。
1.3操作系统层虚拟化
操作系统层虚拟化即为在操作系统层上加设虚拟服务器功能的虚拟化方式,其中典型代表有Container。在操作系统层虚拟化技术中每一实例用户都有相应的账号与应用程序,而且全部的虚拟服务器均处于相同的操作系统。在操作系统层虚拟化中并没有独立的hypervisor等,而且在多个虚拟服务器之间分配硬件资源。
2云计算技术下的虚拟化安全隐患
云计算技术中的安全包括身份管理、访问管理、数据信息安全、隐私保护等。云计算与传统IT环境最大的区别就是存在的虚拟计算环境。正是由于这一本质区别导致其存在不可忽视的安全问题。其中,身份管理、数据安全等问题可以利用访问控制、数据加密、信息备份等传统的安全防护手段来解决,而虚拟化技术是云计算技术中的核心,因此难以使用传统的安全措施来解决问题,需要根据云计算的虚拟化环境来采取新的安全策略。当前云计算技术下的虚拟化安全隐患主要有几点:(1)虚拟机安全隔离。基于虚拟机的运行模式特点使虚拟机存在着隔离需求,并且无法使用传统方式进行安全隔离,只能够使用虚拟机监视器等软件实现,这一情况要求虚拟机管理者能够严格划分虚拟区间,以避免数据泄露。(2)虚拟机迁移。在虚拟环境中服务器能够跨越多个物理设备,根据实际情况实现性能扩充等工作。虽然能在多个物理设备之间迁移,但是在迁移的过程中会使得安全管理工作更加复杂,更加容易受到安全威胁。(3)虚拟机逃逸。虚拟机的使用目的是分享主机资源并且进行隔离,但是由于技术瓶颈以及虚拟化软件漏洞,有时候虚拟机会绕开底层获取宿主机的控制权,导致安全模型濒临危险。
3云计算技术下的虚拟化安全防范措施
3.1保障虚拟化服务器安全
在硬件的配置方面物理主机需要达到高配置、设备稳定性良好的需求。所使用的处理器要能够支持虚拟技术CPU,并且可以保证CPU之间的物理隔离,进而降低安全隐患。软件方面,由于虚拟化服务器软件层位于裸机之上,因此需要提供能够建立、运作、销毁虚拟服务器的各种能力,虚拟化服务器软件层作为虚拟机的核心要对其进行足够的安全保护。
3.2防范黑客攻击
攻击虚拟化服务器通常都是通过应用程序接口攻击或者使用网络攻击的方式,也可以利用虚拟化服务器管理下的虚拟机进行攻击。基于方法对虚拟化服务器攻击的目的,应该对任何没有授权的用户访问虚拟化软件层进行严格的限制与禁止。云服务提供商应该建立完善的安全保护控制措施,限制相关的虚拟化层次的物理与逻辑访问控制。
3.3有限分发
所有的虚拟机都是经过系统管理员进行安全防护的。管理员需要控制所有资源区域的访问,从而保证只有被信任的访客才能够进行访问,获得信息。管理员需要控制资源池管理访问,只有有权限的访客才能够访问资源池组件、物理服务器、共享信息存储等。其中资源池包括虚拟机、虚拟存储、虚拟机文件、存储文件等。所有虚拟机的文件,不论打开与否都需要获得严格的控制与管理。
3.4安全迁移
安全迁移是一种备份方式。将虚拟机复制到其他地方,如果遇到虚拟机故障就可以启动备份虚拟机进行迁移,实现无缝对接切换。管理员在进行虚拟机分支的过程中要贯彻安全意识,保证虚拟机能够拥有一定的安全保障。要最大程度地避免在迁移过程中指定虚拟机失去必要保护而遭到攻击。
中图分类号:TP391文献标识码:A文章编号:1009-3044(2012)08-1948-02
随着计算机和网络技术的飞速发展,数字化图书馆已经成为人们生活中重要的资料来源,在互联网时代信息高速化和多样化的背景下,数字图书馆正面临前所未有的挑战,只有积极引进新的技术,改善服务模式,才能在高速发展的互联网时代占有一席之地。在这样的背景之下,作为一种新的高科技的技术。
1云计算概念
1.1云计算的定义
云计算技术到目前为止还没有一个统一的定义,各行业和领域根据各自不同的利益视角和研究领域给出了不同的理解和定义。云计算的基本工作原理是将计算从个人计算机转移到大量的分布式计算机上,而不是由单独的本地计算机或者远程服务器完成计算工作。云计算是一种新型的资源共享方式,具有许多传统技术无法实现的优点。
1.2云计算的特点
1.2.1高度的安全性和可靠性
云计算技术为用户提供了高度安全可靠的数据存储中心,有效避免了传统技术中容易出现的病毒入侵、数据丢失等安全问题,云计算技术的数据中心都是由数据中心记性集中存储,由管理者进行集中的信息管理和安全控制,并且数据安全有实时监测,如此,就保证了用户数据和资料的安全性和私密性。
1.2.2经济实惠、方便快捷
云计算技术不在需要用户购买和时常更新应用软件和设备,只需要通过互联网用浏览器就可以尽情享受云计算技术提供的各种服务,用户只需花很少的钱租用服务商提供的相关服务,所需的硬件设备更新换代都不需要用户另外花费。
1.2.3超强的计算能力
云计算是一种集合了公用计算、分布式计算和虚拟技术等先进技术的集合体,因此在先进性上具有很强的优势,这种基于网络资源和技术共享的计算方式具有超强的计算能力,能够通过数台计算机之间的合作实现与超级计算机想媲美的计算,通过互联网众多数据库的共享,有限的资源被充分利用,使计算速度和准确性实现了质的飞跃。
1.2.4无限可能
云计算技术为我们网络的使用和数据的存储和利用提供了无限的空间和可能,这种可能促使着科学家不断发掘出它新的功能,也发现它在各个领域的巨大潜力。
2云计算技术在数字化图书馆中的应用
2.1目前数字化图书馆在云计算技术应用方面的现状
云计算技术由于刚刚在数字化图书馆中应用,因此难免存在许多问题,现阶段,笔者对于数字化图书馆在云计算应用方面存在的问题分析如下:
2.1.1信息资源的的共享有很大局限性
现阶段,由于图书馆资源的共享被接口不同不能共享锁局限,许多大型图书馆和校图书馆之间的资料库无法兼容,这也就导致 了所谓资源共享只是台面上的话,无法真正实现。
2.1.2数字资源重复建设率高
各个图书馆之间的纸质资源和数字资源往往都是相对独立的,如果其他图书馆在某一领域已经建立起相对完善和丰富的数字资源,那么别的图书馆在建设时无法了解这一情况,就会在建设时投入人力物力重复建设,这就导致了人力和财力的浪费。
2.1.3数字资源和纸质资源无法相互补充
在图书馆的工作过程中,由于人力局限等因素,往往无法对数字资源和纸质资源进行一对一的,这样一来,为了丰富数字图书馆的内容,满足读者日益增长的阅读需要,就不可避免的要购进与纸质资源相重复的内容,这样就又造成了资源的浪费。
2.2云计算技术在数字化图书馆中的应用前景展望
2.2.1降低服务器出错概率,最大限度保证安全可靠性
服务器作为支撑数字图书馆数据中心的重要部分,一旦出现故障,轻则导致图书馆无法正常工作,影响图书馆运行和读者借阅,重则导致图书馆重要数据的丢失,因此,服务器的安全性决定着数字图书馆能否正常有序运行。由于克隆技术在云计算模式中的应用,即便某台计算机出现了故障无法正常运行,服务器也可以快速准确的将计算机中的数据拷贝到其他计算机上,这样就避免了数据的丢失,最大程度保证了安全性和可靠性。
2.2.2降低成本,提高工作效率
在云计算技术背景下,一般的中小型图书馆无需花费大量资金去购买硬件设备,只需要从云计算供应商处租用计算能力,就可以利用网络浏览器使用最新的网络软件,也可以和大型图书馆享受相同的网络计算服务。同时,云计算技术也会使得系统维护的时间大大减少,从而提高工作效率。
2.2.3避免重复建设,实现真正共享
图书馆之间应该通过技术的改革和创新改变以往资源相互独立的局面,各个图书馆之间了解了彼此已经建成的领域,就不会在相同的领域投入不必要的精力,图书馆与图书馆之间相互联系,实现真正意义上的资源共享。这样一来,就实现了资源利用的最大化,符合可持续发展的观念。
2.2.4降低对用户设备的要求
在图书馆的传统服务模式中,要求用户必须使用计算机,才能使用数字图书馆的资源,还要下载不同的应用软件以识别不同格式的数据,使用起来非常麻烦。儿基于云计算技术的数字化图书馆由于强大的无限介入功能,用户不仅局限于电脑,还可以使用手机登移动设备共享图书馆的数字资源,从而使图书馆的作用实现了最大化的发挥,也给用户带来了更多方便的体验。
3云计算技术在数字化图书馆应用中需要注意的几个问题
1)信息资源的版权问题。云计算技术应用于数字化图书馆锁带来的资源高度共享在带来便捷的同时也滋生了版权纠纷问题,因此,在数字图书馆的建设过程中,要对资源的版权问题进行妥善处理,确定哪些资源可以放在“云”中,哪些又不行,通过制定版权问题的应对方案,对图书馆建设和使用过程中可能出现的版权问题进行有效处理。
2)数据的安全性问题。虽然用户数据都使用加密技术队用户数据耐蚀性保护,但是这种加密只是局限在数据传输上,无法保证数据处理和存储时的保密。因此数据安全问题仍是目前数字图书馆面临的一个重要问题。
3)接口标准问题。目前,由于云计算还没有同意的标准,因此,数字图书馆在数据迁移、资源共享方面仍然面临很大的困难,接口插件应该最大程度的适应本图书馆的具体情况,以保证更好的适应和利用云计算技术。
参考文献:
[1]伏琰.基于云计算的数字图书馆应用探析[J].科技创新导报,2011(2):207.
[2]张晓芳,祝新燕.云计算技术及其在数字图书馆中的应用[J].河南图书馆学刊,2011(3):148.
电子计算机技术发展和普遍应用,促使我们进入到了信息经济时代;通过大量的实践研究表明,企业信息化的建设,对于企业的管理有着很大的作用,可以有效提高企业的综合竞争力。
1、云计算给企业信息化建设带来的影响
如今,云计算技术得到了快速发展和普遍应用,营造了一种良好的环境氛围来促使企业的发展,对于很多繁杂的工作,都可以起到简化的作用。对于企业的信息化建设,云计算技术非常适合。具体来讲,体现在这些方面:
一是投资成本可以得到有效降低:云计算技术具有一系列的优点,比如不需要较高的先期成本,还可以结合企业发展的需求来便捷的进行扩展和升级,并且在很短的时间内就可以获得效果。云计算技术的使用可以结合需求来进行,付费也比较方便,那么就节省了大笔的开支,比如电力、服务器、机房。
二是云计算机技术可以提供更加便捷的服务:通过云服务来获取信息,不会受到时间以及地点因素的限制,并且对于终端设备也没有要求,只需要可以连接到互联网即可。云计算的数据中心可以存储大量的数据,企业开展工作也比较的方便,只需要通过自己的账号和密码登陆上去即可。
三是云计算技术对于人才需求也可以起到一定的缓解作用:企业在应用软件方面是不需要雇佣技术顾问或者相应的技术人员来对其进行维护,因为这些软件都在提供商的服务端内运行,有效缓解了人才需求;如果在运行过程中出现了问题,不需要自己去花费大量的时间和精力来对其进行维护,这些问题的处理都由服务提供商的相关维护人员完成即可。
四是投资回报可以得到提高:通过租用云计算技术,企业的业务效率和工作质量可以得到提高,反馈速度也可以得到提高,这样在传播以及推广方面就不需要花费很大的成本,实现综合竞争力提高的目的。
2、云计算技术实施企业信息化建设的策略
一是综合分析企业的业务需求:首先要对企业业务部门的需求进行综合分析之后,方可以对云战略进行良好部署;因此,IT服务商需要对企业业务部门的需求充分把握,针对业务中存在以及潜在的问题提出相应的解决方案,获得企业相关高层领导的支持。在企业信息化建设的过程中,不能够简单模仿其他企业的成功模式,需要紧密结合企业的具体情况来进行,将企业制定的发展战略充分纳入考虑范围,对企业信息化建设的总体目标进行科学建设,然后结合经营管理的具体情况来对企业信息化架构进行合理设计,综合考虑本企业的IT环境,明确自己是否需要利用云计算,需要利用云计算的哪些业务,对云的构建模式进行分析和选择,可以是私有云,也可以是混合云,或者是公共云。总之,在分析企业信息化系统需求时,需要综合考虑诸多方面的因素,充分结合企业的具体情况来进行,比如经营规模、发展战略以及组织架构等,在做系统开发书时,需要进行准确的表述,有完善的内容,涵盖各个方面,综合考虑诸多因素来选择最为合适的项目实施方案。
二是对方案进行合理选择:充分结合企业的具体情况,依据企业需求,来科学合理的选择和设计云计算技术,更好的设计和开发软件平台的应用产品,要考虑经济方面的因素,对企业软件产品设计以及开发成本进行适当降低,对企业管理信息系统的各个分项目进行详细分解,对云技术进行合理选择。
三是对云部署进行完善:要想将云部署全面实施下去,就需要结合确定下来的实施方案来合理部署相关的计算资源,比如硬件、软件等等,将全面管理工作落实下去,对服务系统进行构建和完善。其次,在云部署的过程中,还需要不断的进行优化和完善,那么就需要设置科学的衡量指标,一般依靠的是成本以及客户满意度。然后,对人员计划进行合理制定,对于私有云来讲,需要由相关的云专家来进行构建和管理,对于云交付需要的东西由相关的云服务商客户精力来提供,IT厂商和云计算服务提供商有着十分重大的任务,需要培训企业人员,保证能够正常使用,同时,还需要保证提供的各种专业服务都是科学和符合要求的,比如商务信息、管理咨询等,对企业信息化发展的环境进行净化和完善。
四是完善云计算系统:通过云计算技术,可以将连续的服务提供给企业,在这个过程中,需要保证提供的都是可用的服务,并且还需要对云计算进行深入的挖掘,以便将更多的新价值提供给企业,促使企业更好的发展。在这个过程中,需要结合具体情况以及出现的问题和漏洞,来对云计算平台中的服务产品进行完善。接受使用过程中出现的反馈意见和企业发展中更多的需求,来制定专门的方案进行解决和改善。
3、结语
通过上文的叙述分析我们可以得知,在企业信息化建设过程中,应用云计算技术具有一系列的优点,可以节约大量的费用和人力时间成本,比如服务器、数据中心等都不需要构建,可以及时有效的享受到相关服务,比如IT服务、应用、数据等。同时,企业信息化的建设,可以增强企业的综合竞争力,促使其在激烈的市场竞争中获得发展和壮大。本文简要分析了云计算技术实施企业信息化建设的策略,希望可以提供一些有价值的参考意见。
参考文献
中图分类号:TP311.13
随着信息技术的高速发展和普及,各个领域都积累了海量的数据并且还在迅速增长,数据量动辄以Tbyte计。海量数据持续消耗着计算机软硬件资源,资源的无限制扩张,使得单个计算机无法承担起相应的重任。目前电信行业在数据分析的支撑方面注意面临三个突出的问题,一是电信业发展到今天,历史数据的存储需求和电信业务量的不断增大,电信运营商的数据已经变成海量,中等规模的省级移动公司,每天的数据增长已经达到2-3TB,如此海量的数据需要计算机具有极强的处理能力和足够大的存储空间;二是各级运营商都是各自为阵,配备硬件设备和存储数据资源,造成了计算资源和存储资源的严重浪费;三是现有的数据库查询功能已经满足不了电信行业竞争日益激烈的决策支撑和服务。电信经营分析系统(BASS)作为电信业务支撑系统的一个主要支系统,数据的分析处理和挖掘对电信业务的发展起着重要作用,利用云计算平台,整合优化资源,形成具有超级计算能力的资源池,提高资源利用效率,处理数据并为用户提供服务。
1 经营分析系统概述
1.1 经营分析系统简介
电信经营分析系统是电信运营商的核心系统之一,通过对底层数据的抽取、处理、装载,实现数据的界面化展示,主要展示公司KPI指标,满足企业决策需求和业务支撑发展的需要。
电信BASS采用两级系统架构,由位于集团公司一侧的一级BASS和位于省公司一侧的省级BASS共同组成,两级系统之间通过一定数据通信网进行数据通信。如图1所示。
1.2 电信BASS面临的不足和挑战
目前电信BASS系统还是以指定数据库服务器为载体进行数据的运算和装载,但由于业务发展的需要和对数据分析要求的不断提高,目前BASS系统主要面临以下几个突出的问题:
(1)依靠单服务器存储数据的模式已经不能适应海量数据的急剧扩张,无法承载如此高的数据量。
(2)海量的数据源无法做到资源共享,经典的数据分析案例很难被借鉴和参考。
(3)服务器一旦出现故障,经分系统将会立即瘫痪。
(4)底层数据的存储和导入目前还需人工处理,因人工导入数据需要一定的周期性,所以无法满足经分系统实时访问最新数据的需求。
1.3 电信BASS海量数据产生的原因
为了适应通信业日益发展的需要,电信BASS系统面临着海量数据如何高效存储和处理的挑战,电信BASS海量数据产生的原因如下:
(1)现有数据随着时间的推移和业务的发展,数据信息每天都在不断增加,如客户资料信息,语音通话信息,短彩信发送信息,数据流量信息等。运营商需要将这一系列数据进行数据挖掘,提取有价值的营销资源信息,为业务发展提供更好的决策支撑。
(2)运营商期望充分运用已有历史数据挖掘新的商业契机与营销机会,也就意味着历史数据将会为运营商提供大量的潜在价值信息,历史数据中往往蕴含着有利用价值的潜在市场发展规律、包括市场发展的潜在危机和市场发展的重大机遇,因此需要将大量历史数据进行长期保存。
2 云计算的特点
(1)超大规模集群:集群可以将本地及异地的计算机资源有效的整合起来,形成具有一定规模计算能力的资源池,提高设备计算能力。
(2)分布式存储:大量的数据信息存储在云端物理位置相互隔离的主机当中,提高了数据的存储性能、安全性能和容灾备份性能。
(3)高扩展性:云端计算集群的规模可以动态伸缩,按需提供服务,实时满足计算的需求。
(4)低成本:云处理实际上是大幅提高云端设备的处理性能,客户端的处理性能则要求不是很高,对企业来说,无疑大幅减少了成本支出。
3 基于云计算技术的经营分析系统
基于云计算的经营分析系统不但改变了以往依靠单一服务器存储、计算的服务模式,而且提高了资源的利用效率和节约了企业成本,涉及的关键技术主要包括数据存储、数据管理、编程模式等,解决的主要问题是海量数据如何存储、海量数据如何索引和定位,海量数据如何抽取、海量数据如何更有效的运算。
3.1 海量数据存储技术
通过分布式的异地存储是解决海量存储的有效方法。云计算技术发展到今天,目前数据存储技术主要有Google的GFS(Google File System)和Hadoop开发团队开发的GFS的开源实现HDFS(Hadoop Distributed File System)。
(1)Google 的GFS。GFS是由Google设计并实现的一个分布式文件系统,其中包括数据的存储、管理、定位等多层面,其主要框架架构是把大量安装有Linux操作系统的普通PC形成一个具有庞大的存储处理能力计算机集群,分别有控制节点和存储节点构成。
(2)Hadoop的HDFS。HDFS采用管理节点/存储节点架构,如图2所示。一个HDFS集群由一个管理节点和一定数目的存储节点组成。
GFS与HDFS技术有效地将异地计算机资源整合在一起,形成具有超大存储容量的计算集群,同时,为了优化系统的性能,提高资源的数据利用率,需要对数据进行并行处理,目前省属各地州运营商的存储系统都是各自为阵,独立存储,信息的存储效能不但低下,而且在信息共享方面和信息处理速度方面存在瓶颈,云计算的分布式存储技术将能够有效解决面临的这一突出问题。
3.2 海量数据管理技术
要高效管理和处理大规模数据集,首先必须解决如何在庞大的数据中心定位所需数据的问题。如何能够快速在异地分布的存储节点上找到所需的数据,提高数据管理效率是面临的又一突出问题,目前电信BASS经分系统主要采用互动管理来实现对经分数据的调动和管理,主要还是通过ETL调度管理和服务管理两个方面来实现,ETL负责数据的抽取、转换、装载,服务管理负责数据访问的安全和效率。现在这种技术已经不能适应当前业务发展的需要。云计算数据管理技术主要有Google的Big Table和Apache的Hbase等,Hbase是一个分布式的,面向列的开源数据库,它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。
3.3 编程模式(分布式运算模式)
Map/Reduce的编程模式是目前云计算的核心和关键。任务如何分解,分解后的任务运用什么技术如何分配给终端去处理是其主要任务,Map/Reduce实际上就是任务分解和任务汇总的集合,在电信行业当中,其实主要是数据的分解和汇总Map/Reduce的工作模式如图3所示。
Map/Reduce的实现机制使得任务如何分解和合并更加流程化,为后续的分布式计算提供了有利的条件。
3.4 海量数据处理模式
(1)现有经分系统中海量数据的一般处理方法。越来越多海量数据的出现,使得现有BASS系统在处理数据的容量存储、处理速度及兼容性方面存在诸多不足,目前数据处理的一般方法有如下几种:
1)通过高效的数据库进行集中处理,如SQL、ORACLE数据,但一旦服务器出现故障,经分系统将会直接崩溃,无法运行,容灾性能较差。
2)高效的SQL语句,由于对数据提取精确性的要求,要从海量的数据表中提取有效数据需要编写更简洁和高效的SQL语句。
3)分类存储。对海量数据按类别进行细分,再对其进行分区存储
4)建立合适的索引。对海量数据进行处理时,需要对数据进行分类、排序、这样在数据提取和处理时能够快速在服务器中定位。
(2)基于云计算技术的海量数据ETL处理算法的改进设计。由于目前ETL算法在对数据的处理和任务调度方面存在诸多不足,本文从以下两个方面进行了改进和处理,一是通过借鉴Map/Reduce原理,将其充分运用到ETL的数据抽取环节,从而做到数据处理更高效,(简称SMB-DP)算法;二是对ETL任务调度进行优化,主要是将任务的优先级和任务处理时间考虑在内(简称AGB-ETL)。
整个算法的核心思想是:将原来的多次抽取数据改为一次性抽取数据,通过借鉴Map/Reduce原理对源数据进行拆分,形成多个目标文件,此次过程称之为SMB-DP算法;然后再将这些目标文件的任务优先级及运行时间考虑在内对这些任务进行分配调度和数据处理,此过程称之为AGB-ETL算法。具体如图所示。
SMB-DP算法的基本思想是:将现有ETL处理流程中的多次抽取化成单次抽取,拆分后再进行并行的转换装载等处理。
该算法的实现关键包括单次抽取、对源数据进行拆分和并行转换装载三部分。具体描述如下:
(1)单次抽取。通过关键字段把所要提取的数据源表进行有效的合并。假设A表需要读取“1、2、3、4、a、b、c、d ”8个字段,假设B表需要读取“4、5、6、7、c、d、e、f”8个字段,那么可以一次性将源表所需的11个字段从源表中抽取,然后从中抽取A、B各需的字段,分别保存成两个文件进行存储。
(2)对源数据进行拆分。抽取数据的目的最终是为了拆分数据,通过借鉴Map/Reduce原理,把数据文件按照一定的字段划分后存储的云终端当中。
(3)并行转换装载。对于拆分后形成的多个目标文件,可以采用各种有效的并行处理技术进行并行的转换及装载处理,如将多个目标文件分配到不同的计算终端去运行,有效提高BASS的处理效能。
AGB-ETL算法的基本思想是:以任务优先级和任务运行时间为首要遵循的分配原则,将最需要处理的任务分配到处理时间最少的终端中去,这样既提高了资源的利用率,又满足了任务处理的实时需求,从而达到了资源的优化配置和调度。
目前常用的ETL任务调度算法主要有顺序调度、随机调度和基于贪婪算法的任务调度等三种。
(1)顺序调度:按照顺序将需要处理的任务逐个分配到终端中去处理。这没有考虑任务的执行时间,执行效率比较低。
(2)随机调度:从需要处理的任务当中随机选取任务并随机分配到任务组中,这种调度算法随机性很差,也是没有考虑任务的运行时间和任务优先级,因此处理效率也很低下。
(3)基于贪婪算法的任务调度:相对于前两种算法,这种算法的处理性能和效率有了较大的提高,先通过系统内日志记录算出任务最近几次的运行时间,一般取10次左右,算出任务的平均运行时间进行排序,一般将任务运行时间最长的分配到当前估算执行时间最小的任务分组中,由于没有考虑任务的优先级,因此任务的处理效能依旧不是很完善。
AGB-ETL算法涉及的过程主要是三个方面,描述如下所述:
(1)执行优先级的确定。优先级是根据相关业务规范以及移动BASS实时性处理的需求设定的。首先我们需要设定任务优先级的规范标准,以阿拉伯数字1为最高优先级,以此类推。
(2)估算时间的确定。一般我们会从系统日志中获取每个任务的执行时间。通过查询系统操作日志,获取任务最近N次的执行时间,我们就可以算出该任务的平均执行时间。
(3)处理流程的描述。
1)首先将任务进行调度的判断,如有则加入队列,没有则等待。
2)将任务队列进行排序,排序的原则是优先级从高到低,优先级相同的,再按照任务执行时间从高到低排列。
3)将最需要处理的任务放入执行时间最少的单元当中。
4)更新该任务分组的总估算执行时间。
5)判定任务队列L是否分配完毕。
4 结论
针对电信行业所面临的海量数据处理的突出问题,本文通过对云计算关键技术研究应用,提出了基于云计算技术的经营分析系统对海量数据的处理和优化方法;通过对海量数据存储、海量数据索引和定位、海量数据抽取与处理、海量数据分布式运算等几个方面的研究,特别是对海量数据的抽取和处理,提出了基于拆分机制的海量数据处理算法和改进的基于贪婪算法的ETL任务调度算法,从而对海量异构源数据进行快速抽取、有效拆分和并行处理,可以更加合理地进行任务调度,实现资源的优化处理和按需分配。
参考文献:
[1]杨胜琦.基于复杂网络的大规模电信数据分析研究[D].北京邮电大学硕士学位论文,2010,5.
[2]孙少陵.云计算变革下电信运营商的机遇及中国移动云计算探索[J].移动通信,2010,11.
[3]孔令山.运营商虚拟化实践与思考.
[4]张海涛.基于云计算平台的电信经营分析系统研究.
[5]王金伦,樊秀菊.基于云计算的新一代电信业务支撑系统测评平台的设计与实现[J].计算机应用与软件,2011,3.
[6]秦润锋,樊勇兵,唐宏,金华敏.开源云计算管理平台技术在电信运营商私有云建设中的应用研究.
[7]段云锋.中国移动经营分析系统建设及应用电信经营分析.
因为互联网进程的推进,让信息时代中,数据成为了主流探讨的问题。由于数据的处理与分析,能够得到相应的操作数据。因此,在互联网时代中,如何更好的进行数据处理以及资源整合,是目前数据时代的主要处理方式与手段。而大数据时代,则对于数据的处理和整合配置要求更高,对于处理的效率也有一定的要求。因此,随着大数据时代的到来,对于传统的数据处理方式以及处理效率,已经无法满足现代人们对于数据处理的要求。因此,为了能够在大数据时代以及环境下,能够更好的实现对于数据的处理效率。那么,采用云计算技术是必然的选择。云计算机技术可以实现高效的应答处理,基于互联网进行数据的访问,并且能够进行合理的资源配置,从而实现高效率的大数据环境下的数据处理。
一、大数据环境与互联网数据分析
随着信息时代的进程逐步加快,人们的生活与工作,更多的以数据形式来体现,从而实现了数据的时代。在网络数据不断的递增,并且出现了数据庞大的现象的时候。谷歌最早通过大数据的概念,来形容目前的大数据时代。因此,大数据时代的到来,与互联网数据的呈现息息相关,并且起到了非常重要的作用。那么,对于大数据而言,其存在哪些问题和与人们生活与工作相关的内容呢?互联网数据与大数据而言,两者又有着怎样的必然关联呢?
1.1 大数据时代以及大数据环境分析
大数据实际上在一些科研领域中一直有这样的概念,但是由于科研原因,其被人熟知的范围相对较小,属于专业性领域的名词。但是,随着互联网时代的到来,人们对于互联网的熟悉,造成了人们对于数据的概念更加深刻。而互联网环境下,数据是最为主要的资源和呈现方式,这也在一定程度上实现了人们对于互联网数据的认识。因此,由于互联网的推动作用,造成了人们现代所熟悉的大数据时代。那么,大数据时代的代表和标准是什么?
首先,大数据是一种数据的表现形式;人们在互联网时代中,越来越重视数据的作用,由于信息的交互以及远程的沟通,实际上都是网络数据在进行交互,从而形成现在网络化的大数据时代。那么,大数据必然是数据的一种集中表现形式,一种宏观的概念。大数据的目的是通过对互联网数据资源的整合,实现最佳的数据环境,从而进行相应的数据处理。
其次,大数据时代的标准就是数据整合与资源合理分配;大数据时代,数据的整合非常重要。由于数据的交互一般是以零散的方式进行,非常难以得到更好的应用。因此,采用资源合理分配以及数据整合,是非常有必要的。
最后,大数据的代表既是互联网数据;大数据原本就是专业学术领域的名词,而由于互联网的发展,带动了大数据的概念开始转移到互联网世界中,从而被人们所熟悉,并熟知。
1.2 大数据环境与互联网数据分析
互联网是基于数据而建立起来的,不管是互联网的资源还是互联网的协议,实际上都可以采用数据的形式进行呈现,从而凸显数据的重要性。因此,对于互联网数据而言,是形成大数据环境的基础。实际上,在大数据没有从科研领域进入互联网领域的时候,就已经开始了意识到了数据的庞大性。互联网产生的数据是非常庞大的,那么在信息时代的发展进程中,如何合理的应用这些数据,以及如何更加有效的利用这些数据,成为了目前互联网时代的一种管理模式。当大数据环境已经形成并得以蓬勃发展的时候,相关人员开始注意到了大数据的重要性,并且明确了大数据环境下,互联网数据的可行性以及价值。因此,对于大数据环境下的互联网数据而言,可以从以下几个方面进行分析:
第一,大数据环境下,互联网数据的价值得以体现;互联网的数据一般情况下,是为了能够体现网络资源以及资源之间的交互,尤其是在信息交流的过程中,数据的价值体现非常重要。但是,由于互联网的交易价值开始不断被重视,从而在一定程度上影响了对于数据的价值参考。也就是说,实际上大数据环境下,互联网的数据的价值得到了显著的提升。基于大数据的检索技术得以开发和应用,就是为了能够更好的方便对于数据的检索和参考,从而有效的提高其应用价值。
第二,大数据环境下,基于大数据的互联网数据分析更具实际意义;大数据环境下,实际上更加注重对于互联网数据的应用。一些交易网站的建设,一般也都是基于大数据而进行设计与开发的。目前,随着计算机互联网技术的不断深入,让更多的互联网使用用户开始注意到了大数据的重要性。通过大数据的检索可以获取非常庞大的数据信息,根据这些数据信息就可以进行相应的数据处理,从而保证网站的浏览量以及网站的价值。
总之,大数据环境下的互联网数据是非常重要的,并且在一定程度上取代了传统的互联网数据理念。
二、大数据环境下的云计算技术应用
基于以上分析,对于大数据时代以及大数据的环境,都有了非常细致的了解。那么,对于大数据的环境下,如何应用云计算技术呢?采用云计算技术,有着怎样的优势呢?
首先,对于云计算技术的应用,主要是为了能够提高大数据环境的处理效率。云计算是一种广义性的概念,云实际上就是网络的代名词。采用云计算的方式,实际上就是严格遵守网络的计算方式,对数据进行相应的计算,从而保证对于大数据的网络化价值体现。
其次,大数据环境下,采用云计算技术,更重要的是为了保证数据的安全防护。由于大数据环境的出现,让网络数据开始变得更加复杂,从而出现了诸多的网络数据安全问题。尤其是基于大数据的一种检索方式,会让互联网的使用者的安全信息受到侵犯,从而影响了数据的使用安全。而采用云计算的方式,则可以在严格遵守互联网的模式环境下,针对性的进行数据检索,而不会将用户的信息随意的进行呈现,从而降低了互联网用户的安全系数,给大数据环境的发展,带来了一定的影响。
最后,大数据时代是网络信息发展的结果,因为互联网的广阔的应用范围,从而造成了在大数据环境下,可以最大限度的获取最多的信息。但是,正式由于数据的处理过于庞大,从而需要一定的计算方式,来提高数据的处理效率。此外,对于大数据而言,已经不仅仅是数据的庞大的单一表达。实际上,为了大数据也已经融合进入了处理效率的因素,也就是单位时间内处理信息的数量。因此,基于以上的需求,采用云计算的方式,是非常必要的。
三、结语
本文分析了大数据的基本概念以及在互联网环境下,大数据时代的到来以及大数据环境的一些特点,从而解析了为什们需要使用云计算技术的原因。在大数据环境下,互联网数据的价值得以体现,并且成为了最具参考价值的实用性数据。基于大数据的相关技术开发,非常普遍,并且得到了广泛的应用。例如,在搜索引擎中,就出现了基于大数据的搜索机制,从而让数据信息更方便被检索,从而实现了数据的价值体现。当然,设计云计算的原因不仅仅是为了能够让大数据环境下对于数据的处理更加高效与便捷。实际上,也是为了能够更好的进行数据的安全防护。由于大数据的相关处理方式,让用户的网络信息开始出现了一定的危机。那么,云计算的处理方式,是会严格按照互联网的访问机制进行,从而降低了用户的信息风险,提高了大数据的应用范围和应用价值。
参 考 文 献