时间:2022-08-13 07:55:03
序论:好文章的创作是一个不断探索和完善的过程,我们为您推荐十篇数据解决方案范例,希望它们能助您一臂之力,提升您的阅读品质,带来更深刻的阅读感受。
解决方案
西蒙开创性的Z-MAX端到端网络布线解决方案,突破了先前公认的RJ-45接口极限。 通过以下一些关键特色,Z-MAX端到端网络布线解决方案使6A类系统布线性能余量达到业界领先,并实现1分钟之内的快速端接,以及1U48口的高密度:
1. 基于专有技术的 Smart Plug 技术,包含了一个经过调谐的印刷电路板(PCB),使跳线具有不可逾越的优异性能。
2. Zero-Cross端接,其线性设计使导线可自然地放置到位,无需线对交叉。
3. 独一无二的斜向IDC触点分布使相邻模块的线对间的隔离极大化,具有杰出的ANEXT性能指标,并使配线架的密度达到1U 48端口。
4. 短至3米的短链路支持能力非常适合数据中心部署。
5. 西蒙创新的6A类BladePatch跳线采用推拉式护套设计,使得密集环境下的跳线插拔非常容易。
6. “先接触,后断开”的触点形状可以提供独立的电弧区域,并且与插头和插座触点上的耦合接口区域完全隔离,保证PoE Plus应用的极佳可靠性。
7. 一体化的彩色屏蔽模块同时支持斜口和平口两种安装方式。
8. 业界极短的安装深度,采用斜口安装模式,西蒙6A类模块的整体安装深度只需37.7mm,无需特殊底盒。
9.屏蔽系统更是具有细小的外径、更优的管道利用率、线缆更不易升温等绿色节能特点。
西蒙即插即用光纤解决方案
西蒙的即插即用预端接光缆解决方案采用小尺寸RazorcoreTM光缆和高性能高密度的MTP(12芯或24芯)连接头来制做,完全满足将来40Gb和100Gb应用的要求。由于经工厂端接和测试,避免了传统现场端接所造成的废料和浪费。
即插即用的部署方式可以大大减少安装时间,使速度提高75%。除了高性能和快速部署之外,西蒙即插即用型光纤解决方案还具有高密度、易扩展易升级、优化空气流通易于散热等特点。
1.西蒙即插即用模块和电缆组件,全部配有比普通MPO接头性能更好的USConnec的MTP连接头。
2. 西蒙的低损耗即插即用解决方案是业界独有能够在4个模块连接的300米信道长度上支持万兆应用的。其低损耗模块的损耗低达0.35dB,MTP接头损耗是0.2dB。
3.西蒙对850nm和1300nm两个波段均进行了插入损耗和回波损耗测试。
4. 西蒙按照IEC 61300-3-30 Ed 1.0的要求对所有接口进行了完全自动化端面检验,从而减少了会显著降低系统性能的污染和表面缺陷。
5.紧凑轻便的即插即用模块和带12芯MTP接头的RazorCore光缆优化了适配器空间管理,减少了管道利用率。
6.西蒙创新的LC刀片式跳线使用推拉护套设计使得用户可以在高密度环境下很容易进行插拔;使用正在申请专利的旋转插销设计使得光纤改变极性时不会损坏接头和光纤; 使用单一软管、外径更细的线缆设计减少了线缆管道的拥挤,改善了气流,并使线缆管理更容易。
7.西蒙LC和SC适配器均使用优质陶瓷准直套管,以提供更严格公差和更好的耐久性。
8.由Experior Labs开展的独立第三方测试确保了解决方案能为40Gb和100Gb做好准备。
在上海银行数据处理中心
项目中的应用
在上海银行数据处理中心项目机房工程中,本着建立一套投资合理、高效、先进的开放型布线系统的目标, 在信息中心裙房(地下室1-2层、1-4层)的综合布线系统中采用了西蒙的6A类铜缆和即插即用MTP预端接光纤解决方案, 按照《电子信息系统机房优化规范》(GB 50174-2008)A级进行设计优化并施工。
机房内的综合布线系统分为以下部分:主配线区(MDA)、水平配线区(HDA)和设备机柜区(EDA)。
主配线区(主MDA和次MDA)是整个数据中心配线管理的核心区域,所有水平配线区主干与电信接入线路全部接入至主配线区。信息中心裙房的主MDA设置在信息中心裙房2层网络机房,次MDA设置在信息中心裙房1层网络机房。SAN的MDA设在主机房内的存储区内。布线设备与有源设备分开,每个区域有独立的配线管理区域。布线系统的主干线路不但在数量上考虑了冗余,还考虑到了多种介质链路备份及链路通道备份。铜缆系统采用西蒙创新的具有高性能裕量的Z-MAX 6A类系统,防火等级达到CMP级。
光缆系统采用西蒙即插即用MTP预端接光缆(基于西蒙XGLO OM4多模+OS2单模)系统,防火等级达到OFNP级。光缆和铜缆分桥架走线,冗余链路分弱电间走线。
HDS融合数据中心解决方案的核心之一是其企业级存储系统。HDS的企业级存储系统在虚拟化技术、精简配置以及可靠性、可扩展性等方面独树一帜。从USP到VSP,HDS的企业级存储系统在存储虚拟化技术方面不断创新,赢得了许多行业用户的认可。一些电力公司、互联网企业等都采用了HDS的虚拟化存储系统和云计算解决方案。
在过去的几个月中,HDS的云计算解决方案赢得了许多重要的客户。比如,北京市计算中心选用HDS NAS Platform(HNAS),避免了系统无序扩大,同时消除了流量瓶颈,提高了文件和数据共享的性能。借助HNAS的虚拟化功能,如虚拟服务器、虚拟存储和虚拟存储池,存储管理员可以更有效地为不同应用和用户分配存储空间。HNAS也是北京工业云计算服务平台基础架构的一部分。像这样的成功案例还有很多。不过,你不要认为HDS的云计算解决方案只包括存储,HDS融合数据中心解决方案就是让用户从整个基础架构的角度,而不是从存储的角度去思考构建云环境。HDS融合数据中心解决方案通过整合存储、计算、网络和系统管理软件,可以加速并简化云架构的部署。许可表示:“由于缺少云部署的标准和方法论,许多用户在构建云架构时通常会感到无从入手。HDS融合数据中心解决方案将存储、服务器、网络、管理等进行优化集成,可以帮助用户找到一个切实可行的构建云架构的方法,让用户获得企业级的可靠性、高性能,同时简化云架构的部署流程,加快部署速度。”
简化流程
中图分类号:TP311文献标识码:A 文章编号:1009-3044(2009)27-7600-03
The Solution for Urgently Break Down of the Oracle Database
WANG Hong-yan, LI Tao
(The 477th Hospital of PLA, Xiangfan 441003, China)
Abstract: The database is the center part of information system, which is the important guarantee to normal working of system. This text mainly concentrate on the solution for latent breaking down of the Oracle databaseand the method of operation process when running in the archivelog mode.
Key words: oracle database;Break down; Damaged documents;recovery;archivelog mode
随着办公自动化和电子商务的飞速发展,企业对信息系统的依赖性越来越高,数据库作为信息系统的核心担当着重要的角色。尤其在一些对数据可靠性要求很高的行业如银行、证券、电信等,如果发生意外停机或数据丢失其损失会十分惨重。为此数据库管理员应针对具体的业务要求制定详细的数据库备份与灾难恢复策略,并通过模拟故障对每种可能的情况进行严格测试,只有这样才能保证数据的高可用性。数据库管理员在恢复时采取的步骤正确与否也直接影响最终的恢复结果,本文主要针对Oracle数据库可能遇到的各种故障提供了相应的恢复的方法。
1 故障分析
Oracle物理结构故障是指构成数据库的各个物理文件损坏而导致的各种数据库故障。这些故障可能是由于硬件故障造成的,也可能是人为误操作而引起。所以我们首先要判断问题的起因,如果是硬件故障则首先要解决硬件问题。在无硬件问题的前提下我们才能按照下面的处理方发来进一步处理。
Oracle数据库错误主要分为5大类: SQL语句失败 ; 线程失败 ;实例失败;用户操作失败;存储设备失败。
2 解决方法
如果发生前三种失败,不需要我们人为干涉,Oracle系统会自动进行恢复。对于用户操作型的失败(如误删除数据),我们采取的补救措施主要有导入最新的逻辑备份或进行到某一时间点的不完全恢复。从Oracle 8之后的新版本中引入了基于表空间的时间点恢复(TSPITR),可以单独将包含错误操作的表空间恢复到指定时间,而不必对整个数据库进行不完全恢复。
针对存储设备的失败的情况比较复杂也是本文讨论的重点,存储设备的失败必然会使放置在其上的文件变为不可用,我们先将Oracle数据库所涉及到的文件进行一个划分,主要可分为:Oracle的系统文件,指Oracle的运行文件,各种应用程序 ; 数据库控制文件 ; 数据库重做日志文件 ;数据文件; 归档日志文件 。
2.1 避免Oracle的系统文件失
败主要依赖系统管理员进行操作系统级的备份,当发生事故后只能依靠操作系统备份将其恢复。
2.2 控制文件损坏
控制文件记录了关于oracle的重要配置信息,如数据库名、字符集名字、各个数据文件、日志文件的位置等等信息。控制文件的损坏,会导致数据库异常关闭。一旦缺少控制文件,数据库也无法启动,这是一种比较严重的错误。
首先可以通过查询数据库的日志文件来定位损坏了的控制文件。日志文件位于$ORACLE_BASE/admin/bdump/alert_ORCL.ora.
2.2.1损坏单个控制文件
① 确保数据库已经关闭,如果没有用下面的命令来关闭数据库:svrmgrl>shutdown immediate;
② 查看初始化文件$ORACLE_BASE/admin/pfile/initORCL.ora,确定所有控制文件的路径。
③ 用操作系统命令将其它正确的控制文件覆盖错误的控制文件。
④ 用下面的命令重新启动数据库 svrmgrl>startup;
⑤ 用适当的方法进行数据库全备份。
2.2.2损坏所有的控制文件
① 确保数据库已经关闭,如果没有用下面的命令来关闭数据库:svrmgrl>shutdown immediate;
② 从相应的备份结果集中恢复最近的控制文件。对于没有采用带库备份的点可以直接从磁带上将最近的控制文件备份恢复到相应目录;对于采用带库备份的点用相应的rman脚本来恢复最近的控制文件。
③ 用下面的命令来创建产生数据库控制文件的脚本:
svrmgrl>startup mount;
svrmgrl>alter database backup controlfile to trace noresetlogs;
④ 修改第三步产生的trace文件,将其中关于创建控制文件的一部分语句拷贝出来并做些修改,使得它能够体现最新的数据库结构。假设产生的sql文件名字为createcontrol.sql.
注意:
Trace文件的具体路径可以在执行完第3)步操作后查看$ORACLE_BASE/admin/bdump/alert_ORCL.ora文件来确定。
⑤ 用下面命令重新创建控制文件:
svrmgrl>shutdown abort;
svrmgrl>startup nomount;
svrmgrl>@createcontrol.sql;
⑥ 用适当的方法进行数据库全备份。
2.3 重做日志文件损坏
数据库的所有增、删、改都会记录入重做日志。如果当前激活的重做日志文件损坏,会导致数据库异常关闭。非激活的重做日志最终也会因为日志切换变为激活的重做日志,所以损坏的非激活的重做日志最终也会导致数据库的异常终止。在ipas/mSwitch中每组重做日志只有一个成员,所以在下面的分析中只考虑重做日志组损坏的情况,而不考虑单个重做日志成员损坏的情况。
2.3.1确定损坏的重做日志的位置及其状态
① 如果数据库处于可用状态:
select * from v$logfile;
svrmgrl>select * from v$log;
② 如果数据库处于已经异常终止:
svrmlgr>startup mount;
svrmgrl>select * from v$logfile;
svrmgrl>select * from v$log;
其中,logfile的状态为INVALID表示这组日志文件出现已经损坏;log状态为Inactive:表示重做日志文件处于非激活状态;Active: 表示重做日志文件处于激活状态;Current:表示是重做日志为当前正在使用的日志文件。
2.3.2损坏的日志文件处于非激活状态
① 删除相应的日志组:
svrmgrl>alter database drop logfile group group_number;
② 重新创建相应的日志组:
svrmgrl>alter database add log file group group_number (’log_file_descritpion’,…) size log_file_size;
2.3.3 损坏的日志文件处于激活状态且为非当前日志
① 清除相应的日志组:
svrmgrl>alter database clear unarchived logfile group group_number;
2.3.4 损坏的日志文件为当前活动日志文件
① 用命令清除相应的日志组:
svrmgrl>alter database clear unarchived logfile group group_number;
② 如果清除失败,则只能做基于时间点的不完全恢复。
③ 打开数据库并且用适当的方法进行数据库全备份:
svrmgrl>alter database open;
2.4部分数据文件损坏
若损坏的数据文件属于非system表空间,则数据库仍然可以处于打开状态可以进行操作,只是损坏的数据文件不能访问。这时在数据库打开状态下可以单独对损坏的数据文件进行恢复。若是system表空间的数据文件损坏则数据库系统会异常终止。这时数据库只能以Mount方式打开,然后再对数据文件进行恢复。可以通过查看数据库日志文件来判断当前损坏的数据文件到底是否属于system表空间。
2.4.1非system表空间的数据文件损坏
① 确定损坏的文件名字:
svrmgrl>select name from v$datafile where status=’INVALID’;
② 将损坏的数据文件处于offline状态:
svrmgrl>alter database datafile ‘datafile_name’ offline;
③ 从相应的备份结果集中恢复关于这个数据文件的最近的备份。对于没有采用带库备份的点可以直接从磁带上恢复;对于用带库备份的点用相应的rman脚本来恢复。
④ 恢复数据文件:
svrmgrl>alter database recover datafile ‘file_name’;
⑤ 使数据库文件online:
svrmgrl>alter database datafile ‘datafile_name’ online;
⑥ 用适当的方法进行数据库全备份。
2.4.2 system表空间的数据文件损坏
① 以mount方式启动数据库
svrmgrl>startup mount;
② 从相应的备份结果集中恢复关于这个数据文件的最近的备份。对于没有采用带库备份的点可以直接从磁带上恢复;对于用带库备份的点用相应的rman脚本来恢复。
③ 恢复system表空间:
svrmgrl>alter database recover datafile ‘datafile_name’;
④ 打开数据库:
svrmgrl>alter database open;
⑤ 用适当的方法进行数据库全备份。
2.5 归档文件损坏
归档文件或归档文件所处的物理位置不可用,首先shutdown数据库,立即作一个冷备份。然后修改ini文件中的归档日志文件目的路径,重新启动数据库。以后再发生灾难只需从最新的备份中将相关文件恢复,数据库作recover时就不需要备份之前丢失的归档文件了。在Oracle 8之后的新版本中提供了log_archive_duplex_dest和log_archive_dest_1...5等参数允许保留多份归档文件到不同位置,甚至到远端服务器从而保证归档文件的可靠性。
3 几点数据库恢复时的注意事项
1)该文讨论所有情况的默认前提是数据库运行在归档(ARCHIVELOG)模式下,并只涉及到一般常见的情况和最基本的恢复方法。使用Oracle提供的恢复管理器RMAN也能完成上述任务,如果运行环境比较复杂建议使用RMAN来做备份和恢复。
2)一旦数据库发生灾难,最好在进行恢复之前做一次完全的冷备份,以便在进行恢复时产生差错还可以进行补救。很大一部分数据丢失是由于不正确的恢复操作所引起的。
3)当数据库完成恢复之后,尤其是使用resetlogs选项打开数据库之后,要马上关闭数据库进行一次完全的冷备份。因为,为防止放弃的重做日志被下次恢复时再次运用,resetlogs选项会重新创建redo log文件并将其的计数清零,这将使之前做的所有备份将变为不可用(一般情况下)。
4)要特别注意当进行数据库完全恢复,从发生故障的时间点前的备份中恢复损坏文件时,一定不要使备份中的redo log文件覆盖了当前的redo log文件,否则就只能进行不完全恢复并且要丢失一部分数据了。
4 结束语
要充分意识到数据备份的重要性,恢复都是基于备份基础之上的。 当数据库出现故障时要依据备份的策略作出及时、有效的恢复策略,以便确保数据的完全恢复。
参考文献:
[1] 李佩铎.Oracle数据库备份和恢复优化[J].医疗设备信息, 2007(3):47,85.
能够支持万兆网络连接的当然不限于6A类铜缆,现有万兆网络多采用光纤连接,标准推荐使用OM3光纤。目前40G和100G技术发展很快,如果数据中心用户考虑采用40G或者100G网络翻案,0M3也无法满足需求的,就需要采用OM4光纤。较之管线连接方案,无论是单模还是多模,基于铜缆的万兆光纤连接技术更具成本优势。如果选择铜口万兆方案,就需要采用6A类布线。
从万兆应用现状来看,万兆连接多限于核心交换机之间,或者核心交换机和汇聚层交换机之间,服务器或存储万兆连接只用10%左右的市场份额。在存储领域,iSCSI技术曾被普遍看好,被视为FCSAN的替代方案。但是iSCSI市中没有取代FCSAN,重要的原因就是高价格影响了万兆应用的速度,iSCSI多限于千兆连接,落后于4Gb或8Gb、FCSAN的方案。随着万兆价格的走低,基于万兆的iSCSI存储,是人重新看到光明。类似的,未来服务器也会有更多万兆应用,特别刀片服务器、虚拟化等高密度设备服务器部署,对万兆提出更高要求。据预测,未来两年服务器采用万兆应用的比例会提高50%,其中,基于铜口的万兆应用较之光纤口更具优势。
网络部署方面,数据中心交换机提供了更高的万兆端口密度,以思科(Cisco)Nexus 7000系列为例,可以支持256个端口万兆链接。随着数据中心级交换机新能的提升,大有变三层网络结构为两层结构的趋势,汇聚层交换机将被取代。更高密度的交换机端口对布线系统提出了更高要求,需要用户提早做好准备。就线缆选择而言,需要更多6A类线缆部署,而不是6类线缆。
根据资料显示,6A类线缆销售增长强劲。据美国康普公司大中华区销售总监陈岚女士透露,6A类线缆的占比已经从2009年的20%提高到2010年的31%,今年的第一季度跟是达到了35%。“随着数据中心用户未来在服务器虚拟化和整合技术方面应用的不断加深,万兆布线技术会得到更加迅猛的发展。”陈岚说。
二 布线管理智能化
谈到数据中心的管理,最然人头疼的不是宕机问题,而是线缆的管理。固定好了拆,拆开再固定,一不小心说不定机会吧那根线缆碰掉,后果十分严重。这儿牵扯到了布线的管理的问题。
在与美国康普公司交流中,公司展示的VisiPatch 360跳线解决方案,使我眼睛一亮。方案是这样,通过设立独立的跳线区,用户可以记住VisiPatch 360跳线架,管理集成线缆和跳线。在跳线区,用户就可以修改、管理系统的布线连接。为了便于管理,VisiPatch 360方案采用反向跳线技术,从而腾出面板的正面空间,便于进行标注。用户采用不同的颜色对不同区域的布线进行区分,线缆管理一目了然。
更智能化的管理就是借助电子配线架,通过线缆传感头,自动收集线缆有关部署、连接信息,由软件对布线信息进行管理。从前瞻角度看,智能布线管理答复提升了数据中心的管理水平,但也大幅提高了工程的造价,这一点不可小觑。
三 预端接-质量的保障
布线时一个现场施工的过程,无论是光纤的熔接、端接,还是压制铜缆的RJ45头,其质量都会受到人员操作的影响,有时候会严重影响工程质量,造成网络传输故障和带宽问题。预端接就是一个由工厂端接、测试的复合标准的模块是链接解决方案,其铜缆和光纤全部经过生产工厂的严格测试,无论是端连接,还是线缆辐射控制,全部可以提供哦你可靠的质量和性能。
由于应用程序开发、质量保证、用户验收、生产环境支持、报告和备份,企业通常为每个生产数据源生成8到10个副本。因此,一个5 TB的生产数据库会形成40TB到50TB的下游副本,而一家《财富》500强企业可能会有1000多个生产数据库生成PB级的副本数据。有效管理副本数据所需的存储量大得惊人。而数据虚拟化消除了所有的冗余数据副本,同时、而且更为重要的是缩短了生成副本所需的时间,这就缩短了应用程序开发时间、质量保证时间和恢复时间。
如今,只有少数几家公司致力于这个领域,更多的公司在进入这个市场,因而很难辨别厂商营销炒作的真伪。
在概念证明(POC)阶段,先要搞清楚哪些问题?可以通过哪些测试来证明?
POC之前先搞清楚这五大问题
1.支持我的环境?
第一个也是最明显的目标是,找到一款很容易与贵公司的基础设施、数据源和应用程序架构栈整合起来的解决方案。这包括内部部署环境以及可扩展到远程环境或云环境。你还应该确保自己不被只支持单一源环境的解决方案牢牢锁定。你是否需要不止一种类型的数据库,比如Oracle、SQL Server、Sybase或MySQL等?是否需要支持某应用程序,比如Oracle EBS或SAP?是否需要多个主机操作系统,比如Linux、AIX、HP/UX、Solaris和Windows?该解决方案是需要专门硬件,还是可以在现有的系统资源上运行?
2.拥有必需的功能?
该解决方案是否拥有特定的内置功能,以满足预期的业务目标和要求,比如
■加快应用程序的周期
■是否有特定的接口和功能来支持应用程序开发人员
■确保数据的隐私性和安全性
■包括屏蔽、审计和监管链
■加快集成测试
■该解决方案是否支持快速质量保证环境和专门侧重质量保证的功能,比如破坏性测试所需的回滚(恢复原状)。
■将数据迁移到云环境
■该解决方案是否支持云计算基础设施?该解决方案是否支持从内部数据源复制到云数据源,反之亦然?
■改进备份和灾难恢复策略
■该解决方案是否支持长远和精细的恢复点目标(RPO)和快速的恢复时间目标(RTO)?
3.可扩展到新的使用场合
该解决方案通过在整个公司带来其他应用场合,从而降低总体拥有成本、提供更高的投资回报率方面做得多好。比如,如果我的虚拟化数据与生产数据同步,以便用于集成测试这一应用场合,那么现在我能屏蔽该数据,将它迁移到公有云,让分析团队能够对相同的数据集执行商业智能分析吗?
4.推荐相关客户
该厂商有没有与我企业规模和业务需求相似的客户?我是否要帮助厂商开拓新领地、因而经历发展初期的困难,还是说厂商已经有金融、零售、制造、政府、高科技及其他行业垂直领域的领军企业如今在使用其解决方案?
5.根据证明阶段简易又快速
该厂商是否愿意在实际的POC过程中向我展示所有这些功能?对方是否能够在现场POC过程中做到所有的销售和营销宣传名副其实,并有定义明确的成功标准?
POC过程中运行的五大测试
1.时间点配置
根据确切的时间点配置环境。用什么方法找到确切的时间点?该解决方案让我可以具体根据分钟、秒钟或事务来配置数据环境有多容易?最终用户(比如开发人员或业务分析人员)只要按一下按钮就可以完成配置,还是说需要自定义脚本和多个人员(比如存储管理员、数据库管理员和系统管理员)才能完成?
2.环境的重置、分支和回滚
鉴于我已经配置好了父环境(生产环境的副本),我想做一些变化,配置该环境的分支(即子环境)。对子环境做一些变化后,现在我想让子环境恢复到1个小时或6个小时之前。这如何完成?最后,我想把这两个环境都重置到原来状态。
3.用最新数据更新父环境和子环境
我已建立了许多父环境,又从这些父环境另外建立了许多子环境。有什么方法将最新数据从生产环境迁移到父环境和子环境?这个过程可以由开发人员或分析人员来完成吗?要是有影Ⅱ向的话,会对生产数据有何影响?
4.根据同一时间点配置多个源环境
我有多个使用场合(商业智能、集成和灾难恢复等),我需要根据某一个时间点来对齐和配置多个不同的数据源。(比如说,根据当地时间下午5点对齐我的所有源数据集)。这该如何实现?
1认识大数据
相信大家都还记得2013年5月10日淘宝十周年晚会上,阿里巴巴集团董事局主席马云在其卸任集团CEO职位的演讲中说到:“大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。”
什么是大数据?
早在1980年,当时著名的未来学家阿尔文·托夫勒便在其著作《第三次浪潮》中热情洋溢地将大数据赞颂为“第三次浪潮的华彩乐章”。不过直到时光抵达2009年,“大数据”才开始成为互联网信息技术行业的流行词汇。
环顾四周,我们都已经切身感受到了当今的信息量正在以前所未有的速度膨胀。当我们的普通民众在上世纪90年代刚刚接触个人计算机的时候,1MB的磁盘,1GB的硬盘已经是不错的配置。然而现在呢?GB、TB都已经无法满足我们丈量数据大小的需要,PB、EB、ZB已经义无反顾地承担起了丈量数据的大任。
随着互联网自媒体的普及,每天都有数以亿计的人在发微博、写微信、更新个人主页、使用社交网站、发表个人评论……全球互联网上每天会有220万TB的新数据产生,90%的数据都是在过去的24个月内创造出来的,如今,这个比例还在不断上升。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中,他们对大数据的表述是:大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。他们对大数据的特性进行了归纳,提出了4V特点,即Volume(数据量大)、Velocity(要求实时性强)、Variety(数据的种类多样)、Value(数据是有价值的)。
而《互联网周刊》则认为“大数据”的概念远不止大量的数据和处理大量数据的技术,或者所谓的“4V特点”之类的简单概念。大数据是涵盖了人们在大规模数据的基础上所能做到的事务,而这些事务在小规模数据的基础上是无法实现的。换句话说,大数据让我们能够以一种前所未有的方式,通过对海量数据进行分析,获得具有巨大价值的产品和服务,或者深刻的洞见,进而最终形成变革世界的力量。
2大数据应用的现状分析
最早提出世界已经迎来“大数据”时代的机构则是全球知名的咨询公司——麦肯锡。麦肯锡在其研究报告中指出:数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
大家都或多或少地意识到应该能从这些海量的数据中获取些什么,然而究竟我们能获取到什么呢?
一个被广为传播的典型案例是:在2012年初美国的一家Target超市,一位愤怒的父亲突然闯进来对店铺经理咆哮道:“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券,她才17岁啊!”经理下意识地认为是店里出了问题,也许是误发了优惠券,于是立即向这位父亲道歉。然而经理却没有意识到,其实这是公司正在运行的一套大数据系统得出的分析结论。
Target会从其会员的购买记录中去了解该顾客的性格、类别等一些列业务活动。上面的例子正是Target为适龄女性创建的一套怀孕期变化分析模型,如果相关客户第一次购买了婴儿用品,系统将会在接下去的几年中根据婴儿的生长周期向顾客推荐相关的产品,从而培养和提高客户的忠诚度。
果然,一个月后,该名愤怒的父亲打电话给商铺道歉,因为Target发来的婴儿用品优惠券不是误会,他的女儿确实怀孕了。
利用数据挖掘用户的行为习惯和喜好,在凌乱纷繁的数据背后发掘出更符合用户兴趣和习惯的信息、产品和服务,并对这些目标化的信息、产品和服务进行针对性地调整和优化,这便是大数据能带给商家最诱人的价值之一。
随着社交网络在人们生产生活中地位的快速提升,大量UGC(User Generated Content用户自生成的内容)进入互联网,上述价值的实现也变得越来越明显。
事实上,全球IT业巨头都已经意识到数据的重要意义和“大数据”时代的到来。包括IBM、EMC、惠普、微软在内的全球知名跨国公司都陆续通过收购与“大数据”相关的厂商来实现技术整合。
目前典型的大数据应用领域有:
商业智能。例如:用户行为分析,即结合用户资料、产品、服务、计费、财务等信息进行综合分析,得出细致、精确的结果,实现对用户个性化的策略控制,这在营销网络的流量经营分析中占有越来越举足轻重的地位。个性化推荐,即在各类增值业务中,根据用户喜好推荐各类业务或应用,这已成为运营商和门户提供商服务用户的一个最有效方式之一,比如应用商店的软件推荐、IPTV视频节目的点播推荐、购物或旅游网站的猜你喜欢等。
公共服务。一方面,公共机构可以利用大数据技术把积累的海量历史数据进行挖掘利用,从而提供更为广泛和深度的公共服务,如实时路况和交通引导;另一方面,公共机构也可以通过对某些领域的大数据实时分析,提高危机的预判能力,如疾病预防、环境保护等,为实现更好、更科学的危机响应提供技术基础。
政府决策。通过对数据的挖掘,从而有效提高政府决策的科学性和时效性。例如:日本大地震发生后仅仅9分钟,美国国家海洋和大气管理局(NOAA)就了详细的海啸预警。并且随即NOAA通过对海洋传感器获得的实时数据进行了计算机模拟,制定出详细的应急方案,并将制作的海啸影响模型实时在了YouTube等网站上。
3大数据解决方案的现状分析
以往谈及大的数据通常用来形容一个公司创造的大量非结构化和半结构化的数据。如今把“大数据”作为一个专有名词提及,通常指的是解决问题的一种方法,即通过收集和整理生产生活中方方面面的数据,然后对其进行整理、挖掘、分析、处理,进而从中获得有用的价值信息。这种衍化出的新的商业模式即为通常意义上的大数据解决方案。
虽然通常意义上的大数据解决方案描述了一种通常的行为,但要实现这种通常的行为,往往会遇到诸多技术和硬件上的问题。一个显而易见的问题就是:大数据包络万象,而且像音频、文本信息、视频、图片等非结构化数据正以突飞猛进的速度增长,加上移动互联网的普及所带来的如位置、生活信息等富含价值的数据,现有的,或者传统的对数据的处理手段和硬件配置已越来越跟不上数据发展的步伐。
于是革命爆发了!
哈佛大学社会学教授加里·金就说道:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
数据需要存储,存储需要设备,存储设备的容量和可扩展性以及读取的速度成为了一大问题(容量问题);大数据不是一日而成的,往往都需要一定周期的积累,在数据的积累过程中,以前的数据和现在的数据在存储上应该是能保持一致的,无论设备升级与否,而且这些数据要长期有效,这是一个持久的问题(积累问题);与持久相对应的,互联网是变化的、经济活动是变化的、整个世界都是变化的,针对某些实时问题,如交易、金融等,用已经过去的数据显然是不合适的,这也是一大问题(延迟问题);大数据包络万象,有些是可以随意获得、和消除的,有些,如金融数据、医疗信息、政府情报等,则是需要按不同级别进行保护和加密的,特别是在需要交叉数据参考的应用中,不同部分的数据有着不同的安全需要,这又是一大问题(安全问题);为了满足上述问题,我们显然可以通过不断加大投入,购买更多的存储设备、雇佣跟多的工作人员、建设更多的数据中心和分析中心,但这一切都是由成本的,特别是对于以盈利为目的的商业机构而言,成本和收益永远都是最优先考虑的问题之一(成本问题);当然还有很多其他的问题,这里就不一一罗列了。
驱动商业机构解决上述问题的动力肯定是商业利益。以全球知名的IT制造与服务和咨询提供商IBM为例,其全球CEO调研显示,唯有在数据获取、将数据转换为洞察力、再将洞察力转化为行动力等方面表现优秀的企业,才能有持续的绩效表现。绩效突出者从海量数据中挖掘出有价信息的能力是绩效不佳者的2倍。
IBM认为由于当今企业、市场、社会、政府之间的联系变得越来越紧密,传统的数据分析正日益呈现出“大数据”时代的新特点,即容量要求更高、速度要求更快、数据类型多样和数据来源复杂4个方面。结合多家领先市场咨询机构的调研数据显示:
2010-2015年,“大数据”市场年均符合增长率为39.4%,将是整个信息与通信技术市场增速的7倍;管理及维护数据的成本将是购买存储设备所需成本的4倍;全球数据量的年均复合增长速度为59%;未来需要分析的信息源中,混合类型数据所占比重将高达85%;数据分析直接受到服务器性能制约的数据量将占到总体的87%;仅2012年一年,服务器在整体“大数据”市场投资中就将占去14%的比重。
这就意味着传统计算的低效正在为企业发展带来阻碍,企业感到当前的IT系统变得更加复杂且难以管理。数据显示:企业用于运营和维护IT系统的费用已经超过整体预算的70%,并且这一比例仍在持续增长;企业有三分之二的IT项目及解决方案部署超出了原定计划;IT架构的复杂度将以当前速度每两年就增加一倍。
于是出乎绝大多数人意料的事情发生了:IT部门,这个曾经作为企业现代化和创新化能力标志的部门,正越来越成为企业新创新的阻力而非动力。
怎么办?
很多人立即想到了另外一个热词:“云计算”。
IBM全球高级副总裁Rod Adkins认为,当前全球IT领域有了令人振奋的发展趋势和挑战,现在每天有大量数据和信息生成,这为大数据分析提供了机会;数据中心的挑战也为IT提供了新机会,比如云计算,能降低数据中心成本。
EMC资深产品经理李君鹏认为,大数据本身就是一个问题集,云技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台,大数据应用在这个平台上运行。目前公认处理大数据集最有效手段的分布式处理,也是云计算思想的一种具体体现。Teradata技术总监Stephen Brobst则表示,公有云架构对数据仓库没有影响,因为企业的CIO不会无缘无故把财务数据或者客户数据放到云上,那样很危险。然而,是私有云架构确实有影响:第一,通过私有云,可以巩固数据集市,减少利用率不足的问题;第二,可以通过灵敏的方式将数据集成,实现业务价值。
于是有人就此理解为:大数据的最佳解决方案是采用云计算和分布式处理,利用互联网将运算能力、存储能力都做分布式的处理,认为这样做就可以最大程度上地降低成本、增加扩展性和灵活性。
然而事实真的如此吗?
让我们来分析一下最近IBM公司在国内针对百万人口的城市级信息中心制定的解决方案:
面对数量庞大且增长迅速的各类交通信息:120万辆机动车电子卡、4万辆机动车的实时GPS定位、200万笔公交IC卡数据、518个高清卡口的113亿张图片等,该市信息中心的领导意识到,当前多个项目能源消耗大、占地要求非常高、并且原有的网络设备难以满足新增的需求,网络设备经常更换,并且这些相互独立的数据库、服务器和存储,以及不同的访问权限和没有统一的管理界面,让本就压力巨大的数据中心的效率大打折扣,同时也极大浪费了宝贵的人力、能源和其他各种资源。
IBM给出的解决方案是:
首先,在基础平台上摒弃了分布式的服务器架构,而是采用大型服务器在基础架构上对处理能力、I/O吞吐和主存储进行了整合,这样做的最大亮点是,将原有成百计的分布式服务器整合到了个位数,极大地节省了空间和能源,做到绿色环保;因为不用考虑各分布式服务器之间的互通互联和各服务器之间的状态及负载均衡与调配,节省了相当数量的管理人员;另外大型服务器自身端到端的管理功能和适用于异构工作负载且基于策略的框架,有效帮助信息中心实现中心控制,实现极高的性能。
其次,在整合的基础平台之上,采用“云计算”框架虚拟化设计,实现了智能交通和政务网站的整合。这一方案让用户在使用上可以享受与分布式架构相同甚至更加优越的性能。由基础平台通过虚拟化形成的任意数量的虚机,在统一云管理软件URM的配置下,能够提供统一的管理视图和管理机制,简化在多套异构业务系统环境下系统的运营和维护工作。
而在本方案中的存储部分则采用了运行稳定、性能领先、技术成熟的SAN网络架构,具有很好的稳定性,能为前端各应用提供可靠的数据存储平台,并且整个SAN网络中的部件都配置了双冗余组件,保证任一部件的损坏不会影响整个系统的运行,而关键数据库的数据都通过合理的备份策略,定期备份在了物理磁带上,保证关键数据的绝对安全。
总结下来,整合的基础平台,“云计算”框架的虚拟化设计,和定制化的高速存储,打造出了最稳定、最可靠、最安全、最绿色的运行环境,让政府的大数据应用完美落地。
可见,大数据的解决方案不同于纯粹云计算的解决方案,虽然云计算带来了看上去更便宜的处理能力和存储能力,但对于往往都有相当数量级规模的大数据应用而言,在基础架构上巧妙地整合和部分的集中,反而能更好地解决安全性、可靠性、稳定性和绿色环保的需要。
西部数据个人云存储解决方案,助消费者从有线互联向无线互联迈出了重要的一步。该解决方案涵盖了多款WD外置存储和家庭娱乐产品及应用软件,是未来个人及家庭存储、娱乐的发展方向。
西部数据推出的个人云存储解决方案通过WD My Book Live个人云存储硬盘,帮助用户无缝地将所有媒体文件整合到一起,并且提供3TB海量存储。用户只需将WD My Book Live连接至家庭网络,即可创建一个私人的共享存储。通过网站,任何一台电脑都可远程访问存储在WD My Book Live中的内容。用户也可通过WD 2go应用程序,使用iPad、iPhone、iPod touch 或Android移动设备远程访问WD My Book Live。
中图分类号:TP391 文献标识码:A 文章编号:1007-3973(2011)008-075-02
80年代以后,以IT技术为代表的信息产业迅速崛起,给我们的生活和思维带来了强大冲击。与此同时,顺应信息发展的需求,各种企业也开始纷纷建立起属于自己的信息网络平台,包括电子商务和网站管理等系统。于此而来的是相应数据量的不断增长以及新的数据管理的应用而生,数据保护和存储安全问题开始愈来愈受到各企业的关注和深思。目前,企业数据库己呈现出了不可预计庞大的增长态势,数据正日益成为公司的实际资产之一。据相关组织的保守估计推测,企业数据每年大约增加80%。
1 存在的问题
20世纪,企业对重要文件的保护主要是借助于保险柜保存,并派人保护。到了2l世纪,企业开始全面实行自动化办公,计算机网络成为信息的数据化处理与存放的工具。然而,由于计算机的共享性和扩散性特性,使得信息在处理、存储、传输的过程中存在很容易被泄露、窃取的风险。据调查,至2007年上半年,瑞星公司接受求助的受害用户已经达到10多万人。接着信息保密技术跟进,企业的信息安全隐患更加得到重视,管理者不再简单满足于防火墙等初级防御手段,企业数据保护和存储安全解决新方法亟待出现。当前出现的问题有:(1)移动磁盘泄密,造成该现象的主因是将数据存放于不安全的移动磁盘中,并且没有将数据进行有效的加密。(2)word文档泄密,主要是一些破解软件乘机下手,使数据丢失。(3)打印机泄密,现在企业大多采用碎纸机可以将无用的或遗漏的文件切成粉末,使之无法还原,但是虚拟中的粉碎我们视而不见。(4)邮件泄密,它是通过一种网络病毒来伪造收件人的地址,从而欺骗阅读者。根据最新IT Policy ComPliance Gro-up报告显示:公开报道数据丢失的企业预计将会导致客户及收入降低8%;对于上市公司而言,每股股价会下降8%。
2 企业数据保护措施
2.1数据备份
对于一个企业来说,提供可靠的数据保护是至关重要的,也是企业核心竞争力的重要王牌。其中最有效的保护数据的手段是数据备份。而以磁带系统为核心的数据备份是企业数据保护的一个重要手段。该系统不仅能保证大容量数据的安全,并且在数据发生灾变时,可以在短时间内完成数据的恢复,保证企业中各种业务系统的正常运做,是数据安全保护的必然选择。有权威统计表明:93%的公司会由于为期10天或以上的数据中心灾难,而导致在灾难发生的一年内破产。为此,中小企业需要适合自己的数据保护解决方案,以保证业务的连续性运作。
2.2生物特征识别技术
随着电子信息量的急速膨胀,电子文档的保护也成为全球关注的问题。在电子文档保护中使用生物特征识别技术来加以保护,也被普遍认为是电子文档保护的最优方案。但为了方便文档在合法前提下共享的便利性,必须以解密密钥的生物特征模板以某种形式整合到文档内部,这形成了很大的破解风险。寻找更严密的电子文档保护方法,也成为电子信息安全领域中具有挑战性的研究之一。清华大学研究人员设计了一种基于指纹身份验证技术和移动密钥的电子文档保护方法。该方法在执行身份验证时,不但要求用户提供指纹作为验证依据,而且要求用户提供与本人身份相符的移动密钥。
2.3企业机密电子数据保护
企业机密电子数据和企业发展密切相关,加强对这些电子数据的安全存取保护是目前企业最为关心的一个问题。根据企业实际安全需要,采用非主动加密的思想,通过完善的网络安全管理结构,密钥管理服务器和电子数据的安全存取机制,建立了一种适应企业安全需求的企业电子数据安全监控系统。该系统通过密钥服务器实现对密钥的透明访问,以及对企业机密电子数据的透明加解密处理,确保了企业机密电子数据的安全。如CDP(Contimuous Data Pro-tection,持续数据保护)计划。最近,SafeNet和Aladdin正式进行合并,公司将保护全球最多的电子银行交易、提供最多的数字身份认证产品、提供最多的软件保护产品,将进一步带动机密电子数据保护的大发展。而赛门铁克公司也推出了市场领先的企业数据保护解决方案Veritas NetBackup 6.5。凭借NetBackup平台,企业可获得前所未有的灵活性和多样选择等最佳性能,帮助企业在复制、快照、持续数据保护、重复数据删除、加密、虚拟磁带和传统磁带中选择一流的技术。
3 企业数据存储安全措施
存储是一种服务,这是比较新的概念。从数据中心到桌面及整个技术存储线,关键解决围绕在信息周边的安全问题。过去,存储被看成是受至于服务器访问控制和文件系统特权保护的“子系统”,而现在,存储已成为基于高速的光纤通道、光学传输等为一体的智能的、多协议的网络服务。安全存取技术分析是以电子计算机主要的安全技术为主线,针对不同的问题提出相应的解决方法的,如企业电子数据的安全存取保护。目前,企业电子数据安全存取解决方法,主要的有逻辑加密盘技术、文件系统监视器、电子文件保险箱。其中逻辑加密盘技术的基本思想是在操作系统上增加设备管理的内核服务,为用户提供用于保存电子文档的虚拟盘。文件系统监视器主要是监视所有文件系统中活动的应用程序。电子文件保险箱主要保证电子文档的存储安全,相当于将电子文档存放在一个“保险箱”中。但仅仅这些努力是不够的,对于一个企业的生死存亡来说,机密电子数据的存取是绝对要重视的。
3.1虚拟磁带库
本文目的是给用户和组织提供移动数据全球互通的安全能力,并提供有效的移动数据技术建议确保被用户和组织使用。安全性支持对任何数据系统是必需的。对于移动数据系统,安全支持对于保护用户和设备以及数据更为重要。在移动通信中,由于无线介质是公开的,攻击者可以很容易地访问网络和数据,用户和分布数据的中央计算机变得更加脆弱。在已有的研究中,移动数据系统的安全问题的解决方案所缺乏的综合介绍,这对于移动数据的研究者和开发者是非常重要的。本文讨论移动数据系统和移动网络所有安全问题以及解决方案。此外,一个新的议案也是对某一个安全问题的建议。首先,安全问题主要分为4个重要领域:移动硬件设备、移动设备上的操作系统、移动数据和移动网络操作系统将是本文讨论安全问题的4个领域。集中概括的描述对于研究人员和开发者是比较重要的,能够帮助他们有效地理解问题域并可能在未来提出更多的安全机制。本文的主旨是开展对现有的安全机制的全面调查,并发现其中的安全缺陷。此外,还提供通用的安全问题的解决方案。本文的其余部分安排对分布式数据提供一个可能的解决方案和应用适当的技术来满足相应的安全要求。
1 移动设备和WM(windows moblie)设备的安全性
对于视WM设备的开发者来说,安全是一个重要课题。根据特定设备的安全性配置,应用程序可能需要与特权证书或非特权证书进行签名。除了签名应用程序,了解能够影响应用程序执行的安全设备的1层和2层同样重要。尤其是在2层的安全配置,非特权和未签名的应用程序已经是受限地访问设备资源。
WM设备的安全模型归纳如下:(1)程序运行的安全性:适用于代码执行。控制应用程序可以在设备上运行。控制应用程序可以做哪些。(2)设备配置的安全性:适用于设备管理的安全性;控制有权访问特定设备配置信息。控制访问设备配置信息的不同级别。(3)远程访问的安全性:通过ActiveSync远程API(RAPI)控制。控制设备上的桌面应用程序可以做什么。
1.1 应用程序执行权限
根据特定的WM设备的安全配置,在设备上应用程序可能被允许运行或可能被禁止运行。下面是为WM设备的应用程序定义执行权限:(1)特权:应用程序在设备上可以做任何事情,对系统文件和系统注册表具有完全写入权限,也允许安装证书,可能允许其他应用程序在特定的WM设备上运行。(2)正常:该应用程序被限制其执行。它不能调用可信的Win32 API,不能写入注册表的保护区,不能写入系统文件或安装证书。(3)阻止:将不允许应用程序执行。
不同的权限级别确定了一个未签名的应用程序在WM设备上被允许做什么。这些不同的访问级别称为层。特定设备的安全策略决定了特定的设备如何处理应用程序签名和权限问题。安全策略的第1部分是设备安全层,设备可以有1层或2层的安全性。
1层安全设备关注的只是应用程序是否已经被签名。在1层安全中没有权限限制的概念。在1层安全下,所有正在运行的应用程序都可以调用任何API,修改任何部分系统文件和修改注册表的任何部分。1层安全只限制应用程序的启动。签名的应用程序可以执行并且不进行进一步检查,未签名的应用程序需要后面的策略进行检查来确定它们是否可以执行。
2层安全限制应用程序启动和应用程序运行时的权限。在具有2层安全的设备上,签名的应用程序可以执行并进一步的检查,未签名应用需要后面的策略进一步检查,以确定它们是否可以运行。在运行时,2层安全根据已签名的证书关联的权限来限制应用程序访问API,注册表和系统文件的权限。用特权证书存储中的证书签名的应用程序将会拥有特权权限执行,其他所有应用程序将使用普通权限运行。
下面的安全策略的2部分紧密联系在一起:未签名的应用程序是否能够执行以及未签名应用程序在运行前用户是否被提示。
3个安全设置创建4个共同的安全策略:(1)关闭安全性:在这个策略下,未签名的程序可以被运行并且不会提示用户。这个关闭安全性策略是默认配置。关闭安全性策略的设备是非常过时的做法,因为设备在不知情的情况下安装恶意程序并且毫无限制地控制设备。(2)1层策略提示:此策略允许签名的应用程序执行,未签名的应用程序在执行前设备会提示用户。应用程序一旦执行后,它对应用程序的权限是没有限制的。这就是签名程序和未签名程序的区别。(3)2层策略提示:此策略允许签名的应用程序执行,未签名的应用程序在运行前设备会提示用户。如果用户允许未签名的应用程序运行,该应用程序将获取普通权限来运行。签名应用程序将获得的是普通权限或特权权限运行。(4)锁定移动应用市场策略:应用程序经过签名才能执行,未签名程序运行将不会提示用户。这些未签名的应用根本无法执行。一旦申请执行,权限是由程序的签名证书决定的,签名证书存在于特权证书存储中的证书中或普通证书存储中的证书,则获取相应的权限。
安全策略设置被存储在设备注册表的安全部分。如果没有持久性存储,如果WM设备的电池用尽,设备再次通电启动后在ROM中的安全设置将会恢复到默认的安全设置。对于持久存储,如果WM设备的电池耗尽,安全设置将在设备再次通电启动后保持不变。当设备由用户手动冷重启后,持久存储和所有程序以及用户数据都会被擦除,恢复到当初烧录的状态。
1.2 设备上的安全策略
设备级的安全涉及谁有权访问设备及其数据,控制哪些应用程序可以在设备上运行,并建立数据如何从设备发送。用户访问通过PIN码或密码验证来管理。一个设备可以被设置成一段时间内不活动或者被关闭后自动锁定,用户如果再次使用则需要解锁设备才能继续。
1.3 在WM设备上的最佳安全实践
(1)无论有没有其他安全策略限制访问设备,设置RAPI策略限制模式。
(2)在运行普通的应用程序提示用户。微软强烈建议在所有的WP设备上运行未签名程序时保留用户提示模式的策略。
(3)用一个未认证用户的安全角色分配给未签名的主题。微软强烈建议您保留未签名主题策略的SECROLE_USERUNAUTH安全角色。这是默认设置
(4)保持你的蓝牙关闭。
(5)用户可以通过加密控制面板程序启用手机加密,在设置>安全。
(6)设备损坏时删除在记忆卡的信息,防止非法访问(见表1)。
2 移动数据库安全
2.1 分布式数据库
一个分布式数据库系统包括分布式数据库管理系统、一个分布式数据和一个互联网络。一个分布式数据库中数据是分布在多个数据库中的。在分布式数据库管理分布式数据库。分布式数据库系统的功能包括分布式查询管理、分布式事务处理和执行的安全性和完整性跨多个节点。数据库管理系统的要求是:(1)多级访问控制。(2)认证。(3)保密。(4)可靠性。(5)可用性。(6)可恢复。
移动数据库是一个专门类的分布式系统,其中一些节点可以从联合分布式操作系统中脱离,从一个工作站的子服务中转移到另一个工作站的子服务中的连续连接的操作成为可能。移动数据库可以在下面2种可能的场景中分布式:(1)整个数据库主要分布在有线组件中,有可能全部或部分复制。(2)数据库分布在有线和无线组件,数据管理负责基站和移动单元之间的共享。
2.2 移动数据库系统的问题、安全性挑战和解决方案
在分布式数据库系统中一些软件问题可能涉及数据管理、事务管理和数据库恢复。在移动计算中,这些问题更难,主要是因为无线通信是有限的、间断性的,有限的手机电源寿命和不断变化的网络结构。因此,在管理移动单元上的数据断开操作是有必要的。
在一个移动数据库应用程序是一个分布式数据库的情况下,存在由于应用和移动设备的硬件限制的分布式特性的安全挑战。分布式多级安全的主要问题是身份认证、数据保密、身份识别和执行适当的访问控制。
2.2.1 身份认证
用户认证是保护移动设备和手持设备的主线路。认证确定并验证在系统中一个用户的身份,类似提供一个问题的答案。传统的认证机制依赖于维护用户身份的集中式数据库,使得在不同的管理域用户身份很难验证。在移动设备中使用这种安全机制,为每个系统提供安全访问重要的、私密的信息或者个性化服务是非常困难的。这里的问题是认证机制应该是分布的,认证一个用户时,认证的各个部件需要相互通信。在集成环境中,认证需要具有所有系统用户的信息。有3种基本的身份验证手段,其中个别可以验证自己的身份。
(1)一些个人数据(例如,一个口令、个人身份号码(PIN)、组合、个人背景数据集)。(2)一些个人拥有(例如,令牌或卡片、物理钥匙锁)。(3)一些个人特征(中间系统)(例如,个人特征或“生物体”诸如指纹或语音模式),这种技术原理基于指纹,由此,当用户的指纹被识别认证即被授权可以访问这个手机。
移动设备用户只需要在他第一次使用设备时验证,当用户通过设备验证后就可以访问通过该认证的其他任意设备数据。该方案要求所有网络上的设备都能够可靠地处理此认证数据。标准化工作,如开放系统环境(OSE),便携式操作系统界面(POSIX)和政府开放系统互连配置(GOSIP)可以促进跨网络透明的认证这一目标。
本文通过符号来描述3个基本的身份验证,基于PIN的身份验证是用于验证设备实际用户身份的方法,但这种方法有很大的缺点,因为PIN或密码可以很容易被猜到。为了防止密码被猜解,用户必须设置一个复杂的密码,它往往很难记住。在手持设备上为了解决此问题,已经开发了比较安全实用的、基于图形的或生物验证的、令人难忘的认证方案,例如指纹、语音识别、虹膜扫描和面部识别。这种方法的主要缺点是,这样的系统可能是昂贵的,并且识别过程可能是缓慢的和不稳定的。
2.2.2 数据保密性
通常情况下,移动用户与企业数据库的连接在不断增长,使移动用户的个人数据的隐私和保密性面临新的威胁。C-SDA(芯片级担保数据访问)是解决方案,它允许查询加密的数据,同时可以控制用户特权。C-SDA是作为客户端(手机)和加密的数据库之间基于客户端的安全组件。这个组件被嵌入到智能卡,以防止在客户端上发生篡改。这是比较好地嵌入用户的机密数据到自己的移动设备里的方案。除了它们在存储容量方面的限制,即使是这些设备不能完全信任的,如被盗、遗失或损毁(他们的主机数据必须在网络上保存副本,以保证数据的恢复能力)。另一种方式是通过加密以提供机密性,或者使用接收的主体公共密钥,或使用组合密钥和公钥方法。例如,可以使用对称密钥,并使用它来接收要保护的主体公钥。加密通常用于保护在不安全的网络或存储设备上的数据。
2.2.3 鉴别
验证用户身份的方法,通常被称为用户识别和认证。密码是用于验证用户的常用方法,但名字信息(例如,第一个或最后一个)或密码,电子邮件地址不能确保身份,当使用认证作为授权的手段时为了防止未经授权访问计算机资源,一些用户开始使用生物识别技术作为用户识别方法。
如果使用密码作为安全认证的方式,就必须管理密码使密码周期变化,它依赖于数据的复杂度,在口令中使用故意拼错的单词,2个或多个单词组合在一起,或包括数字和标点,以防止密码的猜测。身份必须是唯一的,这样系统可以区分不同的用户。身份也应该是不可伪造的。识别和认证之间的一个重要区别是,身份是公开的,而认证信息是保密的,由一个人证明他确实是他声称的自己。此外,身份识别和认证为未来提供了访问控制的基础。
2.2.4 访问控制
访问控制保护数据的完整性限制可以更改数据的用户。访问控制规则在分布式环境实施中可以被分布、集中或复制。如果规则是集中的,那么中央服务器需要检查所有的数据库访问。如果规则是分布的,那么规则能被适当的定位和特权执行。特定的数据库通常与相关联的规则可以被存储在同一部位。如果规则可以被复制,那么每个节点都要有可以检查自己所管理的数据的访问权限。关系数据库系统使用SQL语言实现访问控制,使用GRANT和REVOKE命令。GRANT命令用来给用户提供特权。它的语法如下:
GRANT privileges ON object TO users [WITH GRANTOPTION]
在SQL中,对象可以是表或视图或列名的列表。该权限包括SELECT,允许读取访问指定表的指定列,以及INSERT,UPDATE,DELETE。参数users可以指单个用户或一组用户。
REVOKE命令是用于删除以前授予的权限。
多级安全数据库管理系统(MLS/DBMS),明确用户在不同安全级别的访问权限和在不同的安全级别不违反安全策略共享数据,并且基于分布式数据和分布控制,所有在数据库中的数据必须接收一个访问级别和用户以较低的分级水平将不知道存在于一个更高的分类级别的数据。从MLS/DBMS中的观点和安全政策的设计上来看,权限控制系统可分为自主访问控制(DAC)、强制访问控制(MAC)和基于角色的访问控制(RBAC)。
这3个安全访问模型,RBAC执行最差。它缺乏必要的细粒度控制强制用户访问规则或防止外部行为者非法进入。基于角色的访问控制(RBAC)技术吸引了越来越多的关注,特别是对商业应用,因为它有可能用于减少在大网络应用的访问控制信息和安全管理成本的复杂性。
3 移动网络的安全性
移动运营商的3G网络不仅暴露了病毒,同样针对手机的特定病毒和木马以及直接攻击,例如黑客和犯罪组织在他们的网络上的拒绝服务(DOS)攻击。对于这种类型的攻击,有线互联网服务供应商已经花了长期时间处理。这些攻击根据3G网络的结构和3G数据网络中使用的协议弱点也有相应的变异。为了保护网络和用户,移动运营商需要:(1)以整体架构的实施方式为网络出安全解决方案,单点解决方案是不行的。(2)在网络中部署各种安全产品,如防火墙、入侵检测与防护(IDP)和虚拟专用网络(VPN)。(3)制作客户端防病毒、防火墙软件,随时提供给使用终端设备的用户。(4)提高警惕,使用适当的安全策略反映出3G网络中的威胁。这是广泛的使用无线网络和基于IP多媒体系统(IMS)标准的网络总体发展的额外结果。(5)网络的安全在于最薄弱的环境。移动运营商、ISP社区和其他电信运营商需要相互合作来确保安全性。(6)大力保护信令,信令通过IP迁移创造了新的风险。移动运营商比有限运行商需要更多的信令流量,业务通信的关键是信令。
本文接下来将探讨以下主题:(1)为什么3G无线网络是脆弱的,这些脆弱性在什么地方。(2)针对这些网络可以做哪些类型的攻击。(3)部署什么样的产品可以帮助保护3G网络。(4)移动运营商将来的威胁,特别是关于目前正部署在世界各地固定的和移动的IMS。
最后,本文还提出了一些移动运营商可以采取的步骤,以尽量减少网络和用户的风险。蜂窝数据网络是脆弱的有以下几个原因:(1)移动运营商正在构建是基于因特网协议(IP)高速无线网络,其允许用户在联网时可以做更多。(2)移动运营商已经向公众互联网和其他数据网络开放了他们的网络,这样使他们的3G网络更容易受到攻击。(3)移动运营商把网络不断发展成IMS,使得所有在IP协议上网络都能相互连通。
具体的攻击移动网络的类型如表2所示。这里的安全含义是,很多用户设备通过多样化的网络访问内容和相互通信,在蜂窝网络中产生很多流量。这意味着,从任何目的源发生攻击的可能性很高。例如,许多复杂的攻击会伪装在自己的数据会话和端口流量中,与很多的正常流量在一起,就越难识别威胁。
4 保护移动网络的解决方案
中图分类号:TP399 文献标识码:A 文章编号:1674-7712 (2012) 16-0043-01
云计算是当前信息技术发展的一个重要趋势,它通过远程资源访问以相对低廉的价格和方便快捷的方式来获取储资源和计算资源,从而使得个体的用户和中小型企业得以获益。
由于远程数据的完整性传输依赖于远程数据完整性验证协议,因此本文对以往构建的远程数据完整性验证协议作了归纳,并从完整性保护、公开可验性、第三方审计者、数据动态更新、隐私保护等方面进行了说明,以期对远程数据完整性传输的解决方案作一个总结。
一、远程数据完整性验证协议
云服务器提供数据存储服务,在云环境下,云服务器的用户很多,需要存储的数据也很多,要保证数据的安全、完整,就需要用到远程数据完整性协议,它可以使得用户不用下载原始数据就可以对数据的完整性进行验证。
(1)如果云服务器存储的数据没有丢失或被破坏,那么服务器就则可以通过远程数据完整性验证;如果存储的数据丢失或被破坏后,服务器则不能通过远程数据完整性验证;(2)用户可以对同一数据进行无限次的完整性验证;(3)用户可以通过较低的更新代价就可以完成数据的删除、修改和插入这些动态更新;(4)用户和第三方都可以验证远程数据的完整性,并且在第三方进行验证时,无法获取用户的数据信息,以确保用户隐私数据的安全;(5)由于用户不对数据的副本进行保存,服务器为了安全考虑会将数据的多个副本保存在不同的服务器上,用户通过远程数据完整性验证来确保副本的完好无损;
二、远程数据完整性传输协议最新动态
现有许多的完整性验证协议可以为远程数据完整性传输提供参考,本文将其分文支持公开验证和数据更新的协议和多副本公开验证两类协议。
(一)支持数据更新和公开验证的远程数据完整性协议
远程数据完整性验证是实现远程数据完整性传输的关键,上面我们也说到过数据完整性协议需要支持数据更新,并且允许第三方等进行验证。近些年,许多研究者都在探究支持数据动态更新和公开可验证性的协议的构建,现有的协议及其优缺点如下:
1.S-PDP协议和E-PDP协议。S-PDP协议和E-PDP协议是2007年Ateniese等人提出的两种可证明数据持有的协议。S-PDP协议能够在较强的安全定义下保证数据的完整性,但效率较低;E-PDP协议能够在较弱的安全定义下保证数据的完整性且效率较高。这两种协议都是针对云服务器中远程数据的单一副本进行设计的,可以支持数据的公开可验证性和追加的数据动态更新。
2.Sebe等人提出了一个适用于关键性信息基础设施的远程数据完整性验证协议。
此协议的安全性是基于RSA和Diffie-Hellman问题在ZN上的难解性。此外,该协议能够支持数据的动态删除、插入和修改。但是,上述协议不支持数据的公开可验证。
3.Erway等人提出了基于认证跳跃表和RSA树进行构建两种协议,分别通过定义了基于秩的跳跃表上的哈希方案并利用基于秩的认证跳跃表和通过使用基于秩的RSA树,实现了数据的动态更新。
4.Wang等人提出了一个协议,使用到双线性映射和哈希树和一个具有比较特殊的技术的、可信的第三方审计,可以支持公开验证和数据动态更新。后来,他们在考虑了验证过程中用户隐私保护后提出了解决该问题的一个协议,该协议需要使用一个可信第三方审计者,支持公开验证并可以保证用户隐私。
5.郝卓博士基于Sebe等人的协议在2011年提出了适用于云存储的一种新协议,该协议支持分块级的数据动态删除、插入和修改,不依赖于第三方审计者。对用户数据提供隐私保护且支持公开可验证性。经验证在通信和存储代价方面效率较高。
(二)多副本公开验证的远程数据完整性协议
1.Curtmola等人提出了支持多副本存储于多个服务器的可证明数据持有协议,协议包括Setup阶段,Challenge阶段和Replicate阶段三个阶段。该协议效率高,能够确保云存储服务器的多个副本数据的完整和实现多副本的完整性验证,但不支持公开验证。
2.Wang等人提出了一个适于多服务器环境的安全存储协议。协议包括文件分发、挑战码计算、正确性验证和差错定位、文件取回和差错恢复等过程。该协议支持数据的高效删除、修改和追加,能实现多副本的完整性验证,存储代价较低,但不支持数据的插入和公开验证。此外,Wang等人的协议因为基于预先计算挑战码和签名对数据完整性进行验证,因此在这些预先计算过的挑战码和签名用完之后,就不能保证服务器端数据的完整性了。
3.Chen等人为基于网络编码的分布式存储系统提出了一种远程数据完整性验证协议,该协议分Setup阶段、Challenge阶段和Repair阶段三个阶段。由于自身网络编码的限制,导致基于编目的存储系统中的数据不能被经常读取,因此该协议适用于读取操作较少的数据归档系统。另外,该协议在修复阶段,使客户能够在不需要访问原始数据的情况下,保证服务器编码操作的正确性并且能够对出错的服务器进行定位,在客户端保持常量的存储开销。
4.郝卓博士提出了基于多副本存储环境的远程数据完整性验证协议,该协议基于双线性映射和BLS签名的同态认证标识,共包括KeyGen,ReplicaGen,TagBlock,RequestProof,GenProof和CheckProof这6个算法,该协议能够提高数据的可用性且允许公开验证,另外还对恶意服务器具有安全性,并且保证用户的隐私不被第三方审计者侵犯。性能分析显示,所提出的协议具有很高的效率和实用性,非常适用于多副本的云存储系统。
三、结束语
远程数据完整性验证协议是实现远程数据完整性传输的一个重要步骤,直接关系到远程数据完整传输的质量,通过归纳现有的一些远程数据完整性验证协议,可以看出,我们应该把构建远程数据完整性验证协议作为一项系统的工程来认真的考虑,并且在构建过程中注意结合先进技术,只有这样才能更好地解决云存储服务器端远程数据的完整性传输,才能有利于完整性验证协议与时代同步可持续发展。