数据分析设计汇总十篇

序论：好文章的创作是一个不断探索和完善的过程，我们为您推荐十篇数据分析设计范例，希望它们能助您一臂之力，提升您的阅读品质，带来更深刻的阅读感受。

篇（1）

1)商品ID号：根据上线商品的ID号直接获取商品的评论，并对评论进行等级评定；

2)评论平均分：计算评论平均分，据此可判断商品是否合格；

3)评论分分布：计算评论的合格数及其比例。等级评定时是多个操作人员同时对同一商品数据进行评论操作，评论评分定级是人工进行的，操作人员的主观对商品评论操作有一定影响。因此需要将所有操作人员的评论评分数据进行统计对比分析，以控制整个评定的有效性。

2系统设计

本系统根据MVC的三层框架，利用JSP技术制作动态网页，通过JDBC技术访问数据库，使用JSP作为服务器端应用程序处理客户端的请求并在Web服务器中进行业务逻辑处理并返回客户端请求的结果。在JSP里嵌套HTML以及CSS对WEB页面进行设计，引入Bootstrap封装的样式，达到系统数据呈现的设计要求。页面数据呈现与后台数据交互是整个系统的核心，对数据进行归纳计算和整理并呈现到用户界面上。用户只需获取到公司平台上线商品的ID号就可以通过系统抓取商品评论数据；同时对数据进行整理分析得到评论平均分、评论分数比例等数据；同时可以系统整理分析出整体上线商品的整体趋势，通过饼状图直观地看出商品的品质分布。

2.1系统功能结构设计

商务平台商品数据分析系统分为三个模块，八个基本功能，分别是管理员登陆、用户登陆、用户注册、商品评论抓取评分、商品评论数据的统计和分析、用户管理和修改密码等。

1)管理员登陆：管理员输入用户名和密码，数据经由UIServlet传递给ControllerServlet，再到数据库中验证身份，将结果返回给JSP，成功登陆就可进入系统，不成功则重新输入。用户名只可能是字母，密码字母和数字皆可。管理员是系统指定的，不可以注册。

2)用户登录：普通用户输入用户名和密码，数据经由UIServlet传递给ControllerServlet，再到数据库中验证身份，将结果返回给JSP，成功登陆就可进入系统，不成功则重新输入。用户名只可能是6-20位字母，密码是6-15位字母和数字组合皆可。若没有账号，可以在用户登录JSP页面点击注册，通过UIServlet跳转到注册页面。

3)用户注册：用户注册需要输入Email、用户名、密码等信息，Email有格式判断，必须输入正确的格式，用户名必须是6-20位字母，密码是6-15位的字母数字组合皆可。输入正确后可以成功申请新用户，随后跳转到普通用户登录界面登录系统。

4)商品评论抓取评分：普通用户与管理员皆可操作，在输入框中输入商品的id号，点击查询，就可获取到“淘宝网”中商品的前一百条评论，并且按照评论时间顺序进行呈现。其后的评分框，按照规定只能输入1-5的数值，同时点击保存，数据就会存入数据库中。

5)商品评论数据统计：此功能方便普通用户清楚的跟踪自己的工作进度，对于管理员可以掌控平台上线商品的商品质量，会显示出该操作人员所操作的所有商品的平均分、合格率，可以看出该操作人员操作的商品评分状态详情。

6)商品评论数据分析：此功能为管理者观察网站整体上线商品的质量分布，点击查询，会统计所有使用系统的普通用户操作过的所有商品数的评论数据。如此管理者可以通过这些数据对网站上线商品进行调整。以操作人为条件，区分每个人的操作数据，可以控制一定的主观误差，还有整体的上线商品的趋势。普通用户可以看出自己的主观意见和其他用户的差别。

7)用户管理：管理员可以对普通用户进行增加和删除，用户管理界面对普通用户不可见。管理员有权限重置普通用户的密码。

8)修改密码：管理员和普通用户都可以自行更改密码。

2.2系统数据库设计

数据库能够对商务平台商品数据分析系统的后台数据进行添加、删除、查询，修改。本系统采用MySQL数据库设计，分别是用户信息表、评论评分信息表、商品数据分析表和商品数据统计表。用户信息表主要保存管理员和普通用户的登录信息：用户的用户名、密码、级别还有Email。评论评分信息表主要保存评论内容、评论的时间、评论评分、商品id、操作人员、商品名称等。商品数据分析表主要保存操作人员、操作商品总数、平均四分以上的商品总数及其比例、合格率大于80%的商品总数及其占比、合格率大于60%的商品总数及其占比、不合格商品总数及其占比等内容。商品数据统计表主要保存商品id、操作人员、商品名称、评论平均分、评论合格率、评论不合格率等信息。

篇（2）

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2013）12-2798-04

目前在激光准直、测角、自动跟踪等精密光电检测系统中，探测目标位置的连续变化已经变得非常重要。位置敏感探测器（Position Sensitive Detector，PSD）是对入射到光敏面上的光斑能量中心位置敏感的光电感应器件，可以利用少数几个输出光电信号的相对程度来计算位置信息。由其构成的数据分析系统具有位置分辨率高、响应速度快等特点[1]；四象限探测器（Four-Quadrant photodetector，QPD）通过比较四个象限的电流来确定光斑中心在二维平面上的位置坐标，其数据分析系统可以探测目标位置的连续变化，具有位置分辨率高、响应速度快、调节方便等特点[2-3]。该文在对光电位置敏感器件构成的数据分析系统研究的基础上，开发了一套上位机软件界面。该上位机软件交互界面设计了供用户选择位置敏感器件型号及输入系统修正参数的窗口，通过对串口通信和USB通信方法的研究，设置了上下位机通信控制部分，同时，设计了光斑中心位置数据文本直观显示、模拟坐标绘制、历史信息保存模块，及设备状态显示模块。软件功能全面、界面友好、操作直观、方便，且适用于其他型号的位置敏感器件数据分析系统中。

1 开发工具简介

Visual C++ 6.0拥有强大的功能和友好的界面，能为用户提供一个良好的可视化开发环境，它将程序和资源的编辑、编译、调试和运行融为一体，且提供了大量的程序开发工具。MFC是它一个庞大的类库，实现了标准的用户接口，提供了管理窗口、菜单、对话框的代码，可实现基本的输入/输出和数据存储，为用户开发Windows应用程序建立了一个非常灵活的应用程序框架[4]。

在MFC中对消息的处理利用了消息映射的方法，该方法的基础是宏定义实现，通过宏定义将消息分派到不同的成员函数进行处理。因此，在这种机制的支持下，MFC具有强大的消息处理能力[5]。

借助VC++提供的软件代码自动生成可视化资源编辑的功能及MFC消息映射机制，可以很便捷地开发上位机软件交互界面。

2 交互界面设计

上位机软件交互界面包括供用户选择位置敏感器件型号及输入相应修正参数的窗口部分，上下位机通信控制部分，数据/设备状态显示部分。

2.1 供用户选择输入的窗口设计

利用下拉式列表框控件提供供用户选择位置敏感器件型号的窗口。通过给其连接变量m_Type，利用m_Type.AddString（）函数为列表框添加选项，m_Type.SelectString（-1， "HY1315（Active area 1.3*15mm）"）函数添加默认选项。软件通过m_Type. GetCurSel（）函数获得用户的选择，完成相应量程及坐标轴范围的改变及显示。利用编辑框控件提供用户输入增益及修正系数的窗口，以完善数据处理[6]。

2.2 上下位机通信控制模块设计

上下位机通信控制模块是数据分析系统实时数据采集的核心部分。设计中采用了串口通信和USB通信两种方式进行数据采集与传输。其中，串口通信用于测试，USB通信用于实际数据传输。

图1 USB通信流程图

2.2.1 串口通信控制部分

利用单选按钮控件提供串口号选择窗口，通过函数GetCheckedRadioButton（）获取串口号。通过按钮控制串口设备的状态，按钮交互的实现，通过MFC类向导对按钮按下时，触发消息BN_CLICKED进行拦截，并重写对应的消息处理函数On*Button（），在函数中完成相应按钮的功能。串口控制区中，“Open”、“Close”按钮对应的函数在获取用户选择的串口号后，分别完成对应串口的打开及关闭功能；“Start”、“Stop”按钮通过控制参数m_SPStop控制串口通信的开始与否。借助串口类成员函数OnComm（）实现接收字符及相应数据处理的功能[7]。

2.2.2 USB通信控制部分

USB通信接口具有即插即用的特点，方便与微处理器进行联机通信，同时USB的通信效率要远远高于RS232、RS485等通信接口。USB通信控制部分通过按钮控制数据传输，根据用户选定的位置敏感器件型号，进行相应的数据处理。通信程序流程图如图1所示。

“Link”按钮通过标志位m_OpenFlag控制设备是否连接。“Start”和“Stop”按钮通过标志位m_stop控制数据接收与否。“Suspand”按钮通过参数m_pause控制数据传输的暂停和继续，当按下该按钮时，按钮改变为“Continue”字样，同时通过调用Invalidate（）函数使整个客户区无效，这时Windows会在应用程序的消息队列中放置WM_PAINT消息，MFC为窗口类提供了其消息处理函数OnPaint（）；当再次按下该按钮时，OnPaint（）函数负责重绘窗口，从而重新进行数据传输。

上下位机的数据通信通过直接调用CH375DLL.dll动态链接库实现。CH372是一款USB总线的通用设备接口芯片，是芯片CH375的功能简化版，硬件成本更低，且完全兼容CH375，可以直接使用其WDM驱动程序和动态链接库。CH372在计算机端提供了应用层接口，即由动态链接库DLL提供的面向功能应用的API，包括：设备管理API、数据传输API及中断处理API。设备管理API包含了打开设备函数CH375OpenDevice（），关闭设备函数CH375CloseDevice（）；数据传输API包含了读取数据块（数据上传）函数CH375ReadData（），写出数据块（数据下传）函数CH375WriteData（）等[8]。

2.3数据/设备状态显示设计

上位机软件在数据传输过程中，借助CString类成员变量stateinfo直观显示设备状态。数据接收处理后，借助Format（）函数，以文字形式直观显示光斑中心位置的横纵坐标值，利用绘图函数在模拟坐标中显示光斑位置。借助文件实现数据历史信息保存的功能，关键代码如下：

GetDlgItem（IDC_RECEIVE_EDIT）PostMessage（WM_VSCROLL，SB_BOTTOM，NULL）；

CString strPath；

图2 HY1315系统调试结果图

GetModuleFileName（NULL，strPath.GetBufferSetLength（MAX_PATH+1），MAX_PATH）；

strPath.ReleaseBuffer（）；

//此时strPath内容为工程文件全路径，如：E：＼TestPro＼Exam＼ Test.exe

//以下函数作用是获取最后一个"＼"的位置

图3 四象限探测器系统调试结果图

int nPos=strPath.ReverseFind（'＼＼'）；

//开始取全路径

strPath=strPath.Left（nPos+1）；//此时strPath保存为当前工程的全路径，如：E：＼TestPro＼Exam＼

//保存文件

CFile m_rFile；

if（！m_rFile.Open（"Rec.txt"，CFile：：modeCreate | CFile：：modeWrite）） {

AfxMessageBox（"创建记录文件失败！"）；}

m_rFile.Write（m_Receive，m_Receive.GetLength（））；

m_rFile.Close（）；

3 实际调试结果

上位机软件设计完成后，运行程序，选择位置敏感器件的型号为默认选项，即一维位置敏感探测器HY1315，连接其对应的系统设备，输入需要的增益参数，选择串口号，单击串口控制区“Open”按钮打开串口，“Start”按钮接收数据，此时上位机界面数据、设备状态显示，模拟光斑坐标结果如图2所示。再次运行程序，选择四象限探测器型号，即QP36（Active area 6*6mm），连接相应系统设备，单击USB通信控制区按钮，可以控制数据传输设备的状态，单击“Link”按钮打开设备，“Start”按钮接收数据，此时上位机软件界面结果如图3所示。

4 结束语

针对位置敏感器件构成的数据分析系统，通过对串口通信和USB通信方法的研究，借助VC++提供的软件代码自动生成可视化资源编辑的功能及MFC消息映射机制，设计了上位机人机交互界面。调试结果证明，该界面能够实现用户选择输入，实现数据的上下位机通信传输，直观显示数据，准确绘出光斑在模拟坐标中的位置，完成光斑位置的历史信息存储。设计为数据分析系统提供了一套功能全面、界面友好、操作直观、方便的上位机软件。应用中只需修改对应的数据处理，即可应用到其他类似的数据分析系统中，很大程度上增强了系统的实际应用性。该界面已用于PSD及QPD数据分析系统试验箱中。

参考文献：

[1] Henry J，Livingstone J.Improved position sensitive detectors using high resistivity subs- trates[J].J Phys D ：Appl Phys ，2008，41.

[2] Liu Yun，De Xu，MinTan.A new pre-alignm ent approach based on four-quadrant-photo- detector for IC mask[J].International Journal of Automation and Computing，2007， 4（2）： 208 -216.

[3] Guo Li，Zheng Shuang.A high-performanc -e smallsignal amplifier[J].Journal of Northe-ast Agricultuial University，2005，12（2）：141-145.

[4] Wang Ziying.The design of scene simula- tion system based on MFC programming fra- mework[J].Advanced Computer Control （ICA CC）.2010，V3： 302-305.

[5] 潘恒.基于VC++/MFC的麻将牌连连看程序设计.[J]科协论坛：下半月，2011，25（5）： 53-54.

[6] 揣锦华.面向对象程序设计与VC++实践[M].西安：西安电子科技大学出版社，2005：201-204.

篇（3）

中图分类号：U279 文章编号：1009-2374（2017）11-0007-02 DOI：10.13535/ki.11-4406/n.2017.11.004

1 概述

S着城市轨道交通的快速发展，地铁成为人们出行不可或缺的交通工具。地铁车辆作为运送乘客的主要载体，具有封闭性强、起停频繁、客流量大且来源复杂、乘客自助乘车、应急疏散难度大等固有特点，因此对其自身的可靠性及维修保障工作有着非常高的要求。搭建地铁车辆远程数据分析平台可以运行地铁车辆提供远程决策支持，对列车开展实时监控和故障处理，并通过故障统计和数据分析进而达到车辆优化设计的目的。

2 平台需求

2.1 功能需求

以列车运营管理的实际工作需求为核心，提高列车组效率和效能，节约维修费用，减少事故率为目标开展建设工作，其主要具有列车组及关键部件的实时监视、故障预测功能。

通过列车组及关键部件或子系统当前状态，对故障进行诊断或识别，并对潜在的故障进行预测或报警；根据故障诊断及预测信息、当前维修可用资源情况以及对系统的使用需求等对列车组或关键部件的维修活动提供决策支持和建议。实现一套列车组及关键部件的状态检测、故障诊断、运行监控、故障预测及决策支持的完整系统，同时针对不同子系统/产品建立全生命周期的产品数据服务，满足企业对生产、运营维护、设计优化、采购等不同环节决策的支撑要求。根据业务需求，系统具有以下功能：

2.1.1 车载系统。由系统检测、故障诊断、集中报警及无线传输等组成。通过在列车组及各子系统上安装各种传感器，获取动车组及关键子系统传感器及控制系统的数据。利用故障特征提取、数据分析及对比、基于模型的系统辨识等多技术相融合的故障诊断技术，实现牵引、制动、辅助等各子系统的在线故障诊断（故障定位到最小可更换单元）和故障报告，通过车载无线传输系统将状态数据和故障数据传输至地面。

2.1.2 运行监控系统。列车状态、故障监控、综合诊断及应急处置等组成。根据列车组和关键零部件的运行状态，提取与列车组安全运行相关的数据及关键技术指标进行监控。根据车载系统传输的故障报告或关键设备技术状态数据对当前列车组运行状态进行评估，对潜在的故障进行综合诊断，形成综合评估和故障诊断报告，依据故障等级对列车组进行控制，对列车组现场人员提供技术指导和应急处置方案。

2.1.3 健康维护系统。由故障报告、健康评估、故障预测、维修管理等组成。根据列车组车载系统及运行监控系统报告的故障数据和列车组设备状态数据以及积累的历史数据，在地面利用高性能计算机及检测系统实现智能故障推理、关键机械部件的故障发展趋势模型，实现列车组及关键部件健康状态评估及故障预测，给出列车组系统的综合评价指标，提高列车组或部件的维修管理水平。

2.1.4 决策支持系统。由状态维修、寿命预测、服役跟踪、档案管理等组成。根据地面系统存储的列车组及关键部件的大量数据和历史档案数据，利用数据挖掘、故障模式识别等手段，建立关键机械部件故障发展趋势模型库，电子零部件的连续量、离散量、开关量等不同性质的故障预测模型库，建立列车组及零部件健康档案，进行零部件寿命预测、服役跟踪和档案管理，给出维修决策，形成列车组及关键部件健康评价指标体系。

2.2 业务需求

根据地铁车辆远程数据分析系统提供的核心功能，具体的业务需求为：

2.2.1 数据采集存储模块。主要实现列车实时数据和离线数据的接收、转发、解析、存储等功能。

2.2.2 实时状态检测模块。对列车的关键部件工作状态、运行线路、故障数据进行管理和处理，以可视化的形式进行展示。

2.2.3 分析统计模块。对列车的历史数据、离线数据结合知识库，进行统计分析，以可视化的形式进行展示。

2.2.4 后台管理模块。对整个系统进行综合的后台管理，管理员通过Web登录管理系统后，可以进行用户管理、权限管理、日志管理以及资料管理等操作。

3 总体设计

3.1 搭建原则

以创新驱动、资源共享为引领，整合地铁和现代信息技术等先进成果，打造创新、高效的列车远程数据分析。系统是一种具有基础性的支撑体系，数据来源广泛而零散，它具有整合和共享的服务性质。

3.2 业务架构

以列车智能维护为目标应用领域，围绕其数据增量的特点，建立流式数据接入、存储管理、实时跟踪以及异常识别的全业务链服务体系。结合当前技术缺陷，在平台搭建中实现流式数据实时处理与离线分析工作的结合。

系统建设的目的是针对列车监测数据，提供一体化、智能化的数据支撑服务环境，实现多源数据的存储、管理、分析。其主要包括采集层、现场处理层、接入层、IO层、持久化层、分析处理层以及服务层共七个基本层次。

3.2.1 采集层：其通过各种传感器与车上网络环境形成数据采集环境。采集的各种对象的监控数据经过汇聚后，统一开展现场处置与传输等后继工作，其依赖列车通信设备。

3.2.2 现场处理层：其在采集层数据的基础上，根据管理机制对数据进行检测，发现异常对象的前兆与警报信息，并通过列控数据交换机制及时预警或值警，同时根据不同数据的业务重要性以多种方式回传后台。另外，结合列控网采集手段，在列车检修阶段采集有关数据并回传，满足后台管理、分析与业务支撑的要求。

3.2.3 接入层：根据不同类别数据的规范要求，清洗数据并存储入库。

3.2.4 IO层：利用文件系统实现底层数据的基本IO存储与读取。通过文件系统有效实现系统整体IO读写负载的平衡，满足数据持久化存储的基本要求。

3.2.5 持久化层：由基本数据库构成。在这一层中围绕列车海量、多维流式监测数据提供高性能数据存储管理系统。这一系统结合IO定向分布、流数据增量分段存储模型等方式，实现流数据集的规模可控，解决由高增量引起的存储膨胀问题；针对列车数据实时主动的需求特点，在键值存储模型的基础上，建立边界溢出主动机制，槌志貌阒械氖凳敝鞫提供基础。

3.2.6 分析处理层：在内存数据集的基础上构造基于连续窗口的事件多维数据主动协同机制；结合底层数据主动机制以及数据pub/sub机制实现增量过程中，事件的主动识别、跟踪与触发响应。

3.2.7 服务层：提供故障（报警）统计查询、实时数据查询等用户服务。

3.3 逻辑结构

远程数据分析平台由服务器端软件、Web端软件两部分组成。

3.3.1 服务器端软件。根据数据类型有流式、结构化以及查询模式化的特点，结合关系数据库构成一体化的存储管理支撑环境，完成数据的统一存储、管理。

3.3.2 Web端软件。提供系统实时状态监测、数据分析和预警等基本功能；为整个系统的数据处理和数据等操作提供统一的配置管理平台，包括用户信息管理、用户权限分配等系统管理功能，组成系统的综合信息管理环境。

3.4 物理结构

3.4.1 实时数据。（1）列车实时通过地面4G无线传输通道通过以TCP协议将车载数据分别传输到检修库服务器和车辆段服务器；（2）检修库和车辆段的实时数据采集存储软件同时对协议数据进行数据采集、解析，解析后的数据通过以太网存储到数据库，对实时数据长期存储；（3）Web程序读取数据库，对数据进行可视化展示；（4）用户通过以太网使用浏览器，在网页中进行查看。

3.4.2 离线数据。（1）车辆到库后，维护人员使用HMI进行手动触发进行车辆数据上传或者TCMS根据时间触发条件自动上传车辆数据，借用库内WLAN技术，以TCP或者FTP的协议发送到车辆段或者检修库服务器；（2）车辆段服务器中的离线数据采集存储软件对数据进行数据采集、解析，并将解析后的数据内容通过以太网的方式存储到数据库中；（3）Web程序读取数据库，对数据进行可视化展示；（4）用户通过以太网使用浏览器，在网页中进行查看。

4 结语

随着地铁车辆远程数据分析平台的搭建，可以大大提高车辆自诊断及维修智能化水平，提升维修诊断效率；降低人工成本，提高车辆的可靠性和安全性；更便于建立车辆维修智能化数据库，优化维修模式，提升资源利用率，随着车辆的数据累计，更加可以利用云计算、数据挖掘、神经元算法等提供车辆运行的安全性和可靠性，为后期车辆的设计改进提供强有力的数据支持。

参考文献

篇（4）

引言

与传统数据数量手段比较，大数据技术具有数据类型复杂、处理迅速、实效性强等优点，在智能交通领域运用大数据技术，可以采集海量的数据，这些数据内包含许多不可估量的价值，通过挖掘和分析能够快速得到所需的数据信息[1]。针对上述情况，本文提出基于大数据技术智能交通台数据平台各功能层设计情况，并提出其在交通数据诊断、路网延迟指数等方面的应用。

1智能交通数据平台功能需求

随着智能交通管控平台违法数据、道路信息增长速度日益加快，过去的关系型数据库在数据保存、处理等方面的性能已无法满足庞大的数据需求。关系型数据库在对智能交通转向场景的规律展开分析时，难以从多个维度数据类型间创建良好的相关性联系。大数据技术的应用就是为将这些结构或者半结构化的智能交通数据实施整合处理，因此，依托大数据技术设计的智能交通数据分析平台具有的处理功能如下：①过车数据：处在行使状态的车辆从卡口、电子警察等智能视频采集点通过时，能够准确记录该车辆的车牌号、颜色、车型等结构化的数据信息。②车辆违规行驶数据：前段配置的采集设备能从各路口采集车辆是否闯红灯、压线、违法掉头或停车等数据。同时，利用智能的视频采集点或固定源能够实时采集车辆行驶速度、车头间距等车流量信息。③运用大数据技术设计的智能交通数据分析平台能够与信号控制系统实现对接，及时获取信号控制系统的相位控制等信息。同时，智能交通数据分析平台还具备监控和智能交通管控平台，能够提供过车信息数据、路网信息、违法数据等。

2大数据背景下智能交通数据平台架构

2.1设计整体架构

智能交通数据分析平台是采用先进的计算机信息技术、通信技术、传感技术、人工智能等有效整合用于交通运输信息的管理和控制中，注重人、车与道路之间的协调，组成一种有利于改善环境、节约能源、保护安全的综合运输系统。智能交通数据分析平台运用层次化结构模型展开设计，并根据大数据建设要求，整个平台包含数据感知、资源层、应用层三个层次，数据感知层主要任务就是采集交通信息，资源层旨在管理交通领域的数据；应用层旨在负责实时调度智能交通资源。本次设计的智能交通数据平台系统能满足采集、存储、调度及处理数据等方面的需求，具体架构如图1所示。

2.2各模块层设计

2.2.1资源层从智能交通数据存储方面分析，运用数据仓库与挖掘技术实现大数据的存储和分析。其中，数据仓库技术能够满足智能交通数据平台处理海量数据的要求，该技术依托预设的存储模式，把交通领域中的异构数据根据数据结构数据实施提取、调用、处理等操作。同时，根据预设的仓储模型把数据存放在数据仓库内，借助数据仓库技术设计的智能交通数据平台下数据存储及挖掘架构见图2。

2.2.2应用层设计利用SOA实现智能交通数据平台系统应用层的设计，该层主要包含三个子模块：①应用实现模块：该模块旨在完成数据的调度，借助逻辑编程及时实现相应的功能；②应用流程模块：大数据调度流程依托专业的BPEL工具调度各种资源；③特殊调度模块：该模块的主要任务是把自定义调度流程转换成BPEL流程。依托SOA服务设计的应用层。

2.2.3数据表现层智能交通数据平台系统中的表现层是使用者直接参与的界面，用户可依托浏览器、平板、手机等终端设备浏览各种智能交通信息数据。该层主要任务是确保用户与整个系统的交互性，因此，配备简洁的外观、界面框架、各单元控件等。

3智能交通数据分析平台系统的应用

3.1智能交通数据共享及数据诊断

智能交通数据平台系统各功能的实现离不开各模块之间的信息整合与共享，因此，实现各模块信息融合的主要方式就是创建信息共享平台，这个平台能支持相关子模块功能提取所需的数据资源及信息共享服务。此外，一个完整的智能交通系统还必须配置智能交通信息中心、管理中心、智能交通基础设备等，它能满足城市交通信息规范化发展要求，包含各类信息性质、功能及传送方法，组成相应的信息流机制，对共享的数据进行存储和管理操作。依托大数据技术的相关功能，这些共享数据可以由日益变化的智能交通各数据信息提取出来，实现各地区、不同领域的数据库实施综合处理，将历史数据迁移至大数据平台下，还要保持数据的完整性及各种数据之间的关系可以理解。同时，可依据各模块不同需求及相关关系为客户提供各种数据信息服务，组织内部存储各类数据直接输出来，其他子系统保存相关数据从信息共享平台提供一系列的查询功能。此外，大数据平台可以及时统计并输出道路网络的拥堵、事故情况，并能归纳为利于用户决策的有用信息，例如：利用大数据分析，某个路口闯红灯数量明显少于平时，出现异常数据可以设置报警规则，提醒出现异常信息[2]。维护者对现场道路智能交通设施实施排查操作，判定是否存在设备故障。利用大数据技术直观展现道路不均指数，提供最佳的信号机配时/相位方案，便于决策人员制定科学的决策。

3.2道路网延迟指数分析

依托大数据技术对各个路口/路段历史流量进行统计，进一步分析路网的延迟指数。智能交通延迟指数求解方法是实际通过旅行时间与自由流通旅行时间相减，若所得数值为负数，则设定为0，表明并未发生延迟，并把这些数据映射至[0，10]数据区间之内。如果智能交通延迟指数较大，说明这个地点的拥堵情况更严重。左侧向使用者展现设定日期、特点等交通延迟指数改变情况，来回移动水平滚动条，能够及时查看不同时间段的延迟数据。左侧展现路口、道路等级、行政区划等各维度下相对应点的延迟指数和排名情况。通过综合分析道路延迟指数，能够为决策人员提供新建道路规划等决策提供支持。

3.3道路路口组织优化设计

篇（5）

中国分类号：TP311・1文献标识码：A文章编号：10053824（2013）03003004

0引言

物联网（internet of things， IoT）是指将各种信息感知设备及系统通过接入网络与互联网结合起来而形成的巨大的智能网络[12]。物联网作为一次技术革命，代表了通信技术和计算技术的未来，被称作继计算机和互联网之后，世界信息产业的第三次浪潮[3]，受到了世界各国政府和科研机构的广泛关注[4]。

作为物联网的主要支撑技术之一[5]，信息处理软件直接影响着物联网的用户体验及其进一步发展[67]。但是已有的物联网数据处理软件的功能较为单一，可扩展性不足，应用领域受限。为了改善物联网数据处理软件的功能性和扩展性，为用户提供快速、高效的物联网实时管控方案，本文设计并实现了一种模块化的多功能的物联网数据分析与处理软件。该软件采用模块化设计，以VC++ 6.0作为主控模块实现环境，便于在Windows系统环境下方便地使用本软件；服务器采用Apache Tomcat 6.0搭建；数据库模块基于MySQL 6.0实现，以保证软件的易扩展性和稳定性；拓扑显示模块采用Flex和flash player ActivX 10.0进行开发，以改善用户体验。

1软件的总体设计

1.1主要功能

本软件旨在为用户提供一套快速、高效的物联网实时数据处理与管控方案，其主要功能包括以下几个方面。

1）网络数据解析和处理功能：软件可对物联网数据进行协议解析、分析、处理和存储等操作，并同相邻网络层设备进行数据交互。

2）网络数据的存储功能：软件可通过数据库读写操作，将网络重要历史数据存储于远程数据库中，并可进行读取等操作，为物联网网络管理人员提供便利。

3）网络拓扑显示功能：软件采用FLEX技术绘制目标物联网网络拓扑，并通过定时发送拓扑数据请求实现网络拓扑状态图的实时更新，提供了优越的用户体验。

4）网络信息查询和控制功能：本软件集成了网络节点信息的显示、查询能力，用户可对网络节点相关状态进行针对性的查询；同时，提供网络属性调整和节点控制功能，用户可根据实际需要修改网络节点参数，控制网络运行情况。

1.2软件系统总体架构

本软件系统运行于C/S架构的服务器平台上，作为远端服务器控制软件完成网络监听与数据包接收、网络数据分析处理、网络拓扑状态显示以及节点信息查询与控制等物联网管控工作。系统总体组织架构图如图1所示。

图1软件总体架构图软件功能模块主要由6个部分组成，分别是网络通信模块、参数设置模块、数据处理模块、拓扑显示模块、信息查询模块和数据库交互模块，如图2所示。其中，网络通信模块完成底层的网络通信工作；参数设置模块接收并设定用户输入的软件工作基本参数；数据处理模块负责数据包的解析、判别和数据分类处理工作；拓扑显示模块负责为用户提供网络拓扑和节点简要信息的显示；信息查询模块为用户提供网络节点详细属性的查询和节点控制；数据库模块负责完成网络数据的存储和查询等工作。

图2软件系统功能模块1.3软件系统工作流程

本软件功能模块间的数据流关系如图3所示。各模块间通过相应接口完成网络数据的上传、分析与处理和控制命令的下发操作。首先，软件接收来自网络的各类型数据，并对其进行分类与解析。随后，软件将数据处理结果通过数据库模块进行存储。在此基础上，拓扑显示模块和信息查询模块分别通过查询/更新数据库进行信息显示和用户控制指令的下发操作。数据处理模块和数据库模块扫描数据库中的相应表项，提取控制信息后通过网络通信模块下发至目标网络。

图3软件工作流程图2主要功能模块的实现

2.1网络通信功能模块

网络通信模块是本软件的底层数据通信模块，该模块采用完成端口模型（I/O completion port， IOCP）作为本软件的网络服务引擎，由于IOCP规定了并行线程的数量，并使用线程池对线程进行管理，从而避免了反复创建线程和线程调度的开销，提高了本软件的并行处理能力。该模块通过构造完成端口模型类（IOCPModeSvr），使用CreatIOCompletionPort（）函数创建完成端口对象；构造ListenProc（）函数监听来自物联网感知层网络网关节点的连接请求；使用bool CIOCPModeSvr：：SendMsg（）函数响应上层控制命令的下发要求，向客户端发送控制命令帧。

2.2数据分析与处理功能模块

数据处理模块是物联网数据分析与处理软件的关键组成模块之一。该模块接收来自底层网络模块的数据帧，并进行分类、分析、处理及重构等操作，为上层数据应用奠定数据预处理基础。通过创建DataProc类实现该模块，具体包括：

1）通过内联函数checkType（）快速解析由底层网络上传的数据帧的协议类型与数据类型；

2）构造getInt（）、getRangeString（）等函数完成数据帧的数据进制与格式转换；

3）使用ProcessRecvData（）函数分析数据帧，重构出信息处理所需数据；

4）完成相应数据处理功能，主要包括数据聚类、数据计算、数据范围判断、数据异常的处理、反馈数据帧的构造。

2.3参数设置模块

参数设置模块是物联网数据分析与处理软件的系统参数初始化模块，该模块读取用户设置的软件运行参数，并对软件进行相应运行参数初始化。该模块响应用户参数设置操作，读取参数并判断参数是否有效。若参数设置有效，则对软件相应运行参数进行修改，同时显示软件当前连接状态，界面实现如图4所示。

图4参数设置界面

2.4数据库与Web服务器

本软件采用MySQL数据库进行原始数据的存放，其中已经直接保存了经由数据分析与处理模块上传的全部数据，主要数据表包括：表node_topu_stat，用以存储网络所有原始拓扑信息；表node_info_stat，存储网络节点上传的状态信息；表control_stat，负责存储用户的查询和控制指令。由于上层的拓扑展示模块所需要的是最新的数据信息，因而需要Web服务器模块将冗余的原始数据进行初步处理，为拓扑显示模块提供无冗余的信息，以实现基于拓扑图的物联网实时监控。首先，通过对数据库中各分类表加入触发器实现数据的初步提取。其次，在本模块中，数据处理模块所生成的最新数据进一步转换为能够表示拓扑图的XML文件，即将节点所上传的邻居表转换为节点与边的关系。本系统中使用了Web服务器所能支持的JSP技术实现了实时访问数据库生成转换数据的功能，拓扑控制模块直接访问该页面的地址，即可实现拓扑数据的获取，如图5所示。

图5数据库与Web服务器2.5拓扑显示模块

网络拓扑显示模块是与用户进行交互的主要模块，用户通过点击“网络拓扑”访问拓扑展示模块。该模块通过定时向Web服务器数据处理模块发起拓扑数据请求实现网络拓扑的实时更新。通过向数据处理模块获取拓扑XML数据，图形界面将其转化为拓扑图中的“节点”与“边”的实际图形对象，并将其他附加数据作为标签保存在给节点，方便用户查看。模块工作流程及实现界面分别如图6和图7所示。

图6拓扑显示模块图7拓扑显示界面2.6信息查询与控制

本模块中的查询控制功能是指对物联网可控节点发送控制指令。查询控制指令与拓扑数据一样，需要经过数据库作为中转，整个中转回传的代码构成了控制模块。控制指令需要根据实现指定的通信协议发送。在控制指令的收集窗口中，用户可以进行相应的选择，控制模块负责将用户在窗体中的选择输出至与数据库相连的JSP页面，并由JSP页面将其存入数据库中。网关通过定期与服务器通信获得最新的操作指令，将其转换为控制指令最终发送至物联网节点，实现界面如图8所示。

3结束语

本文设计并实现了一种多功能物联网数据分析与处理软件。该软件通过网络监听、数据分析处理、网络拓扑显示以及节点信息查询与控制等功能模块实现对物联网数据的有效处理。通过将该软件移植于实际物联网应用环境，验证了该软件能够快速、高效地处理网络数据，且易于扩展，为多模异构网络条件下的物联网创新应用平台构建提供了新的思路。

图8信息查询与控制界面

参考文献：

[1]孙其博，刘杰，黎.物联网：概念、架构与关键技术研究综述[J].北京邮电大学学报，2010，33（3）：19.

[2]International Telecommunication Union. Internet reports 2005： the Internet of Things [R]. Geneva： ITU， 2005.

[3]刘强，崔莉，陈海明.物联网关键技术与应用[J].计算机科学， 2010， 37（6）：110.

[4]刘云浩. 从普适计算、CPS到物联网：下一代互联网的视界[J]. 中国计算机学会通讯， 2009， 5（12）：6669.

篇（6）

1 背景

油液检测技术是目前风电行业采用的重要监测与诊断技术之一。油液检测的方法很多，如：光谱油料分析法、红外光谱分析法、颗粒计数法、油品理化分析法等。通过分析被监测机组所使用的油液的性能变化和携带的磨损微粒的情况，可获得机组的和磨损状态的信息，评价机组的工况和故障预警，并确定故障原因、类型以及需要采用的维修管理策略。

新疆风能研究所油品检测分析实验室于2008年成立。实验室以油品检测分析业务为主，并拥有先进的油液分析实验仪器，如艾默生CSI5200油液分析仪、美国热电MOAⅡ元素光谱分析仪等，总投资近两百万元。2008年至今为新疆风能公司检测3种机型23台风力发电机的80余组齿轮箱油样。目前一个油样完成一次完整的油液分析后，不同设备获取的数据存储的种类不一，有文本、图片、数据库等，这些数据目前分散、杂乱，需要进行数据自动采集和整合，并集中导入到一个统一的数据库中进行管理和分析，目前一些油液分析设备自带的软件主要是列出检测结果数据，还不能满足自动制作专业检测报告，作出分析结论的要求。这就需要研发一套系统能够实时采集并导入油液检测数据结果，并科学管理油液检测数据，并根据现场的要求，对数据进行科学分析，最终作出专业、权威的检测报告。

目前新疆还没有这样一个风机油液检测数据分析和管理的平台系统，因此设计建立这样一个系统有利于作为中国风电发祥地的新疆更好的做好风电技术服务工作，有效的为新疆的各大风电场的风机做好科学、快捷、专业的技术支撑。

2 系统构成及主要功能

该系统软件主要由数据采集导入模块，数据管理模块，检测报告设置模块，分析模块，参数设置模块，报告输出模块等构成，系统硬件主要由数据采集器、数据库服务器、WEB应用服务器、网络通讯设备等构成。

数据采集导入模块负责将各类油液分析设备检测得到的数据通过数据采集器实时采集或通过导入方式输入系统数据库中，我们可以通过数据管理模块进行检测数据的手工录入、编辑、删除、查询管理，通过报告设置模块我们可以设置检测报告的模式，分析模块通过分析原始数据最终得出分析报告，其中用于分析和处理的参数在参数设置模块中进行动态设置，油液检测报告由报告输出模块进行文件导出和打印输出，该报告经过油品检测分析实验室签字盖章后形成权威的检测报告，整个系统的数据可以通过WEB应用服务器到公用网络中去，用户可随时在任意一个地点通过网络可以访问该系统，查询获取油液检测信息，并获得检测报告结果。

3 系统实现和部署

本系统硬件主要有：tplink无线路由，Dell应用服务器，检测计算机，MOXA NP-5230串口服务器，PKTH300A-ACZ1温湿度变送器等，变送器和监测计算机之间采用MODBUS通讯协议，并转换成网络协议进行无线通信。监测计算机和服务器之间主要采用TCP/IP协议进行连接。软件主要采用自主开发的平台应用系统，系统本还提供基于SOAP、WSDL、UDDI协议的Web Service服务。

本系统建成后，希望实现以下油液检测基本流程：

⑴在网页客户端登记委托单+多个样品（不同用户权限不同）。

⑵样品入库（主要信息有：待检库，已检库，记录人员、时间，检测量），出库（人员，时间，检测量）。

⑶启动CSI、MOAII设备进行样品检测。

⑷获取当前检测数据

⑸查找选择委托单，填写样品编号，保存检测数据

⑹样品是否检测完，未完继续4，已完继续

⑺完成检测。

⑻剩余样品入库（样品，原始记录）

⑼出具检测原始记录单

⑽出具检测报告单

本系统可以自动生成检测报告，所做报告能根据表1进行报警标识。

4 展望

篇（7）

中图分类号：TS941 文献标志码：A

The Influence of Industry Big Data Analysis on New Models of Design Thinking

Abstract： Based on discussing big data analyzing technology as well as enterprise case studies and tracking surveys， the paper states that such data analyzing technology will facilitate the generation of new models of design thinking， which will more rely on Internet technology， and systematically reorganize complicated resources and information into data that can be further used as an important guidance for new product design. These data will help enterprises realize cooperation of various participants， information sharing and tier management in the process of product design and R&D and improve the efficiency and benefits of their design and R&D system.

Key words： data analysis； design thinking； market positioning； precision marketing

在全球服装纺织业格局中，中国还处于起步探索阶段，缺少真正有市场竞争力的自主设计品牌。企业们普遍缺乏高效务实的设计创新能力，成为了我国服装纺织行业的发展短板。面对国际品牌的激烈竞争，企业们需要建立自己的新型设计思维模式。更加适应市场需求的新设计思维将是一套有理有据、高效灵敏的产品设计与管理系统，这将有助于企业们更超前的把握市场发展动态，更精准的分析产品的优劣势，更合理的筹划销售策略，更敏锐的找到未来商业机会从而打造企业及品牌的市场竞争实力。

目前在经济发达国家的服装产业中，类似的研究已经进行到了比较成熟的阶段，如法国的Lectra（力克）公司，通过将其CAD/CAM 、三维技术与互联网技术的结合，进行最优化的数据传输，可以满足企业在整个生产过程中从服装系列设计到视觉化销售的所有环节的需求。力克公司的发展资料为本文的研究提供了非常有价值的可参考实例。

1 针对服装纺织产业大数据分析技术的研究

服装纺织产业大数据分析技术是基于互联网大数据分析的专业服装设计和生产管理辅助工具。该分析技术采用的是个性化分布式数据挖掘技术，通过对互联网海量真实的服装销售数据的分析，监控并分析网站，采用JAVA语言对网站中各种内容信息进行智能化的分析和挖掘，多维度、全方位对服装属性数据进行筛选，可甄别出不同时间段、不同地域、不同年龄层次、不同性别甚至不同消费习惯的服装购买者对服装颜色、款式、面料、尺寸等属性的偏好，并形成直观易懂的可视化报表，从而对设计和生产管理者形成指导，更加方便直接的形成“设计指导书”或者“生产指导书”。能够使产品更加符合品牌特征和市场需求，极大地提高设计生产效率，减少成本与避免试错风险。

在数据分析技术的层面上，它是基于html的个性化分布式数据挖掘系统。核心内容是监控并分析网站，生成Excel表格形式的报表，报表包含关键词和网站的链接地址。这种分析为采用Java语言对网站中的各种内容信息进行智能化的分析与挖掘。相当于目标网站名单读取模块，采用Excel表格存储目标网站列表和关键词，并且用Java语言读取信息，并利用web界面即时呈现监控结果。

2 服装纺织产业大数据分析技术对设计思维影响的实例研究

参与本次研究项目的北京相与文化发展有限公司，是一家由中法意等多国设计师和业内人士组成的专业服装纺织品品牌孵化和设计营销整合机构。

2014年公司开始进行自主开发和使用基于互联网的服装设计大数据分析系统，如图 1 所示，针对某款产品的数据分析结果，将对设计工作产生重要的引导作用。设计师们会根据数据分析结果来判断设计思路是否合理，改变了传统设计流程中过于强调设计师主观感受的不稳定性，将基于互联网的海量数据经过精准的筛选和整理，生成直观可视化的数据报表，并且形成多点共享和分级管理的平台化工具，将设计研发流程模块化，迅速找到针对市场切实有效的产品设计卖点和营销方式，可以极大地提高服装设计师和生产管理者的工作效率，降低了设计研发成本并有效减少了企业在新品设计研发方面的试错风险。

为了调研资料的充分性和客观性，本论文还调研了参与10家生产销售与男士T恤相关的服装企业。在男士T恤这个产品品类的设计开发之前，这些企业想去了解该产品的设计研发方向的需求集中体现在以下几个方面，如基础风格、花型图案、面料材质、款式细节和服饰工艺等；并且在这几个需求里面，关于花型图案的调研量最大，这个环节也就成为了企业们最为关注的问题所在，另外占比量22%位居其次的款式细节，也成了男士T恤的另一个设计重点。以上调研的数据比例图示（图2），充分证明了企业对产品的设计研发方向的设定，是有着比较明晰准确的需要点的，占比29%的企业都认为要将花型图案作为男士T恤的设计重点。如果通过产业数据分析技术，能比较清楚地告知这些企业，在服装设计研发的时候，是否要优先关注哪些方面以及如何把握这些方面的设计工作，这无疑对企业把控产品与市场需求的贴合度方面是有重要帮助的。

3 产业大数据分析技术对新型设计思维模式的影响

“积累、效率、协作、降本”―― 代表着新型设计思维模式核心要素的，将给产品的设计研发思维带来全新突破，将有力地帮助中国数以万家企业将设计真正转化为生产力并最终打造核心竞争能力，完善品牌体系并全面提升品牌价值。

将与产品相关的市场数据进行搜集整理和分析，在互联网大数据分析技术的帮助下，找到对企业的产品设计研发最具有参考价值的类比信息，不同于传统设计模式的主观化和分散化，新一代的设计思维模式需要将资源和信息模块化，形成支持系统；从而在企业的整体产品设计研发流程中实现多点协作、信息共享和分级管理，极大地提高了流程的效率，降低了错误判断市场导向带来的经营风险，节省了设计开发的时间和成本，同时新型设计思维模式又会强化对于流程中每个环节的工作指标的评估，从而达成有效良性的管理机制。

篇（8）

关键词： Excel软件；数据处理；数据管理；金属电子逸出功

Key words： Excel software；data processing；data management；metal electric work function

中图分类号：TP274；O4—39 文献标识码：A 文章编号：1006—4311（2012）27—0216—03

0 引言

在物理实验尤其是近代物理实验以及科学研究中，经常产生大量测量数据，经过记录、整理、计算、绘图、分析等大量复杂繁琐的数据处理后，方能给出科学结论。传统方法往往是手工处理大量数据，最终仅在坐标纸上描点绘图。因此效率低，易出错，误差大，甚至影响结论的准确性。

随着计算机迅速发展，数据分析处理的软件实现和应用也逐渐成为每个科研工作者必须掌握的一门技术。常见的数据处理软件如Origin、MATLAB、SPSS等功能强大，专业性强，对使用者有较高要求，而Excel直观易学，使用方便，数据处理过程简单，无需精通计算机编程，因此成为处理物理实验数据的首选工具。

Excel集数据表格、图表和数据库三大基本结构功能于一身，还提供了大量函数，用户可通过这些函数进行统计管理、线性分析等工作[1—3]。并能很方便地将数据处理过程的基本单元制成电子模板，使用时只要调出相应的模板，输入原始数据，激活相应的功能按钮，就能得到实验作图要求的各项参数。

1 电子逸出功的测量原理简介

由费米—狄拉克能量分布公式可得到热电子发射的里查逊—热西曼公式[4] I=AST2exp（—■）（1）

式中I是加速电压为零时热电子发射电流，称零场电流。A与阴极材料有关，S为阴极有效发射面积，T为发射热电子的阴极绝对温度（该温度与加热电流对应关系可查表）。实际测量中采用理查逊直线法避开A、S测量，将（1）式两边除以T2，再取对数得

1g■=1gAS—■=1gAS—5.04×103？渍■（2）

可见，1g■与■成线性关系，由斜率即可求出该金属的逸出电位？渍或逸出功e？渍。

由于肖特基效应，零场电流I与阴极发射电流Ia、加速电压Ua有

1gIa=1gI+■■■（3）

式中Ia是加速电压Ua为时阴极发射电流，r1和r2分别是阴极和阳极半径。几何尺寸一定的管子，阴极温度T一定时，1gIa与■成线性关系，截距为1gI。

实验一般在7个不同温度值采集49组电压和电流值，根据公式（3）进行7次直线拟合，采用直线外延法分别找出7个温度对应的零场电流对数1gI，之后再根据公式（2）进行1g■～■直线拟合，找出该直线斜率，进而求出该金属的逸出功e？渍。计算公式繁琐，图表较多，数据处理困难。

2 设计思路

本设计旨在实现数据的记录管理和分析处理。使用者仅需录入测量数据并保存，系统便自动生成处理结果以及相关图表。保存后可获得原始测量数据备份，避免随意篡改伪造测量数据；同时，又可形成一个数据信息库，为使用者查询测量数据提供便利。

基于以上构思，数据录入和数据处理作为两个独立且关联的模块，分别出现在两个工作表中。数据录入模块将个人信息和测量数据输入电脑，除必要输入栏目，使用者没有权限更改其他选项。处理分析模块的数据来自于对管理模块的链接，包括数据处理的中间过程和最终处理结果，为了便于管理还应包含使用者的基本信息。流程如图1。

3 基于Excel实现测量数据的录入和管理

本测量采用西安超凡光电设备有限公司WH—I型金属钨电子逸出功测量仪完成。

打开Excel，创建新工作表，该工作表作为数据记录用表，命名为“原始数据”。根据测量原理和要求，该工作表由基本信息、数据记录、温度对照表三个部分组成，如图2。

此工作表A1—H3为使用者基本信息，其中G2单元格输入的内容为“=TODAY（）”，可获取当前系统日期。A6—H12为数据Ia、Ua记录栏。A14—H17为“加热电流If与钨丝真实温度对照表”，数据处理过程中需查此表获得阴极灯丝温度。

篇（9）

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）03-0016-03

Design and Implementation of Energy Saving Potential Data Analysis System for Iron and Steel Enterprises Based on Hadoop

WANG Cheng-hui， WANG Jian， DAI Yi-ru

（CIMS Research Center，Tongji University， Shanghai 201804， China）

Abstract： In order to improve the level of energy consumption of iron and steel enterprises， put forward a kind of energy saving potential of big data analysis based on Hadoop system construction method， and application of the system， an example proves that the method analysis in the energy saving potential of the iron and steel enterprise， has the characteristics of convenient operation and easy popularization.

Key words： energy saving potential； big data analysis； Hadoop

我国做为能耗大国，能源消耗量十分巨大，然而，能源利用率却远远低于发达国家，这个问题严重制约了国家可持续发展战略的落实。钢铁企业作为国民经济的支柱产业，提高钢铁企业的能耗水平，对我国建设“资源节约型”国家战略部署具有重大意义。然而，我国钢铁企业的能耗水平与发达国家相比，仍然存在着十分巨大的差距。面向我国钢铁工业节能减排发展目标，针对其生产过程中的高能耗、高排放的运行特点，不断挖掘自身的节能潜力，在保证钢铁生产质量和产量的前提下减少能源的消耗量，提高企I的能耗水平。加热炉是钢铁企业重点能耗设备，是轧钢生产的主要耗能设备，其能耗占轧钢工序能耗的60%―70%，因此，提高加热炉的能耗水平对钢铁企业节能起到至关重要的作用。本文通过分析钢铁企业加热炉生产过程产生的海量能耗数据，利用本体建模技术构建钢铁企业加热炉本体模型，并将本体模型与加热炉能耗数据进行数据映射，利用比较流行的大数据分析技术，构建加热炉生产能耗模型，从中挖掘出加热炉能耗规律，进而分析出加热炉的节能潜力所在，并给出加热炉生产过程中的最佳工况参数去填补这部分的节能潜力。

1 系统构建

系统设计思路可以概括为：首先进行系统数据准备，然后将原始数据进行数据预处理，接着对处理后的高品质数据进行数据分析，最后挖掘出数据背后隐藏的价值找出节能潜力所在，并找出最佳工况参数弥补这部分节能潜力所在。具体由以下六部分组成。

图1 系统总体架构

1.1 数据准备

数据采集负责将数据从业务系统采集到大数据分析系统。数据采集工作本身不在Hadoop分析平台中，但是在整个分析系统中起着重要的作用，起着桥梁作用，连接业务系统和分析系统，将业务系统与分析系统实现了解耦。企业由于生产管理的需要对于有些数据甚至只有纸质记录，因此第一步需要将这些生产数据进行整合，将这些纸质数据进行电子化。数据准备是为分析系统提供数据支撑，是整个系统的基础模块。

1.2 分布式存储

分布式文件系统（The Hadoop Distributed File System，HDFS）是一个运行在普通的组件集群上的分布式文件系统，它是HADOOP框架主要的存储系统。由于HADOOP具有高数据吞吐量、高度容错的特性，因此使得其具有很高的效能。HDFS还为数据存储提供了包括API以及各种操作命令等多种访问接口。使用HDFS，我们可以为海量的原始数据集提供存储空间，对临时文件进行存储，为数据预处理、数据分析提供输入数据，同时也可以将分析输出的数据存入到HDFS中。HDFS采用master/slave架构。通常情况下，一个名称节点NameNodes和若干个数据节点DataNodes便可构成一个HDFS数据集群。Namenode是一个中心服务器，负责管理文件系统的名字空间（namespace）以及客户端对文件的访问。在HDFS集群中，每一个文件都会被划分为一个或几个数据块（blocks）分别保存在不同的数据节点DataNode中。集群中的Datanode主要负责管理它所在节点上的存储。HDFS将文件系统的名字空间暴露给用户，用户可以以文件的形式在上面存储数据。

1.3 数据预处理

大数据分析本身就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，分析出隐藏在数据背后的规律和价值。因此，需要对这些有噪声的、不一致的数据源，进行数据预处理操作。数据预处理主要是为分析系统提供高品质的数据。数据抽取主要是从原始数据中选出与分析目标有关联的数据源。如果不能排除无关的数据属性，既会增加数据分析的复杂度，也会提高数据分析的时间，同时会降低数据分析的准确性。数据清洗主要是解决数据的空缺值、错误数据、孤立数据点、数据噪声问题。其中对数据空缺值和错误数据是进行处理是数据清洗的重点，而后两者因为有可能在其中发现某些特殊的数据规律，因此可以暂时不需要进行数据处理。

1.4 本体模型构建

本体是概念化的明确的规范说明。能够描述类、实例以及它们的属性是如何定义、描述和关联的，是对领域中的概念及概念之间联系的显式描述。详细来说，就是要描述一个领域需要哪些概念，概念由哪些属性标识，属性又具有什么约束，概念对应于哪些实例。并将本体模型与具体数据属性进行映射，为数据分析提供数据源。

1.5 分布式计算框架

分布式计算框架是大数据分析系统的核心功能，分布式计算可以使用多台服务器同时进行数据计算，可以很大程度提高数据分析的效率。基于Hadoop的大数据分析系统主要采用的是MapReduce分布式编程模型。该模型简单易用，对于程序员来说在没有了解其底层实现细节的情况下仍能够写出处理海量数据的程序。MapReduce首先通过Map程序将海量数据分割成多个小区块，将其分配给大量服务器进行处理；然后将处理结果交给Reduce，最后Reduce将处理结果汇总后输出到客户端。

1.6 分析结果展示

分析结果可视化，主要是给用户提供一个友好的、直观的方式查看分析系统进行大数据分析以后得到的分析结果。

2 系统应用

加热炉是钢铁企业重点能耗设备，是轧钢生产的主要耗能设备，因此提高加热炉的能耗水平对钢铁行业节能具有重要意义。现以某大型钢铁企业步进式加热炉为例进行系统构建应用。在轧钢生产中，必须将钢坯加热到一定的温度，才能对钢坯进行轧制。对钢坯进行加热的设备就是加热炉。步进式加热炉是依靠步进梁的顺序、往复运动使得加热炉钢坯从炉尾移动到出料口，中间经过预热段、加热段、均热段。最终使得钢坯达到规定的温度后出炉。加热炉在生产过程中产生海量的数据，利用HDFS实现海量的能耗数据的分布式存储，通过本体建模技术实现加热炉本体模型构建与数据属性映射，为大数据分析提供数据源；系统的分析主要是通过在MapReduce分布式分析模型上运用线性回归、遗传算法等对Hadoop平台筛选出来的数据进行分析，从而挖掘海量数据背后隐藏的能耗模型，挖掘加热炉的节能潜力，分析加热炉的最佳工况运行参数，提高加热炉的能耗水平，构建加热炉大数据节能潜力分析系统。系统主要模块如下：

1）大数据管理：本体模型、大数据管理；

2）工艺参数模型：工艺参数模型；

3）工艺参数模型管理：工艺参数模型管理；

4）工艺优化：工艺模型⑹配置、工艺优化。

2.1 大数据管理

大数据管理主要实现对加热炉生产能耗数据提供统一的接入接口，并对加热炉实现本体建模与数据映射，为数据分析提供数据源。

2.2 工艺参数模型

工艺参数模型主要是运用大数据管理模块提供的一致性的多源数据，运用大数据处理的智能分析能力，通过运用神经网络算法对海量的数据进行深度挖掘，提取出数据背后潜在的工艺能耗模型，为面向节能减排的工艺分析与参数优化提供能耗模型。

2.3 工艺参数模型管理

工艺参数模型管理主要是对已经构建完成的模型实现直观的管理与展示工作。用户可以根据需要对已经存在的模型进行在线编辑，而且模型编辑完成进行保存导数据库以后可以为工艺参数优化提供优化模型。

2.4 工艺优化

实现对模型参数进行配置，利用工艺模型参数配置的参数范围与工艺能耗模型模块构建的模型最为输入，通过使用遗传算法对加热炉运行工况参数进行模型寻优，从而找出加热炉面向节能减排的最佳工况运行参数。

3 结束语

本系统在Hadoop平台下可以方便地实现数据的分布式存储、管理和查看，为企业历史生产能耗数据的管理和分析提供方便，利用MapReduce分布式计算模型，运用线性回归、遗传算法通过对生产能耗数据进行分析、优化，从而找出数据背后隐藏的价值与节能潜力所在，输出最佳工况参数，弥补这部分节能潜力。因此，所述方法对于挖掘钢铁行业节能潜力并实现节能降耗有着重要的现实意义和应用价值，具有方便操作、易于推广的特点。

参考文献：

[1] 高洪， 杨庆平， 黄震江. 基于Hadoop平台的大数据分析关键技术标准化探讨[J]. 信息技术与标准化， 2013（5）： 27-30.

[2] 菅志刚， 金旭. 数据挖掘中数据预处理的研究与实现[J]. 计算机应用研究， 2004（7）： 117-118，157.

[3] 杨军， 徐铁军. 钢铁企业节能潜力分析[C]// 中国金属学会， 冶金循环经济发展论坛论文集. 中国金属学会， 2008： 4.

篇（10）

大型供应链管理服务商通常具备多条成熟的运输线路以及遍布全国的货物仓库，企业日益扩大的交易规模和业务范围，各地仓储和物流运输每日可采集丰富的交易、物流、仓储、供应商等数据，单一的企业ERP系统只能完成资源管理，对于海量数据的分析和企业更高要求的数据分析能力有限，于是，企业智慧仓储大数据平台应运而生。

本文提出的智慧仓储运营支撑平台，运用了先进的RFID技术、视频分析技术及大数据分析技术，不仅解决了分散在各处的仓库智慧化管理，还可将仓库和物流各类运营及管理基础数据同步上传至大数据平台，实现仓库运营和管理信息资源的整合与共享，并依托各类基础信息库，为企业管理者提供智能决策支持。

1 智慧仓储运营支撑平台

智慧仓储运营支撑平台是一个功能完备的基础平台，系统架构如下图所示，分五层结构：感知层、传输层、数据层、服务层和应用层。

1.1 感知层

包括RFID读写器、激光雷达、视频终端、门禁对讲、温湿度传感器和警报器。

1.2 传输层

采用有线局域网或WIFI无线通信方式与支撑平台连接并传输数据。

1.3 数据层

包括设备信息库、业务信息库、监控信息库和人员信息库。

1.4 服务层

包括RFID中间件、ESB总线和第三方接口等模块，为整个系统的运行提供服务支撑。

1.5 应用层

包括仓库的业务管理、安防管理、人员管理、报表分析和系统管理等功能。

通过智慧仓储运营支撑平台可实现对货物入库、出库、移库、盘点等基本业务的智能化处理，其中，视频分析技术还可实现仓储的安防管理、人员管理等功能，不仅实现了对仓库的智能化管理，还能够收集物流和仓储的各个生产过程和任务执行中产生的运营数据，作为大数据分析平台数据源的重要组成部分，为企业实现智能分析提供了基础。

2 智慧仓储大数据应用

智慧仓储运营支撑平台将各地的仓储运营数据统一上传至企业大数据平台，进行分类和对分散及重复数据进行筛选、汇总、抽取、挖掘、分析形成物流与仓储有价值的大数据，便可应用于企业管控和管理全过程的协调、管理、协同、决策。大数据平台架构如下图所示，分为数据源、大数据获取、大数据处理、大数据服务四层。

数据源层主要实现采集前端各类感知设备以及各仓储运营平台数据。

大数据获取层实现结构化数据、非结构化数据、半结构化数据的导入导出。

大数据处理层实现数据的分布式存储和并行计算，并统一提供资源的调度服务、访问服务、管理监控服务和权限控制服务等。

大数据应用层实现物流运输调度、储位管理、可追溯管理、精准营销等各类智慧化应用。

2.1 运输调度

通过大数据优化任务发运计划，使运输任务最大程度地衔接起来，达到整个运输网络任务协调排程，合理组织运输工作和车辆调配，提高运输调度水平。

2.2 储位管理

通过对产品的进出货数据进行分析、整理、分类，深度挖掘不同类别之间的相关关系，再配合波次作业手段，优化拣货单，提高仓储工作效率。

2.3 可追溯管理

借助大数据平台智能分析及智慧仓储前端采集信息，建立产品档案，全面直观地展示品牌形象，借助供应链系统与电子商务交易平台，实时监督产品生产、交易和运输全过程。

2.4 精准营销

通过收集各个电子商务平台上同类产品的销售价格、数量、潜力，以及老客户的个人资料、交易行为、忠诚度等信息，同时深度挖掘潜在客户，制定一些优惠政策，激发购买的积极性，定向推送产品信息，实现精准营销。

3 结束语

基于大数据分析的智慧仓储运营支撑平台，适用于拥有多个分散仓库的大型企业，不仅使仓库管理者能够及时掌握仓库运行情况，更将大数据技术应用到物流领域，对于建设智能仓储体系，优化物流运作流程，提升物流仓储的自动化、智能化水平有着积极的推进作用。

参考文献

[1]肖建辉.浅谈仓储管理[J].物流工程与管理，2010，32（06）：130-132.

[2]张仁彬，李玉民.基于物联网技术仓储管理系统研究[J].物流科技，2011（06）：35-38.