时间:2022-11-28 02:46:49
序论:好文章的创作是一个不断探索和完善的过程,我们为您推荐十篇数据分析软件设计范例,希望它们能助您一臂之力,提升您的阅读品质,带来更深刻的阅读感受。
航空设备数据分析一直是一个难题,因为数据按ICD协议上传,需要转化为可读数据才能分析设备的运行状态。但是设备的上传速率一般在毫秒级,所以设备运行一个小时可以输出上百兆的数据,人工分析这些数据费时费力且错误率高,容易错过关键数据。
针对这种情况,作者设计了一种专门分析设备上传数据的软件(简称数据分析软件)。使用数据分析软件处理百万行的数据只需要不到一分钟的时间,而且该软件可以将数据制成曲线,可以更容易地捕捉到关键数据。
1 数据分析软件
数据分析软件包含两个模块:数据转换模块和数据绘制模块。
1.1 数据转换模块
1.1.1 时间类
航空设备上传的数据一般以时间为基准,因此数据转换时需要保留原始数据的时间信息,这样才能将数据绘制成以时间为X轴的曲线。时间类的定义如图1:
基类Time继承了IComparable接口,所以Time类重载了 “!=”,” ”,”==”四个操作符,这样Time类的对象之间可以比较大小,所以转换后的数据可以按时间前后排序。
1.1.2 数据类
在数据分析软件中,数据是以行为单位的,每一行数据有多个域,不同行数据的域名相同,域内的数据不同。数据行类定义如图2。
DataLine的对象代表一行转换后的数据,ToString接口可以将DataLine里存储的数据以文本的形式输出。DataLine是一个抽象类,需要用他的子类实例化对象。由图可见,MLSData集成了DataLine类,在成员变量中加入了一个MLSTime的对象_time用以表示该行数据的上传时间,并且可以用CompareTo接口比较两个MLSData对象的时间先后。其实MLSData的CompareTo接口只是调用了成员变量_time的CompareTo,如图3。
1.1.3 翻译器类
翻译器实现的功能是将一行原始数据转换为可读数据,翻译器定义如图4。
Translator是一个抽象类,其中定义了一个抽象函数Translate,这个函数有一个类型为String的形式参数data,并返回一个DataLine类(或其子类)的对象。其中data表示一行文本格式的原始数据,返回值DataLine表示转换后的数据。当需要分析按新版本ICD协议上传的数据时,只需创建一个新的Translator子类,并按ICD协议重写Translate函数即可。
1.2 数据绘制模块
数据绘制模块类关系图如图5:
父类DataDrawer是一个抽象函数,他实现了绘制曲线的一些基本功能。子类MLSDrawer集成了DataDrawer的基本功能,并添加了数据段放大功能。MD_WarningLine添加了告警线的显示功能,分析人员可以清晰地看到数据告警的位置,并针对该段数据进行分析。MultiLineDawer添加了多曲线绘制弄能,可以将多组数据的曲线绘制在同一坐标系内,让分析人员可以进行多组数据间的交叉比对。
2 实际应用
如图6,设备上传数据经数据转换模块处理后输出可读数据。
数据绘制模块读取分析结果数据后,可以将结果中的一组或多组数据绘制成曲线。
在曲线绘制区域内拖动鼠标可已放大局部数据,如图9。
中图分类号:TP311.52 文献标识码:A 文章编号:1007-9599 (2011) 23-0000-01
Market Basket Analysis Software Design and Implementation
Based on Data Mining
Tong Tiejie
(Ningbo High-tech Zone Yao Yao Technology Co.,Ltd.,Ningbo 315040,China)
Abstract:Market-basket analysis is a Data Mining technology for the retail enterprise sales,it is very important for the marketing strategy choice.Through these analyses,we can found the hidden consumer spending patterns and identify the mix of goods sold for profit opportunities.This paper describes how to build market-basket analysis software,including requirements analysis,detailed design and coding.
Keywords:Data mining;Market-basket analysis;Cluster analysis
一、引言
商业智能技术在当前的商业社会有着广泛的应用前景,特别是对零售型企业来说非常需要,而数据挖掘技术是商业智能技术的一个重要组成部分。从顾客的购买交易中分析出顾客有可能会同时购买的一类或一组商品关联商品,商场则可根据此分析结果调整商品的摆放位置,把相关商品摆放在一起,以增加商品的销售量同时,还可为促销提供帮助促销一种商品,并避免在同一时期促销同一类相关商品,从而大幅度提高促销的效果。
市场购物篮分析在数据挖掘应用领域中有着独特的地位,越来越多的企业通过分析软件的帮助来部署、改变他们的销售策略。比较典型的如日本的7-11便利连锁店,他在全世界拥有超过28200个连锁店,他们正是靠着“市场购物篮分析软件”来展开货品的部署及搭配,起到了非常好的效果。
二、软件整体结构设计
商场的销售数据从POS机读入,存储到后台的数据库,形成了海量的原始销售数据集。系统首先要做的就是将这些海量数据进行数据抽取、清洗和转换,建立一个新的数据仓库。在此数据仓库基础上,软件进行数据挖掘操作,形成有效的数据报表,同时生成时间、门店、商品三个纬度的聚类数据。此过程涉及到数据抽取工具(ETL)的设计,冗余数据的删除以及大量数据的比对。总体架构图见图1。
图1:软件总体架构图
软件分成数据处理与数据展示两部分。数据处理为服务器端,主要是将多个原始数据库中的数据根据所选条件,抽取到数据仓库中,以多维数据集和数据集市的形式存储,并在数据仓库基础上进行数据挖掘操作,本软件中的数据挖掘主要是聚类分析以及购物篮分析。数据展示为BS模式,用户可以从互联网上根据不同的权限登录查看各类报表,比如用户在某次购买活动中同时购买多类产品的概率等。
三、开发难点及解决方案
本软件最大的难度在于数据仓库的动态建立过程,其次是在数据仓库基础上所做的数据挖掘工作。针对这两大难点,设计人员做了如下处理:
(一)数据仓库的动态建立。由于原始数据是POS机传到后台数据库的不断变化的数据,因此所建立的数据仓库也要随之同步,但同步时间可控制。为此,本软件专门独立开发了ETL工具,用于对不同数据源的数据抽取,可以根据条件单表或者多表生成新的数据表到数据仓库中;同时,数据若有更新,则定时以作业的形式同步到数据仓库。这里涉及到一个多表连接查询海量数据速度的问题。软件采用的方法是多进程多线程模式,一个进程以10万条数据为一队列,以主键排列的方式放到缓存区,排序完成后另一进程负责将数据插入到数据仓库。多线程的方式保证了海量数据的及时插入与更新。
(二)数据挖掘操作。当数据仓库建立之后,就需要对数据仓库进行数据挖掘操作,本软件主要采用的数据挖掘技术为购物篮分析及聚类分析。购物篮分析从对顾客的购买行为进行分类开始,接下来的步骤是根据购买者特征,鉴别出提升利润的活跃性信息。一旦购买者特征决定的利润水平已知,零售商就拥有了可用于关键决策制定的实际数据。一般情况下,购物篮分析往往伴随着聚类分析,是以各种非定向式的数据挖掘。聚类分析最简单的形式就是用算法决定类的数量,确定在特定类或者组中平均变量特征。本软件采用的是Aporio算法的改进版,具体算法内容此处不做赘述。
四、实验仿真及分析
软件采用一个拥有120家连锁店的零售企业做模型范本,测试数据为1000万条销售数据。经过实际使用,一千万条销售数据,按分店、日期、商品三种纬度抽取建模时间小于十分钟;一千万条销售数据按月、周、日、小时不同颗粒度抽取建模时间小于十分钟;一千万条销售数据按不同的条件(付款方式、价格、金额、销售量)抽取建模时间小于十分钟;一千万条数据中计算两种商品关联度时间小于十分钟。根据以上的数据,对比微软的SQL Server Analysis Service及IBM的SPSS Clementine的建模分析时间,本系统的性能已经非常接近两大巨头的商业智能软件。
五、结束语
本软件实现了市场购物篮分析这一数据挖掘领域比较重要的分析技术,能够帮助商场建立一个之前并不知晓的销售模型。通过找出商品之间的关联性,给出这些关联性的合理解释,并创造出增加整体利润的方法。但这一软件也有他的局限性,他只是构建出一个假设性的销售策略,该策略是否有效,要经过实际的市场销售检验,只有能切实提高销售的情况下软件才真正具有价值。
参考文献:
1.引言
随着网络维护规模的加大,网络技术的变化,网络关键数据的采集也越来越困难。有时为了分析和采集数据,必须能在异地同时地进行采集,于是将协议分析仪的数据采集系统独立开来,能安置在网络的不同地方,由能控制多个采集器的协议分析仪平台进行管理和数据处理,这种应用模式就诞生了分布式协议分析仪。这种分布式协议分析仪是未来网络安全分析和研究的一个重要发展趋势。网络测量作为一种收集网络运行数据和分析网络协议运行状态的重要手段之一,在帮助网络管理人员分析网络异常的原因方面发挥了重要的作用。
2.本文研究内容
本课题针对网络数据包的捕获和分析技术做了比较深入的阐述。设计并实现了一个基于Pcap的实时网络数据包捕获和协议统计分析系统。该系统WinPcap网络数据包捕获机制,对流经网络的数据包进行监测和统计分析,系统提供了网络数据包的抓取和分析功能。
本文研究与开发一套用于中小规模网络系统的网络监控软件,重点考虑对网络故障的分析功能,设计并实现了一个基于WinPcap的实时网络数据包捕获和协议统计分析系统。该系统在RTFM流量测量框架体系结构上,采用WinPcap网络数据包捕获机制,对流经网络的数据包进行监测和统计分析,并通过多线程技术和读写缓冲技术,解决了读取缓冲区中数据和网络数据到来之间的速度差异:在连续地捕获数据包的同时,对数据包进行同步地分析和归类,并进行应用级处理。完成了数据包级和流级的流量指标,包括TCP/IP各层协议分布,包大小分布,前N名的IP主机和主机对分布等;并提供网络运行状态的告警指示,可以根据网络安全管理员设定的特征信息,对具有特征信息的数据包进行分类解析、还原和预警。系统使用了基于五元组的Flow结构,并加入了Hash算法,添加了对TopN主机进行排序的数组,从而提高了检索和监测效率。有效地解决了目前根据RTFM实现的网络测量系统,如NeTraMet,存在功能有限、性能不高,并且配置麻烦的局限性。
3.软件详细设与计实现
3.1 软件设计流程
软件利用VC++与MFC技术设计一个基本的针对PCAP文件格式的网络数据包分析软件。界面采用MFC实现一个单文档的程序,用户区分为上下连个视图,上面视图是一个列表,显示捕获的数据包主要信息,信息内容包括:时间、序号、长度、源MAC、目的MAC、类型、端口等内容。下面视图显示数据包分析的时间以及数据保存的目录等信息。点击文件——打开,选择一个事先保存好的pcap文件格式数据包如图1所示:
3.2 网络协议分析的总体流程
该模块从缓冲区内读取数据包,首先对数据包进行分解,然后按照网络协议对数据包进行解析。并以列表的形式实时显示数据包的解析结果,包括数据报的包长度、源IP、目的IP、端口、使用协议等相关信息。数据包分析显示流程图如2所示:
3.3 分析模块的实现
被捕获的数据只要经过解析才能够对协议的分析提供有用的数据。本模块就是对捕获的数据包按照数据链路层(MAC)、网络层(IP, ARP/RARP)、传输层(TCP, UDP, ICMP)和应用层(HTTP等)的层次结构自底向上进行解析,并将解析结果显示输出。
4.结束语
本文研究与开发一套用于中小规模网络系统的网络监控软件,重点考虑对网络故障的分析功能。设计并实现了一个基于WinPcap的实时网络数据包捕获和协议统计分析系统。系统在RTFM流量测量框架体系结构上,采用WinPcap网络数据包捕获机制,对流经网络的数据包进行监测和统计分析,并通过多线程技术和读写缓冲技术,解决了读取缓冲区中数据和网络数据到来之间的速度差异;在连续地捕获数据包的同时,对数据包进行同步地分析和归类,并进行应用级处理。完成了数据包级和流级的流量指标,包括TCP/IP各层协议分布,包大小分布,前N名的IP主机和主机对分布等;并提供网络运行状态的告警指示,可以根据网络安全管理员设定的特征信息,对具有特征信息的数据包进行分类解析、还原和预警。
参考文献
[1]谢鳃,张大方,文吉刚.基于WinPcap的实时网络监测系统[J].湖南大学学报(自然科学版),2006.
[2]WILLIAMSON C.Internet traffic measurement[M]. IEEE Internet Computing,2001,Vol.5(6):70-74.
[3]庄春兴,彭奇志.基于WinPcap的网络嗅探程序设计[M].计算机与现代化,2002.Vol.5:34-36.
[4]赵心宇,朱齐丹,朱达书.应用WinPcap捕获网络数据包[J].应用科技,2004,Vol.31(11):29-31.
[5]循序渐进学习使用WinPcap[J].中国协议分析网.http://pafnet,2005.
[6]Charles Hornig.A Standard for the Transmission of IP Datagazns~EthemetNetworks[M].RFC894,1984.
[7]J.Postel,J.Reynolds.A Standard for the Transmission of 1P Datagrams over IEEE 802 Networks[M].RFC1042,198.
为了统一各型号数字电视广播发射机之间的接口,现有的规定明确指出,地面数字电视广播发射机的遥控采用RS232、RS485或RJ45监控接口,然而实际上大部分地面数字电视广播发射机仍然采用的GPIB接口。监控系统的硬件接口种类繁多,不同硬件接口采用不同的协议,这就给集成监控系统的设计带来了难度。根据这种情况,必须在统一数据传输协议的原则上设计一种集成监控系统。当前,应用最广泛的是TCP/IP协议,该协议能够适用于众多的应用平台。
1.2硬件构成
在选择了使用TCP/IP协议进行统一构架之后,就要对其硬件构成进行探讨。对于TCP/IP协议地面数字电视广播发射机集成监控系统来说,其硬件构成包括以下几个关键器件:被监控系统、接口协议转换器、网络交换机和监控终端等。集成监控系统的监控对象为发射机,通常情况下,发射机通过监控接口与监控终端进行通信,向监控终端提供实时监控数据。由于监控终端的通讯接口数量有限,难以与众多发射机进行连接。因此,在发射机集成监控系统的设计过程采用了接口协议转换器,不同的硬件接口可以通过硬件协议统一转换为支持TCP/IP协议的以太网接口,在网络交换机的帮助下,监控终端只需以一个以太网接口就能实现与所有被监控的发射机连接,增强了集成监控系统的可扩展性。监控系统可以为工程技术人员提供直观的监控界面,为工程技术人员提供监控数据分析并及时发送异常情况报告。为了方便操作和维护,工程技术人员通常将计算机或者服务器作为监控终端。
1.3软件设计
有了硬件设备做基础,就要加大力度对软件进行精心的研发和设计。在整个地面数字电视发射机集成监控系统中,监控软件的设计和开发是研发的核心。监控系统软件设计可以划分成两个类型:一类是软件架构,另一类是协议包装。如果根据软件的功能进行划分,可将监控系统软件分为:数据采集模块、数据存储模块、数据分析模块、控制模块和数据显示模块。具体来说,数据采集模块主要是与嵌入式设备服务器进行通信,负责发送信息,接受检测数据。数据存储模块将检测数据保存到用户指定的数据库,用户可以通过此模块对检测数据进行管理和操作。若发现检测数据异常,数据分析模块会想用户提示警告,控制模块则整个软件系统进行控制。集成监控软件设计过程中会应用到众多关键技术,例如:C#编程技术、TCP/IP通讯技术、C/C++编程技术串口通讯技术等,这些技术都与协议包装有一定的联系。协议包装是整个监控系统软件的关键,它可以将不同通讯协议重修包装在TCP/IP之上,让型号不同的发射机监控数据共同运用以太网进行传输。
2发射机集成监控系统的作用
2.1监控
监控功能是发射机集成监控系统的主要功能,同时也是用户最需求的功能。详细说来,地面数字数字电视发射机集成监控系统的监控功能主要包括以下三个方面:一是状态数据采集、二是数值数据采集、三是运程监控。下面就分别论述这三个功能的具体实现。对于状态数据采集功能来说,数据状态用于显示出发射机的工作状态,监控系统会实时采集发射机的状态数据;集成监控系统除了采集发射机的状态数据,还能对发射机各部件的参数值进行采集,通过判断参数值决定是否向用户发出声光形式的警报;远程监控功能需要用户有相应的操作权限才能实现,该功能可远程控制发射机,通过干预发射机的运行,执行发射机的开机与关机指令。
2.2查询和数据记录
地面数字电视广播发射机集成监控系统除了具有监控功能之外,还具备查询和数据记录的功能。发射机的用户可以通过访问接口实现监控系统的查询功能与数据记录,监控系统在第一时间将采集的状态数值与各部件参数值,并将其发送给监控服务器,服务器会以数据库文件的形式进行储存,便于用户查询和备份。这项功能的研发给用户带来了极大的便利。
2.中科华核电技术研究院有限公司北京分公司,北京100086)
摘要:控制棒驱动机构(CRDM)是控制棒的驱动装置,它是核反应堆压力容器内惟一的可动部件,也是关键部件之一。为了提高大亚湾核电站在大修期间CRDM噪声录波试验的效率、简化试验的过程,通过对CRDM噪声录波试验进行分析研究,合理设计CRDM噪声录波试验台结构,并采用LabVIEW 软件编程实现信息采集、数据记录、分析等多种功能,设计一种新的CRDM 噪声录波试验台。该试验台解决了试验数据分析困难等问题,简便易行,对大亚湾核电站大修期间的CRDM试验具有重要意义。
关键词 :LabVIEW;控制棒驱动机构;CRDM噪声录波试验;试验台
中图分类号:TN912.206?34;TP216.1 文献标识码:A 文章编号:1004?373X(2015)13?0090?03
收稿日期:2015?01?23
0 引言
核电站机组的安全、可靠、经济运行在很大程度上取决于仪表控制系统的性能水平[1?3]。随着科技的发展,核电站的各项设备正在向更安全可靠和技术更先进的方向高速发展[4?5]。CRDM是核电站的关键部件之一,具有实现控制操作反应堆的启动、调节功率、保持功率、正常停堆等作用[6?10]。在大亚湾核电站中,由于缺少专用试验台对CRDM噪声录波的功能试验,导致在大修工作中CRDM 试验过程繁琐、试验后分析数据困难,对大修工作的顺利进行造成影响。因此,本文设计在大修期间能够进行CRDM噪声录波试验的试验台。
1 试验台功能
在核电站大修期间,为简化CRDM试验过程并实现对试验数据进行自动分析等功能,这里基于LabVIEW软件设计试验台,以完成相应的试验功能。
CRDM 噪声录波试验的目的是为了检查CRDM 是否工作正常。在该试验中,CRDM噪声录波试验将采集的麦克风信号和电流信号进行比较,然后得出CRDM的响应时间,并判断该响应时间是否在阈值范围内。默认信号采样频率为1 kHz。麦克风信号(电压值)和电流信号(电压值)将同步采集。
CRDM噪声录波试验信号示意图如图1所示。
“CRDM 噪声录波试验”的启停操作由试验人员控制。该试验按棒组分步进行,每个棒组由8根棒束编成。试验中采集的信号最多有32个:8路麦克风信号;8路MG信号;8路SG信号;8路LC信号。试验结果可以在显示器中显示并由打印机打印。
试验台采集CRDM 噪声录波信号示意图如图2所示。
麦克风信号和MG 信号、SG 信号和LC 信号通过麦克风信号电缆和电流信号电缆进入RGL试验台。信号进入试验台后,经过隔离模块的电气隔离,通过SCB?68接线盒进入PCI?6255采集卡。采集到的数据经过处理后可以在显示器中显示或经打印机输出。
2 试验台结构设计
CRDM试验台设计为一台可移动机柜,如图3所示。
试验台的组成包括:工控机,数据采集系统,接口机箱,连接机箱,电源机箱,打印机,若干电缆。试验台为框架结构,采用标准箱体,框架采用标准型材;顶部四角位置安装有起吊螺栓;底部安装4个滚轮,方便在试验现场移动,其中2 个滚轮带锁定装置。试验台采用NI采集板卡实现数据采集,并配备工控机、KVM(鼠标、键盘和显示器套件)和打印机。工控机中运行测试程序;KVM提供人机接口和人机交互界面;打印机用于打印测试结果。
3 试验台软件设计
为实现CRDM 噪声录波试验,这里采用LabVIEW进行软件设计。试验台软件应包括信息配置、数据采集、历史数据分析、图像回放、报表打印等功能。
CRDM噪声录波试验在提棒过程和插棒过程进行,需采集的信号包括线圈电流(SG,LG,MG)和勾爪动作声音信号。电流信号,通过采集隔离放大卡电压输出来表征电流信号;勾爪动作信号,通过采集麦克风信号获得。试验台以配置文件方式向用户提供可测试棒组,用户可从操作界面选择被测棒组,软件将对不同测试棒组以独立文件夹存储棒组相关测试数据。
用户需要根据实际情况进行初始步长设置,该试验数据采集主界面如图4所示。
用户设置电站名称、机组单元、用户名、温度、压力等信息后,开始采集信号。用户可以通过操作界面手动停止采集,然后进行数据分析,从而得出测试结果。
数据分析和回放界面分别如图5,图6所示。
在数据分析界面,用户可以选择任一棒组的测试数据,软件默认显示第一根棒的数据,用户可以选择其他控制棒的测试数据,每一步的T1~T7的测试时间将自动计算,并显示在表格中。用户可以点击打印按钮,将该测试数据打印或点击导出按钮,将该测试数据导出至Excel或Word文件。
4 结语
基于LabVIEW 设计CRMD 噪声录波试验台,完成CRDM噪声录波功能试验,解决大亚湾核电站在上述试验过程繁琐及数据分析困难等问题。该试验台的设计,对CRMD试验有重要意义,同时,对大亚湾核电站的大修工作有着重要的作用。
参考文献
[1] 王家胜,洪振旻,.核电站数字化仪控系统改造中的几种控制系统综合应用分析[J].核科学与工程,2005(3):231?238.
[2] 李红鹰,许川.秦山核电二期工程控制棒驱动机构国产化研制[J].核动力工程,2003(z1):143?145.
[3] 左文,闫玉辉.秦山核电二期工程棒控棒位系统设计[J].核动力工程,2003(z1):146?149.
[4] 史觊,蒋明瑜,马云青.核电站仪控系统数字化开发仿真测试技术研究[J].核技术,2005(2):76?81.
[5] 王新新.新时期我国核电发展现状及对策分析研究[J].节能技术,2010(1):60?64.
[6] 徐小琳,郭人俊.数字化仪表控制系统及其在核电站中的应用[J].高技术通讯,1997(1):59?62.
[7] 广东核电培训中心.900 MW 压水堆核电站系统与设备[M].北京:原子能出版社,2005.
[8] 沈小要.控制棒驱动机构动态提升特性研究[J].核动力工程,2012(1):51?55.
[9] 卢才华.秦山核电站棒控系统的改进[J].核电子学与探测技术,2004(2):209?211.
[10] 黄平儿,何攀,何邵群.控制棒驱动机构状态监测与故障诊断技术研究[J].核电子学与探测技术,2013(3):338?340.
[11] 罗彬彬,张春良,张浩强.基于无线传感器网络的核电装备状态监测系统设计[J].现代电子技术,2009,32(19):151?154.
[12] 苏晓书,肖德涛,杨彬华.基于MSP430的多探头核辐射剂量率仪研制[J].现代电子技术,2011,34(5):129?130.
近年来,随着智能电网的深入发展,智能电表作为智能电网的智能终端,被广泛应用于各类电量结算关口、工商业用户及民用计量点。智能电表在运行过程中,除了实时的电能计量功能外,还会定时记录负荷曲线,包括电量、电压、电流、功率等数据,同时,电表的事件记录可以记录电表发生的各类历史事件,智能电表还会根据用户要求进行电量冻结,冻结电量数据会被记录为历史数据。智能电表提供了丰富多样的实时数据和历史数据,通过读取这些数据,可以帮助用户监控电表的工作状态,分析电表的负荷变化情况,查找电表出现计量异常的原因。目前国内对于智能电表的实时监测基本没有相应手段,广泛采用的电能量计费系统,主要是用来远程采集电量相关数据,通过采集终端的存储和转发,在主站段获得一定时间间隔的电量相关的负荷数据,通过电能量计费系统获得的数据不具备实时性,基本不具备问题追溯和故障诊断的功能。当前,计量部门如果要对某一只计量表计的数据进行数据分析,唯一的方法就是通过表计厂家提供的服务软件,通过计算机和RS485等通讯方式,在当地进行数据的抄读,往往受到现场环境和软件使用的专业性的限制,操作起来极不方便,效率低。本课题研究的基于Android平台的蓝牙电表监测系统,实现了通过方便的移动终端对电表的状态进行实时监控,分析并显示向量图。同时,也可以读取实时数据和历史数据。
2基本原理
2.1本课题所要解决的技术问题通过开发一套基于Android系统的APP软件,利用手机等移动终端的蓝牙无线通讯技术,配合蓝牙无线光电头,实时与智能电表进行交互通讯,获取电表的各类实时数据和历史数据,同时,可以对实时数据进行分析,通过图形化界面,显示计量线路的向量图,极大的方便了用户的抄表,安装检查,状态分析,历史数据读取等工作。2.2本课题的技术原理蓝牙无线光电头采用吸附式非电接触方式,与电能表通讯采用近红外通讯方式,本光电头内置蓝牙无线模块,可以实现蓝牙通讯接口与红外通讯接口的转换,是本系统重要的通讯转发单元。手机或移动终端的蓝牙通讯模块通过自动搜索功能与蓝牙光电头实现匹配,建立点对点的通讯连接。手机上的电能表监测系统软件APP,根据请求指令,发出数据请求,通过蓝牙光电头转发给电能表,电能表应答数据给监测系统。电能表监测系统软件通过数据分析、处理,在检测界面显示实时数据,实时绘制向量图,通过向量图,不仅显示了各相电压电流的数值,还可以显示相互的相位关系,对于分析电表的运行状态,发现错误接线提供了更为直观的判断依据。当用户读取电表的负荷曲线、事件记录等历史数据时,系统会自动将读取的数据转化为文本或Excel文件的格式存储,便于分析处理。
3技术关键点及创新点
3.1技术的关键点关键点一:蓝牙无线通讯光电头,采用电池供电,数据通讯可靠性要求高,尤其是大量数据通讯时的功耗保证。要求采用低功耗设计,重量轻,便于携带。关键点二:基于Android平台的软件设计方法,为了提供交互式的人机界面,需要显示数据和图形,为此,必须优化软件设计,将软件功能模块化。关键点三:基于Android平台的移动终端的应用。3.2技术的创新点创新点一:智能电表都具有红外通讯接口,通常采用近红外通讯,本课题采用了蓝牙通讯光电头,本光电头可以将红外通讯转换为一般移动终端能识别的蓝牙通信方式,利用蓝牙技术,能够有效地简化移动通信终端设备之间的通信,从而使移动终端与智能电表的数据传输变得更加迅速高效,是智能设备之间进行短距离无线通信的最佳选择。创新点二:基于Android平台的运用,由于是对电能表的直接通讯,本发明要求集成智能电表的通讯规约,要求可以兼容各种版本的智能电表的通讯协议,对不同软件版本之间的区别,能够自动适应。为此,软件设计必须采用开放式的程序设计方法,通讯软件的设计也必须在充分理解电能表计量原理的基础上采用合理的数据采集方式。
4软件设计方案:
4.1系统软件设置框图(图2):4.2开发环境:软件开发平台:系统是Android4.0以上版本开发工具Xamarin。4.3功能模块设计:4.3.1软件登录和常用软件设计一样,提拱用户登录功能。4.3.2软件连接监测电表需要一些通讯配置参数,只有正确配置好,才能够连接电表,监测电表。连接电表成功后,会把电表的基本信息显示出来。4.3.3方案配置本软件功能点是通过配置方案来进行的,可以灵活配置。默认配置是三个方案:安装检查;向量图;历史数据。安装检查(1)配置需要监测的数据项。(2)选择需要监测的数据项。(3)对电能表的运行工况进行检查的时候,需要实时监测电表的运行状况,监测电压、电流、功率、功率因数,相角。向量图(1)系统会自动读出三相电压,三相电流的数值和各自的相角关系。(2)根据读出的电压电流数值及相角,绘制实时向量图。历史数据当某一只电表出现可疑情况,或出现缺陷时,我们需要读出电表的历史数据记录和事件记录,用于故障分析。
5结论
基于Android平台的蓝牙无线电表监测技术可以方便地安装在用户手机上,供电局计量专业人员和供电营业所抄表人员不需要借助电脑和服务软件,仅通过手机操作,就可以检查电表的安装是否正确,监测电表运行状态是否正常。本项目研发成功后,不仅计量管理部门可以采用本电表监测系统软件进行安装调试,故障诊断,数据读取。还可以推广到其他变电站运行维护人员作为必备的巡查工具,尤其是,还可以给各供电所用户抄表人员作为现场抄表的工具,减少人为抄表的差错率,大大提高工作效率,节省运维成本。
目前,在工业控制等领域,开发了大量实时趋势曲线绘制软件。但在非实时数据记录领域,开发趋势曲线绘制的较少,本文以非实时数据记录仪曲线绘制软件设计为对象,简要介绍了数据记录仪的数据采集过程,并在此基础上重点介绍基于VB6.0的曲线绘制软件的算法设计与实现。
1.数据记录仪的工作过程
本文中数据记录仪主要是完成对某探测器获取的目标回波信号和四路数字信号(如上电信号,识别信号等)的电压等参数进行采样,并将采集的数据保存在存储器里。通过PC机串口读出数据记录仪存储器中的数据,经过数据分析软件实现对记录的各路信号及相关参数的再现、分析和处理。系统工作过程如图1所示。数据记录仪接入探测器后,探测器和数据记录仪同时上电。DSP在上电时完成初始化,打开捕获中断,为捕获数字信号量做好准备,随后DSP开始采样模拟通道的数据。在采样的过程中,如果有数字量产生,将产生捕获中断请求,在中断服务程序中(捕获中断服务程序流程如图2),将捕获到的记数值写入Flash,直到将Flash写满。试验结束后,通过数据记录仪与PC机串口通信,读取数据并进行数据分析和
处理。捕获中断服务程序流程中写入Flash的数据都大于3FFH是为了把它们从模拟信号中区分开来。因为A/D采样结果为10位,采样结果不会大于3FFH,而Flash为两个8位单元存储一个采样结果(可存储16位数)。即巧妙的利用Flash存储数据长度大于DSP采样结果的数据长度来区别模拟信号与数字信号。
2.数据记录仪分析软件设计
数据记录仪分析软件是实现人机对话的界面软件。它的核心任务是将采集到的、存储在闪存中的数据通过计算机的串口读入到计算机中,并绘制成曲线供设计人员参考。同时要求能通过串口发送指令,擦除闪存,以便下次采集数据;能够正确的反映采集数据的时间信息;能够对采集的数据和分析结果进行管理;能够尽量保证数据的正确性、可靠性;能够在算法上保证分析速度快等。软件设计的系统框图如图3所示。
首先,利用VB6.0中MSComm控件实现串口通信,读取Flash中的采样数据。要注意Flash中存储单元数据是8位的,而A/D采样数据是10位,在读flash时,在算法上就必须考虑将两个数据单元合并为一个单元。同时,Flash中存储的数据是字节型的,在读取数据的过程中,将数据直接由十六进制转化为十进制,可以简化算化。本设计中,首先要把动态数组定义为字节类型;其次,把InputMode属性值设置为1,表示以二进制形式读取。另外,把读取的高位数据乘以256,再与低位相加,即可将数据直接由十六进制转化为十进制。
对采样数据进行处理,即将从Flash中读出并保存在PC机中文本文件的数据依次全部赋值给一个数组。这样,按照时间先后顺序采集到的数据,将依次放在一个数组中。这就为曲线的绘制和时间坐标的确定作好了准备。采样数据保存在PC机中格式如图4,数据是以文件追加的方式保存在文本文件中的。在VB6.0中,打开文本并实现数据依次全部赋值给一个数组的算法流程如图6。实践证明,采用图4的保存格式和图5的算法,能显著提高数据处理速度。
绘制采样数据曲线就是将采集到的数据以曲线的形式表现出来。同时将一些所需要的参数体现出来。在VB6.0中,画连接线时,前一条线的终点就是后一条线的起点。绘制曲线时,每个画面显示10000个采样点,第二个画面从10001显示下面的10000个采样数据,依次类推,完成所有采样点的绘制。多路信号的识别算法与曲线的绘制如图6。模拟信号和数字信号的区别是通过不同颜色来区分的。
3.系统试验
示波器采样图形如图7,分析软件恢复图形如图8。从以上两图可以看出,分析软件恢复出了正确的图形。图9中信号负压部分被削去。这是信号调理电路作用的结果。同时,由于毫米波探测器非常灵敏,其低噪在不同外部环境中变化较大,且在飞行阶段不易有示波器检测。因此两个图中的低噪存在一定差异。数据记录仪在实际应用中取得了好的效果,对于获取有效的试验数据,分析试验结果起到了很好的作用。
参考文献
1 前言
商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具,是对商业信息的搜集、管理和分析的过程,目的是使企业的各级决策者获得知识或洞察力,促使他们做出对企业更有利的决策。所获取的数据一般由来自企业内部的财务、业务、人力数据以及来自企业所处行业和竞争对手的外部数据组成。而实现这一工具则依赖于目前正在飞速发展的数据仓库,数据分析,数据展现等方面的前沿技术。笔者所负责的某数据分析平台项目属于一个典型的商业智能项目,该项目是为契合公司转型和市场转型的内外部要求,解决总分机构在计划下达、预算管理、资源配置、考核激励等方面的困扰,而决定建设的数据基础工具,通过搭建分支机构经营管理指标体系模型,建设透明、多维、全面的分析指标展示平台。通过项目几年的建设,笔者对于商业智能系统的建设也有了一些浅见与读者分享。
2 智能系统数据的获取、整合和分析及差异性
首先,从需求分析层面看,商业智能系统需求分析的侧重点是数据的获取、整合和分析,一般意义的IT系统,比如银行或电信核心业务系统的需求分析往往关注的是工作流程的实现和业务逻辑的控制,二者需求的侧重点有很大的不同。对于BI开发人员来说,一般不会面对复杂的流程和逻辑,只要将数据源梳理清楚,将数据质量做到符合要求,将分析结果展现到位就可以完成任务,任务看似简单,但数据分析的结果是否真的符合业务需求,很多时候却不像业务流程那样能够准确的把握,这其中核心的问题就是在客户提供的需求说明的背后往往隐含着很多没有明示的管理策略和业务逻辑,这些背景知识和管理诉求往往需要深厚的业务经验才能准确领会,并且还要能够准确、简明、扼要的表述出来。比如说,曾经在项目中有一个重要需求,要设计一套数据指标定期展示给产品线和分支机构,需求表述的很简单,就是提取数据并定期更新展示。但是后来在需求落地的过程中,发现用户群是一个矩阵型的管理结构,每个分支机构都有产品线部门设置,总公司也有专门的对口产品线管理部门来监控这些指标的变化,条中有块,块中有条。由于各个分支结构面对的市场状况不同,对于前端业务开拓人员的绩效激励和工作组织模式也不同,因此总公司对于其考核的要求也不同,存在很多个性化和差异化的需求实现,然而在提交需求说明的时候,由于需求方的人员表述能力较差,很多个性化和差异化的东西都没有一一体现,为后续的设计开发带来了不少问题。面对这样的需求,在开发前时必须充分考虑的建设这一指标体系的背后的管理意义,理解为什么分支机构存在差异化的需求以及如何满足,管理层如何看待这个问题,期待通过这一功能的实现达到怎样的目标等等,类似于管理咨询顾问一样的业务访谈和需求挖掘的过程是必不可少的步骤,只有准确的理解用户的管理意图才能为为后续合理的设计做好铺垫和准备。
其次,由于在需求层面的差异,导致在具体技术实施的层面上,一个BI项目的技术侧重点和一般意义的IT业务系统也很不一样。在BI项目中,往往数据仓库技术、统计分析软件、数据可视化工具等成型的商业套装软件产品大行其道,同时因为在业务流程控制层面的需求比较弱,因此技术框架和功能模块的设计也不需要过多额外的开发,可以用比较成熟稳定的技术框架稍作改造直接应用,因此工作的重点就会集中在以下三个方面:一是如何多快好省的使用和操作好现成的软件工具,将其具备的功能与现有需求做好匹配;二是做好数据模型的分析和开发,明确分析维度和分析目标之间的逻辑关系,设计内容尽量的全面、扩展方便的数据结构;三是强化用户界面(UI)和用户体验(UE)设计,让用户能方便快捷的获取或者理解数据。由上面的分析可以进一步得到结论,一个商业智能系统的开发需要的关键人力资源,一般可以由商业套装软件应用专家、数据模型构建专家(一般而言由业务专家和数据分析工程师共同处理)、界面和用户体验设计工程师三大类人员构成,而传统意义的软件设计工程师和系统架构师在商业智能项目里面扮演的角色将不如在生产业务系统里面显得那么重要,因为在系统架构、流程设计、算法优化等等方面没有突出的设计需求,很多关键处理都由套装软件自带的功能处理,属于软件应用问题和二次开发,比如如何设置定期数据抽取计划,如何进行数据清洗,如何模拟excel的网页操作,如何模拟回归分析等等,这些需求和功能都是一般大型套装软件必备的功能之一,我们所需要做的就是如何正确有效的应用这些功能。同样,数据模型构建和界面设计等也都属于非核心的软件开发技术范围,但在商业智能系统里面却显得尤为重要。
最后,就是商业智能系统的软件过程模型也有所区别于一般意义的传统软件开发。软件开发的过程模型包括瀑布开发、迭代开发和原型开发等方式方法,瀑布模型是最典型也是最常用的软件工程方法论,瀑布模型将软件生命周期划分为制定计划、需求分析、软件设计、程序编写、软件测试和运行维护等六个基本活动,并且规定了它们自上而下、相互衔接的固定次序,如同瀑布流水,逐级下落。但是这种开发方法特别要求前期的需求严谨清晰,因此往往不适合BI系统的开发。笔者所参与的数据分析平台项目,分析目标由浅入深,数据范围逐渐扩大,数据更新频率也是由年到日逐步缩小粒度,很多新的需求是在应用过程中随时加入,但用户又要求短时间内在系统上实现,理想的瀑布模型很不适合这种需求经常变化又比较紧急的情况,而适当的采用原型快速开发或者迭代螺旋开发的方式,由简入繁,循序渐进,是比较合理的工作方式,通过原型系统来进一步理清思路和需求,同时确定软件开发的迭代计划和发展线路,既能阶段性的看到成果,然后不断的完善和提升项目的质量。关于原型开发模式和螺旋迭代模式,本文不再赘述。
3 总结
1基于网络数据分析的计算机网络系统开发重要内容
1.1网络系统安全性的保障
在开发过程中,要将安全性放在首要位置,观察所进行的开发任务是否符合现阶段计算机软件的使用需求,并根据网络中比较常见的病毒类型来对系统软件进行加密,这样能够最大限度的降低使用威胁。软件加密可以理解为开发过程中的重点内容,关系到系统是否能够在规定的标准内达到使用安全标准,随着系统使用时间的增加,很容易出现漏洞现象,此时所进行的开发也要从软件的更新方面来进行,这样在使用过程中即使遇到严重的安全性下降问题,也能够通过后期的使用更新来得到解决。由此可见,在设计期间科学的利用网络数据分析能够使计算机网络系统开发到达更理想的效果,这也是现阶段开发技术中重点提升的部分功能,需要技术人员加强创新研究。
1.2网络数据分析在系统开发中的体现
运动网络数据分析能够在短时间内促进软件开发任务更好的进行,同时这也是开发期间需要重点研究的内容,针对传统方法中所遇到的问题,在新型数据库运用时要作为重点解决的内容。开发过程中如何运用数据库,其中包含了大量的数据分析内容,并且能够随着使用过程中效果的不断提升,来促进管理计划在其中更好的落实。软件投入使用后对于病毒的检测是自动进行的,这样能够避免出现使用安全性下降的严重问题,同时也能够确保使用期间操作人员更好的向系统发出指令,以免造成严重的安全不达标现象。对网络系统进行加密处理,能够确保其中的软件得到更好的使用,并保护重要的数据信息不会丢失。
2基于网络数据分析的计算机网络系统开发建议
2.1进行网络数据备份
在开发过程中,很容易出现不稳定的现象,造成严重的数据信息丢失,针对这一问题,在开发过程中,需要针对争议性比较大的部分数据来进行备份处理,将其保存在网络存储盘中,这样即使开发期间软件存储系统出现问题,也能够快速的通过网络备份来对数据进行还原处理,确保开发任务可以继续顺利进行。在开发期间,所遇到的问题都能够通过数据分析的合理运用来得到快速解决,这也是计算机网络软件开发过程中技术先进性的具体体现。在此环境下,技术人员应当针对经验来进行相互交流,在短时间内快速进步,并达到理想的使用安全性标准,这样后续的设计任务也能够顺利进行,帮助提升软件使用过程中的创新性,能够在网络环境中快速的完成数据补充与内容更新。
2.2提升软件的使用兼容性
设计时兼容性的保障也是十分重要的,在这样的环境下,开展开发任务需要通过框架结构测试来观察是否能够适应使用环境。在设计初期,如果发现兼容性不达标的问题,可以通过对后续软件设计框架的调整来达到理想的使用状态,同时这也是设计期间需要重点注意的内容,关系到系统的运行使用的安全性,对于一些比较常见的安全性不足问题,在设计时会重点的优化解决。以免造成严重的安全性下降问题。设计期间要合理运用网络数据分析功能,对软件的数据组成进行科学分析,并筛选出其中比较重要的部分数据进行备份处理,以备使用。
2.3虚拟局域网的应用
运用虚拟局域网,能够在短时间内扩大软件的存储功能,并帮助更好的提升使用过程中的软件稳定性。运行期间,系统能够在网络平台中自动的搜索更新数据库,并在网络允许的情况下自动完成更新任务,通过这种方法来帮助降低使用过程中的网络安全性影响,并且在存储功能与数据分析功能上都会有很明显的进步,这也是传统方法中难以解决的,在这样的环境中,网络数据功能的实现会通过虚拟局域网部分。这种方法更方便对软件的安全性进行检测,发现问题也能在局部范围内解决,不容易造成严重的安全性下降问题。设计技术的合理选择直接关系到后续软件是否能够正常使用,并且在功能上也存在很多的不合理现象,针对传统方法中存在的各类问题,能够更好的解决,并促进使用效果得到更多的发挥,解决网络环境中所受到的安全威胁。明确重点的技术方法之后,在设计过程中需要科学的落实应用,高效完成网络系统的开发与设计任务。
3结语
计算机网络系统开发是一个长期且复杂的任务,即使现在的网络技术已经日渐成熟、网络安全防范体系也日趋完善,但是网络安全问题是相对存在的。因此,在实际计算机应用管理中,只能根据网络宽带的特点和具体的应用需求去找到平衡网络安全和网络性能,以此为指导思想来配置网络安全软件。
参考文献
基于LabVIEW数据采集系统,由硬件和软件两部分组成,其结构框图如图1所示。数据采集系统硬件采用NIsbRIO-9606板卡附加NI9683夹层板使用,软件由FPGA程序和上层VI组成。LabVIEW中为数据采集硬件提供驱动程序,用户通过驱动程序的用户接口Measurement&AutomntionExplorer(MAX)对硬件进行各种必要的设置与测试,从而完成上位机与硬件之间的数据传递。LabVIEW的数据采集VI按Measurement&AutomntionExplore中的设置采集数据,并进行相应的数据分析与处理。
1.1采集系统硬件设计NIsbRIO-9606嵌入式控制和采集设备在单块印刷电路板(PCB)上集成了实时处理器、可重新配置FPGA和I/O。它具有400MHz工业处理器、XilinxSpartan-6LX45FPGA、RIO夹层卡连接器;RIO夹层卡连接器是一类高速度、高带宽连接器,可直接访问处理器和96条3.3V数字I/OFPGA线。sbRIO-9606在设计上能够轻松嵌入高容量的应用,具有灵活性和可靠性。NI9683是一款适用于任何NISingle-BoardRIO设备的多模拟I/O和数字I/O板卡。用户可通过RIO夹层卡(RMC)连接器将所有输入和输出连接至NISingle-BoardRIO控制器板卡。NI9683提供了16路同步模拟输入通道与绝缘接地参考的连接;8路扫描模拟输入通道;借助NI9683I/O通道的多个功能,用户可将该板卡用于从与工业设备(如电磁阀、激励器、继电器)进行通信到电力电子和电机控制等一系列工业应用。
1.2采集系统软件设计软件设计是整个数据采集系统的核心,采用模块化和层次化的编程思想,从底层FPGA到上层VI的层次化,不但增加程序的可读性和清晰性,还大大缩短开发周期。LabVIEW的FPGA项目的建立必须通过项目管理器进行,在项目管理器下选择板卡NI9606,然后手动创建FPGA项目,并配置相应的夹层板和IP,在FPGA终端(FPGATarget)创建FPGAVI,打开该VI进行编程,同时对于采集FPGA终端需要配置相应的采集范围,选择±10,将编好的FPGA程序进行编译即下载到板卡运行,然后经过顶层VI的调用、读取和关闭,采集数据。采集系统软件部分主要包括数据采集模块和功率模块设计,基于LabVIEW数据采集系统软件方框图如图2所示。
1.2.1数据采集模块系统电压电流参量经过调理电路,得到±10范围内的信号,经过A/D转换送入NI9683的模拟输入端口,LabVIEW利用FPGA模块进行数据采集,FPGA全称为现场可编程门阵列。集成数字电路芯片都是由各种基本的门电路组成的,每种特定的芯片都是为特定功能设计的,虽然规模更大、功能更强的芯片能带来方便,但其种类繁多、功能各异给学习造成困难,而LabVIEW中的FPGA模块用软件来改变硬件功能,很好地解决了这个问题。未上电之前,FPGA内部是空白的。上电后,通过读取里面存储的内容,FPGA会自动配置,形成了需要的功能芯片。数据采集FPGA程序框图及前面板如图3所示。FPGA有自己的基准时钟,最高能达到400MHz,通常采用40MHz板载时钟,一个时钟周期即一个脉冲周期25ns,以往单片机等采样硬件的采样时钟都是毫秒级的,因此,能保证FPGA数据采集的快速性和实时性。Ni的FPGA模块以LabVIEW作为基本开发环境,采用图形化编程,极大地方便开发,缩短开发周期。数据采集系统采集部分程序框图如图4所示。
1.2.2功率模块对电能质量的检测,功率模块是不可缺少的,利用FFT算法对采样信号电压电流进行分析得到各自的相频和幅频特性,求出电压电流的相位差,从而求得功率因数PF,采样信号为线电压和线电流,经过RMS单元得到线电压和线电流的有效值,根据三相电路功率计算公式,再根据有功功率、无功功率、视在功率和功率因数之间的关系,得到视在功率、有功功率和无功功率。其软件流程图如图5所示。
2实验结果
基于LabVIEW数据采集系统,对电能质量的电压、电流参量进行数据采集,所采集系统为三相供电系统,AI0-AI2为三相电压A,B,C,AI3-AI5为三相电流,通过FPGA程序采集数据,顶层VI通过调用FPGA程序,读取采样结果,提取采样数据,从而进行功率运算,数据采集系统程序框图如图6所示。从图中可以看到其中一相的电压为标准正弦波,其有效值为380V,电流波形含有谐波,其基波如图为标准正弦波,同时还可观测到电压电流的幅频特性,经过处理得到视在功率、有功功率、无功功率和功率因数。实验用HIOKI3169-20钳式功率计检测结果与之对照,HIOKI3169-20钳式功率计的检测精度为有功功率:±0.2%rdg。以电能质量分析仪的视在功率1338.9VA为测量真值,检测系统测量值如表1所示。经过实验运行得到的结果如图7所示。由表中可知,以电能质量分析仪测量值作为系统真值,得到采集系统采样误差为0.12%,采样精度为0.26%,在误差允许的范围内,达到测量要求。