如何让站点式远程监控系统的数据传输问题变得简单化

引言
在解决一个监控系统的信息传输问题时，遇到了一些困难，主要的原因是该系统中的数据类型多，发送的方向杂，控制起来比较繁琐。而引入xml文件后使得这个问题变得简单化。
1 监控系统的数据通信
数据通信是依照一定的通信协议，利用数据传输技术在两个终端之间传递数据信息。它可实现计算机和计算机、计算机和终端以及终端与终端之间的数据信息传递。在分布式监控系统中，数据通信是最基本的问题。如图1所示是一个比较典型的站点式远程监控系统的模型。
在这个系统中，监控中心和站点之间要相互发送数据，基本上有三种情况：
（1）站点→监控中心
如站点采集到的现场数据、抓拍的图片信息、报警信息、站点收到监控中心发来的数据后回发的确认应答信息等。
（2）监控中心→站点
如监控中心发往站点的基础数据与系统运行参数、监控中心收到站点发来的数据后回发的确认应答信息、监控中心给站点的远程控制指令等。
（3）站点→站点
有些事务可能需要两个站点共同完成（如在站点a称得皮重，在站点b称得毛重，两个站点要相互交换数据才能得到净重值），因此在站点之间也会发送数据，而这些数据监控中心是不关心地。
由此可见，在这个站点式监控系统中有多种数据要互相发送，并且数据的发送是随机的、杂乱的、动态的，内容相异，格式不同，种类繁多。另外，监控中心通过局域网连接internet，可以有固定的ip地址，而站点使用adsl连接，通常其ip地址是不固定的，用socket通信机制作为系统的数据通道时，把监控中心做为socket server，启动侦听，站点只能做socket client，主动连接server。站点之间若要相互传送数据，则只能通过监控中心来转发，更增加了监控中心和站点之间收发数据的复杂性。
2 xml及其特点
xml（extensible markup language）是可扩展标记语言，类似于html，但和html不同的是xml的标记不是预先定义好的，用户可以且必须自己定义标记。xml是用来描述数据和保存数据的一种灵活而有效的方式，能够清楚地表示出：什么是数据，有什么数据及如何组织数据。xml是web上表示结构化信息的一种标准文本格式，广泛用于网络数据交换，具有“易于生成数据”的优点。
xml支持世界上几乎所有的主要语言，并且不同语言的文本可以在同一文档中混合使用，应用xml的软件能处理这些语言的任何组合。所有这一切将使xml成为数据表示的一个开放标准，这种数据表示独立于机器平台、供应商以及编程语言。
xml被引入许多网络协议，以便于为二个软件提供相互通信的标准方法，如简单对象访问协议（soap）和xml-rpc规范。
xml数据是以纯文本格式存储的，提供了一种与软件和硬件无关的共享数据方法，所以xml数据文件可以被更多的用户、更多的设备所利用，而不仅仅是基于html标准的浏览器。
xml是不同系统之间的桥梁。
3 系统模型的建立
根据监控系统的功能要求和xml的特点，将系统的数据通信问题转化为如何实现网络文件传输和如何使用xml文件表示数据这两个子问题。同时，为了便于实现，提高系统的可靠性、稳定性及可维护性，采用层次结构，将系统的功能划分为七层模型，如图2所示：
（1）物理链路层
是指网络通讯的线路，本系统采用电信的adsl有线方式，其它也可以是局域网（双绞线、同轴电缆、光纤等）或者无线通讯方式（gprs、gsm、cdma等）；物理链路层是系统数据通信的基础，但与上层的实现方式基本无关。
（2）标准网络协议层
是指tcp/ip（transmissioncontrol protocol/internetprotocol）协议族，网络中tcp/ip协议叫做传输控制/网际协议，又叫网络通讯协议，是internet国际互联网络的基础，其中的tcp协议和udp（user datagram protocol）协议是两种最常用的数据通信协议。
（3）文件传输层
使用socket（套接字）技术实现文件的传输。socket是windows与网络的接口。windows通过socket把数据格式转换成网络传输格式，也把网络数据格式转换成windows格式。socket可以使用面向连接的协议（如tcp），也可以使用无连接的协议（如udp）。socket一般用来描述ip地址和端口，是一个通信链接的句柄。应用程序通常通过socket向网络发出请求或者应答网络请求，可以通过socket传送数据，进一步封装成传送任何文件（字节流）的功能。
（4） xml文件控制层
在xml中的数据可能是接收到的数据，也可能是要发送的数据，监控中心和站点必须准确控制xml文件的接收和发送。特别是对于监控中心，可能同时接收到多个站点发送来的xml文件，发送xml文件时也要准确控制发送的目标站点。
（5） xml文件封装/解析层
这是两个相逆的过程，也是两种相对应的操作。xml文件封装是指将要发送的数据按照一定的协议打包组装成一个特定格式的xml文件，解析是指对一个xml文件按照特定的协议进行分析解读，还原出其中所描述的数据。
（6）数据表示层
将采集到的数据、处理中的数据或者在数据库中存储的数据等各种数据格式转换为能够用xml文件描述的格式。这一层在本地操作的数据和远程传输的数据之间建立了一个通道，使两者之间互不影响，从而不会降低系统的执行效率。
（7）业务逻辑层
实际上就是整个系统的用户接口，或者说是系统功能的实现层，包括打印单据、防作弊、报警处理、用户管理、查询统计、费用计算、实时监控、基础数据录入、系统管理等。
4 系统实现
4.1 网络文件传输
4.1.1 动态链接库
本系统使用vc++开发专门用于网络文件传输的动态链接库（dll），基于对字节流的处理可以传输任何文件，因此对于xml文件的传输来说是透明的。该动态链接库的主要接口及其功能如下：
（1）初始化
服务器端要先启动监听，客户端主动联接。
dword dt_net_initserver（bool bisserver = true）；
参数：bisserver表示是否将此socket端用作服务返回：0或者错误代码
（2）设置回调函数接口
dword dt_net_setcallback（lpvoid pparam,lpnet_accept_callback paccept,lpnet_recv_callback prevc,lpnet_disconn_callback pdisconnect,lpnet_log_callback ploginfo）；
包括请求连接、接收到数据、断开连接和日志回调。
（3）设置文件操作的回调函数接口
dword dt_net_setfilecallback（lpctstr psavepath,lpnet_sendfile_callback psendfile,lpnet_recvfile_callback precvfile,lpnet_abortfile_callbackpabortfile）；
包括文件发送完毕、接收到文件、文件发送中断的回调。
（4）服务器启动监听
dword dt_net_startlisten（lpctstr pszlocalip,unsigned long nsvrport）；
参数：pszlocalip－服务器ip地址nsvrport－服务器端口号返回：0或者错误代码
（5）服务器停止监听
dword dt_net_stoplisten（）；
（6）发送文件
dword dt_net_sendfile（unsigned int nidsocket,lpctstr pstrfilename, lpctstr pszrename=null）；
参数：nidsocket－client端套接字句柄pstrfilename－文件名称（全部路径）pszrename－文件重命名
（7）中止文件发送
dword dt_net_abortfile（unsigned int nidsocket）；
参数：nidsocket－client端套接字句柄
（8）断开连接
dword dt_net_disconnect（unsigned int nidsocket）；
参数：nidsocket－套接字句柄
（9）连接服务器
d w o r d d t _ n e t _ c o n n e c t r e m o t e （ l p c t s t rpstrremoteip, unsigned long nremoteport）；
参数：pstrremoteip－服务器ip地址；nremoteport－服务器端口号
4.1.2 实现文件传输
将监控中心作为socket server，启动监听：dt_net_initserver（true）；dt_net_startlisten（serverip,serverport）；
然后设置回调函数：
dt_net_setcallback（self,lpnet_accept_callback,lpnet_recv_callback,lpnet_disconn_callback,lpnet_log_callback）；
dt_net_setfilecallback（pchar（'d:\temps'），lpnet_sendfile_callback,lpnet_recvfile_callback,lpnet_abortfile_callback）；
各站点作为socket client，也设置回调函数，并主动去连接server：
dt_net_initserver（false）；
dt_net_setcallback（self,lpnet_accept_callback,lpnet_recv_callback,lpnet_disconn_callback,lpnet_log_callback）；
dt_net_setfilecallback（pchar（'c:\tempc'），lpnet_sendfile_callback,lpnet_recvfile_callback,lpnet_abortfile_callback）；
dt_net_connectremote（serverip,serverport）；
每个站点和监控中心之间建立唯一的独立通道，当连接建立成功后，就可以利用该套接字在该站点与监控中心之间收发文件：
dt_net_sendfile（thesocket,filename）；
4.2 xml文件封装协议
不同的数据最终封装成的xml文件是不同的，但是为了便于处理，把每一个xml文件分成两个主要的部分（head和data），如图3所示：
（1） head部分系统中的任何一个x m l数据文件都有相同的h e a d （数据包头），表明该x m l文件的优先级（ p r i o r i t y ）、数据种类（frametype）、来自何处（fromstationno，站点编号，如果是服务器则为“0”）以及封装时间（datetime）。
（2） data部分这一部分是xml文件所要封装的数据内容，基本按字段格式排列即可。要注意数据类型转换的问题，任何数据都必须想方设法转换成字符串类型的表示形式。
4.3 xml文件控制
在实现了文件传输的基础上，对xml文件的封装、解析、接收和发送等操作使用多线程方式并行处理，并且引入队列（queue）的机制。监控中心的基本处理机制与流程如图4所示：
文件接收线程接收到xml文件后，先不管文件的具体内容，只负责将文件入队。然后由专门负责从队列中提取文件的线程将文件取出，由处理线程进行解析、处理，并将数据保存至数据库，同时还要生成确认应答的xml文件放如发送队列中。另外有专门负责发送文件的线程将文件发送出去。监控中心要往各站点发送的数据有一个独立的线程负责从数据库中读取相应数据封装成xml文件放入发送队列，等待发送。数据处理线程负责对数据库中的数据做进一步的业务处理，而系统监管线程主要的任务就是监视其它各个线程的状态，及时进行调整、修复或者发出报警，以保证系统正常运行。
站点的处理与监控中心的处理比较相似，但更为简单，因为监控中心面对多个站点，而站点只面对一个监控中心。
要保证监控中西文件处理的速度和系统运行的效率还要考虑以下几个问题：
（1）优先级
（2）区分文件是哪个站点发送来的或者要发送给哪个站点
（3）文件队列的管理
虽然xml文件的
部分有优先级和站点编号信息，但是需要解析xml文件才能得到，为此要把文件名定为“优先级_站点编号_流水号。xml”的格式，可在一定程度上方便处理的过程。另外，文件队列可能存在积压现象，即入队快而出队慢，并且会造成恶性循环使系统性能持续降低，针对这种情况制定一个限度，当队列中的文件数达到此限度，则停止入队，即把新生成的xml文件丢弃。
5 结语
利用上述方法解决了一个站点式远程监控系统的数据传输问题，使原本错综复杂地、多种格式数据相互收发控制变得逻辑简单、层次分明、实现方便、安全可靠、稳定高效。经实际应用和测试，该方法是完全可行的，效果很好。