智能互联服务器软件的开发与研究

1、    智能互联服务器软件的开发与研究    王京陈 伟利 陈亮【摘要】本文选择在hadoop平台mapreduce计算框架搭建服务器平台框架，并根据数据类型的不同分别进行mysql数据库mongodb数据库的设计和搭建，采用异步非阻塞通信的方式把通过gps和rfid技术采集的数据，传输至信息管理系统进行数据分析处理和计算，进而在数据服务器软件发布信息提供实时定位等信息满足市民出行。【关键词】hadoop平台mapreduce计算框架 mysq1数据库设计mongodb数据库设计 rfid技术0引言发展公共交通是改善城市交通的重要方面，公交车存在的到站不

2、准时、坐车拥挤等问题严重制约了公共交通系统的发展，如何通过智能公交系统来提高乘客的满意度是急需解决的问题。为了方便市民的出行，我们打算研究一款智能互联的公交助手类软件，通过车辆前端采集的数据，经过无线网络传输，在hadoop平台处理，提供给大众公交系统信息化和智能化的服务。1系统设计的总体需求（1）提供给市民：精准告知公交车线路和具体位置;预计达到时间;客流量监测;到站信息、实时更新路况信息;发布实时道路交通状况和市政施工信息。（2）提供给政府：通过动态监控、实时调度，掌握车辆位置信息，对公交公司可以进行有效的行业监管;和其他智能系统配合，能够调用更多的交通信息为城市居民提供出行支持;危险时候

3、方便进行应急指挥。（3）提供给公交公司：通过交通路況信息、客流量时空分布，对市民交通出行进行分析，进而对车辆动态调度，实现车辆、人力、站场等生产资源最优配置，提高运营调度管理水平，并降低运营调度管理成本。2系统设计信息管理系统作为基础数据的管理平台，对人、车、线路、站台等数据进行存储和维护;对车辆终端gps和rfid采集的数据进行处理，获取车辆的实时信息，方便公交公司对车辆进行实时定位;并将定位数据其转化成发布信息，发布在数据服务器软件上;公交公司可以根据数据库提供的车辆载客量来调动车辆，实现车辆的动态调度，满足市民的出行要求。数据流图如下所示：3 hadoop平台的选择hadoop是由goo

4、gle公司研发的针对大规模数据处理的分布式平台，实现在大量通用计算机组成的集群中对海量数据进行分布式计算，花费相对廉价的成本就可以构建一个稳定、简单、强大、高效的分布式集群计算系统。mapreduce计算框架是hadoop生态中最为重要的一个组件，该模型的核心理念就是“map”映射“reduce”归约，用户在客户端编程时需要指定一个map函数，用来将.一组键值对映射到一组新的键值对，另外需要指定一个并发的reduce函数，用来将所有具有相同中间key值的中间value进行合并。mapreduce相当于一种主从架构，由一个jobtracker和若干个tasktracker组成，其中jobtrac

5、ker作为master节点负责作业的整体调度，用于接收输入的数据并根据数据集的实际大小进行分片，然后选择tasktracker并向其发送分片后的数据块，由tasktracker执行具体的分解操作，执行完成之后将中间结果存储到本地磁盘中并将运行结果和存储位置.上报给j0htracker，由jobtracker选择下一步执行reduce任务的节点，进行最后的归并操作。mapreduce计算框架符合我们预期的应用，最终我们选择在hadoop平台mapreduce计算框架上搭建系统框架并进行开发与研究，然后选择数据库类型进行数据存储，4数据库选型及其优势4.1关系型数据库的应用关系型数据库是利用二维表

6、格存储数据，并且利用各表格之间的关系形成复杂的数据关系，这样更便于们理解;而且关系型数据库方便使用，可以常用的sql语言进行操作，便于维护，具备丰富的完整性，大大减低了数据冗余和数据不一致的概率，信息管理系统中基础信息类数据包括车辆基本信息、行驶路线信息、终端情况、司机信息等。这类数据一般数据量较小而且使用不是很频繁，但各信息间的关系密切，主要用来给调度服务器查询使用，对于这类信息，我们将采用关系型数据mysql来存储。4.2非关系型数据库的应用mongodb默认存储引擎是内存映射方式工作的，当数据库启动的时候会将数据和索引映射到内存中，这样使得操作数据时是直接的内存读写而非磁盘读写，大大加快

7、了访问速度，当然这也导致了数据库占用内存较高，对机器资源要求高的问题，好在mongodb对于分布式扩展的支持非常成熟且高效，可以通过增加廉价的商用服务器构建集群的方式使用。根据智能公交信息管理系统的需求分析可知，系统运行过程中，一般的关系型数据库比较难满足，mongodb凭借快速、灵活、支持海量数据存储等特点。实时数据包括车辆位置信息、车辆的速度信息、车内载客量等，对环境数据更新频率很快、数据量大，每隔一一两秒（可配置）就会向服务器发送一一次，对于这类数据，本软件将利用非关系型数据库mongodb来进行存储。根据感知数据的结构，在mysq1数据库建立用户信息表，记录用户登陆的相关信息，并在mo

8、ngodb建立数据表中记录公交车线路号、位置信息、实时路况信息等数据。在数据库存储的数据进入hadoop平台进行数据处理，进而实现系统的功能。5数据采集选择当公交车进站时，车载前端模块中rfid阅读器与公交站牌rfid电子标签建立连接，读取站牌rfid标签信息;当公交车处在未进站的路段上时，用gps进行实时定位，若车辆在路段上发生故障或拥堵时间超过时间时候，采用路段rfid技术进行修正。因为异步非阻塞通信的工作方式采用轮询的机制，同时在执行事件的时候都采用非阻塞的方式进行，很少发生阻塞，所以我们在若干种网络通信方式中决定采用异步非阻塞通信技术来设计实现系统的数据采集模块，快速的传输到mongo

9、db数据库中，并且通过在公交路网设置的rfid标签，提取公交车存储在rfid标签内在线路的历史运行数据，传送到服务器进行计算，预测公交到站时间。6数据库的搭建6.1mysq1数据库的搭建选用mysq1数据库存储历史数据，命名数据库名称为busrecords，存储到对应的集合，存储的信息包括车辆服务的线路号、服务的时间、车辆经过的站点。6.2mongodb的搭建选用mongodb存储实时更新的公交信息。使用mongodb时先创建一个数据库，服务器软件以busrecords_realtime命名，接着在busrecords_realtime数据库中创建以bus_cohections命名的集合，然后就可以在bus_collections集合中插入、修改和读取文档（document），把实时的路况信息和公交车具体位置、预计达到时间、客流量监测、到站信