城轨线网数据中心关键技术及指挥平台架构研究-最终版

城轨线网数据中心关键技术及指挥平台架构研究华南理工大学城轨线网数据标准背景概述城轨线网数据中心城轨线网指挥平台架构设计背景概述研究背景城轨线路规模的扩大各类数据急剧增长网络化运营已成现实城轨线网数据中心关键技术及指挥平台架构研究迫在眉睫线网数据标准线网数据存储线网数据查询优化线网数据仓库线网数据挖掘线网指挥平台架构设计保证线网数据的可靠性、可用性、高性能和可扩展性背景概述项目需求调研分析线网的数据类型建立自动采集和人工录入数据的数据标准怎么存，怎么取，怎么搜索，查询的优化，数据如何对第三方开放，开放性的数据库接口提供开放的数据存取标准，以供持续性发展和二次开发甲方报表的需求，二次开发主要可能得到哪些数据（比如客流（基于时间段（15分钟、天）、整个线路、每个站的进出、线路间的趋势对比）、能耗（牵引电能和机电设备所需电能、站与站之间的对比、线与线之间的对比）的多角度分析）获取甲方足够多的报表，分析归纳甲方的数据需求，从而为建立数据仓库模型奠定基础挖掘与既有的数据库与数据仓库的厂家进行交流通过甲方，与相关数据仓库探讨会议厂家提供数据库或数据仓库平台供开发研究PPT对应的文档，写出分阶段的任务和日程表要求：建立数据标准时，需每周有半天与甲方进行数据点表的探讨；每周汇报工作进展和汇报甲方需解决的疑问背景概述当前提交文档PPT对应的文档，写出分阶段的任务和日程表要求：建立数据标准时，需每周有半天与甲方进行数据点表的探讨；每周汇报工作进展和汇报甲方需解决的疑问文档PPT对应的文档日程表（包括各阶段的任务和甲方提供的书面文件和工作条件）人员安排表城轨线网数据标准城轨线网数据标准研究8条线路11个专业的数据点表和数据库表（甲方提供数据点表和数据库表？）研究同一个专业数据点表的字段的异同部分统一同一个专业数据点表的格式标准研究各种非结构化文件的存取标准建立城轨线网运营管理系统的数据模型、数据标准研究方法：甲方提供TCC的接口规范（主要是系统自动采集的数据）作为参考，与设计院及运营部门确认其他需要录入数据（主要是人工录入的数据，表单、文件、视频？等）的类型，并提供样本（运营的线网日报、运营的设备管理系统）；联系数据仓库厂家，进行探讨TCC的接口规范运营的线网日报运营的设备管理系统（报告？）提交成果：1套数据标准文档城轨线网数据中心数据存储技术数据同步技术数据库存储架构数据库表（结合数据标准和查询优化需求而确定）数据库设计方案数据容灾备份方案？数据库数据安全？提交成果：1份数据存储或同步技术软件著作权、1篇论文城轨线网数据中心数据库查询优化技术针对不同的查询需求，提出相应的查询优化方法。我们的查询优化可能会采用：合理使用索引避免或简化排序消除对大型表行数据的顺序存取使用临时表加速查询提交成果：1份软件著作权、1篇论文城轨线网数据中心数据仓库建设方案比较现有数据仓库产品划分主题域建立数据仓库模型提出线网数据仓库建设方案提交成果：1份建设方案文档、1篇论文业务建模划分主题域概念建模逻辑建模物理建模选择仓库产品城轨线网数据中心数据挖掘技术（根据线网运营日报）根据需求构建数据集市实现列车正点率、兑现率行车指标考核线路电能管理（各条线路的耗能，跟客流的对比分析）

实现对各线路影响运营服务的关键机电设备的重要指标进行考核进行线网、线路、换乘站的客流趋势分析和线网客流OD分析提交成果：1份软件著作权、1篇论文城轨线网数据中心结构化数据接入技术线网数据接入系统涉及三个主体部分：线网指挥平台（TrafficControlCenter，TCC）线路运营控制中心（OperationControlCenter，OCC）接入系统ISCS、PSD和SIG等OCC子系统城轨线网数据中心结构化数据接入技术接入系统通过一个中间的接入服务器开辟多线程与两端的TCC和ISCS进行通信。ISCS服务器主要完成以下任务：在ISCS服务器创建进程，与ISCS主进程交互，获取ISCS从各系统获得的实时数据。接入服务器主要完成以下任务：ISCS上接入数据进程与接入服务器进程的数据传输。TCC服务器主要完成以下任务：接入服务器进程与TCC进程的数据传输。城轨线网数据中心结构化数据接入技术接入服务器进程通过四个线程、两个队列与ISCS的接入数据进程及TCC的模拟进程进行交互。城轨线网数据中心结构化数据接入技术头部数据点数据点数据点结束符1字节1字节1字节1字节1字节线路ID专业ID记录长度车站ID&数据地址&数据类型&值记录长度车站ID&数据地址&数据类型&值……0人机界面设计如图所示，主要分为数据点显示区域和状态栏两部分：数据点显示区域显示数据点的接收时间、专业、线路、车站、地址、数据类型和值等信息；状态栏用于显示软件运行状态。

城轨线网数据中心数据挖掘技术-客流预测城市化进程不断加快，城轨线路持续增加，客流剧增高峰拥挤、平峰浪费的运营问题十分突出线网包含多条线路，站点间关系复杂已有的短期客流预测方法大部分基于单一车站的客流，忽略网络化运营情况下线网车站的相互影响作用城轨线网数据中心数据挖掘技术-客流预测时间相关性空间相关性城轨线网数据中心数据挖掘技术-客流预测站间相关性城轨线网数据中心数据挖掘技术-客流预测开始Elman网络输入并进行训练生成预测模型输出预测结果确定预测时段结束计算相对误差确定预测模型输入向量预测阶段构建训练向量相关性分析阶段客流数据的处理空间相关性分析时间相关性分析训练阶段时间及空间相关性分析城轨车站客流的时间及空间相关程度并从中寻找对预测车站的客流量影响较大的车站历史数据及其它相关车站的时空数据，而Elman神经网络结合客流时序变化的特点，适用于时序变化的预测问题。城轨线网数据中心数据挖掘技术-客流预测三元里客流量相关关系出站客流量相关性前二时间段0.9300前一时间段0.9757上周前一时间段0.9679上周同一时间段0.9773上周后一时间段0.9547三元里客流量相关关系出站客流量相关性前二时间段0.9300前一时间段0.9757上周前一时间段0.9679上周同一时间段0.9773上周后一时间段0.9547越秀公园前二时间段0.9577中大前二时间段0.9396火车站前一时间段0.9153时间相关性预测时空相关性预测城轨线网数据中心数据挖掘技术-客流预测时间相关性预测时空相关性预测城轨线网数据中心数据挖掘技术实验结果MSE均方误差仅考虑时间相关性的Elman神经网络预测结果1.4164*104考虑时空相关性的Elman神经网络预测结果1.0595*104采用时空相关性的Elman神经网络进行车站出站短时客流预测时，预测结果更为准确，同时预测结果的绝对误差小于仅考虑时间相关性的预测结果；预测输出能反映车站客流的全日运营时段的特性；预测客流量的均方误差相对于仅考虑时间相关性的方法降低了30%。时间相关性预测绝对误差时空相关性预测绝对误差城轨线网指挥平台架构设计城轨线网指挥平台架构设计研究线网指挥平台的系统架构，包括各子系统的功能、软件架构以及各子系统之间的关系研究线网指挥平台的硬件架构，包括各子系统的应用服务器、历史服务器、前端服务器、大型交换机以及工作站的选型与网络连接方式研究各线路不同专业与指挥平台之间的接入方式(有无ISCS)提交成果：1份线网指挥平台架构设计方案文档提前研究，结合具体的招标方案，做出文档城轨线网指挥平台架构设计城轨线网指挥平台架构设计研究线网指挥平台的系统架构，包括各子系统的功能、软件架构以及各子系统之间的关系研究线网指挥平台的硬件架构，包括各子系统的应用服务器、历史服务器、前端服务器、大型交换机以及工作站的选型与网络连接方式研究各线路不同专业与指挥平台之间的接入方式(有无ISCS)提交成果：1份线网指挥平台架构设计方案文档提前研究，结合具体的招标方案，做出文档城轨线网数据中心非结构化数据检索技术

随着城轨线网规模的扩大，日常运营产生的文档等非结构化数据也急剧增长搜索！存储不是问题，但只有搜索，才能从数据中找到有用的信息只要提供信息服务，就注定需要有提供对信息检索的方法城轨线网数据中心非结构化数据检索技术哪些选择？城轨线网数据中心非结构化数据检索技术传统关系数据库？产品数据众多，可选择余地很大。具有大量相关的开发人员，易于开发具有丰富的相关资料传统数据库具有众多优点：但…尽管可以达到功能上要求，关系数据库并不是为全文搜索准备的。由于关系数据库必须保证完备性，而这是以降低检索效率为代价的，数据量大时，少量的并发就需要消耗完系统的资源。并且可扩性差。城轨线网数据中心非结构化数据检索技术基于搜索引擎为全文搜索目的设计的倒排索引格式多种方式的接口高性能，支持分布式搜索多数据源支持以Sphinx为代表的全文搜索引擎：城轨线网数据中心非结构化数据检索技术全文检索系统结构图：Web模块将用户的查询请求转发给检索模块，检索模块在已经建立好的索引上进行查询，