城轨线网数据中心关键技术及指挥平台架构研究12、强唐忠诚

城轨线网数据标准背景概述城轨线网数据中心城轨线网指挥平台架构设计背景概述研究背景课题背景城轨线路规模的扩大、各类数据急剧增长、网络化运营已成现实数据标准化工作只做到部门级，在整个企业内没有形成数据的标准，同时缺乏标准的管理办法各个系统的数据存取方式存在异构现象，即各系统采用不同的数据库系统进行数据运营生产数据没有，不利于数据的的数据存取标准，使得这些信息无法得到综合利用，无法为企业的决策者提供全面的参考数据各系统的数据

于操作型数据库，这些数据的组织面向事务处理任务，且各个业务系统之间各自分离，导致难以实现数据的综合挖掘以及智能辅助决策支持背景概述研究背景城轨线路规模的扩大、各类数据急剧增长、网络化运营已成现实及指挥平台架构研究迫在眉睫城轨线网数据中心线网数据标准线网非结构数据

技术线网结构化数据接入技术线网非结构化数据接入技术线网数据库查询优化技术线网非结构化全文检索技术线网数据仓库线网数据挖掘技术线网指挥平台架构设计保证线网数据的可靠性、可用性、高性能和可扩展性城轨线网数据标准线网数据标准研究背景各线路自主建设，线性管理，形成“信息孤岛”线路之间存在数据异构，难以实现数据的交换与共享难以实现所有线路的协调调度、综合管理难以实现城轨数据更

次利用，不利于构建统计分析、决策支持等平台城轨线网数据标准线网数据标准城轨线网数据标准构建方案业务层标准化数据元层标准化技术层标准化城轨线网数据标准线网数据标准标准构建流程线网数据标准业务层标准化

城轨分析线网业务，确定功能需求

线网分析既有线路的数据点表等资料

，依据每条线路数据格式特点，

数建立城轨线路的数据元标准

据标数据元层标准化

准建立城轨线网的数据元的表示规则，规范城轨线网的数据元的属性对于抽象出来的每一种对象类，分别从编码、英文名称、属性三方面进行描述对于每一种属性分别从英文名称、数据类型、数据长度、取值范围、说

警值以及

等级等方面进行描述城轨线网数据标准线网数据标准数据元层标准示例（ACS专业）城轨线网数据标准线网数据标准技术层标准化制定城轨线网数据库

名规范，命名数据库建设过程中各设计阶段的数据对象根据线网需求以及线网数据元标准，对线网数据中心数据库进行概念设计、逻辑设计，规范数据库设计城轨线网数据线网数据标准命名规范数据对象名称采用

26个大写英文字母和数字0-9，加上“_”组成数据对象名称不能使用其他字符，不能以数字或下划线开头标数据库对象的名称由前缀和实体名称组成，长度不超过

30个字符，准前缀描述对象的类型，实体名称包含数据库标识等描述实体内容的信息，对象名称各组成部分使用“_”分隔城轨线网数据标准线网数据标准数据库对象命名数据对象类型命名格式数据表TB_数据库标识_表标识数据字段表标识_字段标识主键约束PK_主键表标识_主键字段标识外键约束FK_外键表标识_主键表标识_主键字段标识check约束CK_约束表标识_约束字段标识索引IN_索引表标识_索引字段标识视图VI_视图标识触发器TR_触发器标识函数FN_函数标识过程SP_

过程标识城轨线网数据标准线网数据标准概念设计（E-R图）城轨线网数据标准线网数据标准逻辑设计（数据库表）数据表中文名称数据表英文名称数据表简介设备类型TB_COCC_DEVICETYPE记录城轨线网的设备种类信息子系统TB_COCC_SUBSYSTEM记录城轨线网的子系统信息车站TB_COCC_STATION记录城轨线网的车站信息线路TB_COCC_LINE记录城轨线网的线路信息设备TB_COCC_DEVICE记录城轨线网中的所有设备信息设备属性种类TB_COCC_DEVICEPROPERTY记录城轨线网中的设备属性种类信息设备属性取值TB_COCC_DEVICEPROPERTYVALUE记录城轨线网中的所有设备属性的取值信息设备属性取值类型TB_COCC_DEVICEPROPERTYTYPE记录城轨线网中设备属性取值城轨线网数据标准线网数据标准数据表示例（设备类型表）通过对城轨数据标准进行研究，可以 数据规范、实现线路之间数据城轨数据提供的交换与共享、指导新线路的建设及为外部数据系统参考研究成果文档-线网指挥

标准专利-一种城轨线网数据标准的建立方法TB

COCC

DEVICETYPE：设备类型字段名字段解释数据类型DEVICETYPE

PK主键，唯一标识一种设备类型numberDT_SUBSYSTEM_FK外键，

自表TB_COCC_SUBSYSTEMnumberDT

NAME设备类型名称Varchar2(200)DT

DESCRIPTION设备类型描述textDT

CREATEDBY记录的创建者，用于审计Varchar2(200)DT_DATECREATED记录的创建时间，用于审计date(8)DT

MODIFIEDBY记录的最后修改者，用于审计Varchar2(200)DT

DATEMODIFIED记录的最后修改日期，用于审计date(8)城轨线网数据中心大文件的需求而设计的，不适非结构化数据

技术城轨线网小文件数据量急剧增长传统的分布式文件系统往往面向用于海量小文件的海量小文件

效率低下的原因：元数据管理低效I/O

流程复杂数据布局单一城轨线网数据中心非结构化数据

技术面向城轨线网海量小文件的

方法：将具有相关性的小文件合并成大文件进行聚合写操作结合FastDFS返回的大文件索引、小文件的起始偏移量和文件长度建立全局索引，利用Redis

小文件名和全局索引的键值对采用数据预取机制，预取创建时间相邻的数据城轨线网数据中心非结构化数据

技术城轨线网数据中心非结构化数据

技术小文件写流程：客户端将同一线路同一地铁系统同一天产生的小文件合并成大文件，并记录小文件在大文件的起始偏移量和文件长度客户端向

服务器询问可用的服务器向客户端返回一台可用的服务器服务器的IP地址和端客户端直接与

服务器建立连接，并向其写入大文件，写入完成后，服务器向客户端返回新生成的大文件索引客户端结合FastDFS返回的大文件索引、小文件的起始偏移量和文件长度建立全局索引，利用Redis

小文件名和全局索引的键值对城轨线网数据中心非结构化数据

技术小文件读流程：客户端根据小文件名在Redis数据库中获取小文件名对应的全局索引客户端从全局索引获取对应大文件的索引，向

服务器询问可以下载大文件的

服务器，参数为全局索引服务器向客户端返回一台可用的客户端直接与该

服务器建立连接，服务器的IP地址和端大文件客户端根据全局索引中的文件起始偏移量和文件长度从大文件中获取小文件城轨线网数据中心非结构化数据

技术分别向FastDFS系统和FastDFS-Redis系统文件大小为50KB、100KB、200KB、500KB和1MB的报表各10000个，其吞吐量对比图如下图所示，相较于FastDFS系统，FastDFS-Redis系统提高了4.47%的写吞吐量。02468101250K100K200K500K1MFastDFSFastDFS-Redis城轨线网数据中心非结构化数据

技术为模仿不同的

行为，分别对各类型的报表文件发出1000组随机读请求，其中每组包含10个顺序读请求，FastDFS系统和FastDFS-Redis系统的吞吐量对比图如下图所示，相较于FastDFS系统，FastDFS-Redis系统提高了15.49%的读吞吐量。43210587691050K100K200K500K1MFastDFSFastDFS-Redis城轨线网数据中心结构化数据接入技术线路数据背景目前线路数据独自

，而线网需要减轻COCC服务器的负担线网数据接入系统的三个主体部分中心OCC（Central

Operation

Control

Center，COCC）线路运营控制中心（Operation

Control

Center，OCC）接入系统ISCS、PSD和SIG等OCC子系统ISCSOCC接入服务器响应响应SIGPSD轮询

响应轮询

响应OCCCOCC城轨线网数据中心结构化数据接入技术系统架构接入系统通过一个中间的接入服务器开辟多线程与两端的COCC和ISCS进行通信ISCS服务器的任务：在ISCS服务器创建进程，与ISCS主进程交互，获取ISCS从各系统获得的实时数据。接入服务器的任务：ISCS上接入数据进程与接入服务器进程的数据传输。COCC服务器的任务：接入服务器进程与COCC进程的数据传输。服务器A-ISCSIISSCC共享SS内存接模入拟数进据程进程服务器B-接入服务器Modbus接入服务器进程服务器C-COCCCOCC主进程Modbus城轨线网数据中心结构化数据接入技术接入服务器进程通过四个线程、两个队列与ISCS的接入数据进程及COCC的模拟进程进行交互。结构化数据接入技术头部数据点数据点数据点结束符1字节1字节1字节1

字节1字节线路ID专业ID记录长度车站ID&

数据地址&数据类型&值记录长度车站ID&数据地址&数据类型&值……0城轨线网数据中心人机界面设计

，主要分为数据点显示区域和状态栏两部分：数据点显示区域显示数据点的接收时间、专业、线路、车站、地址、数据类型和值等信息；状态栏用于显示

运行状态。城轨线网数据中心非结构化数据接入技术线网非数据接入系统涉及三个主体部分：线网分布式文件

系统FastDFS线网接入服务器线路控制中心的接入客户端FastDFS接入服务器接入客户端……上传响应请求接入客户端城轨线网数据中心非结构化数据接入技术接入服务器模块：接入服务器与接入客户端的通信模块系统的通信模块接入服务器与线网分布式文件定期删除文件模块系统冗余模块城轨线网数据中心非结构化数据接入技术接入客户端接入服务器文件元数据主线程发送消息线程文件数据发送报文输入封装成请求报文封装成数据报文接收消息线程写文件数据打开文件文件元数据文件数据主线程事件分发事件分发上传响应上传请求上传数据接入服务器与接入客户端的通信流程如下图所示：城轨线网数据中心非结构化数据接入技术主接入服务器备接入服务器心跳心跳自动切换成主接入服务器serverclient无接收心跳包异常有定时发送心跳包接入服务器的系统冗余运行流程如下图所示：城轨线网数据中心非结构化数据接入技术主接入服务器故障时接入客户端向备接入服务器建立连接流程如下图所示：建立连接发出请求发出请求发出请求接入客户端主接入服务器建立连接发起请求备接入服务器响应上传数据城轨线网数据中心数据库查询优化技术背景及现状线网规模持续扩大，运营数据量不断增长，线网级数据库

查询响应时间过长、占用系统资源过多等问题例如：ISCSPSCADA操作记录报表关键字：

BINED，9377万

，6min在城轨领域数据库的建设中，查询优化技术未受到足够重视没有针对查询特点作优化，系统级优化（操作系统参数调整、过程）效果有限技术的运用带有盲目性，如

索引技术城轨线网数据中心数据库查询优化技术数据特点历史数据保存时间长随着时间的迁移，历史数据不断累积，查询优化策略应具有一定的可扩展性，使得查询响应时间不会随着时间迁移而发生显著变化数据具有层次性数据汇聚：车站->线路->线网，可以按所属线路、车站等进行归类划分城轨线网数据中心数据库查询优化技术查询特点浏览查询查询语句简单、仅含SPJ操作、条件查询，如各线路车站ISCSPSCADA操作记录报表简单统计查询查询语句相对简单、涉及字段数少，查询的执行有一定的周期性,查询语句包COUNT操作，如各线路车站

数量分布报表复杂统计查询查询语句复杂，查询的执行有一定的周期性，可能包含多个涉及表连接的子查询，如各线路供电报表城轨线网数据中心数据库查询优化技术优化策略分而治之表分区以空间换时间索引物化视图城轨线网数据中心数据库查询优化技术实现方案浏览查询分区：按月份分区，并按线路建立子分区索引：按查询条件建立分区局部索引，利用索引快速定位目标记录PARTITION

BY

RANGE(createdatetime) /*时间字段*/INTERVAL(NUMTOYMINTERVAL(1,'MONTH'))/*按月份分区*/SUBPARTITION

BY

LIST(line_key)

/*按线路建立子分区*/SUBPARTITION

TEMPLATE(/*1号线子分区*//*2号线子分区*/SUBPARTITION

line_1

VALUES(1

),SUBPARTITION

line_2

VALUES(

2

),……)(

PARTITION

p_201401

VALUES

LESS

THAN

(

TO_DATE(

'2014-02-01','yyyy-mm-dd'

)

)

)按月份和线路分区城轨线网数据中心数据库查询优化技术简单统计查询分区：按月份和线路分区（同上）索引：对主表中查询涉及的所有字段建立分区索引，直接使用索引完成查询/*虽然已经按线路分区，但是局部索引里还是要包含line_key字段，否则查询不会走索引*/CREATE

INDEX

idx_alarm_tllON

alarm(transactivetime,line_key,location_key)LOCAL车站

数量分布报表索引建立城轨线网数据中心数据库查询优化技术复杂统计查询分区：按月份和线路分区（同上）物化视图：计算并

子查询中的表连接结果，并在闲时定时刷新，利用物化视图结果实现查询，减少了连接操作CREATE

MATERIALIZED

VIEW

mv_power_dayREFRESH

FAST

/*快速增量刷新*/START

WITH

TRUNC(sysdate)+23.5/24

/*每天23:30刷新*/NEXT

TRUNC(sysdate)+47.5/24……ASSELECT r.entity_key

entity_key,r.line_key,

TRUNC(lg.createtime)

day,lg.value

total_value,r.rowid

r_rowid,lg.rowid

lg_rowidFROM r

,lgWHERE

r.entity_key

=lg.entity_keyAND r.line_key

=

lg.line_keyAND EXTRACT(

HOUR

FROM

CAST(lg.createtime

AS

TIMESTAMP

)

)

=

23供电报表-计算日累计耗电量物化视图建立城轨线网数据中心数据库查询优化技术优化效果序号查询类型实例涉及表最大表记优化前优化后加

速个数录数（秒）（秒）比1浏览查询各线路车站ISCSPSCADA

操作记录报表493771203360/3604.8/14.7575/24.42简单统计各线路车站

数33310678361.2528.8查询量分布月报表3复杂统计各线路供电日报表3907170526.6250.65640.6查询优化前后查询时间比较实验结果表明，使用本

优化策略进行优化设计后，三类查询的响应时间均大幅减少，因此，本研究对线网数据库的优化设计有一定的参考意义和应用价值。研究成果-面向城轨线网的海量数据查询优化策略研究城轨线网数据中心非结构化数据检索技术背景随着城轨线网规模的扩大，日常运营产生的文档等非结构化数据也急剧增长不是问题，但只有搜索，才能从数据中找到有用的信息城轨线网数据中心非结构化数据检索技术全文检索现状城轨线网数据中心非结构化数据检索技术传统数据库优点产品数据众多，可选择余地很大。具有大量相关的开发

，易于开发具有丰富的相关资料但…尽管可以达到功能上要求，关系数据库并不是为全文搜索准备的。由于关系数据库必须保证完备性，而这是以降低检索效率为代价的，数据量大时，少量的并发就需要消耗完系统的资源。并且可扩性差。城轨线网数据中心非结构化数据检索技术以Sphinx为代表的全文搜索引擎为全文搜索目的设计的倒排索引格式多种方式的接口高性能，支持分布式搜索多数据源支持城轨线网数据中心非结构化数据检索技术全文检索系统结构图web模块将用户的查询请求转发给检索模块，检索模块在已经建立好的索引上进行查询，并将相应的查询结果通过接口返回给web。城轨线网数据中心非结构化数据检索技术索引工作流程首先分析源数据的格式，若是txt等纯文本文档，则直接读入，如果是pdf等有特殊格式的文档，则调用相应的函数进行解析，再读入。然后为每个文档分配一个ID，把读入内存的文档进行中文分词，按照事先设置好的格式将文件ID、词汇、以及文件属性保存至倒排文件中。城轨线网数据中心非结构化数据检索技术检索于系统中的非结构化数据，通过页面通过关键字来检索显示或研究成果-基于城轨线网的全文检索系统的设计与实现著作权-城轨线网非结构化数据全文检索系统城轨线网数据中心线网数据仓库产品调研Teradata系列产品Teradata数据仓库主要运行在NCR

WorldMark

SMP硬件的Unix操作系统平台上，通过Teradata与NCR硬件平

量并行处理服务器结合，以及采用特有BYNET协议和查询优化等技术来保证效率，并且

teradata除了提供较为强大的数据仓库平台之外，也有针对不 业的数据模型，在金融、电线等众多行业有着部署数据仓库的最佳实践。小型数据集市极大容量数据仓库企业级数据仓库极高性能主机企业级动态数据仓库目标定位应用数据集市应用开发环境巨量数据的存储与分析企业级数据仓库性能实时分析平台企业级数据仓库EDW动态数据仓库ADW可扩展能力（节点数量1节点1024节点45节点24节点4096节点可扩展能力(驱动数据量)7TB50PB275TB24TB86PB适用于部门级、地市级分析平台，入门级数据仓库分析型备份环境，超长历史周期数据分析性商务智能，决策支持，快速扫描操作型商务智能，较少数据量，超高性能动态混合负载管理，实时数据更新，同时满足战术性和性相应时间要求城轨线网数据中心线网数据仓库产品调研Teradata系统整体结构图物理上Teradata系统主要包括三个组成部分：处理节点（Node）、用介质（通常是于节点间通信的

高速互联网络（BYNET）和数据磁盘阵列）。各个节点都是SMP结构的单机。研究成果文档-数据仓库产品调研文档城轨线网数据中心数据挖掘技术-客流客流

情况进程不断加快，城轨线路持续增加，客流剧增拥挤、平峰浪费的运营问题十分突出线网包含多条线路，站点间关系复杂已有的短期客流

方法大部分基于单一车站的客流，忽略网络化运营情况下线网车站的相互影响作用300025002000150010005000第八周周日0:8第八周周日8:25第八周周日16:42第九周周一0:59第九周周一9:16第九周周一17:33第九周周二1:50第九周周二10:7第九周周二18:24第九周周三2:41第九周周三10:58第九周周三19:15第九周周四3:32第九周周四11:49第九周周四20:6第九周周五4:23第九周周五12:40第九周周五20:57第九周周六5:14第九周周六13:31第九周周六21:48第九周周日6:5第九周周日14:22第九周周日22:39第十周周一6:56第十周周一15:13第十周周一23:30第十周周二7:47第十周周二16:4第十周周三0:21第十周周三8:38第十周周三16:54第十周周四1:11客流量/人次三元里站15分钟入站客流三元里站15分钟出站客流时间段（时间粒度：15分钟）三元里客流示意图城轨线网数据中心数据挖掘技术-客流时间及空间相关性分析城轨车站客流的时间及空间相关程度并从中寻找对

车站的客流量影响较大的车站历史数据及其它相关车站的时空数据，而Elman神经网络结合客流时序变化的特点，适用于时序变化的

问题。开始Elman网络输入并进行训练生成

模型输出

结果确定

时段结束计算误差确定

模型输入向量阶段构建训练向量客流数据的处理空间相关性分析时间相关性分析相关性分析阶段

训练阶段城轨线网数据中心数据挖掘技术-客流时间相关性空间相关性0500100015002000250003000客流量/人次（当前时间段）1000

2000客流量/人次（上周同一时间段）0500100015002000250030000客流量/人次（当前时间段）1000

2000

3000客流量/人次（前一时间段）050010001500200030002500050015002000中大站客流量/人次1000三元里客流量/人次城轨线网数据中心数据挖掘技术-客流站间相关性0.50.40.30.60.70.80.91中大站会江站

公园前

凤凰新村南洲站

南浦站

嘉禾站

宝岗大道客村站

市二宫

广州南

新港东站昌岗晓岗站江南西站江夏站

江泰路站沙园站

洛溪站海珠广场站火车站琶洲站

白云公园白云文化广场石壁站磨碟沙

纪念堂站萧岗站赤岗越秀公园站飞翔鹭江站黄边相关度车站城轨线网数据中心数据挖掘技术-客流三元里客流量相关关系出站客流量相关性前二时间段0.9300前一时间段0.9757上周前一时间段0.9679上周同一时间段0.9773上周后一时间段0.9547三元里客流量相关关系出站客流量相关性前二时间段0.9300前一时间段0.9757上周前一时间段0.9679上周同一时间段0.9773上周后一时间段0.9547越秀公园前二时间段0.9577中大前二时间段0.9396火车站前一时间段0.9153时间相关性时空相关性城轨线网数据中心数据挖掘技术-客流时间相关性时空相关性实验结果MSE均方误差仅考虑时间相关性的Elman神经网络 结果1.3746*104考虑时空相关性的Elman神经网络 结果1.0963*104采用时空相关性的Elman神经网络进行车站出站短时客流时，

结果更为准确，输出能反映车站客流的全日运营时段的特性；客流量的均方误差相对于仅考虑时间相关性的方法降低了21%。城轨线网数据中心数据挖掘技术-客流采用本文对应日期的客流量。例如，根据给定的第九周周三的三元里、中大、越秀公园、广州火车站客流，得到第十周周三的三元里的出站客流如上图所示。研究成果-城轨线网客流时空相关性研究一天客流

结果方法，分析车站间的相关关系，可 下一周城轨线网指挥平台架构设计城轨线网指挥平台架构设计整体架构（包括各系统的功能、架构和设备选型）：包括接入系统、数据处理平台、CCTV系统、大屏幕系统、线网行车管理系统、线网电能调度管理系统、线网机电设备综合调度管理系统、线网客流引

导与信息发布平台、GIS系统、OA系统、KVM切换器、

调度系统、数据仓库、全文检索系统、异地容灾中心、培训系统、测试系

统、参观演示室、应急指挥室、

系统、消