智慧城市交通行业大数据平台

1、智慧城市交通行业大数据平台技术创新 变革未来2城市交通大数据技术应用与发展09年开始建设交通行 业数据中心，2014启 动大数据基础设施建 设基础设施可视化数据应用3基础平台Step1（十一五）Step2（十二五）Step3（十三五）数据采集和存储数据管理与应用平台化数据服务09年北京探索建设交通行业数 据中心，实现从无到有突破以关系型数据库为主数据接入与共享梳理信息资源元数据标准形成初步资源管理平台升级行业数据中心为交通行业大数据 中心大数据存储与计算智能动态监测与管理规范化管理体系（ISO20000）初步的数据服务和定制服务全面打造开放数据服务平台，数 据开放共享不再以“搬家式”为 主，更

2、强调以服务的形式数据服务开放平台定制可视化平台3 . 信息服务资源平台4交通行业大数据中心建设交通行业大数据中心高技术、强管理、重服务！以接入、管理和应用大数据为主；存储方式更多样化；处理和存储能力达到较高水平；更强调数据应用与服务；数据中心发展的目标以技术和管理为基础，以服务为核心！5基础平台服务创新资源目录定制化服务大数据处理平台信息服务资源发布管理创新可视化管理与监测全流程规范化管理技术创新集约化大数据中心整体框架、分布式数据存储与处理平台6基础平台-技术创新结合主流技术架构打造交通行业大数据中心框架，构建大数据存储、大数据计算、共享交换、应用服务和管理支撑五大平台。截止目前共接入业务系

3、统41个，数据量40T， 处理速度可达3.3亿条/5分钟，日接入量26G。7虚拟化平台对前置器、中间库、处理服务器进行 虚拟化管理提高服 务器利用率和管理精细化水平；SAN存储网络安全管理域VCENTER互联网域集群4 ESXI主机559G 内存100GHz CPU外部应用域集群4 ESXI主机575G 内存165GHz CPU外部数据域集群3 ESXI主机487G 内存108GHz CPU共享交换域集群2 ESXI主机127G 内存50GHz CPU内部应用域集群5 ESXI主机319G 内存159GHz CPU内部数据域集群3 ESXI主机 190G 内存 95GHz CPU8数据存储EM

4、C-1（高速）6THDS（高速）25TEMC-2（低速）50T磁带库交互区存储0-1年数据整合区存储0-3年数据近线区存储3-10年数据归档区存储大于10年数据存 储 池业务库历史库备份库数据生命周期创新数据存贮管理技术应 用，一是历史库与业务库二元 模式，对存储进行合理划分和 功能定位；二是，实现数据的 分级及周期管理，实现存储介 质的池化管理，最大化利用空 间资源；三是实现对关系数据 库数据和文件数据的统筹管理，根据数据应用特点选择合理的存储方式。9技术创新之分布式处理平台分布式处理技术创新，基于 开源平台在数据 安全、故障恢复、性能优化、中 间件和工具、平 台化服务。10管理创新之可视化

5、监测管理11管理创新之规范化全流程管理线下审批流程与运维考核建立规范化流程,每年完成批办50余项，形成巡检报 告300余篇，平均处理故障125个！并于2014年4月通 过获得ISO20000认证，同年12月规范化管理软件平台 投入试运行，实现线上线下全流程管理。线上规范化流程12基础平台-服务创新结构定制权限发布资源识别智能检索配置向导信息展示数据报表定制分析图表定制在线分析定制科学数据下载服务页面定制发布权限定制业务规则定制大数据综合查询流程实例介绍API二次开发数据处理集群环境管理信息服务管理权限配置服务发布AK 密钥申请API 样例说明SDK 下载定制化服务大数据开放平台数据资源目录信息

6、服务发布13城市交通大数据技术应用与发展围绕交通监测与 信息服务，致力 于大数据处理与 应用技术研究基础设施可视化数据应用14处理应用案例分享-出租车出租行业数据计算主要涉及GPS数据、交易数据、司机合同数据、审批数据、电召数据等，总数据 量1.11.2亿条/天，存储量约17-20G/天。这些数据主要用于计算运营指标（50余项字段）、设备 完好率、小时出车率、重点区域小时出车数量、电召日均订单数量等，主要服务于行业考核、监管 与监测。计算能力得到提升：计算33亿条出租车数据，计算耗时由原来20小时缩短到20分钟，提高 60倍。15处理应用案例分享地面公交地面公交数据与地理信息数据在线匹配 实时

7、计算公交 走廊运行速度、预测公交到站时间和预测公交客流分布；基于稳态理论的信号交叉口均衡延误模型、速度缺失 路段填补算法，实现对每个路口、路段的预测预报，提 高信息的准确度。16处理应用-移动信令技术研究基于移动终端定位数据的居民出行调查方法，处理每日数据总量100G的移动信令 数据。完成居民出行OD、出行时空分布分析，实现居民出行行为的自动、及时、准 确获取，为交通政策制定、交通规划、设计和管理等提供数据支持和决策依据。17城市交通大数据技术应用与发展依托交通行业大数据中心，打造交通映像平台，让数据会说话基础设施可视化数据应用18数据可视化将大数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息 的处理过程。直观化：直观形象地呈现数据关联化：挖掘、突出呈现数据之间的关联 艺术化 : 增强数据呈现的艺术效果交互性：实现用户与数据的交互，增强用户对数据的控制19数据可视化D3.JS+R语言+Google Charts+ProcessingOD分布图公交路网路况轨道换乘图轨道客流分布出租汽车热点图在数据空间中描绘城市交通出租数据+地铁客流分布数据+地面公交分布数据+手机信令与