智慧高速公路大数据整体规划建设解决方案 ()

1、智慧高速公路大数据建设与应用解决方案CONTENT1走进大数据时代2高速公路大数据应用浅析3大数据平台、架构与实现走进大数据时代交通运输运输线路优化交通信息服务数字媒休互联网广告用户标签零售业O2O营销客流与商圈选址医疗与保健病历分析疾病监测政府政务网上办事大厅政务热线地产中介社区O2O运营客户画像电信运营商内部营销决策对外拓展互联网企业开放平台应用产品银行业精准营销风险管控教育在线教育教育应用电信政务商业工业重点行业大数据应用生命周期数据源（管理、交易、事务、传感、监控、文件）数据获取和治理大数据存储大数据分析计算处理大数据可视化数据驱动决策数据提供服务大数据生态湖泊数据信息知识数据运维数据

2、之源数据生产区（原始数据）结构化数据文本文件多媒体数据描述类数据信息发现区知识发现区知识挖掘区知识展现区知识交互区基于大数据的应用体系ODS数据魔方多维数据关联主数据数据台账关键索引大数据挖掘行业规则大数据可视化数据多维报表大数据操纵数据APIS大数据检索机构内部数据社会数据互联网数据数据安全数据审计数据标准元数据管理主数据管理数据质量管理数据治理流程元数据大数据关联大数据分析大数据预测信息数据知识应用大数据，不再是传统的BI竞争优势数据可视化样本数据关联关系多维分析统计报表全体数据趋势预测全体数据代替样本数据 一般是基于KPI指标等的分析，无法有效支撑决策提供传统的统计分析功能，提供报表等传

3、统基于小数据量的数据分析，样本数据注重关联关系而非因果关系数据可视化变得尤为重要大数据的重点是关联关系与趋势预测大数据分析助力提升行业综合数据应用能力大数据关注点 传统数据分析局限数据获取因子分析算法训练数据呈现行业大数据应用面对的挑战硬件无法跟进数据规模的指数级增长过于分散和原始成为大数据应用的障碍复杂数据算法与业务模型衔接诸多大数据并行计算架构的选择大数据应用实现路径：从哪里开始？专业人才匮乏CONTENT1走进大数据时代2高速公路大数据应用浅析3大数据平台、架构与实现4成都四方伟业公司简介交通构成的要素人车路交通的参与者（驾驶员、行人、乘客、居民）出行OD、停留时间、人口分布、交通工具、

4、异地通勤、交通负荷、事件分析、政策评估道路交通的主要载体物流车辆管理、车载终端（前后装）、行车路线规划、行车轨迹分析交通的重要组成部分交通路况、路况预测、物流园区周边路况负荷评估区域间客流量交通分析区域间OD客流量。人口分布以热图方式实时展现区/市/省范围内人口空间分布，常住人口，流动人口分析出行分析出行次数、距离、时长及时刻分布及平均数多路径分析多分支路径交通流量占比分析通勤分析职住地分析，通勤特征分析，通勤次数，期望线等客流来源去向某个交通分析区域客流的来源、去向，出行方式高速公路大数据的主要特征数据资产=高速公路行业所有业务数据+信息化搜集手段技术手段=互联网技术+数据分析模型+数据可视

5、化技术分析方法=高速公路运营管理经验+数据建模分析经验互联网+大数据 = 数据资产+技术手段+分析方法高速公路行业数据规模大、业务体量大。持续生产经营过程及其业务对象的统计频率较高、信息迭代速度较快。现有业务领域较为广泛以及未来的多元化发展，呈现出数据的多样性 速度快真实性多样性大价值体量大能够为高速公路营运管理提供科学管理和科学决策的依据，从而提高效率、降本增效 来自于高速公路行业真实的生产经营场景，能够客观反映其真实的生产经营情况 工业大数据能帮我们做什么投资 收费 稽查/追偷逃 决策支持 展示大屏 信息服务 人口流动 治超高速公路作为国家基础设施高速公路内部管理运营高速公路社会服务属性对

6、外展示决策支持高速公路经营盈利诉求收费额度排名，收费构成分析，ETC/MTC分析，通行量/通行费统计分析，偷逃费行为识别和预防路况与施工发布，特殊天气提醒，辐射资源提示，交通旅游，人口流动与出行预测高速公路道路与设备的养护，成本效益评估分析，服务区评估，高速公路经营分析、高速公路工程建设与投融资堵点评估，疏导路径，高速公路应急救援（交通疏导、人员救治、危化品应急处理），现场实时视频，事故多发地关联分析与事故预防运营提升资产 工程 养护 财务 营运 设施 拥堵治理 应急救援 物资调度 客运/货运 高速公路公共属性通行费征收出行服务分析BigData高速公路大数据来源与构成数据管理制度数据安全数据

7、/元数据标准人力财务办公审批通行收费数据视频监控数据内部管理数据EMMS机电设备数据数据字典基础资料高速公路IT运行规则定义与管理备品备件位置信息运行状态与故障报修使用寿命与养护评估设备代码管理工程投资信贷运营路面关键节点监控收费站通行视频监控事故救援实时视频车型出/入状态通行时长通行里程图片采集缴费金额缴费时间缴费方式高速公路大数据：拥堵治理模型大数据高速治堵应用场景目标功能设计模型构建掌握车流量变化模式，提前预测车流量变化趋势。掌握车流量变化模式，提前预测车流量变化趋势。掌握车流量变化模式，提前预测车流量变化趋势。123通过收费数据得到车辆信息，建立交通主题数据库。分析交通流量日变特性、时

8、变特性，拟合出车流量变化模型，并基于此预测未来车流量。基于预测车流量，计算最优的人力资源配置。123车辆信息采集车流量分析及预测人力资源配置采用支持向量回归（SVR）模型，由历史车流量数据训练出车流量模型用于预测。建立人力资源配置非线性优化模型，利用遗传规划算法求出最优解。12车流量预测模型车流量分析及预测高速公路大数据：物流分析模型高速公路物流分析大数据应用场景目标功能设计模型构建挖掘通行数据的潜在价值，实现数据变现。提升通行数据的社会公众服务的能力，扩大经营范围。12通过收费站数据提取货车OD信息，并计算载重变化，获得货源信息推送对象。通过微信、短信或APP等将与货车匹配的货源信息推送给空

9、载货车车主，完成接单。12货车载重变化计算货源信息推送建立交通网络图模型，规划单车最优行驶路径。利用两阶段聚类方法，求出多车辆物流合乘匹配优化方案。12货运配载的路径匹配模型车辆合乘匹配模型3以物流信息推送为前提，发挥物流信息的深层价值。高速公路大数据：辅助养护决策支持大数据辅助养护决策支持应用场景目标功能设计模型构建掌握道路上车辆的轴荷分布、相关机电设备历史状态信息。根据交通模型预测路面损毁程度，合理提出道路养护计划。根据机电维护历史数据建立设备养护评价体系。123通过收费数据得到交通量、轴荷历史分布信息并预测未来分布。通过交通量、轴荷等信息预测路面使用性能，包括路面损毁程度等。基于预测的路

10、面使用性能，计算最优养护时机及成本。123交通量分析及预测路面使用性能预测路面养护成本预测建立神经网络与马尔科夫算法结合的组合预测模型，由各影响因素预测路面使用性能。通过最小二乘法拟合得到养护成本与载荷和非载荷因素的计量模型，从而进行成本预测。12路面使用性能预测模型路面养护成本预测模型主要应用方向高速公路运行指标体系高速公路大数据经济高速公路群体要素大数据关键指标统计分析与展示客货运量、周转量及其时间和空间的分布，统计排名通行规费收入，及其时间和空间分布、统计排名各路段拥堵系数交通事故发生率及其时间空间分布，统计排名 具体车辆和事件分析拥堵分析，包括拥堵疏导和拥堵根因事故分析，指导路径规划和

11、警示标志设置车辆通行异常，包括速度时间不匹配、入口出口车牌不符、以及高速路违法行为，整治秩序，追捕逃费 挖掘高速公路通行宏观规律总结交通事故规律，探索提升安全管理途径通过高速公路出行数据，分析人群流动方向和规律，出行规律与支付习惯分析高速机电设备故障损耗规律，提升养护效率，节约成本 探寻高速公路数据的经济价值高速公路客运/货运指数探索高速公路客货物流与相关经济要素的关系对比高速公路通行与其他交通方式的关联关系经营分析：工程建设与道路养护等成本投入，经济效益关联分析高速公路建设企业信用评估 车辆行为分析展示门户高速路网运行状态基于GIS的全监控高速路网运行全指标可视化结合GIS的故障、拥堵和交通

12、事故实时警示、视频调取基于投资、运营、安全、服务多视角领导决策驾驶舱高速公路大数据顶层设计高速公路大数据系统架构（在大数据平台基础上画一个架构）高速公路大数据应用剖析运行维护体系技术视角部署视角业务视角标准规范体系信息安全体系计算资源网络资源存储资源网络资源业务管理地理决策元数据文档虚拟化软件数据库软件操作系统备份软件治理流程数据审计数据标准数据台账机器学习人工智能深度学习实时分析GIS呈现货运客运指数偷逃行为分析事故地点分析站点拥堵分析超速车辆识别车辆行为轨迹出入车牌不符机电设备养护高清设备投放电子支付分析站点设备异常内部门户外部门户决策分析系统三大业务职能内部精细化运营管理，降本增效面向管

13、理部门的信息化服务面向公众的信息化服务123物理部署数据交换汇聚平台数据治理平台智能分析平台可视化应用平台数据安全数据质量资源目录元数据管理基础设施层： 规划建设统一3个视角3大业务职能4类核心平台数 据 层： 数据标准统一应用支撑层： 技术路线统一应 用 层： 业务规划统一门 户 层： 对外服务统一5个统一的建设思路高速公路大数据高速公路大数据CONTENT1走进大数据时代2高速公路大数据应用浅析3大数据平台、架构与实现4成都四方伟业公司简介WYDC大数据平台总体架构用户管理系统监控资源管理部署管理资源调度安全管理日志审计运维平台Manager数据交换汇集ETL网络爬虫（PySpider）实

14、时采集（Flume）数据迁移（Sqoop）数据治理Govern数据地图数据共享数据质量数据治理银行业务工商业务政务业务税务稽查智能交通智慧医疗Hive（SQL）MapReduceHDFSYARNImpala（In-memory SQL）Mahout（Machine Learning）Spark（MLlib）Pig（Scripting）可视设计UE敏捷BI根因分析DE关联分析XE搜索引擎推荐引擎舆情监控反欺诈图像识别语音识别用户画像智能管理APISDK应用&服务采集存储&计算数据探索统计分析敏捷OLAP数据洞察Insight知识挖掘数据挖掘机器学习算法库人工智能Miner模型库实时分析实时数据库

15、流数据处理流计算Streaming数据流规则分析WYDC大数据交换汇集平台构造大数据的数据之源大数据交换汇集平台原始数据源数据采集交换区数据湖分散、种类多样化，时效性差异大多种技术手段，平台化系统，快速部署，统一管理为大数据应用提供全兼容数据存储任务流程调度操作控制流程控制转换流程数据抽取数据加载数据转换子任务调度操作控制爬虫系统流数据采集传输ETL核心架构ETL服务器认证授权监控管理接口扩展接口ETL资源库集成开发工具统一管理平台数据资源库文件资源库数据源接入流程开发任务配置任务部署调试跟踪任务执行监控输出运行日志运行控制状态监控日志查看权限管理节点管理错误告警性能统计面板定制ETL引擎任务

16、调度元数据处理流程性能管理交换管理任务引擎转换引擎转换组件适配器组件转换流程流程控制操作控制任务调度丰富的ETL构件库ETL实现各种你所需的数据处理流程提高开发效率缩短开发周期图形化拖拽方式快速集成实现复杂数据处理流程NoSQL接入 云化部署ETL的监控管理单一业务的任务详情图形化展示任务执行日志任务运行情况变化曲线全方位洞察一项任务执行定义指定任务的报警规则定制指定任务的报警渠道指定报警信息的接收者根据需要控制告警规则的启用与关闭告警帮你随时把握任务异常可视化手段多角度作业监控作业执行状态与成功率监控对作业进行多角度排序ETL任务执行一览无余WYDC大数据应用驾驶舱大数据高速飞行的驾驶舱大数

17、据应用驾驶舱SqoopHiveHBaseZookepperPigMahoutMapReduceHDFS分布式网络Cloud服务器/存储物理安全FlumeHama超强计算能力更低建模门槛全景统一管理更低建设成本可信赖安全机制全方位辅助分析多达50+预置模型支持百亿级数据量训练多算法并行训练支持算法组件，零编码，拖拽式数十个流程设计组件用户自定义算法组件算法库行业分类跨平台算法调用模型训练结果分析报告参数化调优，简化配置建模全生命周期流程管理可视化实时模型训练监控性能处理，比传统架构节省资源1/3搭配智能部署，让实施成本降低50%多种权限控制机制数据级别访问权限控制资源级别访问权限控制大数据应用流

18、程控制任务耗时情况总览状态监控，随时掌握任务执行状态的总体分布任务状态情况总览耗时的任务和步骤，需要得到我们的重点关照具体任务耗时追踪耗时监控，透视任务执行的时间大数据分析流程监控与调度大数据应用流程实现任务导航列表任务查询任务创建拖拽算法，拼接数据分析流程定义任务基本属性配置任务调度信息驾驶舱数据查询数据图表数据明细元数据信息查询日志历史记录HDFS文件基础计算架构运维管理WYDC大数据治理平台大数据治理实现数据内升大数据治理流域原始业务数据原始业务数据原始业务数据原始业务数据基础库主题库元数据数据标准数据字典目录系统数据仓库数据自由之海数据河流数据河流大数据存储语义级主题数据检索时间维空间

19、维对象维多维数据安全流程审计数据采集清洗比对闭环迭代数据梳理编目主数据管理多维数据检索与服务大数据存储访问面向数据需求方原始数据元数据治理流程数据标准字典行业业务规则访问条理安全质量数据接口共享开放数据检索数据服务我是系统运维主管，要管理好所有数据资源的安全我的应用需要访问和采集大量的数据我的大数据挖掘模型需要大量数据之源我的决策分析要涉及更全面的信息我是信息运营主管，希望随时了解我有哪些数据资源能不能我想要什么都快速查到？ 治理的开始：数据整合ETL数据处理流程数据转换实现数据结构的转变数据拼装实现不同数据来源的汇总数据比对通过比对去除错误和冗余数据清洗去伪存真，保留正确数据数据载入根据中心

20、存储装载数据内容治理的脉络：元数据在数据调研与业务中积累元数据调研表格与报告部门元数据收集数据调研梳理元数据定义与生成元数据存储元数据应用与维护元数据标准元数据管理与服务自动对中心数据资源生成结构化元数据减小工作量投入可通过标准定义自动生成数据表自动侦测元数据本身也是一个体系元数据按规划层级存储选择数据库等载体以便于检索为目标存储元数据元数据准确性维护元数据完整性维护元数据分中心之间支持交换同步元数据维护便捷访问元数据基于元数据轻松定位数据存储与访问便于数据组装编制构成数据目录元数据检索治理的标尺：数据标准与质量数据比对规则行业规则数据/元数据标准数据质量报告数据清洗比对参照规则多源数据中心前

21、置缓存自动/人工比对反向清洗数据中心资源维护阶段数据中心中心资源治理阶段数据整合阶段数据字典数据依标准的格式转换数据采集数据传输数据标准管理数据质量管理数据分类与目录规则定义与管理标准设计管理大数据治理平台：段码数据标准管理大数据治理平台：信息类管理大数据治理平台：质量管理系统规则定义大数据治理平台：质量管理系统大数据治理平台：质量管理系统大数据治理平台：质量管理系统大数据治理平台：数据资源目录大数据治理平台：信息类授权大数据治理平台：数据台账大数据治理平台核心价值更全面的数据质量保障提供数据标准梳理工具，使得元数据更合规 支持策略集的质量巡检方式，保障数据的完整性全景化信息开放与检索支持主题

22、的数据台账，基于元数据的信息管理，提供数据资源目录与导航多渠道的数据访问机制（目录、API、Webservices）全过程信息安全支持交换全过程监控、审计，并提供邮件、短信预警功能基于oAuth协议的第三方单点登陆集成的模块支持通道安全，支持SSL传输通道加密功能支持数据及资源级别访问安全控制，可灵活对脱敏数据进行管理更低的建设成本产品自主化量身定制适合应用的实践路线智能部署，比同类产品实施节省一半时间基于大量实践的，通用解决方案WYDC大数据智能分析平台大数据知识挖掘的核心引擎大数据分析平台关键能力开放弹性架构真正无共享的海量并行处理架构工业标准的X86平台服务器资源按需分配，按需搭建集群，

23、按需缩放集群规模在线线性扩展增加节点可线性增加存储、查询和加载性能支持在线扩容，扩容期间保证系统继续对外提供服务拥有成本可控保证用户不被专有平台锁定企业初期投入和后续扩容的成本可控海量并行处理支持PB级的数据处理、存储和访问在数据加载、处理、访问等各个环节最大化并行处理能力优秀混合负载按需分配资源（CPU、内存、IO）动态调整资源平台持续可用数据镜像、硬件冗余等多种容错技术保证系统高可用故障切换和恢复，对用户透明扩容期间可持续对外服务易于管理维护直观的图形化界面，实时的状态监控最大限度降低管理员的日常管理和维护工作数据分析挖掘功能架构模型库数据分析算法库Mahout算法库Spark Mlib自

24、定义算法算法审核模型评估模型发布模型训练模型管理统计分析MOLAPROLAPKylin数据挖掘数据挖掘数据预处理算法选择模型构建与评估结果预测数据探索知识库知识分类管理版本与发布管理订阅管理知识库检索数据源选择R集成Python集成数据源选择超强的计算能力多达50种以上的预置模型；支持百亿级数据量训练；辅助分析能力快速展现模型训练结果；参数化模型调优；可信赖的安全控制提供多种权限控制设置；支持数据级别访问安全控制；支持资源级别访问安全控制；数据仓库数据集市PetaBase支持数据库类型：Oracle/DB2/MySQL/Teradata/GreenPlum/Netezza/SQL Server

25、/Sybase/支持数据库类型：Oracle/DB2/MySQL/Teradata/GreenPlum/Netezza/SQL Server/Sybase/EssBaseHadoop分布式高性能交互式SQL数据挖掘Miner可视化环境简单易用的可视化环境视觉呈现所有利益相关者之间的合作可以简单高效设计更好的模型每一个分析是一个流程每种数据转化或分析是一个节点操作界面强大的工程支撑流程可以当做模板再次使用支持项目工程建模1000多个节点可用于所有的数据转化和分析基于客户端/服务器架构可实现自动化建模和数据转化可建立和评估模型，并与其他应用程序集成系统支持Miner数据分析建模与HadoopHiv

26、e（SQL）MapReduceHDFSYARNImpala（In-memory SQL）Mahout（Machine Learning）Spark（Mlib）Pig（Scripting）数据洞察MinerData preparationBuild modelTrain Predictive model数据分析建模全生命周期业务场景导入数学分析建模大数据模型发布应用大数据应用政务大数据应用工业大数据应用交通大数据应用旅游大数据应用 数据归集与预处理算法选择算法自定义分析建模设计模型训练模型发布模型调度运行管理知识库管理模型运行大数据运行服务大数据可视化展示知识库共享大数据智能分析平台大数据应用驾

27、驶舱大数据可视化平台大数据算法库Miner自动化流程及控制流程控制在子流程中管理分组并在其他项目中再利用可以重复执行一部分流程支持的循环：属性、标签、子集、值、样本、集群、批量、数据结合、数据碎片、参数、文件、资源库条目分支（If-Then-Else）基于：、数据值、属性是否存在、样本数量、性能值、文件和过程输入是否存在、任意表达式创建同一类型的集合集合处理：选择、扁平化或循环可以记忆并调用（中间件）过程结果用于复杂的流程设计处理预期或非预期的错误和异常自动化自动选取性能最好的子流程通过嵌套的交叉验证或其他验证衡量预处理步骤的效果自动选取最优模型类型和参数自动选取最优属性子集自动优化过程参数，

28、包括建模参数：Grid、二次方程的、渐进的日志在流程中的任意位置都可以引入日志日志可以收集参数值、性能值、或来自每个算子的特定值，例如渐进算法当前产生的结果数据值可以被日志记录宏值可以被日志记录日志值可以被转化为其他几种格式，包括数据集合和权重，权重可以和其他数据集合一样被存储、转化或可视化报表在仅用日志不足够的情况下，一个完整的基于流程的报告引擎允许在静态报告中收集任意结果支持不同的格式，如PDF，Excel，HTML，或者RTF有不同的报告样式，包括序列报告或者门户网站任意过程结果和中间结果可以被转化为不同类型的可视化图形，如表格，图标等持最多5层区域支持分页和其他样式信息与循环或者其他流程控制结构的结合可以让人看到流程设计非常详细的结果概览，即使这个流程设计十分复杂导入数据建立工作空间关联数据建立工作流数据预处理特征选择模型训练模型评估自动化及流程控制多人协作Miner的数据建模分析准备数据准备，支持属性选取算子，分组结合多种功能：求和、平均、中间值，支持集合算子，处理原数据，性值过滤行及样本等，识别并移除冗余数据；支撑数据取样、数据分割、数据转化等。 数据取样绝对的、相对的、概率的、平均的、分层的、基于模型的等.数据分箱可基于计数、大小、频率等进行交互式分箱，使引导区熵值最小化.