交通管控大数据分析研判系统

交通管控大数据分析研判系统设计方案目录系统概述 4系统背景 4系统意义 4研发原则 5系统内容 6需求分析 7业务需求 7面向交通管理的大数据业务需求 7面向交通安全的大数据业务需求 7功能需求 7基于大数据的在线统计和离线分析需求 7基于大数据的车辆特征分析需求 7基于大数据的违法事故分析需求 8基于大数据的勤务快速处置需求 8基于大数据平台的车辆特征二次识别需求 8基于大数据平台的技战法需求 8性能需求 9高并发实时数据采集需求 9海量数据存储需求 9分布式流处理需求 9车辆二次识别需求 9架构设计 9总体应用架构 9软件框架结构 10网络部署架构 11数据流结构 11关键技术路线 12Hadoop技术 12Spark技术 13车辆特征二次识别技术 14功能设计 14功能结构图 14功能模块 144.2.1首页 15实时预警 17信息查询 18统计分析 23技战法 26车辆布控 28系统设置 29运维管理 30数据库设计 30数据库ER模型 30数据库表 30接口设计 30接口分布图（接口关联图） 30接口详细说明 30系统特色 31优化交通大数据集中存储能力 31提升交通大数据分析研判能力 31提升交通案件侦破能力 31提升交通监管能力 31系统概述系统背景24中潜在的问题并预警,成为当前迫切需要解决的问题。大提升综合管理的集约化程度。系统意义信息查询和预警分析拥堵的原因，科学预防交通拥堵。多维度布控打击违法犯罪在车辆号牌信息缺失（套牌、遮挡号牌或无牌）情况下，按照车辆品牌、型号、大粒度的数据分析为决策提供支持同时结合车驾管数据库，开展交通信息综合分析研判。研发原则和展现集成。1、实用性原则应用、注重实效的方针，坚持实用、经济的原则。2、先进性原则3、资源共享智能交通信息化成果之间的信息互联与资源共享。4、可持续性行不断的完美和扩展。5、开放性和标准性技术，保证系统的开放性和标准性。6、可靠性和稳定性从系统结构、技术措施、设备性能、系统管理、厂商技术支持及维护能力等方面着手，确保系统运行的可靠性和稳定性，达到设计的最大平均无故障时间。7、安全性和保密性全机制、数据存取的权限控制等方案解决系统安全性问题。8、扩展性和易维护性系统内容5务器、流处理服务器、二次识别服务器、应用服务器。数据架构统一转换管理。HadoopHadoopPBSpark延时的统计能力，实现亿以上的过车记录大数据量秒级检索能力。牌、品牌型号、车身颜色、车辆型号等信息关联比对。应用服务器：部署交通管控大数据平台系统软件和数据发布软件。需求分析业务需求面向交通管理的大数据业务需求快速检索和实时统计分析，并将结果可视化显示。面向交通安全的大数据业务需求管理路面违法、假/套牌、肇事车辆、黑车等重点布控车辆、维护交通安全精准打击和查缉布控能力。功能需求基于大数据的在线统计和离线分析需求实现对大批量信息检索及统计分析的实时处理。基于大数据的车辆特征分析需求以基于海量卡口数据获取车辆出行OD，挖掘车辆通勤出行行为，分析车辆通勤行为特征与交通拥堵相关性分析，研究拥堵路段车流集散、车辆属地属性发展变化规律。准确统计道路交通、卡点进出车辆流动情况，为合理调配警力、提高车辆管理水平提供科学依据。基于大数据的违法事故分析需求通过大数据平台对交通违法、事故数据及属性开展关联分析，定期将违法、事故与驾驶人特征，包括培训考试过程、工作单位、家庭背景等因素，与车辆特征，包括品牌、车型、营运性质、号牌属地、车身颜色、车辆保养等因素，与道路特征，包括道路类型、线性、天气、时间、环境、设施等相关联的，集中分析掌握违法、事故中高发、易发的驾驶人、车辆和道路，为管控提供最为真实的资料和依据。基于大数据的勤务快速处置需求于交管人员日常勤务安排和以及上下游及时联动和快速反应。基于大数据平台的车辆特征二次识别需求现更多应用，有效利用了现有卡口设备，降低不必要的卡口重建投入。基于大数据平台的技战法需求通过过车图片、行驶行为特征分析和人员、车辆档案关联分析，确定各类涉案人员/车辆的详细信息。以全库精细搜索和模糊查询，实现一定时间内经过各GIS预测一定时间内高概率出现的区域。性能需求高并发实时数据采集需求KafkaHadoopSQL秒内。海量数据存储需求HadoopHDFSPB量可动态扩展。分布式流处理需求SparkStreaming100ms。车辆二次识别需求20030050080≥85%。架构设计总体应用架构交通管控大数据分析研判平台分为数据层、采集层、处理层、存储层、应用层等层次架构。系统总体结构如下：应用层应用层实时预警信息查询统计分析统计分析技战法分析 车辆布控 系统设置 运维管理信ApatheTomcat标准息安全保障web展示数据关联web展示存储层web展示地理信息平台处理层特征筛查HbaseHDFS二次识别实时比对HiveSparkStreamingMapReduceHadoop结构化数据系统运维监控采集层协议转换格式处理数据处理数据编码Kafka规范保障体系过车记录图片信息业务数据数据层电警卡口六合一接口违法查询接口kafka所辖范围内的设备上报的车辆通行文本信息、图像信息、设备状态信息。Spark流计算模块根据系统设置的报警条件，可实时进行多种比对计算。Hadoop可通过动态增加节点，提升吞吐能力，扩展存储、查询、分析性能。应用层：包含实时预警、信息检索、信息查询、统计分析、技战法分析、车辆布控等功能。软件框架结构交通管控大数据平台交通管控大数据平台数据源分布式消息总线Kafka流处理Sparkstreaming数据存储Hadoop数据应用过车数据数据格式转换车辆特征二次识别HDFS实时预警过车图片编码、字段属性转换人-车-违法-事故信息关联HBASE信息检索六合一接口关联接口输入和输出实时比对Hive分析研判公安数据接口关联特征筛查Map/Reduce布控报警网络部署架构设备网公安网指挥中心数据接入服务器设备网公安网指挥中心数据接入服务器边界交换平台二次识别服务器应用发布服务器周边系统数据库服务器流处理服务器周边系统数据流结构KafkaSparkHBASE/HDFSMapReduce检索和分析研判。如下图所示：过车数据过车数据MapReduce实时预警实时引擎信息检索KafkaHbase/HDFS离线引擎分析研判稽查布控SparkStreaming关键技术路线X86PGIS等平台有机结合、一体化应用。KafkaHadoopSQL2支持小批量处理模式，每一个批次的数据的时间间隔可以短至500毫秒。UNIX10gWINDOWSUNIXTomcatWebSphere，Tomcat6.0，WebSphereJAVA；B/S布式应用架构。HadoopHadoop(HadoopDistributedFileSystem)HDFS。HDFS(low-cost)件上;而且它提供高吞吐量(highthroughput有着超大数据集(largedataset)的应用程序。HDFS(relax)POSIX求，可以以流的形式访问(streamingaccess)文件系统中的数据。优点如下：Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。HadoopHadoopPBHadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻HadoopHadoopJavaLinux生产平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。SparkSparkSparkAMPMateiScala，core63Scala件，非常短小精悍。Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark是在Scala语言中实现的，它将Scala用作其应用程序框架。与Hadoop不同，Spark和Scala能够紧密集成，其中的Scala可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建Spark对Hadoop的补充，可以在Hadoop文件系统中并行运行。通过名为MesosSpark由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)的数据分析应用程序。Spark集群计算架构：虽然Spark与Hadoop（比如机器学习算法中将数据集缓存在内存中，以缩短访问延迟。Spark还引进了名为弹性分布式数据集(RDD)的抽象。RDD是分布在一组即允许基于数据衍生过程重建部分数据集的信息RDD被表示为一个对象，并且可以从文件中创建它；一个并行化的切片（遍布于节点之间个RDD的转换形式；并且最终会彻底改变现有RDD的持久性，比如请求缓存在内存中。SparkHadoop群或多节点集群。对于多节点操作，Spark依赖于Mesos集群管理器。为分布式应用程序的资源共享和隔离提供了一个有效平台。该设置充许Hadoop共存于节点的一个共享池中。车辆特征二次识别技术（卡口和电子警察图片进行二次识功能设计功能结构图辆分析异常车辆分析布控审核用户管理车辆OD分析车脸特征分析布控导入机构管理字典维护车位特征分析阈值维护交通管控大数据平台首页实时预警信息查询交通管控大数据平台首页实时预警信息查询统计分析技战法系统设置运维管理过车总量套牌预警机动车公告信息查询出入案发现场车车系搜车过车总量统计年检逾期统计套牌时空分析权限管理系统资源监控管理车型车系布控报警查询以图搜车过车车型统计 违法未处理统计 隐蔽车辆分析服务状态监控管理过车流量驾驶人基本信息交通事故信息查查询 询首次入城车辆分过车车系统计 假套牌过车统计 析过车流量查询被盗抢车辆信息查询辖区流量统计碰撞分析套牌预警查询机动车保险记录查询卡点流量统计落脚点分析布控报警查询危险品车辆查询布控数量统计红眼客车分析布控统计机动车轨迹查询重点、在逃人员查询布控类型统计伴随车分析车辆布控添加布控首页过车总量功能描述在首页显示当日过车和最近7天过车总量并在地图标注卡口点位。功能界面程序逻辑7/30地图：与饼图联动，点击饼图区域，地图高亮标示，所有涉及的卡点。更多：点击进入车辆查询界面。车型车系功能描述用图表显示当日所有监测点的车型、车系分类。按照总量倒序排列。功能界面程序逻辑六合一车辆类型，对一种本系统的车辆类型。车系维护：在系统维护模块，可以对人工采集的车辆品牌，车辆型号，通用名称，进行维护。车辆类型更多：点击进入车型统计界面。车系类别更多：点击进入车系统计界面。过车流量功能描述7功能界面程序逻辑过车量曲线图-更多：点击进入全市流量统计界面。套牌预警功能描述实时显示当日车牌识别的报警信息，用表格显示。按时间倒序排列。功能界面程序逻辑只显示异常过车，正常过车不显示，显示最新的20条，实时刷新。语音报警：喇叭图标控制是否语音报警。当前播报的条目行黄色标注。更多：链接到假/套牌过车统计。布控报警功能描述显示当日已经布控的车辆，经过卡口时的记录信息。功能界面程序逻辑布控车辆经过是，显示报警信息，显示最新的20条，实时刷新。2（黑名单，盗抢车辆库，在逃人员库语音报警：喇叭图标控制是否语音报警。当前播报的条目行黄色标注。4.2.1.5布控统计功能描述显示截止当前有效的，正在布控的类别和布控的条数。功能界面程序逻辑布控数量更多：链接到布控数量统计布控类型更多：链接到布控类型统计实时预警套牌、布控报警功能描述实时预警主要是用于监控套牌车辆信息，布控车辆信息并提供报警功能。功能界面程序逻辑侧边栏：显示套牌预警布控报警。假/套牌预警更多：链接到假/套牌过车统计界面。布控报警更多：链接到报警查询界面。语音报警：喇叭图标控制是否语音报警。当前播报的条目行黄色标注。详细信息：可链接到机动车信息查询、机动车违法查询、驾驶人信息查询、驾驶员关联信息查询、当日轨迹。删除按钮：从界面移除误报或不需要报的车辆。信息查询机动车公告信息查询功能描述搜索不同品牌不同车系的车辆公告信息，包括图片和文字信息功能界面程序逻辑可根据给定的查询条件查询车辆信息。更多：可跳转到人员车辆信息等相关查询界面。机动车基本信息查询功能描述查询机动车基本信息，包括图片和文字信息。功能界面程序逻辑车辆登记图片：需调用车辆登记图片查询接口是否关联事故是否关联违法：链接到事故查询和违法查询界面。更多：可跳转到人员车辆信息等相关查询界面。驾驶人基本信息查询功能描述查询驾驶人基本信息，包括图片和文字信息。功能界面程序逻辑驾驶人图片：需调用公安人员查询接口。是否关联事故是否关联违法：链接到事故查询和违法查询界面。更多：可跳转到人员车辆信息等相关查询界面。驾驶员关联信息查询功能描述点人员，并显示详细信息。功能界面程序逻辑更多：可跳转到人员车辆信息等相关查询界面。机动车违法信息查询功能描述查询机动车违法信息，包括图片和文字信息。功能界面程序逻辑有违法行为的车辆，可根据其违法类型加入黑名单布控。更多：可跳转到人员车辆信息等相关查询界面。驾驶人违法信息查询功能描述查询驾驶人违法信息，包括图片和文字信息。功能界面程序逻辑更多：可跳转到人员车辆信息等相关查询界面。机动车轨迹查询功能描述在地图上标注车辆出行经过卡口的时间、地点等信息。功能界面程序逻辑多轨迹：可多次查询轨迹信息，在地图叠加显示。布控：对于问题车辆可以直接布控车系搜车功能描述根据（车型、车系、颜色、年款）等特征信息，对全市范围的卡口查询过车信息和图片信息。功能界面程序逻辑布控：对于问题车辆可以直接布控。轨迹：机动车轨迹查询界面。以图搜车功能描述根据过车图片，对全市范围的卡口查询过车信息。功能界面程序逻辑图片：可通过上传方式或者通过系统内其他页面跳转方式提交。布控：对于问题车辆可以直接布控。轨迹：机动车轨迹查询界面。交通事故信息查询功能描述查询车辆、人员是否涉及事故，以及具体的事故信息。功能界面程序逻辑查询条件：事故信息主表、事故信息人员表。被盗抢车辆信息查询功能描述根据号牌号码、号牌种类、发动机号、车架号查询车辆盗抢信息。功能界面程序逻辑更多：可跳转到人员车辆信息等相关查询界面。机动车保险记录查询功能描述根据号牌号码、号牌种类、发动机号、车架号查询车辆保险信息功能界面程序逻辑更多：可跳转到人员车辆信息等相关查询界面。重点/在逃人员查询功能描述根据身份证号查询是否在逃人员、重点人员信息。功能界面程序逻辑接口：调用公安查询接口。更多：可跳转到人员车辆信息等相关查询界面。危险品车辆查询功能描述用于查询车辆是否危险品运输车辆，并显示相关信息功能界面程序逻辑更多：可跳转到人员车辆信息等相关查询界面。统计分析过车总量统计功能描述统计辖区范围过车数量，用表格/折线图/柱状图显示。功能界面程序逻辑结果：包括同比，环比和占百分比。过车车型统计功能描述统计辖区范围过车车型分类数量，用表格/折线图/柱状图显示。功能界面程序逻辑结果：包括同比，环比和占百分比。过车车系统计功能描述统计辖区范围过车车系分类数量，用表格/折线图/柱状图显示。功能界面程序逻辑结果：包括同比，环比和占百分比。辖区流量统计功能描述统计辖区范围时间段内过车流量数量，用表格/折线图/柱状图显示。功能界面程序逻辑结果：包括同比，环比和占百分比。统计条件包括：早高峰（开始时间，结束时间）晚高峰（间。卡点流量统计功能描述统计选定时间段内过车流量，用表格/折线图/柱状图显示。功能界面程序逻辑结果：包括同比，环比和占百分比。统计条件包括：早高峰（开始时间，结束时间）晚高峰（间。布控数量统计功能描述统计辖区范围内指定时间段内布控数量合计。功能界面程序逻辑结果：包括同比，环比和占百分比。布控类型统计功能描述统计辖区范围内指定时间段内布控类型的数量。功能界面程序逻辑布控类型：黑名单布控和系统自定义布控的数量。假/套牌过车统计功能描述统计辖区范围内给定时间段的过车中假/套牌车的数量。功能界面程序逻辑结果：包括同比，环比和占百分比。布控：结果可批量加入布控模块，但须人工审核。年检逾期统计功能描述统计辖区范围内给定时间段的过车中年检逾期的数量。功能界面程序逻辑时段：条件中逾期天数可按日进行设置。统计粒度：天。结果：包括同比，环比和占百分比。地图显示数量最多的过车卡口。布控：结果可批量加入布控模块。可免审核布控。违法未处理统计功能描述统计辖区范围内给定时间段的过车中违法未处理车的数量。功能界面程序逻辑时段：分值可进行设置。统计粒度：天。结果：包括同比，环比和占百分比。地图显示数量最多的过车卡口。布控：结果可批量加入布控模块。可免审核布控。技战法套牌时空分析功能描述分析车辆最近的两条过车记录以及卡口间的距离分析是否套牌。功能界面程序逻辑隐蔽车辆分析功能描述分析在时间段内应经常出现在某一区域但统计时间段前后不出现的车辆。功能界面程序逻辑首次入城车辆分析功能描述分析时间段内的首次入城车辆。功能界面程序逻辑碰撞分析功能描述分析不同卡口过车数据中重复出现的成对车辆。功能界面程序逻辑落脚点分析功能描述分析指定的车辆在时间段内的经常出没的卡口及次数。功能界面程序逻辑红