AI预审辅助分析系统方案_第1页
AI预审辅助分析系统方案_第2页
AI预审辅助分析系统方案_第3页
AI预审辅助分析系统方案_第4页
AI预审辅助分析系统方案_第5页
已阅读5页,还剩50页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、AI预审辅助分析系统方案项目建设背景现各城市在对交通管理中,前端建设大量的卡口、电警等设备信 息,该部分设备不仅对路面交通数据进行实时采集及路况监控,还集成车辆违法行为的检测分析,达到对高危出行、不按规定驾驶的机动 车进行违法行为取证、管理等。现阶段随着车辆保有量增加,城市车辆违法检出数据不断增加, 加上前端识别功能弱,违法识别准确率低,大量的误报数据造成人员 审核工作压力较大,且耗费大量的人力与时间,使审核人员效率低下。 前端采集的违法数据难以全部审核完毕,就会造成大量真实有效的违 法数据未审核,有效产出量难以提升。故现状下,通过人工智能、机器学习技术研发“ AI预审辅助分析 系统”,对前端

2、采集的违法数据进行初步机器审核,依靠 AI算法对违 章照片进行二次识别,挖掘真实有效的违法数据提供给违法审核平台 进行执法处理,从而达到人员审核工作量的降低,提高审核工作有效 产出量等目标。所谓正片,是指前端摄像机抓拍到的高清违法照片;所谓废片, 是指前端摄像机误拍的疑似违法照片。AI预审,即从原始正片中找出 真实有效的违法数据,通过算法对前端数据的校正稽核,提高正片有 效产出量,节省人力成本,加强业务监管,优化前端设备。项目分析及规划2.1需求分析前端电警、卡口设备采集车辆违法数据已经成为交通监管的重 要手段。但是,面对采集的大量违法数据,需要人工审核是否为真 实有效的违法数据,耗时耗力,大

3、量前端采集的违法数据未经审核 而流失,造成大量真实有效的违法行为得不到处罚,严重影响了交 通监管的建设成效。目前在交通监管领域中,有效分析、组织和管 理交通违法数据,AI预审取代人工审核方式,已经成为交通监管中 违法数据审核的研究重点。随着城市化进程的加速,车辆保有量增加,大量违法数据不断 产生,给审核人员带来了一定压力。相关的业务系统只能通过平台 整理前端采集的违法数据,依靠人工对违法数据进行审核,由于人 每天的审核量有限,且人力资源远远不够,无法处理完当日违法量, 造成每日遗留大量未审核数据成为废片。建设思想与依据3.1建设思想AI预审辅助分析系统设计的总体目标是积极响应国家号召,紧 跟国

4、家创新脚步,解放思想,逐步推进智能化示范建设,通过 AI 智能审核城市交通违法数据,不遗漏任何一个违法行为,旨在把城市打造成交通管控智慧城。组织队伍展开AI预审辅助分析系统建设 的示范工程,通过现场调查与调研、违法行为逻辑分析、算法识别 分析、协调控制方案设计、交通流分析以及现场调试优化等流程, 并经过多次调试与调整,使违法行为识别准确率达到90帅上,逐步确定最终效果,使AI预审代替人工审核违法数据。科研队伍运用 科学的交通控制理论和先进的车辆识别、车牌识别、违法行为识别 技术,综合考虑各种违法行为产生情况;采用算法调优,最大限度 的实现AI智能判定违法行为,从整体上提高审核效率。整个过程中,

5、 方案设计与算法调优同步推进,相关设施设备加强跟进,提高整体 实施效率。3.2建设原则随着城市化速度的加快,机动车日益普及,人们在享受机动车 所带来的巨大便利的同时,同时伴随着大量违法行为产生。审核人 力资源有限,从而导致大量违法数据未被审核,违法行为得不到处 罚等诸多问题,使违法人员存在侥幸心理。现各城市在对交通管理中,前端建设大量的卡口、电警等设备 信息,该部分设备不仅对路面交通数据进行实时采集及路况监控, 还集成车辆违法行为的检测分析,达到对高危出行、不按规定驾驶 的机动车进行违法行为取证、管理等。交叉口作为城市交通微观层 次的重要一部分,它的功能是把不同方向的道路连接起来,构成路 网,

6、使路网中的车辆实现白由转向和交叉。由于多向交通流向交叉 口集中,所以在整个路网中,交叉口是城市道路通行产生违法行为 的多发地。现阶段随着车辆保有量增加,城市车辆违法检出数据不断增加, 加上前端识别功能弱,违法识别准确率低,大量的误报数据造成人 员审核工作压力较大,且耗费大量的人力与时间,使审核人员效率 低下。前端采集的违法数据难以全部审核完毕,就会造成大量真实 有效的违法数据未审核,有效产出量难以提升。故现状下,通过人工智能、机器学习技术研发“ AI预审辅助分 析系统”,对前端采集的违法数据进行初步机器审核,依靠 AI算法 对违章照片进行二次识别,挖掘真实有效的违法数据提供给违法审 核平台进行

7、执法处理,从而达到人员审核工作量的降低,提高审核 工作有效产出量等目标。所谓正片,是指前端摄像机抓拍到的高清违法照片;所谓废片, 是指前端摄像机误拍的疑似违法照片。AI预审,即从原始正片中找出真实有效的违法数据,通过算法对前端数据的校正稽核,提高正 片有效产出量,节省人力成本,加强业务监管,优化前端设备。以此为城市带来更好的社会效益和环境效益,对打造智慧城市 具有重要意义。3.2.1标准性与兼容性系统的设计应遵循国家标准和公共安全、安保行业标准,采用 标准化设计,对外提供统一标准的接口,供其他业务系统调用。所有技术与业务标准完全符合公共安全、安保部有关标准要求, 对于尚无全国统一标准的部分,支

8、持白定义与扩展。3.2.2先进性与适用性采用科学的、主流的、符合发展方向的技术、设备和理念。设计合理,架构简洁,功能完备,切合实际,能有效控制和提周效率,满足视频深度运用及管理的各项应用需求。系统的技术性能和质量 指标达到国际领先水平;同时,系统的安装调试、软件操作使用又 应简便易行,容易掌握。3.2.3经济性与实用性在先进、可靠和充分满足系统功能的前提下,体现高性价比。采用经济实用的技术和设备,充分利用现有资源,综合考虑系统的 设计、建设、升级和维护。充分考虑实际需要和信息技术发展趋势, 根据用户使用环境及相关资源配备,设计选用功能和符合用户要求 的系统配置方案,实现最佳的性能价格比,以便节

9、约项目投资。3.2.4可靠性与安全性系统采用成熟的、稳定的、完善硬件设备,系统具有一致性、 升级能力,能够保证全天候长期稳定运行。在系统故障或事故造成 中断后,能确保数据的准确性、完整性和一致性,并具备迅速恢复 的功能,同时系统具有一整套完成的系统管理策略,能够符合7*24 运行的需要,可以保证系统的运行安全。同时具有可靠的备份方案, 在系统发现严重故障后,备份的数据可以正确恢复。系统采取必要的安全保护措施,防止病毒感染、过载、断电和 人为破坏,具有高度的安全和保密性。对用户权限分级管理,用户 所有操作通过日志存档记录。3.2.5开放性与便捷性系统的设计坚持开放式架构,可随着视频接入设备的增加

10、、识别 内容的扩展、应用的扩充以及存储空间增加的需求,在现有的设计 架构下,实现业务功能的不断发展与完善。系统需要支持各个开放性标准,包括跨平台及支持各种数据库与 应用中间件等。3.3建设依据3.3.1国家标准GB8566-1988计算机软件开发规范GB2312-1980信息交换用汉字编码字符集基本集GB50348-2004安全防范工作技术规范GA308-2001安全防范系统验收规范GB/T25724-201O安全防范监控数字视音频编解码技术要求GA/T669-2008城市监控报警联网系统技术标准第1部分: 通用技术要求GA/T669-2008城市监控报警联网系统技术标准第4部分:视音频编、解

11、码技术要求GA/T669-2008城市监控报警联网系统技术标准第5部分:信息传输、交换、控制技术要求GA/T669-2008城市监控报警联网系统技术标准第6部分:视音频显示、存储、播放技术要求GA/T669-2009城市监控报警联网系统技术标准第8部分:传输网络技术要求GB/T28181-2011安全防范视频监控联网系统信息传输、交换、控制技术要求国家颁布的其它相关法律、法规、规定。3.3.3公安部相关规定全国公安机关视频图像信息整合与共享工作任务书(公安部);公安部关于进一步加强社会治安防控体系建设的指导意见(公通字201137号);关于深入开展城市报警与监控系统应用工作的意见(公科信201

12、030 号);公安信息通信网边界接入平台安全规范 (试行)一视频接入部分(公科信20115号);公安指挥通信系统建设总体方案(公安部);安全技术防范工程标准(公安部);关于进一步加强公安机关视频图像信息应用工作的意见(公通字20154号)关于加强公共安全视频监控建设联网应用工作的若干意见(发改高技2015996号)关于加强社会治安防控体系建设的意见(中共中央办公厅、国务院办公厅2015年4月13日印发)建设内容与意义4.1建设内容AI预审辅助分析系统需要对前端设备识别产生的违法行为做 判断,标记是否为有效数据,既需要硬件设备的支撑,也需要后端 数据库建设完善。本项目针对高密市交通违法量所面临的

13、问题出发,分析了城市 交叉口的产生了哪些违法行为以及产生违法行为的逻辑。以减少执 法人员审核工作量、增加违法行为审核力度、直观查看城市违法现 状等多个功能点为目标,首先对产生违法行为逻辑进行研究,包括 闯红灯、压线、逆行等违法行为逻辑做判断,进行算法调优,其次 通过对高密市城区交叉口前端设备做管理,在此基础上,制定最终 AI预审辅助分析方案,并对方案进行调试与反馈。具体研究内容如下:闯红灯等违法行为逻辑通过高密市协调干线交叉口进行实地调研,考虑交叉口车辆产 生闯红灯等违法行为实际情况,信号灯跳转情况,对交叉口行驶区 域进行精准化划分,并对交叉口进行相位优化设计。违法数据合成图模式由于城市交通违

14、法行为具有多种特性,无法将整个合成图模式 进行统一,将高密市违法行为进行合理划分,实施交通违法行为分 别管理与预审。数据库数据获取方式基于违法库获取违法数据,制定算法识别方案。AI预审辅助分析系统的调试运行根据对高密市城区的AI预审辅助分析系统的调试运行,以违法 行为判断准确率、平台稳定性、数据分析可靠性以及识别效率等检 验指标,对AI预审辅助分析系统行调试运行,验证方案的可行性与 有效性。系统功能包括:数据可视化违法审核违法查询违法统计预审测试4.2建设意义AI预审辅助分析系统通过不断优化调整,为执法人员审核违法 数据的便利性提供了较大的优化,挖掘真实有效的违法数据提供审 核人员审核,将审核

15、时间大大缩短,提高有效违法数据的产出性, 减少了违法数据未被审核导致的数据被抛弃带来的效益损失。而违 法数据可视化分析又提供给执法人员观察整个城市违法状态,便于 执法人员管控,促进了高密市城市交通高效性、舒适性的健康发展。 同时解决了执法人员工作量过大的问题,加强了政府城市建设和城 市形象的大大提升。目前,整个城市交通品质和执法状态保持良好 的有序发展状态。项目效益分析一、社会效益AI预审辅助分析系统是由高密市公安局交通警察大队发起,联 合公司共同打造的交通违法行为人工智能审查辅助系统,高密市公 安局交通警察大队是提供方,公司科技为主要设计、研发、部署的 技术提供方,完全承担从系统设计到产品交

16、付部署实施的一套完整 的AI预审辅助分析系统工程。目前,已在高密市公安局交通警察支 队实施。根据实际使用的情况,系统运行稳定,审核的准确率达到 了实战要求,减少了人工审核的工作量,增加了交通违法行为的执 法处理量。从高密交警应用的角度考虑该系统大大减少了交通违法人工审核的工作量,提高了对交通违 法行为查处力度,能够有效的打击交通违法行为,提高了交通违法 行为事后处罚的执行力度,有效维护交通秩序和交通安全,。从人民群众应用角度考虑在交通违法行为大量发生的情况下,人民出行的交通安全和秩序 将受到威胁,通过对交通违法行为的打击,可以有效遏制其发生, 通过AI预审辅助分析系统可以有效查处交通违法行为,

17、 让对违法行 为存在侥幸心理的驾驶员得到应用惩处,有效遏制交通违法行为的 发生。该系统的使用,不仅满足了人民群众对交通安全的需求, 同 时,减少了交通违法行为对交通秩序的威胁,保证行人过街、机动 车分方向的有序通行。从交通发展和系统应用维护角度考虑中国在大力发展人工智能行业,是产业升级的重要内容,并制定 了新一代人工智能发展规划。人工智能的迅速发展将深刻改变人 类社会生活、改变世界。同样也将改变交通管理服务的方式,使得 交通管理及服务将日趋智能化,有效提高其效率和智能化水平,从 人民的利益出发,走到人民群众中去,积极响应大众共同使用和维 护绿波带系统,保证居民出行高效、安全、舒适。高密市城区交

18、通 协调控制系统项目旨在强化城市主干路的交通功能,明确城市道路 的功能定位,在时间上和空间上进行综合的优化提升设计,以人民 群众的根本利益为出发点,“面向群众,关切民生”,为居民出行提 供优质服务,保障高峰出行时效性,同时以相关交通设施优化建设 增加出行舒适度。二、经济效益1、大型城市,通过AI预审辅助分析每年可处理6000万违法量, 相当于200人的工作量,一年可节省人工成本 1600万。小型城市,通过AI预审辅助分析每年可处理1000万违法量,相 当于33人的工作量,一年可节省人工成本 264万。2、对不系安全带、开车打电话违章等图片人工审核工作量降低40%以上,每月减少审核图片约60万张

19、;3、 预计可提升正片执法量20%以上,每月增加执法图片超过16000 张。总体设计6.1系统架构设计现撅*网套窕网AI预审辅助分析系统系统架构图系统采用三层框架系统结构。分别为数据接入层、系统核心层 和平台互联层。数据接入层:主要功能是通过各种接口协议,将高清监控视频、 存储视频和离线的临时数据接入到系统核心模组进行识别和分析。 通过接口协议可直接对接现有视频联网平台、 电警系统、接口系统、 存储系统和离线数据,也可通过对接平台数据总线,提取视频图像 信息中人员、车辆,进行解析后,提取分析数据。系统核心层:主要功能是通过不同模组的相应功能,对数据接入层提交的原始数据进行元素增强、数据解析、对

20、象识别、特征分 析、数据比对、数据分类统计、数据检索、数据应用、系统管理和 资源对接。该层是整个系统的核心部分,整合了数据接入、数据分 析、数据管理、数据应用等功能。不仅为本系统的应用提供了数据 源泉,也为与其他应用平台的融合提供了明确的接口定义和海量数 据支撑。平台互联层:主要功能是通过标准化的接口定义,与应用平台 进行无缝融合。通过对业务数据上下行接口、状态数据的上下行接 口、管理状态的上下行接口的明确定义,完成与第三方业务平台的 无缝对接。6.2业务架构设计国际领先的大数据技术和前沿算法,实现了对视频图像的结构 化实时智能分析,在短时间内锁定目标。系统采用先进的大数据架构与存储方案,科学

21、调度,最大化利 用现有监控的前端采集设备资源。系统在设计之初即充分考虑视频数据存储与应用现状,合理部 署架构,无需更换现有视频采集和存储设备,避免高投入建设和重 复建设。依托海量数据智能挖掘技术和大数据分析算法,系统可以整合 社区/园区等单位的视频监控资源信息,通过对通行目标行为的白动 提取、检索和分析处理,高效实现嫌疑目标的定位、布控和预警。系统主要功能包括:AI预审辅助分析系统1数据可视化1.1预审数据详情分别展示今日与昨日已接入违法数据量,已预审违法数据量。对已预审违法数据量进行细化展示,包含今日、昨日预审正片,今日、昨日预审废片,根据预审废片量展示已节省人力量。同时展示 近三天违法数据

22、接入量。今日违法接入:今日系统接入前端采集违法数据总量。今日预审量:今日系统对前端采集违法数据预审总量。违法日期:今日系统接入前端采集违法数据近三天违法量。已节省人力:按每人每日审核 2000条违法数据计算,今日预 审废片+ 2000=已节省人力。1.2预审正片/废片趋势根据当前时刻的数据量展示当日、本周、本月的预审正片及废 片趋势图,支持日、周、月切换,默认为当日。1.3今日路面产生违法行为展示今日前端摄像头拾取到的违法行为,并对各违法行为进行违法占比及数量展示。默认展示 5种违法行为,分别为压线、礼让 行人、不按导向行驶、闯红灯、逆行,其他接入违法行为超出则以 滚动条形式下滑展示。1.4今

23、日预审信息展示展示今日已预审的违法行为正片与废片数据量。默认展示5种违法行为,默认展示5种违法行为,分别为压线、礼让行人、不按 导向行驶、闯红灯、逆行。1.5 AI预审-审核信息展示对今日已预审违法行为正片量及对已预审违法行为正片人工审 核的正片量进行对比分析,展示预审准确率。预审准确率=(预审总 量-人工审核误报量)+预审总量。若未人工审核则展示100%。AI预审:支持预审的违法行为,对该违法行为进行预审的正片 数量。人工审核:根据数据发布管理所选数据发布类型进行统计,若 选择为预审数据发布,则不统计。若选择为初审数据发布,则统计 初审正片量。若选择为复审数据发布,则统计复审正片量。误差量:

24、对预审正片进行审核,若审核结果为废片则为误差数 据。1.6人工处理统计展示人工审核的预审正片中上报正片量(真实违法)、预审正片 中人工审核产生的废片(前端误报)的数据量,以及人工审核的预 审废片中正片(真实违法)与废片(前端误报)的数据量。真实违法:审核结果为正片。前端误报:审核结果为废片。1.7当前坐席业务展示今日审核量前五位工作人员今日审核量及工作量详情,按 今日审核量进行排序,工作量详情为今日已审核的违法行为正片量 与废片量。2违法审核2.1违法初审依据AI预审辅助分析系统对系统 AI预审过的违法数据进行审核。2.2违法复审通过违法复审对其初审数据进行校验,以确保违法数据准确性。3违法查

25、询系统支持时间、地点、违法行为、号牌号码、号牌颜色、审核状态、上报状态、审核人员对目标车辆进行模糊或精确检索。支持查看违法数据审核流程。支持卡片模式或列表模式查看。支持违法数据导出。4违法统计根据所选时间对违法趋势、违法车辆类型、点位预审废片排行、 违法数据、违法数据分类进行统计及分析。5预审测试平台上线前期通过导入离线数据对系统算法识别功能进行测试6.3大数据架构设计公司智能图像教学信息将卡口、电警、视频等前端监控设备中 的图像、视频非结构化数据转化为结构化数据,结合先进的大数据 技术,应用于案件侦查领域,助力智能图像教学、公共安全、安保 信息化建设的大数据架构平台。统一注册发现服务统一注册

26、发现服务是集群管理模块,集群中的每个节点通过注 册和监听相应的zookeeper节点来获取集群状态并进行相应的处理。集群白动监控运维服务通过监控系统运维服务可以查看每个节点的详细运行参数和性 能指标,维护人员通过设置相应的监控参数可以实现白动恢复或报 警。白动部署服务白动化部署方式可以方便的部署整个系统,提供基于命令行的系 统管理方式,可让系统部署过程更便捷、快速。五层大数据架构服务存储层存储层给大数据架构提供检索与存储模块,该模块存储系统中 所有数据,并提供近实时的搜索功能。计算层通过相关识别算法给系统提供图片识别服务;支持离线计算、流式计算、图式计算等计算方式,支持 GPU集群模式,硬件加

27、速计 算模式进行相关识别算法;提供系统业务分析研判挖掘以及统计分 析等系统级服务。调度层支持离线任务调度模式和实时调度模式两种调度模式; 接入层使用消息队列、协议转换、格式适配等相关技术对接入数据进行 转换及相关处理,以便进行任务调度和接入的图片和视频数据的统 一识别及计算; 应用层应用层提供各种业务处理模块,提供一个可扩展的业务处理功 能,可以无缝的加入业务处理逻辑。 可提供视频目标搜索、智能 分析、布控预警等相关业务功能6.4关键技术计算机视觉处理技术本系统应用了大量的计算机视觉处理技术。计算机视觉是一门 研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和 电脑代替人眼对目标进行识

28、别、跟踪和测量等机器视觉,并进一步 做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的 图像。系统通过计算机视觉处理技术可对视频和图片数据进行实时的 二次识别,提取视频目标等结构化数据。人工智能与深度学习算法视频活动目标可以按照外观类型进行分类,如行人、两轮车、 三轮车、汽车等。而同一类型车辆所具有的公共特征是在进行分类 时必须要考虑的问题,例如轿车之间的共同特征非常类似,但轿车 与货车的公共特征却存在着明显的差别。本系统采用了 K-近邻算法、 决策树算法 (decision trees)、支持向量机(support vector machines) 等分类算法,通过boosting集

29、成方法将以上多个算法的分类结果进 行组合,从而获得了比简单的单一算法更好的分类结果。此外,还 采用了 FP-growth算法及卷积神经网络(Convolutional Neural Networks)等深度学习算法,下面对相关算法做简单概述。GPU图形计算系统在对卡口图像特征、行为进行智能化实时分析时,高密度图像运算中浮点计算密集性高,对存储访问量大,采用传统的CPU已经无法在性能方面进行大的突破。为此,系统采用先进的GPU图 形计算,极大强化了视图处理运算能力和数据读写吞吐能力。采用 并行处理方式,合理分配计算资源,充分释放计算能力。将复杂的 分析任务细分成数以千计的、可并行处理的小任务,从

30、而可以实现 比传统方式快几个数量级的速度来解决问题。与传统的仅有CPU的 计算机集群相比,GPU图形计算能够大大降低功耗,系统整体的安 全性、可靠性及易用性等优势得以大幅度提升。Hadoop技术本次建设主要涉及的核心需求是海量视频目标数据识别与存储、图片存储、实时存储/转发、实时监控、数据挖掘分析。主要涉及大 数据存储及处理,采用为主流的商用化 Hadoop技术,其特点如下:高效率:通过分发数据,hadoop可以在数据所在的节点上 并行地处理。高可靠性:hadoop按位存储和处理数据,能够白动地维护 数据的多份复制,并且在任务失败后能白动地重新部署计算任务。高扩展性:Hadoop是在可用的计算

31、机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。高容错性:Hadoop能够白动保存数据的多个副本,并且能够 白动将失败的任务重新分配。安全性:Hadoop提供ACL权限管理机制,保证数据具有更好 的安全性。本次建设主要部署的组件包括 HDFS Yarn、Hbase等,并通过 集成SPARK Solr技术,强化平台的并行计算和多条件模糊检索性 能。Hbase数据库HBase是Hadoop大数据下的列式数据库,相比于传统的关系型 数据管理系统可提供更高的读写效率,更好的容错性能,非常适合 卡口这种大量数据并行写入,同时存在多用户同时在线查询的业务, 根据卡口业务合理设计

32、行键和列,并对部分列建立特定的二级索引, 大大加快系统查询响应速度,提升系统的可用性。系统完全支持分布式并行处理,使用 Hbase分布式数据库,结 合Spark将海量的过车数据问题拆分成并行处理的小问题,将海量 过车数据的搜索,转变成大量的子搜索处理,提高数据库的处理速 度。中心使用Hbase作为中心数据库,利用分布式检索工具通过分 布式的读写和检索,满足高速读、写、检索的需求,有效降低系统 的整体负担,极大提升系统的性能与稳定性,同时可以方便的进行 横向扩展。分布式数据库 HBase具有周可扩展性、局性能、周可用 性、数据模型、面向列、多维表、稀疏表等特点和优势:为此,选 择分布式数据库Hb

33、ase作为本次建设的数据库选择。Redis内存数据库Redis是一个开源的、基于 C语言编写、可持久化、提供多语 言API的KeyValue类型的内存数据库。Redis具有高性能并发读 写的能力。Redis最大的特色是支持保存 List链表和Set集合的数 据结构,而且还支持对List进行各种操作。与Memcached只能保 存1MB的数据相比,Redis单个内存块的最大限制是 1GR另外 Redis也可以对存入的 Key-Value设置到期时间,因此也可以被当 作一个功能加强版的 Memcached来用。Spark分布式计算Spark是一个分布式数据快速分析项目,拥有HadoopMapRed

34、uce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS它的核心技术是弹性分布式数据集(Resilient Distributed Datasets),提供了比MapReduce丰富的模型,可以快速在内存中对数据集进行多次迭代, 来支持复杂的数据挖掘算法和图形计算算法。Spark是一种与Hadoop相似的开源集群计算环境,但是两者之 间还存在一些不同之处,这些有用的不同之处使 Spark在某些工作 负载方面表现得更加优越,Spark启用了内存分布数据集,除了能 够提供交互式查询外,它还可以优化迭代工作负载。Solr检索HBase本身只对Ro

35、wkey支持毫秒级的快速检索,对于多字段的 组合查询,采用构建二级索引可适当改善,在组合查询字段中存在 唯一值条件的查询能很好的解决,但对于多条件组合查询中每个条 件值都不唯一或模糊条件时却无能为力。平台常用的搜索条件包括 车牌号码、车型(车牌、型号、年款)、时间段,通常车牌号码、车 型都要求支持多个条件输入,时间段也可能跨度较大,甚至也会出 现基于多个不同时间段查询,在面对这种多条件和多条件组合查询 时,Hbase的Rowkey和二级索引都不能很好的解决。 而Solr却可以 很好的解决这种多条件组合查询和模糊查询问题。Storm流式计算系统采用Storm开源流式计算框架进行流式计算处理。St

36、orm是一个分布式的、可扩展的、容错的实时计算系统Storm具有如下特点:模型简单类似于 MapReduce降低了并行批处理复杂性,Storm降低了 进行实时处理的复杂性。支持多种编程语言可以在Storm之上使用各种编程语言。默认支持 Clojure、Java Ruby和Python。要增加对其他语言的支持,只需实现一个简单的 Storm通信协议即可。高容错性Storm会管理工作进程和节点的故障。高扩展性Storm计算是在多个线程、进程和服务器之间并行进行的。高可靠性Storm保证每个消息至少能得到一次完整处理。任务失败时,它 会负责从消息源重试消息。系统通过Storm流式计算服务将数据进行毫

37、秒级运算,通过清 洗、加工、处理、分析等数据适配服务,将数据分别存入solr、hbase 和hdfs中,以供WEEB5用服务使用。Kafka分布式消息队列Kafka 是一种高吞吐量的分布式消息队列系统,可以用作HBase 的负载均衡,用于处理系统中的所有视图流数据。这些数据通常是 由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统, 但又要求实时处理的限 制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行 加载机制来统一线上和离线的消息处理。有如下特性:稳定隹通过0(1)的磁盘数据结构提供消息的持久化,这种结构对于即 使数以TB的

38、消息存储也能够保持长时间的稳定性能。高吞吐量即使是非常普通的硬件kafka也可以支持每秒数十万的消息。系 统选用kafka技术对前端设备的结构化及非结构化数据进行接收。7.平台介绍川莎审辅助分析系貌平台登陆平台首页7.1AI预审辅助分析系统 7.1.1首页预审数据详情分别展示今日与昨日已接入违法数据量,已预审违法数据量。对已预审违法数据量进行细化展示,包含今日、昨日预审正片,今 日、昨日预审废片,根据预审废片量展示已节省人力量。同时展示 近三天违法数据接入量。今日违法接入:今日系统接入前端采集违法数据总量。今日预审量:今日系统对前端采集违法数据预审总量。违法日期:今日系统接入前端采集违法数据近

39、三天违法量。已节省人力:按每人每日审核2000条违法数据计算,今日预审 废片+ 2000=已节省人力。预审正片/废片趋势根据当前时刻的数据量展示当日、本周、本月的预审正片及废 片趋势图,支持日、周、月切换,默认为当日。今日路面产生违法行为展示今日前端摄像头拾取到的违法行为,并对各违法行为进行违 法占比及数量展示。默认展示 5种违法行为,分别为压线、礼让行 人、不按导向行驶、闯红灯、逆行,其他接入违法行为超出则以滚动条形式下滑展示今日预审信息展示展示今日已预审的违法行为正片与废片数据量。默认展示5种违法行为,默认展示5种违法行为,分别为压线、礼让行人、不按 导向行驶、闯红灯、逆行。A I预审-审

40、核信息展示对今日已预审违法行为正片量及对已预审违法行为正片人工审 核的正片量进行对比分析,展示预审准确率。预审准确率=(预审总 量-人工审核误报量)+预审总量。若未人工审核则展示 100%AI预审:支持预审的违法行为,对该违法行为进行预审的正片 数量。人工审核:根据数据发布管理所选数据发布类型进行统计,若 选择为预审数据发布,则不统计。若选择为初审数据发布,则统计 初审正片量。若选择为复审数据发布,则统计复审正片量。误差量:对预审正片进行审核,若审核结果为废片则为误差数 据。人工处理统计展示人工审核的预审正片中上报正片量(真实违法)、预审正片 中人工审核产生的废片(前端误报)的数据量,以及人工

41、审核的预审废片中正片(真实违法)与废片(前端误报)的数据量真实违法:审核结果为正片。前端误报:审核结果为废片。当前坐席业务展示今日审核量前五位工作人员今日审核量及工作量详情,按 今日审核量进行排序,工作量详情为今日已审核的违法行为正片量 与废片量。7.1.2违法审核违法初审依据AI预审辅助分析系统对系统 AI预审过的违法数据进行审核。系统对接入的违 法数据进行预审,将原始违法数据分为三大类,分别为预审正片、预审废片、未预审。预 审正片为算法识别认定的真实违法数据,预审废片为算法识别认定的前端误报数据,未预审为算法暂不支持识别的违法数据。用户对预审正片与未预审进行审核,由于预审正片为大量真实有效

42、违法数据, 从而加快审核速度与审核效率。通过系统将废片挑选出来,无需浪费人力审核其废片,大大节省人力。违法初审查询项目分为 “违法时段” “违法地点” “违法行为” “审核状态”四个主项, 以及附属项目有“违法号牌”、“号牌颜色”。可对违法数据进行“审核通过”、“误报”、“套 牌”操作处理。审核通过则数据状态标记为预审正片,误报则标记为预审废片, 套牌则标记为套牌,审核完一条数据后标记状态并自动切换下一条数据查看。支持数据批量审核通过,并标记数据状态。Wmt -pvmi!*ITI.MTJJCKiOj折除 3M r *2 O *(违法复审)违法查询系统支持时间、地点、违法行为、号牌号码、号牌颜色

43、、审核状态、上报状态、审 核人员对目标车辆进行模糊或精确检索。支持查看违法数据审核流程。支持卡片模式或列表模式查看。支持违法数据导出。Stt-.号 irMHrimtntAa% th虹齐为4vKaFMW 4WWSDdeHMWST4-1iSk 1 IBb1*V*斯-*r*ch4-nJim mm in jm.SB.5afiw=ar-iiiS: i1BcfieeUit*?*EMJJn村.M tWMW:*ftUKF.gmgm13 1LZVI-59KJjGtx-n-a-i22iuM3z1 gmite云时+ng心顷La fcwwn*0,O ! A 4伟w*M*hifwr ig H A 网,ft M; i 普

44、(列表模式)O * |传毒so分帏系蛟A注胃(卡片模式)违法统计根据所选时间对违法趋势、违法车辆类型、点位预审废片排行、违法数据、违法数 据分类进行统计及分析。预审测试平台上线前期通过导入离线数据对系统算法识别功能进行测试。(预审测试首页)1il*x壬土行在Aft生:BTfrfSMm-们 nt”HPM .1IUJ 二hH.i呵3 号* W7 iKMl1* 理/ NwrfMSk KT % MA smr-i-it-. p.r 二 43驰听1Ik.那r 二:;f :&igm-s 国 at 351s=aWC!iWFzi(测试结果页)7.2.5系统管理个人首页个人首页展示当前用户的详细账号信息,涉及账号

45、/工号、姓名、电话、身份证、地区、单位等信息。个人首页支持用户修改密码信息,确保账户的安全性。用户管理支持管理员在在平台内创建用户、修改用户信息、查看用户日 志以及删除已有用户等操作。系统日志系统日志对平台所有的操作行为进行记录,如用户对系统的登 陆、功能应用、查询数据等进行详细记录。系统日志页面展示平台被使用的总次数,本周使用,今日使用;统计方式为系统操作记录次数。系统日志支持按照账号、操作日期进行检索。日志展示内容有:时间、账号、姓名、单位、操作功能、 IP、 详情(用户在功能页面输入或使用记录)。设备管理设备管理功能对平台已接入的前端设备进行展示,并且支持维护新设备,对已维护设备的信息进

46、行删除。并且可对设备进行违法 行为识别标注及配置,以及查看设备上已标注的违法行为。厂商信息维护支持管理员在在平台内对厂商信息进行新建、修改或删除。违法行为接入配置支持管理员在在平台内对厂商违法行为与公司违法行为的映射 关系进行新建、修改或删除。号牌颜色配置支持管理员在在平台内对厂商号牌颜色与公司号牌颜色的映射关系进行新建、修改或删除。过车方向配置支持管理员在在平台内对厂商过车方向与公司过车方向的映射关系进行新建、修改或删除。设备备案维护支持管理员在在平台内对厂商设备编码、备案编号、违法地行 政区划、违法地点、路段编码、地点米数之间的对应关系进行新建、 修改或删除。0车辆颜色配置支持管理员在在平

47、台内对厂商车辆颜色与公司车辆颜色的映射关系进行新建、修改或删除。1号牌颜色配置支持管理员在在平台内对厂商号牌颜色与公司号牌颜色的映射关系进行新建、修改或删除。2号牌种类配置支持管理员在在平台内对厂商号牌种类与公司号牌种类的映射关系进行新建、修改或删除。3车辆类型配置支持管理员在在平台内对厂商车辆类型与公司车辆类型的映射关系进行新建、修改或删除。环境要求8.1环境信息部署环境:专网/互联网 前端视频汇聚/安装情况视频接入量:需接入视频的数量范围以及日均数据量硬件资源方案:依据现有图像数据量及存储等做具体方案配置接口文档:现有视频监控平台对接方式以及厂商信息8.2硬件信息参考硬件信息,依据具体项目

48、接入数据量做相应调整依据项目配置8.3准备工作光驱+系统盘,U盘,相关驱动(windows用)控制机、我们的系统安装包(.tar)、相关部署文档以及任务调度 文档软件工具:VMware、XshelL Xftp、SqldevelopeK Navicat、浏览 器(火狐、360、谷歌)、JDK Tomcat、NetFrameWork、运行时、tool(获 取机器码)、getimg (导出图片工具)接口:各类标准接口文档8.4现场实施所需IP显示器,键盘,网线,交换机,插座装前端视频分析盒的安装点位确定以及图像接入、环境保护服务器上架以及环境配置、软件配置、设备数据接入、环境保护应用平台信息维护设备

49、坐标信息平台应用测试平台账户开放8.5观察调试系统能正常运行:综合查询有数据,设备支持配置及目标预警平台各功能运行正常,支持各类目标检索处理速度,通过卡口接口程序观察,估算处理量能否达到要求, 是否能达到实时性识别准确率:随机测试检出目标的识别特征信息,计算识别准确 率目标检出率:以时间段为单位测试总目标数量与被检出数量,以及检出目标的重复量系统稳定性测试实施方案9.1方案制定实施方案制定目标是根据项目合同、用户的实际情况,由项目经 理组织制定项目总体实施方案,是用户了解项目实施的整体工作流 程,并认同项目实施中的一些做法,作为指导项目实施的章程。实施方案中应明确以下几点项目目标、实施范围、实

50、施模块;项目大致的实施步骤;项目各阶段应交付的工作成果;项目实施的前提 ;用户需要为配合项目而采取的措施和投入的资源;项目管理的内容 。项目目标根据项目交付成果、约束条件(时间、功能、 数量级和成本等)组成项目目标。实施范围包括产品范围和项目范围。产品范围需指明 产品具有哪些特征、功能和子系统,及产品性能 技术指标的说明;项目范围可列举出完成项目目 标所需要做的事情。实施模块根据产品范围所部署的软件模块,例如:AI预审、数据可视化分析、违法初审、违法复审、 违法统计、违法查询。9.2项目管理9.2.1组织架构根据本项目的规模、特点,本项目实行项目实施法管理。组织 以项目经理为主的实施管理人员,

51、全权负责本工程现场施工管理, 项目组内优选有能力、有技术、有实际经验的各级相关人员,对该 工程的质量、安全、工期及文明施工进行有计划、有组织的高效、 科学、协调管理,确保本项目施工工程质量合格。人员配备充分考虑进度安排,相应人员如下:项目部管理人员配备:人员数量项目经理1名产品经理1名开发人员10名测试人员5名实施工程师1名9.2.2工作流程为了便于项目工程的实施,确保工程优质、高效施工任务的完 成,拟将整个项目工程划分为以下六个阶段。1)第一阶段为:需求调研、产品设计;2)第二阶段为:系统开发、硬件部署;3)第三阶段为:接口对接及联网应用;4)第四阶段为:测试系统及系统试用;5)第五阶段为:

52、系统试运行+培训;6)第六阶段为:系统正式投入使用+项目验收;9.2.3信息反馈渠道为保证项目实施进度和质量,同时保证项目服务质量,公司建 立多种信息反馈渠道,包括电话反馈、邮件反馈、通过施工人员反 馈等多种方式反馈项目情况,及时反馈项目信息。9.2.4控制方式项目的执行和控制项目执行过程中使用周工作计划及跟踪对项目计划进行跟踪和 控制。在阶段计划的基础上,要求细化分解制定周工作计划及跟踪, 落实到人员的工作内容、负责人、参加人、完成时间、要求等。需求变更控制1)对于项目执行过程中的需求变更,必须通过书面形式提报, 由软件组领导批准后,整体调整项目实施内容及实施时间。 项目变更管理申请,由发起

53、人提报项目组相关管理人员。2)项目组管理人员应该考虑变更对整个系统的功能可靠性、项 目进度、成本、质量、工作量、对其它方面的影响及带来的 风险进行多方向综合的考虑,来决定是否接受变更请求。风险控制1)从项目的进度管理和质量管理上来规避项目风险; 通过风险 分析和管理制定出项目实施策略。2)加强对实施进度和质量的管理,提出具体的阶段计划检查要求和阶段验收标准。3)项目组认真执行过程的检查工作,及时汇报所项目的执行状 况,出现问题应及时汇报,以便协调解决。9.3安装调试方案实施人员负责现场安装、调试。在安装、调试过程中,对用户 所提出的技术问题应给予满意的答复,并提供安装调试工程中的各 种文档资料

54、。以便用户能掌握系统使用方法和维护方法。安装调试 完成后,向用户提供安装、调试报告,报告中应包括安装调试结果 和安装过程中出现的问题及解决方法的内容。9.4质量保证措施项目质量控制和保证我公司对于项目质量控制管理工作,建立了整套严格的项目管 理体制,根据在相关项目实施管理的经验,采取一系列的质量控制 手段来强化本项目中的质量管理工作。高质量的系统设计长期以来,我公司做为一个高新技术企业,一直在跟踪和实践 业界内的领先技术,有能力完成高质量的技术方案设计与实施。严格的测试方案在本项目中的测试方案都必须通过技术专家小组和质量控制小 组审核并同使用用户协商确认。完善的培训机制我公司具有长期的产品培训

55、经验,通过详细的培训保证用户技 术人员掌握系统的维护技术及产品的使用方法。完善的项目管理措施目前,我公司已经建立了项目质量控制管理体系。在项目技术 部门内部采取的质量管理措施包括:1)建立完整的项目文档体系和项目文档管理制度2)建立项目的定期报告制度3)加强项目质量的测试管理4)定期或不定期的项目随访5)定期对项目进行总结与评估6)组织项目相关专家专题讨论7)定期分析项目开发或实施进度9.5验收方案内部验收系统安装调试完成后,提供初验方案和测试大纲,经采购人或 采购人委托的下级机构技术人员和监理单位同意后,按照要求组织 初验。试运行内部验收合格后,进入试运行期。试运行期内如出现重大故障,则试运

56、行期从故障排除之日起重 新计算,直到系统连续多日无重大故障为止。重大故障系指因中标 供应商或设备软、硬件原因致使系统不能正常运行。终验试运行期内系统稳定,运行良好,满足全部功能要求,提供终验 方案和测试大纲,经采购人委托的机构技术人员和监理单位同意后, 按照采购人要求组织终验。10.运维方案运行维护服务包括,信息系统相关的主机设备、操作系统、数据 库和存储设备及其他信息系统的运行维护与安全防范服务,保证用 户现有的信息系统的正常运行,降低整体管理成本,提高网络信息 系统的整体服务水平。同时根据日常维护的数据和记录,提供用户 信息系统的整体建设规划和建议,更好的为用户的信息化发展提供 有力的保障。用户信息系统的组成主要可分为两类:硬件设备和软件系统。硬件设备包括网络设备、安全设备、主机设备、存储设备等;软件 设备可分为操作系统软件、典型应用软件(如:数据库软件、中间 件软件等)、业务应用软件等。

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论