智慧地铁视图数据中心建设方案

Copyright©2011-2015浙江宇视科技有限公司保留一切权利.业务需求1分钟内，在一条线路2000个摄像头1周的录像中检索到视频内的1个可疑人员人脸轨迹抽取业务集群调度智能人脸识别海量录像调用据时代下的智慧铁数据数据述：构化到结构化数据处理：从信息孤岛到数据融最终目标：从事后取证到事前预警数据存储：从业务透明到业务感知最终目标：从事后取证到事前预警数据存储：从业务透明到业务感知自顶向下设计应用设计客户组织行业需求实施策略项目目标预算与验收标准应用设计客户组织行业需求实施策略项目目标预算与验收标准行调出入口控制系统电子巡查系统BIM系统综合安防平台环调公安乘客信息系统行调出入口控制系统电子巡查系统BIM系统综合安防平台环调公安乘客信息系统物品探测系统实体防护系统视频监控系统•客户组织适配•网络自治适配•卷积神经网络•深度学习•MapReduce•SPARK•不可信网络•隔离网络•可信网络入侵报警系统•集中式•分布式车站停车场控制中心基地车辆段车站停车场控制中心基地车辆段逻辑组件整体设计流量模型设计流量设计原则——本地集中流量设计原则——本地集中车站内千兆接入，本地终结主要流量车站与OCC间千兆可用带宽，预留故障切换与应急指挥车站间不能有窜流管理模型设计 市公安局 市公安局 分控中心 分控中心车站车站车辆段车站车站车辆段车站车站管理设计原则——本地自治管理设计原则——本地自治警用、专用在车站、传输或者OCC处分开系统间对接灵活，要求本地系统高度自治网间流量可控，故障可自治，要求本地系统高度自治计算模型设计业务集群调度业务集群调度车站1车站2车站n车站1车站2特征提取与分类特征提取与分类特征提取与分类特征提取与分类特征提取与分类特征提取与分类实时数据与存储实时数据与存储实时数据与存储实时数据与存储实时数据与存储实时数据与存储数据采集与检测数据采集与检测数据采集与检测数据采集与检测数据采集与检测数据采集与检测计算设计原则——计算设计原则——IO路径最短，分布计算，集群调度特征提取与结构化描述前置，IO路径最短多维度时空分析与轨迹碰撞后置，分布计算，集群调度海量数据，流式实时分析与离线数据分析，业务模型时空化存储模型设计OCC其他分控车站1车站n车站1车站n存储设计原则——本地集中存储设计原则——本地集中，远程灾备，业务感知两级云存储架构，统一管理和故障切换本地高可用性设计，云内负载均衡故障后云间切换，恢复后数据回迁依据业务不同设计数据保护IMP安全隔离网络可信网络安全模型设计IMP安全隔离网络可信网络不可信网络安全设计原则——业务感知安全设计原则——业务感知，两层隔离部署于视频传输和业务系统之间，保证OCC数据安全前端准入控制，与运维管理联动，防御非法接入后端深层防御，感知业务数据，防御非法数据存储：存储：878TB转发：2Gbps业务：权限/用户/视频/设备/业务/域间管理、智能计算6Mbps90天存储、转发、计算、权限/用存储、转发、计算、权限/用户/视频/设备/业务/域间管理权限/用户/视频/设备/业务/域间管理存储计算转发业务适配性设计——业务硬件化，流量全交换全交换架构流媒体架构全交换架构流媒体架构数据抽象业务设计基于视频图像的智能分析视频侦查缉查布控违章处罚系统维护视频浓缩技术人脸识别技术行为分析技术时空分析技术车牌识别技术违章分析技术视频诊断技术视频侦查缉查布控违章处罚系统维护智能分析的难点l算法环境适应性差l算法特征可扩展性差l施工的质量决定智能效果l算法环境适应性差l算法特征可扩展性差l施工的质量决定智能效果l每个厂商各有所长l多厂商算法很难集成l智能分析效率低l服务器数量多宇视WISE+智能应用解决方案Wisdom智慧算法Wisdom智慧算法Scene场景设计Scene场景设计WISE++集成各项核心技术，超过60家厂商的智能分析产业链，打造专家级智能解决方案。以视频图像为中心的计算5050CPU计算性能提升10倍整体性能提升6-8倍硬件利用率提升30%算法效率增加50%业务丰富度扩展60%硬件利用率提升30%算法效率增加50%业务丰富度扩展60%车辆特征车牌识别智能监所行为分析车辆特征车牌识别智能监所行为分析人脸比对机器学习基础算子图像处理基础算子规则、策略模块调度模块GPUH264解码GPUH265解码去噪GPU高密度机器学习基础算子图像处理基础算子规则、策略模块调度模块GPUH264解码GPUH265解码去噪GPU高密度GPUMJPEG编码边缘增强多线程并发CPUMJPEG编码服务器云调度机器学习基础算子图像处理基础算子基础数学运算算子算法云调度算法云调度视频图像信息数据中心计算架构提供基础硬件调度平台支持插件化算法、全面兼容各种智能提供框架内硬件统一管理提供CPU提供基础硬件调度平台支持插件化算法、全面兼容各种智能提供框架内硬件统一管理提供CPU、GPU计算资源统一管理支持多种智能计算资源混合调度支持多种硬件形态兼容调度支持负载均衡和灾难备份结果结果分片分片分片分片分片分片分片分片基于分布式计算优化分片存储计算资源分布式任意分配基于分布式计算优化分片存储超高识别率遮眉遮眉遮眉遮额头遮眉遮额头遮眼周围戴帽子超高识别率遮脸遮耳遮脸遮耳遮半边脸遮半边脸遮嘴超高识别率侧脸侧脸侧脸低头侧脸络腮胡超高识别率快跑快跑快跑闭眼遮脸/遮耳/闭眼超高识别率鬼脸鬼脸鬼脸胖瘦变化胖瘦/年龄变化人脸识别产品业务功能简介黑名单布控人脸门禁比对特征检索视频检索数据计算业务设计宇视视图数据中心-UNIDATA大数据架构UNISTOR融合云直存储自学习智能集成引擎实时数据计算框架(SparkStreami物联主题数据 结构化 结构化数据图片录像图片录像…写4万条/秒SparkSpark/Hadoop起源于互联网应用，宇视结合安防需求新增UNIDB时空数据库，优化安防数据的存储和处理性能，最终性能远好于标准版Spark/Hadoop。大数据实际应用效果超快检索速率：精确检索响应时间模糊检索响应时间多条件复杂检索响应时间超快业务研判：0.5秒0.5秒黑名单布控车辆限行大货车闯禁行两客一危黄标车城市路况跟车关联分析车辆频度分析5秒昼伏夜出分析5秒首次出城、入城分析5秒多次进城不出城分析5秒•基于宇视UNIDATA大数据平台的分析检索服务产品与2014年6月份，采用真实数据构建100亿数据应用，顺利通过公安三所型式检测，2015年底推出千亿级大数据平台轨迹查询、显示、碰撞MAC/RFID记录查询轨迹显示移动WIFI采集点位归一化处理MAC/RFID记录按采集基站查询记录轨迹碰撞采集采集信息信息空间空间信息轨迹碰撞车牌1车牌2车牌3车牌4车牌5车牌6车牌7反恐区域夜间活动外地车辆首次出入城套牌分析车辆违规事后分析事前预防主动预警数据应用——视频轨迹与手机轨迹碰撞•视频中发现人，确定大致的轨迹A。•根据视频确定的轨迹A，基于WIFIMAC地址采集等方式，寻找匹配的手机轨迹。根据碰撞列表可进一步查看碰撞明细。763•扩展应用：多个案件的作案轨迹结合手机碰撞轨迹，可以找到可疑度较大的手机，缩小搜寻范围。数据应用——时空分析案->人人->案案->人人->案案人物->案实战指挥-重大案件快速集中存储大批量集中存储功能重特大案件的快速集中存储：以往发生重特大案件需抽调大量视频员、配备大量存储媒介、占用大量电脑，视频备份存储工作量大。本系统实现以发案地为基点的大区域框选，然后进行后台自动的下载保存。强化运维管理，全程可用可控全局运维综合态势管理基于日志大数据的行为审计全网设备拓扑管理可视化报表管理分析新一代3D地图应用引擎-科学布点数据存储业务设计维护难常见设备与业务分析——通用安防存储NVR/IPSAN维护难检索慢检索慢丢数据易崩溃丢数据易崩溃应用缺陷技术分析常见设备与业务分析——通用数据存储IPSAN/云存储应用缺陷技术分析结构化数据来源前端智能前端智能归档信息 依据业务需求定制存储设备视频存储数据存储视频存储数据存储重要点位备份视频以上）数据内容写业务读业务读写块大小读写块大小扩容需求Cache调度+RAID++结构性能要求扩容需求Cache调度+RAID++结构性能要求数据保护设备选型读写比例UNISTOR融合云直存单机可靠性云存储安防业务适配CloudDirectStorageCloudDirectStorage安防云直存缩短故障切换时间提高无故障运行时间系统可用性(Avaibility)=1−缩短故障切换时间提高无故障运行时间单机可靠性——硬盘•磁盘再检测••磁盘再检测•磁盘再修复•磁盘修复•磁盘检测•读写检测减少误判快速修复主动预防减少误判快速修复主动预防防腐蚀防腐蚀震震单机可靠性——阵列RAID块虚拟化基于快照的重建重建重建化解单块硬盘读写瓶颈，快速重构化解单块硬盘读写瓶颈，快速重构降低数据失效风险负载均衡，提高性能磁盘暂时性故障，或被拔出后10分钟内插回，10秒完成重建2TB数据恢复小于1小时单机可靠性——设备性能提升性能提升双风扇双电池双电源双BIO云存储系统——数据访问统一的存储共享池和访问入口灵活的空间配额管理统一的存储共享池和访问入口灵活的空间配额管理无缝动态扩容负载均衡提供分布式文件系统提供超大文件、海量文件存储服务标准服务和系统接口云存储系统——数据保护纠删码复制卷提供N/(N+1)的冗余可靠性数据切片，并发下载速度快数据重构速度快，