智能视频(行为)分析识别一体化解决方案

智能视频（行为）分析识别一体化解决方案 概述背景人工智能大时代背景下，视频应用领域相关的行业应用方式已经发生了深刻的变化，各论安防监控还是各类垂直行业视频应用，都需要AI视觉行为分析与识别技术助力，而且需求广泛而迫切。在应用层面，以AI行为分析识别技术为核心，集传统视频监控和行业相应传感器/预警等设备一并接入管理并相互联动的一体化综合管理成了刚性应用需求，由此，新一代AI智能视频一体化平台软件，深挖行业需求，响应时代号角，迈向智能监控时代。目标平台在分析识别算法中间件为核心的技术框架下,以AI人工智能机器视觉技术为支撑，以AI视频应用为核心，把实现客户需求为目标。细化应用规则，在良好的横向业务应用规则扩展支持的同时，又重视纵向的技术深度化研发。持续适配更多的场景业务，为社会治安治理、保障安全生产提供有力的技术手段。系统架构2.1系统网络拓朴图2.1.1局域网模式典型应用备注:本模式为局域网环境下典型应用，所有设备都接入在同一个局域网下,AI系统服务器可以接入各式各品牌的网络摄像头和硬盘录像机，也可以对接一些报警设备和传感器设行。客户端管理电脑登录连接主服务器，在客户端软件用户界面统一管理系统。一台主AI服务器支持接入多台从AI服务器，实现堆叠接入管理，便于系统扩容。2.1.2多分部本地AI系统互联网应用备注:本模式为多个分散在各地的分部AI系统，将报警事件统一上传云平台，通过IE客户端连接云服务器访问，本地AI系统架构为局域网模式，只要将本地AI服务器设置指向云管理服务器地址信息即可完成联网。本模式特点：两级架色，本地局部单元系统（本地运算),中心系统统一所有分部的本地系统的接警记录2.1.3互联网/大型多级局域网后台分析模式备注:2.2AI算法中间件2.2.1AI算法中间件简介AI采用人工智能机器视觉“深度学习”技术底层架构，结合应用级算法，采用组件化设计，方便扩展算法类型，同时具备强大的样本处理能力，样本自动化生产标签能力，可以高效研发新算法组件。2.2.2算法模块序号名称备注1对象类别识别能力人,跌倒的人,吸烟,眼镜,背包,安全带,反光衣,帽子,厨师帽,安全帽,手机,口罩,手提包,路面坑洞,蒙面,人脸正面,人脸侧面,举手,持刀,持枪,持棍,小汽车,自行车,摩托车,面包车,大客车,中巴车,火车,出租车标志,挖掘机,自卸货车,灌式货车,货柜车,渣土车,飞机,风筝,狗,猫,牛,马,鸟,老鼠,蟑螂,壁虎,行李箱,打包箱,手,三轮车,轮椅,火,烟柱2拌线探测本算法规则在视频内划线，指定布控对象类别，系统检测当布控对象经过线条时，触发抓拍事件;对象长时间停留在线条上，则每隔N秒后触发一次抓拍事件，由用户指定检测哪一种对象或多个对类别本算法规则通常应用于检测某种对象经过，如人员越界，车辆进出，动物出入等。3.AB线探测本算法规则在视频内划两条线，指定布控对象类别，系统检测当布控对象经过A线条再经过B线条时，触发抓拍事件;反之则不触发本算法规则通常应用移动方向要求的某种对象经过，如人员越界，车辆进出，动物出入等。4对象滞留侦测本算法规则在视频内绘制一个矩形或多边形布控区域，设定某种对象长时间滞留在布控区域内(设定超过指定的N秒后)，产生抓拍事件本算法规则通常应用于周界预警，车辆违停，人员排徊5区域入侵侦测本算法规则在视频内绘制一个矩形或多边形布控区域，指定某种对象经过布控区域内，跟踪并产生抓拍事件本算法规则通常应用于周界预警6对象移走探测本算法规则在视频内绘制一个矩形或多边形布控区域，设定必须有某种对象存在于布控区域内，如果在设置的时间范求没有检测到该对象，则产生抓拍事件本算法规则通常应用于保安离岗或卫兵离岗、贵重物品看护7进入AB区域探测本算法规则在视频内绘制两个区域，指定布控对象类别，系统检测当布控对象经过A区再经过B区时，触发抓拍事件;反之则不触发本算法规则通常应用移动方向要求的某种对象经过，如人员越界，车辆违规变道等。8人群聚集探测本算法规则在视频内绘制区域，设置区域内人数超过N人时，产生人群聚集抓拍事件9车辆拥堵探测本算法规则在视频内绘制区域，设置区域内车辆数量超过N时，产生车辆拥堵抓拍事件10区域人流统计本算法规则在视频内绘制区域,跟踪进入区域的人员，当人员离开区域时产生一次抓拍记数事件本算法规则应用于区域性人数统计11有人跌倒本算法规则在视频内绘制区域,跟踪进入区域的人员，当人员在区域内跌倒时产生一次抓拍事件本算法规则通常应用于敬老院或社区看护老人是否跌倒预警。12对象静止探测本算法规则在视频内绘制区域,跟踪进入区域的人员，当人员处于静止状态时产生一次抓拍事件本算法规则通常应用于识别警/门卫是否正在睡觉的行为13烟火探测本算法规则在视频内绘制区域,识别布控区域内产生火苗或烟柱时产生抓拍事件本算法规则通常应用于消防安全场所14打电话本算法规则在视频内绘制区域,识别布控区域内人员打电话时产生抓拍事件本算法规则通常应用于石油化工，防止打电话时的无线电流触发火灾;另外防止一些安全生产区域，防止员工因打电话造成安全事故15未戴安全帽识别本算法规则在视频内绘制区域,识别布控区域内人员未戴安全帽时产生抓拍事件本算法规则通常应用于工地、安全生产车间，防止员工戴安全帽，以免引发安全事故16对象快速移动探测本算法规则在视频内绘制区域,识别布控区域内人员快速移动时产生抓拍事件本算法规则通常应用于监狱，当有人打架时，及时预警17黑名单人脸识别预警本算法规则在视频内绘制区域,识别布控区域内人员是否为黑名单人员，如果为黑名单人员则产生抓拍事件，及时预警通知安全人员处置等本算法规则通常应用于单位或社区，或公安布控,及时发现黑名单人员便于工作人员及时处置18人车识别跟踪本算法规则在视频内绘制区域,跟踪识别进入区域内的人员(人脸识别)和车辆(车牌识别),产生抓拍事件本算法规则应用多摄像头人员或车辆跨镜轨迹跟踪19出入人流计数本算法规则是在视频内绘制两条线，即A线和B线，当人员从A线再到B线时，触发一次人流计数抓拍事件，通常应用于具有方向性的人流计数统计场所20未戴手套识别本算法规则在视频内绘制区域,识别布控区域内人员未戴手套时产生抓拍事件本算法规则通常应用于需要戴手套的工作场景，防止员工不戴手套，以免影响卫生或其它安全事件21吸烟识别本算法规则在视频内绘制区域,识别布控区域内人员吸烟时产生抓拍事件本算法规则通常应用于消防安全场所22有人持刀识别本算法规则在视频内绘制区域,识别布控区域内人员有人持刀时产生抓拍事件,及时预警本算法规则通常应用于校园安全监控23未戴口罩识别本算法规则在视频内绘制区域,识别布控区域内人员未戴口罩时产生抓拍事件本算法规则通常应用于厨房或其它需要戴口罩的工作场景，防止员工不戴口罩，以免影响厨房卫生或其它安全事件24未戴厨师帽识别算法规则在视频内绘制区域,识别布控区域内人员未戴厨师帽时产生抓拍事件本算法规则通常应用于厨房工作场景，防止员工不戴厨师帽，以免影响厨房卫生环境25外来人员人脸识别算法规则在视频内绘制区域,识别布控区域内人员不是内部人员时产生抓拍事件本算法规则通常应用于单位或社区，防止闲杂人员进入26白名单人脸识别算法规则在视频内绘制区域,识别布控区域内人员是否为内部人员，如果为内部人员则出入口通行放行、联动开门、考勤记录、会议签到等本算法规则通常应用于单位或社区，防止闲杂人员进入2.2.3算法定制能力AI中间件采用组件化架构，因此具有强大的可扩展性，完备的生产工具组件，使得AI中间件可以支持快速的定制新业务算法，在不需要太多改动上层业务代码的情况下，高效的研发和训练生产新型算法规则。2.3系统环境说明本系统采用跨平台主式编写底层算法，和上层应用软件，理论上可以适配支持任何操作系统，目前经过测试的操作系统为ubuntu18.04和Windows7/8/10/12/16,本系统数据库为了更好的适配算法，提高查询速度和大数据存储，采用了自研数据库AIDB。功能模块3.1实时预览3.1.1AI通道实时预览客户端预览功能界面，支持实时预览AI节点通道实时视频，该视频带有分析叠加效果，支持云台控制、支持预置位管理、捕图、画面双击放大、全屏等操作。3.1.2监控通道实时预览客户端预览功能界面，支持实时预览监控摄像头节点通道实时视频，该视频不带有分析叠加效果，支持云台控制、支持预置位管理、捕图、画面双击放大、全屏等操作。3.1.3视图管理在客户端预览功能界面内，支持将已经打开的视频保存为视图模板，支持创建9999个视图，可以设定客户端启动后自动加载模板。3.1.4云台控制在客户端预览功能界面内，支持将已经打开的视频进行云台操作，默认支持向左、向左、向上、向上、左上、右上、左下、右下、拉远、拉近、转到预置位等操作，支持创建自动定时执行预置位计划。3.2数据查询客户端具有数据查询功能界面，支持选中某个通道、事件类型、时间范围查询系统智能抓拍通道产生的报警抓拍数据，支持将查询到的数据(含图片)下载到客户端本地磁盘。3.3统计分析系统内器海量统计分析模块，自动计数每一种事件类型数据，统计粒度最小单位为小时，支持按每日、月、年、时间段、通道等方式快速查询统计数据。3.4档案管理系统支持人员档案管理和车牌档案管理，人员档案管理主要应用人脸识别黑白名单和访客管理应用，黑名单人员主要应用于人脸识别发现黑名单人员预警，白名单人员主要应用于单位内部人员出入口通行管理、考勤和会议签到管理。车辆与号牌管理主要应用于出入口车辆通行管理（不涉及收费）。3.5电子地图系统支持平面电子地图管理，用户可将各类摄像头部置到平面电子地图之上，产生报警时电子地图上对应的图标闪烁。用户可双击电子地图上的摄像头图标对应的视频画面，实时查看现场情况。3.6系统配置在系统配置功能模块内，管理员用户可以操作设置如下功能：AI通道相应的摄像头及分析识别算法应用规则监控通道相应的摄像头，及设置是否录像等上传第三方平台http协议配置联动邮件发送配置系统维护操作（系统重启、时间同步）3.7二次开发本系统提从如下二次开发协议接口：第三方Http请求协议,由用户向本系统发起httppost请求响应操作，系统接收到命令后，执行相应的操作，主要包含：请求系统通道列表，查询通道的抓拍事件记录，拉取图片，添加人员（人脸），查询人员，删除人员，检测人脸，检测对象等接口系统主动上传抓拍事件Http协议,由用户在系统配置添加第三方接收ip地址和端口信息，系统将抓拍事件记录实时上传到此第三方ip地址端口，具体协议请查阅相应的文档Socket方式实时视频传输和抓拍事