第四章 物联网智能视频技术

第四章

物联网智能视频技术学习要点智能视频技术的定义智能视频的核心技术：分析、识别、改良智能视频技术的典型应用目录4.4小结4.3智能视频的典型应用4.2智能视频核心技术4.1智能视频技术综述4.1智能视频技术综述

计算机视觉的研究目的是利用计算机代替人眼及大脑对于景物环境进行感知、描述、解释和理解，是一门交叉性很强的学科，涉及计算机、心理学、生理学、物理学、信号处理和应用数学等诸多学科。计算机视觉的研究开始于20世纪60年代，并在20世纪80年代取得了重大的突破。智能视频监控是计算机视觉领域中近几年来新兴起的一个应用方向。如何实现计算机替代人工完成视频监控的繁重作业成为智能视频监控发展的关键问题。智能视频（IntelligentVideo，IV或ContentAnalysis，CA）技术主要解决两大问题：首先，将安防工作人员从繁杂而枯燥的任务解脱出来，由机器来替代完成；另外，在海量的视频数据中快速搜索出到目标图像。智能视频系统未来将成为监控系统的标配，发挥重要作用。功能第一代：模拟视频监控第二代：数字视频监控第三代：网络视频监控监控范围小范围大范围基于Internet跨地区组网难度单独组网、复杂复杂简单应用扩展性受限制受限制多级扩展系统管理手工管理、复杂手工管理、复杂远程管理、简单查看方式传统监控中心特定电脑网络访问、随时随地资料保存磁带数字硬盘分级存储安全性差一般好4.1.1智能视频技术研究内容智能视频监控（IntelligentVideoSurveillance，IVS）利用计算机视觉技术对视频信号进行处理、分析和理解，帮助视频监控系统实施控制，从而提高视频监控系统的智能化水平。智能视频技术主要包括对视频图像序列自动地进行运动对象的提取、描述、跟踪、识别和行为分析等方面的内容。如果把摄像机看作人的眼睛，而智能视频系统则可以看作人的大脑。智能视频监控系统能够识别不同的目标，发现监控画面中的异常情况，并能够以最快和最佳的方式发出警报和提供有用信息，从而能够更加有效的协助工作人员处理危机，并最大限度的降低误报和漏报现象，实现计算机智能分析、描述和理解视频画面中的内容。智能视频技术是智能视频中最为核心的关键技术。智能视频技术借助计算机强大的数据处理功能，对视频画面中的海量数据进行快速分析，过滤掉工作人员不关心的信息，为工作人员提供有用的关键信息。1.智能视频技术亦是物联网感知层的重要技术之一物联网技术最基础的是感知层技术，从现阶段来看，物联网发展的瓶颈主要位于感知层。感知层的主要作用是采集信息并识别目标，采集设备包括二维码标签和识读器、RFID标签和读写器、摄像头、GPS、传感器、传感4.1.2物联网与智能视频技术器网络等。一般意义上，传感器包括诸如RFID、各类感应探头、数据采集装置等；而具备智能视频技术的视频采集设备，实质上也是一种更直观智能的传感器，它可以通过智能视频识别分析技术来感知并识别视频场景内的目标及其行为。随着智能视频分析与自动识别技术的发展，视频感知将成为物联网信息感知层最重要的技术之一。2.智能视频技术是物联网应用层的重要技术之一物联网的三层架构即感知层、传输层和应用层，如果将物联网技术应用于视频监控行业，可以形成智能视频解决方案。同时，智能视频系统融入物联网应用层，并与智能楼宇、智能家居、智能医院等应用紧密结合构建“智慧城市”。随着国内建设“平安城市、和谐社会”的迫切需要，监控系统规模日益庞大，数以万计的摄像监控设备同时工作，成千上万的工作人员紧盯着屏幕。仅依靠视频监控中工作人员的人眼，即使是专业操作人员也难以有效可靠地完成任务。智能视频技术能够在视频图像及图像描述之间建立映射关系，从而使计算机能够理解视频画面中的内容。物联网的迅猛发展，以及人们对智能化的强烈需求，智能视频监控迎来巨大的发展机遇，物联网必将对视频监控产生深刻影响，包括其理念、技术、形态和效果，也为视频监控的智能化提供了广阔的前景。4.1.3智能视频技术硬件架构随着视频监控的普及以及监控要求的提高，智能视频监控应用范围会不断扩大，例如对停车场和街道的监视、在商店内对顾客的跟踪、财产转移的控制、探测医院中异常的事件、监视照顾家中的老人等。这些应用要求给出它们行为和动作的描述，探测一些危险行为的发生，并对不正常现4.1.4智能视频技术的应用前景象发出警报等，比如，由人或车辆等所在的位置和运动轨迹来判断是否有异常情况出现，分析人的运动状态（跑动或跳跃等），以及多个人之间的交互关系等。特别是在有些危险的场所（比如核电站），视频监控是人所无法取代的。具体的有以下几个方面：1.安全相关类应用高级视频移动侦测（AdvancedVideoMotionDetection）：在复杂的天气环境中(例如雨雪、大雾、大风等)精确的侦测和识别单个物体或多个物体的运动情况，包括运动方向、运动特征等。物体追踪（MotionTracking）：4.1.4智能视频技术的应用前景侦测到移动物体之后，根据物体的运动情况，自动发送

PTZ（Pan/Tilt/Zoom）等控制指令，使摄像机能够自动跟踪物体，在物体超出该摄像机监控范围之后，自动通知物体所在区域的摄像机继续进行追踪。人脸识别（FaceRecognition）：自动识别人物的脸部特征，并通过与数据库档案进行比较来识别或验证人物的身份。此类应用又可以细分为“合作型”和“非合作型”两大类。“合作型”应用需要被监控者在摄像机前停留一段时间，通常与门禁系统配合使用。“非合作型”则可以在人群中识别出特定的个体，此类应用可以在机场、火车站、体育场馆等应用场景中发挥很大的作用。车辆识别（VehicleIdentification）：识别车辆的形状、颜色、车牌号码等特征，并反馈给监控者。此类应用可以用在被盗车辆追踪等场景中。非法滞留（ObjectPersistence）：当一个物体(如箱子、包裹、车辆、人物等)在敏感区域停留的时间过长，或超过了预定义的时间长度就产生报警。典型应用场景包括机场、火车站、地铁站等。2.非安全相关类应用除了安全相关类应用之外，智能视频还可以应用到一些非安全相关类的应用当中。这些应用主要面向零售、服务等行业，可以被看作管理和服务的辅助工具，用以提高服务水平和营业额。此类应用主要包括：人数统计（PeopleCounting）：统计穿越入口或指定区域的人或物体的数量。例如为业主计算某天光顾其店铺的顾客数量。人群控制（FlowControl）：识别人群的整体运动特征，包括速度、方向等等，用以避免形成拥塞，或者及时发现异常情况。典型的应用场景包括超级市场、火车站等人员聚集的地方。

注意力控制（AttentionControl）：统计人们在某物体前面停留的时间。可以用来评估新产品或新促销策略的吸引力，也可以用来计算为顾客提供服务所用的时间。交通流量控制（TrafficFlow）：用于在高速公路或城市环路，根据车流量的变化自适应调整交通信号的闪亮时间，达到智能控制交通的目的。该应用需要提高视频分析功能模块的适应性，使之适应更为复杂和多变的现场环境。目前，虽然有不少厂家提供IVS系统与解决方案，但不论是前端嵌入式视频分析产品还是后端纯软件视频分析产品，不论是国内的产品还是国外的产品，与用户的真正需求都还有相当的距离，智能视频分析技术的未来之路仍然不乏挑战。例如，视频式客流统计系统将不再局限于垂直角度或者某个特定角度进行分析，甚至可以在任何角度上进行检测。因此在提高视频角度适应性的基础上，将可以实现更多不同角度的选择。边界检测同样如此，将不再局限于围墙、栅栏等特定的场景，而是在各种场景下同样稳定运行。此外，环境光照条件复杂多变，解决对光照条件的适应性问题也是产品成熟的一个标志。

智能视频行业发展，应该立足行业用户需求，对行为和异常事件分析识别。对于视频监控的需求，特别是对于智能视频分析技术的应用需求，不同的行业间一般有着非常明显的差异，由此也决定了不同行业检测行为类型与异常事件的差异性。随着各行业应用的不断深入以及安全级别要求的进一步提高，各安防领域将对视频监控的需求也将日益复杂化。此外，完善产品性能指标，提高产品检测率，减少误报也是智能视频技术的发展方向。对于以报警事件的准确性作为评价标准的智能监控产品，一般通过考察其在不同环境下的检测率和误报率来评价其性能。理想系统的检测率和有效率都应是100%，但实际系统只能接近这些指标而不能完全达到。只有通过调整系统的灵敏度参数，改变检测率与有效率之间的关系，在有效率合乎使用要求的情况下，性能优良的系统才能获得最高检测率。当灵敏度调得很高时，检测率会提高，但误报增多，有效率会下降；反之，误报率下降，有效率提高，但检测率会降低。4.2智能视频核心技术智能视频技术作为智能视频系统中最为核心的关键技术，其研究目标是对监控视频的内容对象进行描述、分析和理解，并根据理解的结果对视频监控系统进行控制，从而使视频监控系统达到智能化水平。智能视频技术涉及到计算机视觉、图像视频处理和人工智能领域中的众多核心技术，是一个非常具有挑战性的困难问题。智能视频技术一方面可以对视频画面进行分类，起到对照或识别的作用。另一方面，它可以对画面进行分析，对画质进行某些优化，提供更好的画质供工作人员观看。其中具体包括：智能视频分析技术、智能视频识别技术、智能视频改良技术。智能视频分析就是使用计算机图像视觉分析技术，通过将场景中背景和目标分离进而分析并追踪在摄像机场景内出现的目标。用户可以根据视频内容分析功能，通过在不同摄像机的场景中预设不同的报警规则，一旦目标在场景中出现了违反预定规则的行为，系统会自动发出报警，监控工作站自动弹出报警信息并发出警示音，4.2.1智能视频分析技术用户可以通过点击报警信息，实现报警场景重组并采取相关措施。视频移动探测（VideoMotionDetection，VMD）是硬盘录像机早期的一个功能，初衷是监控画面的某个区域内是否有像素变化，系统便自动触发报警提醒工作人员注意该图像。VMD技术采用比较相邻帧图像像素的变化情况，关注的核心的画面内所有像素的变化情况，此技术的应用比较有局限性。例如VMD技术对于一些静态场景过于敏感，如海浪、树叶的晃动等，可能触发误报警，因此不适合用于室外；而对于一些缓慢移动的入侵物体，或者入侵的物体突然停止运动，可能导致漏报警。由于VMD技术的局限性，实际应用的并不多，也算不上是真正的智能视频分析技术。VMD技术的优势是算法简单，不会给处理器带来很大负担，并且在一些室外场景并不复杂的场所可以有不错的表现，但是对于真正有视频分析需求的应用环境，尤其是室外环境，VMD技术不是一个好的选择。下面介绍智能视频分析技术的技术原理。1.技术原理2.分析流程3.主要方法方法优点缺点背景减除方法精确度高，灵敏，性能表现好芯片资源占用多，对光线等变化敏感时间差分方法环境适应性强，芯片资源占用少，对光线等变化不敏感不是太精确，应用条件有限，当运动目标停止，实效1）越线检测2）流量统计3）区域检测4）滞留检测5）轨迹跟踪6）人体行为检测7）火灾预警4.主要功能

随着大规模监控系统的广泛应用，工作人员根本无法管理和监看成百上千的摄像头，因而在很大程度失去监控系统的预防与积极干预功能。例如伦敦Heathrow国际机场装配有超过5000个摄像头，如何管理这些视频信息，将数据在适当的时间及时精准地传递给需要的工作人员变得非常重要。如果系统具有4.2.2智能视频识别技术自动识别和分析图像所含信息的功能，也就是具备智能，这将大大提高系统的性能。另外，一些特殊的需求也促进了智能视频识别技术的发展，例如智能交通系统需要移动目标流量的统计、车牌号码的识别等。智能跟踪技术和危险探测系统是智能化视频监控技术的又一应用，采用这一技术，入侵者会自动显示在多个显示屏上，并由一台摄像机跟踪到另一台摄像机。跟踪的目标可以是汽车、移动物体、非正常遗留物或入侵者，系统还可以提供报警管理。智能视频识别主要包括人脸识别及车牌识别，其主要的技术在于在视频画面中找出局部画面的共性。例如：人脸必然有两个眼睛，如果我们可以找到双目的位