第04章 智能视频

1、第第4章章 物联网智能视频技术物联网智能视频技术学习要点p 智能视频技术的定义p 智能视频的核心技术：分析、识别、改良p 智能视频技术的典型应用目录4.4小结小结4.3智能视频的典型应用智能视频的典型应用4.2 智能视频核心技术智能视频核心技术4.1 智能视频技术综述智能视频技术综述4.1 智能视频技术综述智能视频技术综述 计算机视觉的研究目的是利用计算机代替人眼及大脑对于景物环境进行感知、描述、解释和理解，是一门交叉性很强的学科，涉及计算机、心理学、生理学、物理学、信号处理和应用数学等诸多学科。计算机视觉的研究开始于20世纪60年代，并在20世纪80年代取得了重大的突破。智能视频监控是计算机

2、视觉领域中近几年来新兴起的一个应用方向。如何实现计算机替代人工完成视频监控的繁重作业成为智能视频监控发展的关键问题。智能视频（Intelligent Video，IV或Content Analysis，CA）技术主要解决两大问题：首先，将安防工作人员从繁杂而枯燥的任务解脱出来，由机器来替代完成；另外，在海量的视频数据中快速搜索出到目标图像。智能视频系统未来将成为监控系统的标配，发挥重要作用。功能第一代：模拟视频监控第二代：数字视频监控第三代：网络视频监控监控范围小范围大范围基于Internet跨地区组网难度单独组网、复杂复杂简单应用扩展性受限制受限制多级扩展系统管理手工管理、复杂手工管理、复杂

3、远程管理、简单查看方式传统监控中心特定电脑网络访问、随时随地资料保存磁带数字硬盘分级存储安全性差一般好4.1.1智能视频技术研究内容智能视频技术研究内容p智能视频监控（Intelligent Video Surveillance，IVS）利用计算机视觉技术对视频信号进行处理、分析和理解，帮助视频监控系统实施控制，从而提高视频监控系统的智能化水平。智能视频技术主要包括对视频图像序列自动地进行运动对象的提取、描述、跟踪、识别和行为分析等方面的内容。如果把摄像机看作人的眼睛，而智能视频系统则可以看作人的大脑。p智能视频监控系统能够识别不同的目标，发现监控画面中的异常情况，并能够以最快和最佳的方式发出

4、警报和提供有用信息，从而能够更加有效的协助工作人员处理危机，并最大限度的降低误报和漏报现象，实现计算机智能分析、描述和理解视频画面中的内容。p智能视频技术是智能视频中最为核心的关键技术。智能视频技术借助计算机强大的数据处理功能，对视频画面中的海量数据进行快速分析，过滤掉工作人员不关心的信息，为工作人员提供有用的关键信息。4.1.1智能视频技术研究内容智能视频技术研究内容p 1.智能视频技术亦是物联网感知层的重要技术之一智能视频技术亦是物联网感知层的重要技术之一p 物联网技术最基础的是感知层技术，从现阶段来看，物联网发展的瓶颈主要位于感知层。感知层的主要作用是采集信息并识别目标，采集设备包括二维

5、码标签和识读器、RFID标签和读写器、摄像头、GPS、传感器、传感器网络等。一般意义上，传感器包括诸如RFID、各类感应探头、数据采集装置等；而具备智能视频技术的视频采集设备，实质上也是一种更直观智能的传感器，它可以通过智能视频识别分析技术来感知并识别视频场景内的目标及其行为。随着智能视频分析与自动识别技术的发展，视频感知将成为物联网信息感知层最重要的技术之一。4.1.2物联网与智能视频技术物联网与智能视频技术p 2.智能视频技术是物联网应用层的重要技术之一智能视频技术是物联网应用层的重要技术之一p 物联网的三层架构即感知层、传输层和应用层，如果将物联网技术应用于视频监控行业，可以形成智能视频

6、解决方案。同时，智能视频系统融入物联网应用层，并与智能楼宇、智能家居、智能医院等应用紧密结合构建“智慧城市”。 随着国内建设“平安城市、和谐社会”的迫切需要，监控系统规模日益庞大，数以万计的摄像监控设备同时工作，成千上万的工作人员紧盯着屏幕。仅依靠视频监控中工作人员的人眼，即使是专业操作人员也难以有效可靠地完成任务。智能视频技术能够在视频图像及图像描述之间建立映射关系，从而使计算机能够理解视频画面中的内容。物联网的迅猛发展，以及人们对智能化的强烈需求，智能视频监控迎来巨大的发展机遇，物联网必将对视频监控产生深刻影响，包括其理念、技术、形态和效果，也为视频监控的智能化提供了广阔的前景。4.1.2

7、物联网与智能视频技术物联网与智能视频技术4.1.3智能视频技术硬件架构智能视频技术硬件架构4.1.3智能视频技术硬件架构智能视频技术硬件架构4.1.3智能视频技术硬件架构智能视频技术硬件架构p 随着视频监控的普及以及监控要求的提高，智能视频监控应用范围会不断扩大，例如对停车场和街道的监视、在商店内对顾客的跟踪、财产转移的控制、探测医院中异常的事件、监视照顾家中的老人等。这些应用要求给出它们行为和动作的描述，探测一些危险行为的发生，并对不正常现象发出警报等，比如，由人或车辆等所在的位置和运动轨迹来判断是否有异常情况出现，分析人的运动状态（跑动或跳跃等），以及多个人之间的交互关系等。特别是在有些危

8、险的场所（比如核电站），视频监控是人所无法取代的。具体的有以下几个方面：4.1.4智能视频技术的应用前景智能视频技术的应用前景1.安全相关安全相关类应用类应用2.非安全相非安全相关类应用关类应用 p 1.安全相关类应用安全相关类应用p 高级视频移动侦测（Advanced Video Motion Detection）：在复杂的天气环境中(例如雨雪、大雾、大风等)精确的侦测和识别单个物体或多个物体的运动情况，包括运动方向、运动特征等。p 物体追踪（Motion Tracking）：侦测到移动物体之后，根据物体的运动情况，自动发送 PTZ（Pan/Tilt/Zoom）等控制指令，使摄像机能够自动跟

9、踪物体，在物体超出该摄像机监控范围之后，自动通知物体所在区域的摄像机继续进行追踪。p 人脸识别（Face Recognition）：自动识别人物的脸部特征，并通过与数据库档案进行比较来识别或验证人物的身份。此类应用又可以细分为“合作型”和“非合作型”两大类。“合作型”应用需要被监控者在摄像机前停留一段时间，通常与门禁系统配合使用。“非合作型”则可以在人群中识别出特定的个体，此类应用可以在机场、火车站、体育场馆等应用场景中发挥很大的作用。p 车辆识别（Vehicle Identification）：识别车辆的形状、颜色、车牌号码等特征，并反馈给监控者。此类应用可以用在被盗车辆追踪等场景中。p 非

10、法滞留（Object Persistence）：当一个物体(如箱子、包裹、车辆、人物等)在敏感区域停留的时间过长，或超过了预定义的时间长度就产生报警。典型应用场景包括机场、火车站、地铁站等。4.1.4智能视频技术的应用前景智能视频技术的应用前景p 2.非安全相关类应用非安全相关类应用 p 除了安全相关类应用之外，智能视频还可以应用到一些非安全相关类的应用当中。这些应用主要面向零售、服务等行业，可以被看作管理和服务的辅助工具，用以提高服务水平和营业额。此类应用主要包括：p 人数统计（People Counting）：统计穿越入口或指定区域的人或物体的数量。例如为业主计算某天光顾其店铺的顾客数量。

11、p 人群控制（Flow Control）：识别人群的整体运动特征，包括速度、方向等等，用以避免形成拥塞，或者及时发现异常情况。典型的应用场景包括超级市场、火车站等人员聚集的地方。 p 注意力控制（Attention Control）：统计人们在某物体前面停留的时间。可以用来评估新产品或新促销策略的吸引力，也可以用来计算为顾客提供服务所用的时间。p 交通流量控制（Traffic Flow）：用于在高速公路或城市环路，根据车流量的变化自适应调整交通信号的闪亮时间，达到智能控制交通的目的。该应用需要提高视频分析功能模块的适应性，使之适应更为复杂和多变的现场环境。4.1.4智能视频技术的应用前景智能视

12、频技术的应用前景p目前，虽然有不少厂家提供IVS系统与解决方案，但不论是前端嵌入式视频分析产品还是后端纯软件视频分析产品，不论是国内的产品还是国外的产品，与用户的真正需求都还有相当的距离，智能视频分析技术的未来之路仍然不乏挑战。例如，视频式客流统计系统将不再局限于垂直角度或者某个特定角度进行分析，甚至可以在任何角度上进行检测。因此在提高视频角度适应性的基础上，将可以实现更多不同角度的选择。边界检测同样如此，将不再局限于围墙、栅栏等特定的场景，而是在各种场景下同样稳定运行。此外，环境光照条件复杂多变，解决对光照条件的适应性问题也是产品成熟的一个标志。 p智能视频行业发展，应该立足行业用户需求，对

13、行为和异常事件分析识别。对于视频监控的需求，特别是对于智能视频分析技术的应用需求，不同的行业间一般有着非常明显的差异，由此也决定了不同行业检测行为类型与异常事件的差异性。随着各行业应用的不断深入以及安全级别要求的进一步提高，各安防领域将对视频监控的需求也将日益复杂化。p此外，完善产品性能指标，提高产品检测率，减少误报也是智能视频技术的发展方向。对于以报警事件的准确性作为评价标准的智能监控产品，一般通过考察其在不同环境下的检测率和误报率来评价其性能。理想系统的检测率和有效率都应是100%，但实际系统只能接近这些指标而不能完全达到。只有通过调整系统的灵敏度参数，改变检测率与有效率之间的关系，在有效

14、率合乎使用要求的情况下，性能优良的系统才能获得最高检测率。当灵敏度调得很高时，检测率会提高，但误报增多，有效率会下降；反之，误报率下降，有效率提高，但检测率会降低。 4.1.4智能视频技术的应用前景智能视频技术的应用前景智能视频分析技术智能视频识别技术智能视频改良技术。4.2 智能视频核心技术智能视频核心技术智能视频技术作为智能视频系统中最为核心的关键技术，其研究目标是对监控视频的内容对象进行描述、分析和理解，并根据理解的结果对视频监控系统进行控制，从而使视频监控系统达到智能化水平。智能视频技术涉及到计算机视觉、图像视频处理和人工智能领域中的众多核心技术，是一个非常具有挑战性的困难问题。智能视

15、频技术一方面可以对视频画面进行分类，起到对照或识别的作用。另一方面，它可以对画面进行分析，对画质进行某些优化，提供更好的画质供工作人员观看。其中具体包括：智能视频分析技术、智能视频识别技术、智能视频改良技术。p 智能视频分析就是使用计算机图像视觉分析技术，通过将场景中背景和目标分离进而分析并追踪在摄像机场景内出现的目标。用户可以根据视频内容分析功能，通过在不同摄像机的场景中预设不同的报警规则，一旦目标在场景中出现了违反预定规则的行为，系统会自动发出报警，监控工作站自动弹出报警信息并发出警示音，用户可以通过点击报警信息，实现报警场景重组并采取相关措施。 p 视频移动探测（Video Motion

16、 Detection，VMD）是硬盘录像机早期的一个功能，初衷是监控画面的某个区域内是否有像素变化，系统便自动触发报警提醒工作人员注意该图像。VMD技术采用比较相邻帧图像像素的变化情况，关注的核心的画面内所有像素的变化情况，此技术的应用比较有局限性。例如VMD技术对于一些静态场景过于敏感，如海浪、树叶的晃动等，可能触发误报警，因此不适合用于室外；而对于一些缓慢移动的入侵物体，或者入侵的物体突然停止运动，可能导致漏报警。由于VMD技术的局限性，实际应用的并不多，也算不上是真正的智能视频分析技术。VMD技术的优势是算法简单，不会给处理器带来很大负担，并且在一些室外场景并不复杂的场所可以有不错的表现

17、，但是对于真正有视频分析需求的应用环境，尤其是室外环境，VMD技术不是一个好的选择。下面介绍智能视频分析技术的技术原理。4.2.1 智能视频分析技术智能视频分析技术1.技术原理技术原理2.分析流程分析流程3.主要方法主要方法方法优点缺点背景减除方法精确度高，灵敏，性能表现好芯片资源占用多，对光线等变化敏感时间差分方法环境适应性强，芯片资源占用少，对光线等变化不敏感不是太精确，应用条件有限，当运动目标停止，实效p 1）越线检测）越线检测p 2）流量统计p 3）区域检测p 4）滞留检测p 5）轨迹跟踪p 6）人体行为检测p 7）火灾预警4.主要功能主要功能 p 1）越线检测）越线检测p 2）流量统

18、计）流量统计p 3）区域检测p 4）滞留检测p 5）轨迹跟踪p 6）人体行为检测p 7）火灾预警4.主要功能主要功能 p 1）越线检测）越线检测p 2）流量统计）流量统计p 3）区域检测）区域检测p 4）滞留检测p 5）轨迹跟踪p 6）人体行为检测p 7）火灾预警4.主要功能主要功能 p 1）越线检测）越线检测p 2）流量统计）流量统计p 3）区域检测）区域检测p 4）滞留检测）滞留检测p 5）轨迹跟踪p 6）人体行为检测p 7）火灾预警4.主要功能主要功能 p 1）越线检测）越线检测p 2）流量统计）流量统计p 3）区域检测）区域检测p 4）滞留检测）滞留检测p 5）轨迹跟踪）轨迹跟踪p 6

19、）人体行为检测p 7）火灾预警4.主要功能主要功能 p 1）越线检测）越线检测p 2）流量统计）流量统计p 3）区域检测）区域检测p 4）滞留检测）滞留检测p 5）轨迹跟踪）轨迹跟踪p 6）人体行为检测）人体行为检测p 7）火灾预警4.主要功能主要功能 p 1）越线检测）越线检测p 2）流量统计）流量统计p 3）区域检测）区域检测p 4）滞留检测）滞留检测p 5）轨迹跟踪）轨迹跟踪p 6）人体行为检测）人体行为检测p 7）火灾预警4.主要功能主要功能 p 随着大规模监控系统的广泛应用，工作人员根本无法管理和监看成百上千的摄像头，因而在很大程度失去监控系统的预防与积极干预功能。例如伦敦Heath

20、row国际机场装配有超过5000个摄像头，如何管理这些视频信息，将数据在适当的时间及时精准地传递给需要的工作人员变得非常重要。如果系统具有自动识别和分析图像所含信息的功能，也就是具备智能，这将大大提高系统的性能。p 另外，一些特殊的需求也促进了智能视频识别技术的发展，例如智能交通系统需要移动目标流量的统计、车牌号码的识别等。智能跟踪技术和危险探测系统是智能化视频监控技术的又一应用，采用这一技术，入侵者会自动显示在多个显示屏上，并由一台摄像机跟踪到另一台摄像机。跟踪的目标可以是汽车、移动物体、非正常遗留物或入侵者，系统还可以提供报警管理。p 智能视频识别主要包括人脸识别及车牌识别，其主要的技术在

21、于在视频画面中找出局部画面的共性。例如：人脸必然有两个眼睛，如果我们可以找到双目的位置，那么就可以定性人脸的位置及尺寸。不过，以现有的技术来说，人脸识别系统必须在双目可视的情况下，才可进行人脸比对。其主要包括：人脸识别系统、车牌识别系统;p 目前智能视频识别技术在实现上一般采用两种方式，一种是基于静态图像的智能识别技术，一种是基于视频的智能识别技术。4.2.2智能视频识别技术智能视频识别技术p 基于静态图像的智能识别技术一般是利用物联网技术如红外、激光、压力等传感器触发识别系统通过提取视频序列中的单幅图像进行视频识别或者智能视频在智能分析中识别出相应目标后对单幅图像进行识别，这种方式处理速度和

22、效果都较好，目前视频识别也多采用此种方式。p 基于视频的智能识别技术，此种技术是直接利用视频进行人脸或者车辆等的进行动态建模，实现动态模型进行识别，此种技术比单纯的图像识别能够将更多的目标的三维特征进行多次匹配，从而提高识别的准确度和精度，现阶段基于视频的识别算法主要是基于室内的环境条件，室外复杂环境下还不是很成熟，例如室外条件下的人脸图像光照、姿态等的剧烈变化使人脸识别仍然面临着许多困难，多种特征提高识别的性能也将是未来研究个重点。p 智能视频识别指系统从视频画面中找出局部中一些画面的共性，包括目标识别和目标跟踪，如人脸识别、人体识别、车牌识别等。4.2.2智能视频识别技术智能视频识别技术p

23、 1.人脸识别技术人脸识别技术4.2.2智能视频识别技术智能视频识别技术p 2.车牌识别技术车牌识别技术4.2.2智能视频识别技术智能视频识别技术p近年来，智能监控技术应用在视频监控系统得到了很好的应用，如智能交通行业的车牌识别、安防的智能监控，但是还存在很多有挑战性的难题没有解决如包括特殊天气情况下(雾天)的适用算法研究，夜间车辆的运动检测，运动阴影的检测，以及车辆遮挡问题的处理，在这些情况下的效果并不理想，严重影响了智能监控系统的完善和推广，也阻碍了视频监控其他相关研究的进展。p在智能视频监控系统中，需要清晰准确地提取图像特征，但是当在雾天情况下，场景的能见度降低，图像中目标对比度和颜色等

24、特征被衰减，系统无法正常工作。在光线不足环境如夜晚环境下，对比度比较差，即使灯光照充足，目标轮廓也无法达到白天的亮度，再就是运动物体的投射阴影对目标在场景中的几何特征影响比较大，而当前的目标识别算法大都是基于目标的几何特征的，因此无论是在晴天还是在雨天，都可能因为阴影或倒影问题导致漏检和误分类，同时阴影对目标区域的扩展容易导致几个目标物体粘结在一起，给后续的目标跟踪造成困难。4.2.3智能视频改良技术智能视频改良技术p传统的解决方案，一般采用搭建多摄像机系统的方法，摄像机群中包括普通CCD摄像机和红外摄像机，通过对多摄像机的信息进行融合来解决雾天情况下场景可见度低的问题。但是多摄像机监控系统价

25、格昂贵，使智能视频监控技术难于普及和推广。p如何通过图像改良技术实现图像视频的质量，来提高智能视频的有效率是智能视频技术的关键技术。影响图像质量清晰程度有很多因素，室外光照度不均匀会造成图像灰度过于集中；摄像头获得的图像经过数/模转换，线路传输时都会产生噪声污染，图像质量不可避免降低，轻者变现为图像伴有噪点，难于看清图像细节；重者图像模糊不清，连大概物体面貌轮廓都难以看清。因此，对图像进行分析处理之前，必须对图像进行改善，即增强图像。图像增强并不考虑图像质量下降的原因，只是将图像中感兴趣的重要特征有选择性的突出出来，同时衰减不需要的特征，目的就是提高图像的可理解性。p图像增强是数字图像处理的一个重要分支。很多由于场景条件的影响图像拍摄的视觉效果不佳，这就需要图像增强来改善人的视觉效果，比如突出图像中目标物体的某些特点、从数字图像中提取目标物体的特征参数等等，这些都有利