智能视频内容分析系统设计与实现

智能视频内容分析系统设计与实现作者：盛仲飙来源：《电脑知识与技术》2021年第33期图像预处理图1功能模块图图像预处理图2用户界面图告能祝颇内咨分析系统没H与女现刊・版置1Pt^ETT-jr*!^Y«UI£1*TriCHM/^lMLaetn-：KirM/H■苦ABB■上in*rifl*r*irniflw^ai图3视频开始播放图j£wHwEhtMian智能袒频内容分荷系统设计与实现鸣Ijrnfr^Intir^hdc1ejn^tetr*/-・jtu^ikfti■titt.目站I*VFF矿i值信■汩iM：j-tFJEP^tTJ・jtu^ikfti■titt.目站I*心岫二r*3L>II|ARttfiMR卜：—¥~1图4运动目标出现时的界面图摘要：智能视频内容分析系统已经在许多领域得到了广泛的应用，已经成为智能化处理的一个热点。该系统的主要任务是对于一段给定的视频，检测出其中的运动物体，再从众多的运动物体中识别出满足特定要求的物体，最后完成对识别出的运动物体的跟踪。针对背景减去法和帧差法的缺点，采用背景减去法与帧差法相结合的方法进行目标检测;采用基于kalman滤波器的Camshift跟踪算法进行跟踪。该系统有效地提高了跟踪的准确度和运行速度，真正实现视频监控的智能化。关键词：运动目标检测;运动目标识别；Camshift算法;kalman滤波器中图分类号：TP311文献标识码：A文章编号：1009-3044（2021）33-0083-03开放科学（资源服务）标识码（OSID）：DesignandImplementationofIntelligentVideoContentAnalysisSystemSHENGZhong-biao（SchoolofComputerScienceandTechnology,WeinanNormalUniversity,Weinan714019,China）Abstract:Intelligentvideocontentanalysissystemhasbeenwidelyusedinmanyfieldsandhasbecomeafocusintheintelligentprocessing.Themaintaskofthesystemistodetectthemovingobjectsinagivenvideo,andthentoidentifytoobjectsthatmeetthespecificrequirementsfromanumberofmovingobjects,andfinallytocompletethetrackingoftheidentifiedmovingobjects.Aimingattheshortcomingsofbackgroundsubtractionandframedifferencemethod,backgroundsubtractionandframedifferencemethodarecombinedtodetectthetarget.ThesystemadoptsCamshifttrackingalgorithmbasedonKalmanfilterfortracking.Thesystemimprovesthetrackingaccuracyandrunningspeedeffectively,andrealizestheintelligentizationofvideosurveillance.Keywords:movingtargetdetection;movingtargettracking;Camshiftalgorithm;kalmanfilter1前言伴随着人们安全意识的不断提高，摄像头等视频采集设备数量不断增加，人们对视频处理的需求也越来越高。生活中，视频监控无处不在，在交通、银行、生产生活、公共安全等各个领域都得到了广泛的应用，视频监控已经成为安全防护中不可或缺的重要组成部分［1］。然而，目前的视频监控平台并不能实现真正意义上的监控，只是做到了对当时场景的录制以及视频的存储。面对海量的视频数据，要想从中找到有价值的信息将会消耗大量的人力、物力与财力。本文所研究内容是对于一段给定的视频，检测出其中的运动物体，然后从众多的运动物体中识别出满足特定要求的物体，最后实现对该物体的跟踪。从而实现视频监控的真正智能化。2系统概要设计首先对从视频中提取的每一帧图像进行预处理，其次，利用背景减去法和帧差法相结合的方法检测出视频中的运动物体，然后，利用基于颜色的识别与基于模板的识别这两种方法从众多的运动物体中筛选出特定颜色的车，最后利用基于kalman滤波器的Camshift跟踪算法完成对识别出来的车进行跟踪⑵。（1）图像预处理模块主要是对视频序列的每一帧图像进行一些处理，为后续工作做铺垫（2）运动目标检测模块主要是检测出视频中运动的人、车、动物等（3）运动目标跟踪模块主要是实现对检测并识别出来的特定颜色的车的跟踪（4）运动目标识别模块主要是从上一步检测到的众多运动目标中识别出特定颜色的车。3系统详细设计3.1图像预处理模块该模块主要用到了图像灰度化、图像滤波、图像二值化、形态学滤波等方法。（1）图像灰度化去除彩色图像中的彩色信息，使图像只含有亮度信息。灰度图像包含的信息量较少，计算方便简单，更容易实现实时处理。具体函数:cvCvtColor（）。（2）图像去噪图像去噪是为了减少图像上的噪声或者失真。具体函数：cvSmooth（）。（3）图像二值化采用阈值法，即：设置一个合适的阈值，并用此阈值将图像分为背景和目标两部分，在实际中，常用255表示背景，用0表示目标。具体函数:cvAdaptiveThreshold（）。（4）形态学处理采用函数:cvMorphologyEx（）对图像进行形态学处理。3.2运动目标检测模块设计3.2.1背景减去法首先，可通过均值法来获得背景模型，其次，计算当前图像与背景图像的差值，设置合适阈值，将差值与该阈值做比较，如果差值大于设定的阈值，则认为是前景点，否则认为是背景点，最后利用公式（1）更新背景模型［3］。［backk+1x，y=1-axbackkx，y+imagek（x，y）］（1）3.2.2帧差法帧差法就是将相邻两帧图像对应的像素点进行减法运算，设置合适的阈值，并将得到的差值与该阈值做比较，如果差值大于设定的阈值，则认为是前景点，否则认为是背景点［4］。3.2.3背景减去法与帧差法相结合的方法该运动目标检测算法的具体实现过程：首先利用前20帧图像通过均值法得到背景模型，之后的每一帧图像减去背景图像，从而获得前景图像fore_image1，并且利用当前帧更新背景模型。其次，将当前帧与前一帧相减得到前景图像fore_image2，最后将前景图像fore_image1与fore_image2进行与操作，得到最终的前景图像。利用cvfindcontours（）函数提取每个运动物体的轮廓。3.3运动目标识别模块设计3.3.1基于颜色的识别首先将源图像中需要判断颜色的图像块转化为HSV图像，这样可以避免光照等因素的干扰。其次，将该HSV图像分解为色调（H），饱和度（S），亮度（V）这三个通道。最后判断图像块中每个点的这三个通道的值是否在指定颜色所对应的范围之内，如果有50%以上的点在范围之内，则认为图像块为指定颜色。3.3.2基于模板的识别[5]整个过程分为三步：创建样本、训练Haar分类器、利用Haar分类器判断是否为车。（1）创建样本样本包含正样本和负样本，其中正样本为不同车在不同角度拍摄的照片，负样本为周围背景环境的照片且不能包含车的特征。所有样本被归一化为20x20。v为正样本创建描述文件，命令如下：dir\b>positive.txt再将bmp改为bmp1002020。利用OpenCV自带的opencv_createsamples.exe为正样本创建向量文件，命令如下：opencv_createsamples.exe-infopostive.txt-vecpostive.vec-num2000-w20-h20v为负样本创建集合文件命令如下：dir\b>negative.txt（2）训练Haar分类器利用OpenCV自带的opencv_haartraining.exe来训练Haar分类器。命令为：opencv_haartraining.exe-datacascade-vecpostive.vec-bgnegative.txt-npos2000-nneg6000-w20-h20-mem1000-nstages18-modeALL-nonsym。利用Haar分类器判断是否为车首先使用函数cvLoad()加载已经训练好的分类器mode.xml，其次对图像进行直方图均衡化并归一化到同样大小，然后使用函数cvHaarDetectObjects()来寻找与训练目标相似的物体(如：本系统中的车)，如果该函数返回的CvSeq序列的长度不为0，则认为有车存在，否则认为没有车存在。3.4运动目标跟踪模块设计3.4.1Camshift算法Camshift算法的基本原理是利用目标的颜色直方图来崭找目标在图像序列中出现的位置和大小。在搜索之前，利用目标的当前位置和大小来初始化搜索窗口，计算搜索窗口的质心，并将窗口的中心移到质心处，不断迭代，直至窗口的中心与计算得到的质心的差值小于一定阈值，此时就找到目标在当前图像中的位置和大小，重复以上过程实现目标的连续跟踪[6]。3.4.2基于kalman滤波器的跟踪算法kalman滤波器可以根据目标上一次出现的位置以及跟踪模型精确地预测目标将要出现的位置，主要分为两个阶段[7][8]:预测阶段，即：用前面得到的信息来修正跟踪模型，并预测出目标在下一帧图像中将要出现的位置校正阶段，即：利用匹配法得到目标位置的测量值，并与由上一次测量值预测出的预测值进行调整。3.4.3基于kalman滤波器的Camshift跟踪算法基于kalman滤波器的Camshift跟踪算法的基本过程如下：假设在第i帧图像中检测并识别出特定颜色的车，利用该车的当前位置来初始化kalman滤波器，并为该车建立运动模型。利用kalman滤波器根据该车在第i帧图像中的位置预测出该车在下一帧图像(即第i+1帧图像)中可能出现的位置，具体函数为cvKalmanPredict()。（3）在第i+1帧图像，根据该车的预测位置来设置搜索范围以及搜索窗口，利用Camshift算法在该指定搜索范围内查找该特定颜色的车是否出现以及出现的具体位置。（4）利用步骤3得到的该车的实际位置来纠正kalman滤波器，具体函数为cvKalmanCorrect（）。（5）重复上述步骤2、3、4直到视频结束。采用函数:cvMorphologyEx（）对图像进行形态学处理。3.2运动目标检测模块设计3.2.1背景减去法首先，可通过均值法来获得背景模型，其次，计算当前图像与背景图像的差值，设置合适阈值，将差值与该阈值做比较，如果差值大于设定的阈值，则认为是前景点，否则认为是背景点，最后利用公式（1）更新背景模型［3］。［backk+1x，y=1-axbackkx，y+imagek（x，y）］（1）3.2.2帧差法帧差法就是将相邻两帧图像对应的像素点进行减法运算，设置合适的阈值，并将得到的差值与该阈值做比较，如果差值大于设定的阈值，则认为是前景点，否则认为是背景点［4］。3.2.3背景减去法与帧差法相结合的方法该运动目标检测算法的具体实现过程：首先利用前20帧图像通过均值法得到背景模型，之后的每一帧图像减去背景图像，从而获得前景图像fore_image1，并且利用当前帧更新背景模型。其次，将当前帧与前一帧相减得到前景图像fore_image2，最后将前景图像fore_image1与fore_image2进行与操作，得到最终的前景图像。利用cvfindcontours（）函数提取每个运动物体的轮廓。3.3运动目标识别模块设计3.3.1基于颜色的识别首先将源图像中需要判断颜色的图像块转化为HSV图像，这样可以避免光照等因素的干扰。其次，将该HSV图像分解为色调（H），饱和度（S），亮度（V）这三个通道。最后判断图像块中每个点的这三个通道的值是否在指定颜色所对应的范围之内，如果有50%以上的点在范围之内，则认为图像块为指定颜色。3.3.2基于模板的识别[5]整个过程分为三步：创建样本、训练Haar分类器、利用Haar分类器判断是否为车。创建样本样本包含正样本和负样本，其中正样本为不同车在不同角度拍摄的照片，负样本为周围背景环境的照片且不能包含车的特征。所有样本被归一化为20x20。v为正样本创建描述文件，命令如下：dir\b>positive.txt再将bmp改为bmp1002020。利用OpenCV自带的opencv_createsamples.exe为正样本创建向量文件，命令如下：opencv_createsamples.exe-infopostive.txt-vecpostive.vec-num2000-w20-h20v为负样本创建集合文件命令如下：dir\b>negative.txt训练Haar分类器利用OpenCV自带的opencv_haartraining.exe来训练Haar分类器。命令为：opencv_haartraining.exe-datacascade-vecpostive.vec-bgnegative.txt-npos2000-nneg6000-w20-h20-mem1000-nstages18-modeALL-nonsym。利用Haar分类器判断是否为车首先使用函数cvLoad()加截已经训练好的分类器mode.xml，其次对图像进行直方图均衡化并归一化到同样大小，然后使用函数cvHaarDetectObjects()来寻找与训练目标相似的物体(如：本系统中的车)，如果该函数返回的CvSeq序列的长度不为0，则认为有车存在，否则认为没有车存在。3.4运动目标跟踪模块设计3.4.1Camshift算法Camshift算法的基本原理是利用目标的颜色直方图来寻找目标在图像序列中出现的