关于“非常规突发事件下恐慌人群视频分析”的工作进展

非常规突发事件下恐慌人群视频分析视频分析子课题小组

ISITUESTC报告大纲简单的问题综述研究内容研究现状现有方法的不足研究思路现有的工作未来的工作计划人类动力学与计算机视觉总结与总体规划课题面临的简单问题综述所面临的问题：

1.当人群密度很大时，人与人之间的遮挡成为视频分析巨大的挑战。2.视频监控现场的环境造成的诸如光线，烟雾的问题是棘手的问题。3.检测目标（人）在移动过程中造成的局部扭曲是鲁棒性研究的难题。

研究内容人群中单个目标的跟踪问题人群流的流运动分割问题恶劣天气下的运动检测问题人群恐慌行为识别理解问题

人群中单个目标的跟踪问题

国内外研究现状：

S.AliandM.Shah,“Floorfieldsfortrackinginhighdensitycrowdscenes,”inProc.EuropeanConfferenceonComputerVision,(ECCV)2008,pp.II:1–14.M.Rodriguez,S.Ali,andT.Kanade,“Trackinginunstructuredcrowdedscenes,”inProc.IEEEInternationalConfferenceonComputerVision(ICCV),Kyoto,Japan,2009,pp.1389–1396.Yang,M.(2008).Context-awareandattentionalvisualobjecttracking.Unpublisheddoctoraldissertation,NorthwesternUniversity,USA.Y.WuandJ.Fan,"ContextualFlow,"Proc.IEEEConf.ComputerVisionandPatternRecognition(CVPR),2009.

现有方法的不足：

1.在检测开始时需要用手动标注初始跟踪目标，在实际应用中适用。2.个体之间的的遮挡问题严重影响了追踪的稳定性与精确度。3.对恶劣天气、场景环境敏感。4.计算复杂度大。人群中单个目标的跟踪问题

研究思路：

研究思路：常用算法：运动检测：OpticalFlow、帧差发、ContextualFlow、目标追踪（即匹配问题）：MeanShift、ParticleFilter运动目标检测目标追踪人群中单个目标的跟踪问题利用帧差法获得运动区域后可大大大大减少计算量。contextualflow在帧差法的基础上可以匹配前后帧的运动目标，克服遮挡、光照等因素的影响。帧差法检测运动区域Contextualflow跟踪运动目标帧差法检测出的运动区域为白色，黑色区域则代表不运动的场景，在下一步contextualflow计算时可忽略。

此问题解决方案：

人群中单个目标的跟踪问题思想：任一个像素都不是孤立的，也就是说每个像素与他周围的点（context）是相关。比如：要想匹配两张人脸上鼻尖是非常困难的，但是要匹配整个鼻子或整张脸却可以达到很少误判的效果圆形区域Ω(x)表示像素点X的context域。不同的颜色代表不同的特征。Contextualflow限制方程：Contextualflow人群中单个目标的跟踪问题Contextualflow实验Contextualflow的优势：(1).相对传统的运动匹配算法，它对图像中的局部扭曲、光照变化和遮挡是不敏感的。DeformationLightingOcclusion人群中单个目标的跟踪问题(2).Contextualflow具有抗旋转变换和抗尺度变化的表现(3).在人群密集的情况下，人与人之间的局部遮挡与扭曲加上尺度的变化频繁给检测带来了巨大挑战，以上contextualflow优异特性是研究追踪问题提供了新思路。

Rotation：Scaling：人群中单个目标的跟踪问题自己的实验：人群中单个目标的跟踪问题未来的工作计划：(1).contextualflow的算法优化。(2).采集包含不利因素的数据集，比如遮挡，尺度变化等视频。(3).学期末完成论文一篇。人群中单个目标的跟踪问题

人群流的流运动分割问题

国内外研究现状:T.Zhao,B.Wu:“SegmentationandTrackingofMultipleHumansinCrowdedEnvironments”.IEEETransactonsonPatternAnalysisandMachineIntelligence(PAMI),VOL.30,NO.7,July2008S.AliandM.Shah:”ALagrangianParticleDynamicsApproachforCrowdFlowSimulationandStabilityAnalysis.”InProceedingsofComputerVisionandPatternRecognition,(CVPR)2007.

T.Zhao,R.Nevatia:“Bayesianhumansegmentationincroweded”situations,in:ComputerVisionandPatternRecognition(CVPR),Madison,Wisconsin,June16–22,2003.S.Wu,

Z.WYu,H.S.Wong:“AShapeDerivativeBasedApproachforCrowdFlowSegmentation”.

AsianConferenceonComputerVision(ACCV).(1)2009:93-102.F.Jiang,Y.Wu,

A.K.Katsaggelos:”Detectingcontextualanomaliesofcrowdmotioninsurveillancevideo”.

InternationalConferenceonImageProccessing(ICIP)1117-1120现有方法的问题：针对本课题要解决的问题——大规模人群流的运动分割。现有的方法有以下问题尚未解决：基于目标（人）的分割在人与人遮挡严重的时候几乎失效。当场景中其他物体流（车流）时，需要重新训练模型。（1）基于目标（人）的分割：人群流的流运动分割问题基于流（人群流或交通流等）的全局分割：(1).计算量很大，运动检测部分与流分割部分成两部分计算，根本无法达到实时。(2).全局分割检测人群稳定性有一定的局限性，因为局部人群扰动有时是事态发生的关键。(3).若摄像头位置不在场景顶部（至上而下），检测结果不稳定。

摄像机正对人群不显著的检测结果人群流的流运动分割问题研究思路：视频序列相邻帧运动域ParticleGridFTLE+LCS运动域分割CUDA并行计算：最大可能的放大CPU与GPU的协同工作效率人群流的流运动分割问题CUDA：ComputeUnifiedDeviceArchitecture

现有的工作：

Opticalflow（运动检测）光流法是运动检测的经典算法，在本课题中可以用在运动目标识别与运动分割中，作为场景中运动域检测算法。人群流的流运动分割问题未来的工作规划：待解决的问题：(1)运动域检测速度过慢(2)粒子流边缘分割精确性问题(3)CUDA并行计算应用于粒子流（流体）计算工作计划：(1)在本学期结束前给出运动域检测速度过慢的解决方案(2)经典流体力学的研究(3)学期结束前

把CUDA并行计算移植本研究框架中

人群流的流运动分割问题国内外研究现状：

Jean-PhilippeTarel,NicolasHauti`ere,“FastVisibilityRestorationfromaSingleColororGrayLevelImage,”InternationalConferenceonComputerVision,2009.S.G.NarasimhanandS.K.Nayar,“VisionandtheAtmosphere,”InternationalJournalofComputerVision,48:233–254,2002.K.He,J.Sun,andX.Tang,“Singleimagehazeremovalusingdarkchannelprior,”IEEEConferenceonComputerVisionandPatternRecognition,pp.1957–1963,2009.

L.Schaul,C.Fredembach,andS.S¨usstrunk,“Colorimagedehazingusingthenear-infrared,”inProc.IEEEInt.Conf.onImageProc.,Cairo,Egypt,2009.N.Hautiere,J.Tarel,andD.Aubert,“Towardfog-freeinvechiclevisionsystemsthroughcontrastrestoration,”IEEEConferenceonComputerVisionandPatternRecognition,2007.

恶劣天气下运动域检测问题

检测场景中出现大雾，大雨，尘土等情况时会严重影响到视频检测过程中相关信息的提取精度，因此对于提高后续算法的鲁棒性意义重大。带有少量沙层的场景带有中等程度气雾的场景问题的提出：

恶劣天气下运动域检测问题研究思路大雾、浓烟条件下的恐慌场景去雾算法及其优化（边缘噪音等）个体追踪、人群流分割算法及场景理解算法

恶劣天气下运动域检测问题相关工作现状：

“SingleImageHazeRemovalUsingDarkChannelPrior”KaimingHe,JianSun,XiaoouTang,

IEEETransactionsonPatternAnalysisandMachineIntelligence,PatternAnalysisandMachineIntelligence,31Aug.2010.

清晰化前清晰化后

恶劣天气下运动域检测问题本方法待解决的问题：1.天空颜色还原容易失真（人群检测中不是重点）2.不适用于浓雾环境3.出现边缘噪声现象去雾前去雾后傍晚天空还原成蓝色

恶劣天气下运动域检测问题1.天空颜色还原容易失真（人群检测中不是重点）2.不适用于浓雾环境（浓雾环境色彩容易失真）3.出现边缘噪声现象去雾前去雾后色调失真边缘噪声严重

恶劣天气下运动域检测问题未来工作计划：1.去边缘噪声优化算法，降低时间复杂度，使其适应实时系统2.研究使用烟雾浓度范围，针对不同的介质影响程度为模型适应性设定不同参数3.研究天空大地等人群所处环境的色彩还原度的提高或者避免其对人群信息的干扰

恶劣天气下运动域检测问题目前通用的理论框架：

恐慌人群行为识别理解问题

1.基于像素2.基于目标对象3.全局逻辑BayesNet.HMM.…SVM.NearestNeighbo