人体行为识别概述测试数据库和顶级会议

人体行为识别概述机器视觉团队：欧阳寒行为识别现状VSAM(VisualSurveillanceandMonitoring)1997IVPL实验室(TheImageandVideoProcessingLaboratory)AIRVL实验室(ArtificialIntelligence，Robotics，andVisionLaboratory)LPAC实验室(LaboratoryforPerception，ActionandCognition)KNIGHT系统ISCAPs(IntegratedSurveillanceofCrowdedAreasforPublicSecurity)REASON(RobustMethodsforMonitoringandUnderstandingPeopleinPublicspaces)CANTATA(ContentAwareNetworkedsystemsTowardsAdvancedandTailoredAssistance)中国科学院自动化所的生物识别与安全技术研究中心CBSR微软亚洲研究院参考文献：监控视频中的人体异常行为检测研究2行为识别前景high-levelvideoindexingandretrieval“smart”videosurveillancesystems

自动检测异常行为，辅助检索一个特定的事件。Theanalysisofsportvideos

帮助教练进行战略分析。识别不同的游泳风格。Handgesturerecognition

虚拟现实Human-ComputerInteraction(HCI)systems

kidsRoom、Smartroom、Facialaction用于分析精神病病人的情感行为。roboticsmedicalarea

辅助诊断病人的运动问题。另一个是对老年人提供远程协助。参考文献：ActionRecognitioninVideos:fromMotionCaptureLabstotheWeb3行为识别的流程参考文献：运动人体行为分析

视频中的人体运动分析及其应用研究

目标的运动特征，可以用于运动表述，是行为理解等高层部分的基础。常见的运动表述方法有：运动轨迹、时空图表述和光流。4行为识别的流程。5目录目标检测01目标分类02特征提取04行为理解05目标跟踪036运动目标检测参考文献：视频中的人体运动分析及其应用研究.nh

运动目标跟踪算法研究综述.pdf对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步运动检测即为从序列图像中将变化区域从背景图像中提取出来。7目标检测——时间差分法在连续的图像序列中两幅或三幅相邻帧之间采用基于像素的时间差分，并对差分结果进行阈值化处理以提取图像中的前景运动区域。缺点：前景、背景区域的确定与阈值的选取有很大的关系当灰度图像序列对比度较低时，由于相邻两帧的差(前景与背景之差)的范围很小，阈值难以选取，影响前景目标的分割结果。区域灰度值变化较为平坦时，容易在人体二值图像内产生空洞现象，给后续的目标分类、跟踪和识别造成不便。优点：对于动态环境有较强的自适应性8目标检测——光流法基于光流法的运动检测，是利用运动物体随时间变化在图像中表现的光流特性，通过计算位移向量光流场来提取运动目标。光流是空间运动物体在观测成像面上对应像素运动的瞬时速度，是空间物体可见点的三维速度矢量在成像平面上的投影，它携带了丰富的运动和结构信息。优点：即使在摄像机运动的情况下也能检测出独立的运动目标。缺点：由于噪声、多光源、阴影和遮挡等原因，计算出的光流场分布并不十分可靠和准确。多数光流法计算复杂、耗时，在实际的系统中没有特殊的硬件支持时，很难实现实时检测。9目标检测——背景减除法最常用且有效的是背景减除法。背景减除法最简单的实现方法是预先选取不含前景运动目标的背景图像，然后将当前图像帧与背景图像相减得到前景目标。背景减除法通常在摄像机固定的情况下使用，关键是建立随场景变化不断更新的背景模型。有两类常用的背景更新方法:1、建立背景模型并采用自适应方法对模型参数进行调整，从而获得新背景图像;2、从过去的一组观测图像中按一定的假设选择像素值构成当前背景图像。10目标分类参考文献：视频中的人体运动分析及其应用研究11人体描述参考文献：HumanMotion:ModelingandRecognitionofActionsandInteractions

►12运动跟踪参考文献：运动目标跟踪算法研究综述运动目标的跟踪，即通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标区位置的过程。就是在序列图像中为目标定位。范例13四种跟踪方法的比较。14运动目标的特征参考文献：自动目标识别与跟踪技术研究综述15运动鸡表征。16行为镇识别人的蜻行为旁理解衡与描甘述是屿指对交人的舅运动姓模式栋进行大分析卧和识咸别,链并秃用自犁然语缺言等鬼加以乎描述骡.可以洁简单闸地认悬为是法时变幸数据勇的分群类问亭题，耽即将沸测试轨序列注与预柴先标邪定的周代表捞典型便行为孕的参环考序槐列进载行匹祖配.行为何理解喉的关键寸问题是如快何从学学习演样本费中获取漂参考政行为朴序列,卵并且侨学习乐和匹符配的化行为寨序列诸能够晶处理介在相符似的史运动悄模式肃类别端中空砍间和叫时间醋尺度盐上轻鞋微的狭特征劫变化敏.17行为级识别寸方法18基于倾模板岂匹配剧的方吧法首先涝将图屋像序枯列转宇换成恩一组逮静态驱形状镇模式然后富在识溜别过波程中稠用输狠入图宰像序紫列提马取的耽特征唉与在盟训练务阶段扰预先己存储京的动购作行宋为模裹板进果行相似均度比亿较，在桥比较案数据秆可以否有轻线微变验化下川识别络人体闻行为览。MHV(M艰ot翼io线n色Hi题st邪or纪yVo悠lu友me磨s)19基于梁模板近匹配朋的方学法之势DT能WDT帐W（dy是na球mi躲c岔ti纸me挎w茂ar贩pi爹ng）—惠—动态泳时间勤规整DT绕W是铁一种吼时变绪数据聋序列土匹配裂方法DT产W优点义：概念厨简单座、算胡法鲁队棒，鸽能够磁对图男像序毛列进壶行分废类。DT脑W缺点建：算法贫计算或量较洲大，奸缺乏每考虑个相邻存时序践之间首的动悦态特框性，细而在迎实际袋中，疾运动禁序列洒中相穴邻序烦列在展时间撒和空夺间上晕有高匠度的社相关挺性。20基于紫状态崖空间兽的方雄法将图斩像序降列中文的每遍个静态切姿势氧或运登动状盘态作缺为一农个状厉态节捧点，这白些状职态节斩点之杂间由观给定胸的概映率联芳系起谣来。任何踢的动作慢序列可以荡认为换是这防些静沟态动贞作在佩不同借状态喘节点殃中的一次箱遍历洪过程，计丧算这北个遍藏历过齿程的候联合避概率笑，取其成最大骑值作为善分类压标准抄。基于帜状态刮空间蒸的方鹅法已司经被吼广泛膏应用累于预测演、估案计和窗检测时间层序列蜓。21基于蛾状态刷空间睁的方马法——素HM况M隐马舍尔可难夫模陶型的捏基本腐结构22基于润状态勺空间伐的方功法——DB吵Ns动态焰贝叶宣斯网尤络(交dy宝na浇mi截c成Ba婆ye吧si阀an助n段et催wo保rk灰s，夹DB勒Ns券)由于滩HM脱Ms响不能兰有效逮处理舒三个委或三做个以饥上独状立的鸟过程阻，作为HM译Ms英的推磁广方窜法。是一厦种对桃随机刚过程检描述合的有玻向图富解利用泥先验饺知识唐建立剧视觉而特征坑之间棚的因冶果关等系来莫处理绑视频窃处理松中固萝有的锡不确羞定性潜问题餐。优点：可以纱任意悄改变赌拓扑便结果慢或增拘删变绕量以狮反映也变量蔬间各爽种不刑同的纪关联役关系参，而慎不影增响训止练算持法本术身，宫因此吴具有良好妇的可袍解释修性，其错拓扑炭结构晋具有精确淹及易亚于理顺解的型概率厚语义。相比岁马尔保可夫岗链，择贝叶扑斯网拣络训蛙练比掏较复晴杂。23基于孤状态吗空间姑的方葬法——嫩ANN人工肚神经甩网络城是由框人工捉建立膝的以香有向嚷图为盯拓扑海结构棚的动矛态系咏统，自它通推过对拒连续伟或断占续的栗输入奶作状茅态响晋应而命进行物信息币处理押，在带分析粥时变菊数据哥时具佣有很勾大的帅优势宇。缺点毕：需要险用大诊量的钟数据品来训孝练网乒络TD岔NN(ti夸me市-d册el吵ay绒n霉eu伪ra滤l颗ne榨tw写or屿k)—倡—时延惯神经忌网络是在判多层故前馈智感知际器神脱经网知络模瞒型中筝引入遗时延梨单元分使得邀神经撒网络漫增加阿记忆爽功能临；时变索序列钟的前问述值采被用雨来预替测下涛一个降值。呆由于遇大量窃数据照集成渐为可抗能，阁时延宪神经缝网络监的重裕点就锦可以盲放在螺时分眼信息锐的表处达这样甲由此脂导出呢的神究经网恨络模虾型适钞合应羞用于延处理损序列衔数据僵。24基于搁状态侄空间伙的方阔法——惧SV挎M支持番向量朝机(继su竟pp绕or冬t今ve喇ct娇or筝m助ac狱hi应ne挨，S艇VM东)优点罗：能够际较好望地解招决常芹见的律非线圈性分大类问闸题中烤的小虚样本伴、非嫌线性劈燕、高植维数垮和局老部极对小点廊等实镜际问剑题可以贪避免需神经来网络断结构偏选择价和局肃部极楚小点梢问题25两种厌方法东比较模板必匹配海方法跌的优槽点是阻计算廉复杂令度低仅、操失作和网实现钳简单罩，但波缺乏姐考虑向运动圈序列强中相死邻时宜序之眨间的断动态戏特性供，对殖于噪础声和微运动高时间舌间隔战的变衬化相案当敏绍感。状态女空间启方法究虽然休能克某服模戚板匹帜配的艳缺点逐，但闭通常堤涉及炮到复睬杂的兆迭代毅运算趴，算届法的较步骤附较为萌复杂罢，难至以应歼用到歇实际侦工作帮中。26基于督语义陵的描婶述方警法用一种形女式化身的语柜法格睁式：怜主语四（人授）、菌谓语寸（人鲜的动市作）泽、宾弹语（炎实物换），垄将场孩景中农人的鉴活动遭情况娃用填舍空的侵形式近填入荐语法仇格式屋中，博产生堆对场啄景的熔自然殃语言释描述闯。基于挎语义件描述睬的方疲法是桂对在搅一段寒持续启时间驱内场短景内睛容的伪分析储过程目前璃还处采于对减场景震中人此体行杀为的工简单掏语义鲁解释对复誉杂场砖景中戏人体拔复杂诸行为君有效夸的充密分的傻语义忌描述茅还有览相当搞艰巨遵的工贫作要阅做27行为秩的分育层模谁型常用慢的概鸦念po录se南、a岭ct她io膛ns庆、a锦ct姿iv船it监ie盯sac坟ti促on笛/m疑ot斥or尿p您ri扮mi畅ti脉ve献sHu逼ma扣n伏ac夫ti茂on尖r卧ec婶og棚ni忙ti和onMo业ti红on制a东na犯ly唯si水sAc屈ti高on陵d匆et呀ec西ti个onAu虹to方ma饿ti概c寇Ta英rg槐et宣R访ec栏og拌ni谱ti垮onBeh注av颜io企r渣un煮de浴rs著ta梁nd浮in柳gvi捏su产al拣a痰na订ly恭si拍s28行为烂识别姿难点运动漆分割斥（M毯ot天io翼n伙Se饥gm钥en聪ta滔ti概on休）人体斥建模遮挡均问题多摄福像机感的使尽用运动夏特征贸选择玩与表惠达行为约识别高层透行为峰与场剥景理斧解性能腿评估29行为俱识别勒的热恨点音频雀与视喷觉相假结合研的多仅模态陕接口行为钟理解着与生只物特长征识稳别相们结合人的户运动渡分析奇向行吊为理凝解与焰描述浓高层图处理职的转用变30常用趟数据估库KT饿H妈hu假ma祸n阴mo脉ti陆on酷d趟at洞as伙etWe劲iz枯ma脂nn倡h赛um纯an戏a杨ct享io毒n醒da于ta盒se慈tIN坊RI却A棍XM搅AS眉m隆ul面ti勇-v爷ie贤w军da把ta竭se件tUC慢F是sp乔or浆ts开a识ct揭io拴n胳da雨ta类se湖tHo厕ll教yw霸oo还d偏hu巨ma蓝n氏ac材ti第on笔d羊at婆as奏etCA芽SI欣A31顶级潮会议IC诱CV旺(I混EE网E旬In持te惕rn喉at粮io辰na倘l袍Co价nf险er悉en梁ce字O眨n鞭Co危mp扫ut挖er斥V泡is杰io碎n)IC锋PR闯(I砌EE粒E均Co逮nf遭er退en勉ce秘o歪n忍Co泪mp坛ut谋er抗V异is丑io主n著an马d猛Pat罩te扑rnRe吃co绑gn却it陵io拳n)EC院CV决(E干ur拉op败ea万n天Co像nf亮er好en足ce险o北n灶Co迫mp亿ut损er秀V校is奸io因n)IJ败CV谣(I镜nt锤er旅na粪ti缘瑞on游al财3茅0u柴ma楚l伪ofCo卧mp携ut后er眼V依is补io废n)PA郑MI见(I阔EE溪E阅Tr巩an撕sa岗ct碰io华ns货o停n概Pa楚tt劳er赏n栽An寨al惠ys真is诱a球nd削M婚ac稍hi倚neIn缝te筋ll仆ig负en秩ce纵)IE蔽EE拐I芳nt榴er莲na巧ti晓on斤al汉W贵or际ks悉ho宪p咽Pe墨rf解or幅ma钉nc礼e即