基于稀疏表征双人交互行为

基于稀疏表征的双人交互行为识别陈昌红张杰刘峰南京邮电大学

2015.8.18交互行为识别的必要性交互行为双人交互行为多人交互行为人的交互行为是监控视频的重要组成部分多人交互行为从本质上来讲是以双人交互行为为基础的对双人交互行为的研究非常必要常见方法分层法:将行为分层,引入语义分析建模优点：条理清楚，可以与语义推理方法相结合，获得很好的识别效果缺点：对视频预处理的要求较高，语义推理方法一般需要充分的已知信息，算法推广有一定的困难。属性分布法:加入专家信息构建能够反应行为本质的中层表示优点：行为表征更贴近人的认知缺点：专家信息的准确加入是个难题本文方法轨迹特征和时空特征稀疏编码多尺度融合优点：有效融合多类特征，无需引入语义和专家信息算法框架训练样本轨迹特征时空特征稀疏编码LDCRF稀疏字典测试样本A稀疏特征行为类别BOW模型第一层第二层时空金字第三层塔MaxpoolingMaxpoolingMaxpooling稀疏学习稀疏特征学习A推断词袋特征加权特征提取轨迹特征在运动目标检测与跟踪的基础上，选择合适的角点作为关键点在目标框架内进行KLT算法（以平移模型的灰度值匹配为理论依据）跟踪，并标记关键点运动曲线。提取轨迹之后，采用傅立叶描述子对轨迹进行描述。2.时空特征采用时空Gabor滤波器提取兴趣点以兴趣点为中心得到立方体，采用HOG和HOF对立方体进行描述。特征稀疏化轨迹特征的稀疏化给定一组视频，采用KLT算法提取其轨迹特征，并得到其对应的傅立叶描述子；对傅立叶描述子进行聚类，得到m个聚类中心，

形成视觉词典，并将特征描述子映射为视觉单词；统计每个视觉单词在图像中出现的频率，生成单词词频直方图，表示运动区域图像。2.时空特征的稀疏表示视频的信息量不同，兴趣点数目差异大如何得到统一的描述符？传统方法采用Kmeans方法聚类，构建基于特征

向量的视觉词典，得到基于词典的直方图描述符；缺点：可能会导致较大的量化误差，很难精确捕捉视频中运动的所有信息Nn

kS

(B)2min

x

-

b=

minB

n=1

k

=1K其中

B

=[b,b

,b

]T

为聚类中心1

2

K本文采用稀疏编码，转换为带稀疏参数的矩阵因子分解问题•Ns.t.

bk12

£

1,

"

k

=

1,2,

Kn=1min

x

-

BT

s

2

+

l

sB,S

n

n

nT1

2

KS

=

[s

,

s

,

s

]该优化问题实质是求解带L1

稀疏惩罚函数的稀疏编码问题，可通过交替固定系数S和基向量B的方法来优化目标函数•得到最优码书B后，对每个系数sn

做优化估计nnnSnn=11Nmin

x

-

BT

s

2

+

l

s本文采用特征符号搜索算法来求解sn

，得到时空特征的稀疏表示特征融合本文特征融合分两层，第一层：多尺度时空特征的融合；第二层：轨迹特征和时空特征的融合。1.基于多尺度Maxpooling的时空特征融合第一层第二层第三层多尺度

maxpoolingCuboid特征稀疏表示ZS金字塔模型假设时空金字塔各层中，一个grid描述子为Z

=Z1

,Z2

,,ZK

]则Z中的第j个元素为z

j

=

max{|

s1,

j

|,|

s2,

j

|,...,|

sm,

j

|,...,|

sM

,

j

|}sm,j

:第m个立方体稀疏表征中的第j个元素；M:一个grid中立方体的数目。视频的最终描述子由各grid描述子连接而成2.加权串联轨迹稀疏特征和时空稀疏特征，得到最终的稀疏表征实验及分析本文分类模型部分使用MIT提供的开源软件包HCRF2.0，选择其中的隐动态条件随机场进行分类。使用特征提取阶段提取的20组数据用于训练，20组数据用于测试，另外

10组用来学习稀疏字典。三个数据库：UT, BT,

HOA实验结果与词袋模型（Kmeans法）进行了比较；实验结果与其它主流稀疏特征方法进行了比较所用数据库UTBTHOA结果对比1握握拥拥踢踢击击推推

0.00

0.00

0.00

0.00

0.750.750.000.000.000.00握握1.000.000.000.000.000.000.500.000.000.00拥拥0.001.000.000.000.000.000.251.000.500.25踢踢0.000.001.000.210.000.250.250.000.500.00击击0.000.000.000.790.00推推0.000.000.000.001.00握握拥拥踢踢击击推推UT握握 拥拥 踢踢 击击 推推词袋模型（Kmeans）本文算法握握1.000.000.000.000.00握握1.000.000.000.000.00拥拥0.000.250.000.000.00拥拥0.001.000.000.000.00踢踢0.000.000.250.000.25踢踢0.000.001.000.250.00击击0.000.000.000.750.25击击0.000.000.000.750.00推推0.000.750.750.250.50推推0.000.000.000.001.00BT握握 拥拥 踢踢 击击 推推词袋模型（Kmeans）握握 拥拥 踢踢 击击 推推本文算法击打1.000.230.030.250.47击打1.000.000.000.000.00握握0.000.270.220.000.00握握0.000.750.500.000.25拥拥0.000.500.750.500.00拥拥0.000.000.490.000.22击击0.000.000.000.250.00击击0.000.000.000.740.02接接0.000.000.000.000.53接接0.000.250.010.260.51击打握握拥拥击击接接击打握握拥拥击击接接HOA词袋模型（Kmeans）本文算法结论1本文算法能有效克服Kmeans算法量化误差大的缺点，得到更为有效的稀疏表征结果对比2本文给出了在UT以及HOA数据库的实验结果与其它算法的对比情况。由于BT数据库的利用率不太高，没有给出算法结果的对比。握握拥拥踢踢击击推推00.20.40.60.811.21.41.6准准准UT

数数数数数Ryoo[23]Yu[24]Kong[25]Michalis[10]Vahdat[26]Ours击打

握握

击击