场景监控中的人群密度估计

1、2007 年 12 月JOURNAL OF CIRCUITS AND SYSTEMS December, 2007 文章编号:1007-0249 (2007 06-0019-04场景监控中的人群密度估计*胡波, 李晓华, 沈兰荪(北京工业大学信号与信息处理研究室,北京 100022摘要:人群密度估计是智能化人群监控中十分重要的内容,它对于人民群众的生命安全有着重要的作用和意义。本文提出了一种基于小波变换与灰度共生矩阵的人群密度特征提取方法,进而利用支撑向量机实现人群密度级别的估计。实验结果表明本文提出的方法是可行的。关键词:人群密度估计;小波变换;灰度共生矩阵;支撑向量机中图分类号:TP391

2、 文献识别码:A1 引言随着人们社会活动的不断增加,由于人群密度过大而造成人员伤亡的事件屡见不鲜。在日常生活中,对于人们经常出入的地铁、车站、超市等地点的人群密度估计是十分必要的。因此,人群密度估计有着广泛的应用前景和研究价值。传统的人群密度估计通过监控场景的闭路电视人工进行监控,费时费力且缺乏客观性。随着计算机和图像处理技术的发展和广泛应用,智能化的人群密度监控系统成为人们研究的重点。在London和Genova,有两个基于闭路电视的实时人群密度监控系统1,2。然而这些系统只是运用了一些较为简单的图像处理方法来提取图像中人群密度特征。一是运用背景减的方法来判断场景中被人群占据的空间的大小;二

3、是运用边缘提取的方法,通过边缘周长检测来估计人群密度。然后通过Kalman滤波器对这两种特征进行联合判断,得到优化后的人群密度估计结果。这项技术在较低的人群密度下能得到较满意的结果,但是应用于人群密度较高的场景时会出现很高的误判率。原因在于高密度人群存在明显的人与人间的重叠现象,而上述的两个特征很难描述这种现象。针对现有方法对中高密度人群估计的缺陷,本文引入纹理分析的方法描述人群密度特征,提出了一种基于小波分析和灰度共生矩阵的特征提取方法,并运用支撑向量机进行人群密度分类,取得了较好的试验结果。 图1 算法框图本文方法的算法框图如图1所示。算法主要分为两大部分:特征提取和特征分类。特征提取包括

4、小波变换和灰度共生矩阵,支撑向量机用于分类。依算法框图所示,首先对图像进行三级小波分解,得到10个子带及相应的小波系数;其次对除LL子带外的所有细节子带分别计算灰度共生矩阵;然后,计算相应的统计纹理特征,生成9维特征矢量;最后,利用支撑向量机进行特征分类,得到人群密度级别。3 小波变换与灰度共生矩阵联合的特征提取3.1 小波变换小波分析3,4在图像处理中的运用愈加广泛,它能够在时域和频域同时具有优良局部特性。在本文中,对人群图像作3级小波分解4,得到分解前后的图像,如图2(b所示。从小波分解后* 收稿日期:2004-10-26 修订日期:2005-12-21基金项目:国家自然科学基金(6040

5、2036;北京市自然科学基金(4062006;4042008;教育部博士点基金(20040005015 图像中可以看出,不同分辨率的细节子图显示出了人群图像不同方向上的纹理状况,这对于下一步的特征提取有很大帮助。本文采用9/7滤波器组进行三级小波变换,以九个高频子带作为特征提取的基础,分别从这九个子带中提取纹理特征。 3.2 灰度共生矩阵在纹理图像中,某个方向上相隔一定距离的一对像素灰度共同出现的统计概率,能反映这个图像的纹理特征5。灰度共生矩阵法5正是建立在估计图像的这种二阶联合条件概率密度函数基础上的一种重要的纹理分析方法。灰度共生矩阵,(d j i p 被定义为从灰度值为i 的点离开某个

6、固定位置(相隔距离为d 、方位为的点上灰度值为j 的概率(或者频数。对应于变化缓慢的纹理图像,其灰度共生矩阵对角线上的数值较大;而对应纹理变化较快的图像,其灰度共生矩阵对角线上的值较小,对角线两侧的值较大。灰度共生矩阵,(d j i p 反映了图像灰度分布关于方向、局部邻域和变化幅度的综合信息,但数据量太大,一般并不直接作为区分纹理的特征,而是基于它构建一些统计量作为纹理分类特征。小波变换后的人群图像(图2(b突显了人群的纹理变化情况,且有不同的分辨率和角度的信息。灰度共生矩阵则对于不同分辨率的小波子带进行纹理分析,最后选择合适的特征统计量表征纹理状况,反映人群密度情况。本文方法利用了小波变换

7、和灰度共生矩阵纹理分析上的各自的特点,将其结合运用,使其效果好于其中一种的单独运用。本文采用了多次实验求取最优的方法。表1给出了多次测试中的三组不同特征下的试验结果,其中最右侧为多次实验中的最优方案。特征组合中的Energy 定义 为:=10102,(,(L i L j d j i p d E 。表1中采用同样的小波分解以及不同特征组合,可见特征组合的选取对检测准确率有很大影响。通过选取不同的特征组合,经多次测试比较,选用表1中最右侧的特征组合作为最优特征组合:HL-Homogeneity ,LH-Homogeneity ,HH-Contrast ,1=d ,D 90=, 其中逆差矩(Homo

8、geneity 定义为:,(11,(10102d j i p j i d L L i L j =+= (1 对比度(Contrast 定义为:=10102,(,(L i L j d j i pp j i d I (2对比度(Contrast 是反映图像纹理清晰程度的物理量,纹理的沟纹越深,则其对比度越大,图像视觉效果越是清晰。低密度人群的对比度较高,高密度人群情况与其相反。疏密情况恰能体现在对比度的变化上。从定义式看,统计量逆差矩(Homogeneity 是与对比度相对应的物理量。从人群图像纹理的特点分析,这两种特征能够很好的表征人群密度的变化,而能量(Energy 在反映人群密度所带来的纹理

9、变化上,有所不足。整个特征提取过程如下:(1对原图像进行3级小波分解,生成小波图像; (2对除LL 子带的每个子带计算其灰度共生矩阵;(a 原始人群图像 (b 三级小波变换后的图像图2 原始图像和3级小波变换后的图像表1 两组特征测试结果比较HL-Energy LH-Homogeneity HH-HomogeneityHL-Homogeneity LH- Energy HH-ContrastHL-Homogeneity LH-Homogeneity HH-Contrast测试样本准确率83.8% 90% 95% 训练样本准确率95.8% 97.2% 96.5%第6期 胡波等:场景监控中的人群密

10、度估计 21(3按公式(1(2确定子带特征值,生成9维特征矢量。4 分类器由于本文所用的人群图像数量有限,分类器选择支撑向量机。支撑向量机非常适用于小样本的分类且分类效果好。支撑向量机6的基本思想是:通过非线性变换将原始特征空间变换到一个高维的空间,在这个新空间求取线性最优s 分类面,而这种非线性变换是通过定义适当的内积核函数来实现的。它的判别函s 数为 (+=s i i i b K y y 1sgn X ,X i (3其中(sgn 为符号函数,(X X,K 是内积核函数。输入特征向量为(d 21x ,x ,x X =,共有s 个支撑向量s X X X ,21,通过内积函数进行非线性变换,再由

11、决策层进行决策,最后生成分类结果。本文中将实验图片按人群密度的不同分为四类。考虑到支撑向量机一般只能实现两类模式的划分,这里共采用3个支撑向量机进行分类。其结构如图3所示。实验中,采用交叉验证法确定三个分类器所用的内积核函数及其参数,如表2所示。其中:poly 为多项式核函数: p i i K 1(+=X X X X,其中p 为待定参数 (4rbf 为径向基核函数: =222exp (p K i i X X X X,其中p 为待定参数 (5 5 实验结果及分析 试验所用的图片采自北京西客站,共300张。将它们按人群密度不同分为四类:低、中低、中高和高,见表3。表4为本文方法实验测试结果。为了便

12、于对比,本文对仅基于灰度共生矩阵7(对整幅图像的灰度共生矩阵求取以下特征量作为特征:Homogeneity 0;Homogeneity 45;Homogeneity 90;Homogeneity 135;Contrast 0;Contrast 45;Contrast 90;Contrast 135;Energy 0;Energy 45;Energy 90;Energy 135和仅基于小波变换(以各子带的能量作为特征的提取特征方法也进行了实验,见表4和表5,分类器依然采用图3所示的支撑向量机结构。从表4,表5,表6可以看出,利用小波变换的多尺度分析特性,加之灰度共生矩阵运用,能够较全面的捕获图像

13、中的纹理信息,分类效果较好。而只用灰度共生矩阵或只用小波能量作为特征的分类准确率都只能达到是88.75%。另外,提出方法的测试样本分类准确率与训练样本分类准确率基本接近,这也表明本文算法有更好的推广泛化能力。最后,人群密度监控系统需要有一定的实时性,本文方法通过软件实现,一幅图像识别时间约为图3 分类器结构表2 最优方案的核函数SVM1 SVM2SVM3 Svc kernelrbf p =4 rbf p =4poly p =4表4 本文方法测试结果1(402(403(404(40测试样本准确率训练样本准确率140 0 0 020 37 1 030 3 37 2 40 0 2 3895% 96.

14、5%表5 仅基于灰度共生矩阵的测试结果1(402(403(404(40测试样本准确率训练样本准确率134 1 4 02 3 38 3 03 3 1 32 2 40 0 1 3888.75% 94.3%22 电路与系统学报 第12卷0.194秒,其中灰度共生矩阵计算占据了主要时间。考虑到在这么短的时间内人群密度不会发生剧烈改变,此外本文方法的软件还存在一定的优化空间,可以进一步提高判别速度,所以能够满足实际应用需要。从表7可以分析出,本文方法与仅基于灰度共生矩阵的方法相比,在时间复杂度上相当,原因在于小波变换和支撑向量机都花费很少的时间。本文方法在未引入高计算复杂度的同时,提高了分类准确率。而与

15、仅基于小波的方法相比,以可接受的计算复杂换来了正确检测率的大幅提高。因此,本文方法具备较好的实时性。6 总结本文实现了一种智能化人群密度估计算法。提出了一种基于小波变换与灰度共生矩阵的人群密度特征描述策略。对300幅图像的试验结果证明,该方法可达到95%的正确识别率,基本能够满足智能化人群密度监控的要求。 参考文献:1 Davie A C, Yin J H, Velastin S A. Crowd. Monitoring Using Image Processing J. Electronics & Communication Engineering Journal, 1995,7(1: 37

16、-47.2 Siu-Yang Cho, Tommy W S Chow, Chi-Tat Leung. A Neural-Based Crowd Estimation by Hybrid Global Learning Algorithm J. IEEETransaction on, 1999, 29(4: 535-541. 3 陈武凡. 小波分析及其在图像处理中的应用M. 北京: 科学出版社, 2002. 4 沈兰荪, 卓力, 等. 视频编码与低速率传输M. 北京: 电子工业出版社, 2001-12. 5 阮秋琦. 数字图像处理M. 北京: 电子工业出版社, 2001-01. 6 边肇祺, 张

17、学工. 模式识别M. 北京: 清华大学出版社, 2000.7A N Marana, L F Costa, R A Lotufo, S A Velastin. On the Efficacy of Texture Analysis for Crowd Monitoring A. Computer Graphics, Image Processing, and Vision, 1998. Proceedings. SIBGRAPI 98. International Symposium on C. 20-23 Oct. 1998.作者简介:胡波(1981-,男,硕士研究生,主要研究方向为图像处理;

18、李晓华(1973-,女,陕西韩城人,现为北京工业大学讲师,博士,主要研究方向为压缩域图像处理,图像压缩,图像理解等;沈兰荪(1938-,男,江苏省苏州市人,1961年毕业于北京邮电学院通信工程系,现为北京工业大学教授、博士生导师,研究领域为图像编码、处理、传输与应用,以及光谱信号的检测与处理等。Estimation crowd density for surveillanceHU Bo, LI Xiao-hua, SHEN Lan-sun( Signal and Information Processing Lab., Beijing University of Technology, Beijing 10002, China Abstract: Crowd density estimation is a very important issue in intelligentized crowd surveillance, which has quite important effect and signifi