基于模糊神经网络的大场景人群密度估计方法

1、基于模糊神经网络的大场景人群密度估计方法摘 要:提出了一种估计大场景下密集人群密度的方法。该方法根据人类视觉的模糊性原理,认为用模糊集来划分人群密度范围比用确定的方法更符合人眼视知觉的认知方式,利用统计的方法确定灰度共生矩阵各指标对于各个密度类别的隶属函数;设计基于误差反向传播训练算法(BP)的模糊神经网络,计算样本模式对于各个密度类别的隶属度,并根据人群密度变化的时域连续性原理对人群密度范围进行合理估计。实验表明该方法提高了估计精度。 关键词:人群密度估计; 模糊神经网络; 灰度共生矩阵; 智能视频监控 中图分类号:TP391.4文献标志码:A 文章编号:1001-3695(2010)03-

2、0989-03 Crowd density estimation of wide scene based on fuzzy neural network TANG Qing?1, WANG Zhi-yan?1, YAN He-ping?2, XU Xiao-wei?3a,3b? (1.School of Computer Science & Engineering, South China University of Technology, Guangzhou 510006, China; 2. No.75771 Unit of PLA, Guangzhou 510540, China; 3

3、a.Shool of Information Science & Technology,b.Key Laboratory of Digital Life, Sun Yat?sen University, Guangzhou 510275,China) Abstract:This paper proposed a crowd density estimation method based on a fuzzy neural network. According to the fuzzy phenomena used by human vision, it was more accordant w

4、ith cognitive style of human vision by using fuzzy sets to describe crowd density range than other definite measures. Defined functions of membership degree of indicators of the grey level dependence matrix (GLDM) by statistical method and designed a fuzzy neural network based on the error back prop

5、agation (BP) training algorithm to calculate the membership degree of the input pattern, which could be explained reasonably according to the temporal continuity of variety of the crowd density. Experimental results show this method performs well and improves the accuracy of estimation. Key words:cr

6、owd density estimation; fuzzy neural network; grey level dependence matrix; intelligent video surveillance 0 引言 随着人类文明的发展和社会的进步,对众多的公共场所, 如广场、车站等地方进行人数统计是公共安全领域的重要课题1,2。传统方法是人工依据经验来确定监控视频画面中聚集人群的数量、拥挤程度等,费时费力且缺乏客观性。因此,应用计算机视觉技术实现场景中的人群智能监控统计成为当前的研究热点。 现有工作主要分为两类:第一类方法是人体目标特征分析法3,4。首先检测、跟踪视频序列图像中的人体特

7、征,识别是否人体目标,然后进行统计。这类方法在室内的小场景下效果较好,适用于人数比较稀疏情况。然而,对于大场景情况下的公共场所而言,普遍存在着高密度人群,难以通过特征分析法分割出人体目标,因此出现了第二类人群密度估计法5,6。这类方法最早起源于欧盟的智能公共交通监控PRISMATICA项目,Velastin等人7,8 分析了利物浦街火车站的人群监控图像,通过提取人群前景和边缘的总像素数,建立与密度变化相关的统计关系,但是无法解决人体目标的重叠问题,当人群密度较高的场景时会出现很高的误判率;后来Marana等人9提出了利用灰度共生矩阵的纹理信息估计人群密度范围的方法;Marana等人10,11进

8、一步研究发现,高密度的人群图像在纹理上表现为细模式,低密度则表现为粗模式;胡波等人12提出了利用小波变换与灰度共生矩阵提取人群密度特征,进而利用支撑向量机估计人群密度级别。本文在前期工作中提出了灰度共生矩阵和主成分分析方法,抽取与人群密度相关的对比度、均匀度、能量和熵等描述图像粗糙程度的特征矢量,采用回归分析进行统计13。 上述估计方法均是基于对训练样本的分析,找出特征与密度的变化关系,建立统计模型,并将问题求解转换为基于统计模型的机器学习及决策过程。研究表明,这一转换过程与人眼感知过程不相符,问题表述是用硬性的密度范围来划分的,因此对估计精度影响很大。实际上人类视觉在估计人群密度范围时,是根

9、据先验知识将其分类判别为某种范围。人类视觉估计的密度范围是模糊的,其判断结果是基于以往学习的经验,是通过人类大脑的模糊思维过程而得出的一个大致的、概念性的密度范围的表述。人眼视知觉感知功能的复杂性在于它不是建立在精确数学模型基础之上的,而是通过样例学习将具体经验积累、存储在神经元上进而用于综合判断。因此,本文提出了一种模糊的描述方式与神经网络的学习分类功能相结合的方法,用于模拟人类的视知觉解决人群密度估计问题。 1 模糊神经网络理论基础 模糊神经网络通常由模糊化层、模糊关系映射层和去模糊层构成。模糊化层是进行信息预处理的网络层,其主要功能是对观测矢量和输入模式进行规范化变换;映射层进行模糊关系

10、映射,以实现模糊模式识别、模糊推理和模糊联想等任务;去模糊层对映射层输出结果进行非模糊化处理,以给出确定性结果。输入模式的模糊化由模糊化层的神经元来完成。模糊化神经元的输入与输出的关系为?y?ij?=f?i(x?j);j=1,2,n;i=1,2,m。其中:x?j为输入模式x的分量;y?ij?为x?j关于模糊集i的隶属度。模糊化神经元的权和阈值由学习的方法确定。给定x?j及其关于模糊集i的隶属度?i(x?j),j=1,2,N,N?为训练样本数,y?ij?为输出神经元i关于x?j的输出,采用学习算法,求解模糊化层的权值?i及阈值?i,使得: 训练过程分为两步,第一步用训练模式及对其计算出来的模糊化

11、模式组成模式对,对由模糊化层组成的网络(模糊化网络)进行训练。训练好的网络作为整个网络的第一层(模糊化层),实现输入模式的模糊化。第二步用训练模式及其对各个类别的隶属度组成的模式对,对整个网络进行训练。 模糊化网络的训练结果如图4所示,其设定期望的最小误差为1e-5,经过23 800步的训练过程达到训练要求。 对四个特征的网络训练实验如图5所示,设定期望的最小误差为1e-5,经过490 000步,约3h14min(机器配置为P4 2.6 GHz)的训练达到训练要求。 用经过训练的网络对测试样本集进行分类隶属度计算,其典型结果如表1所示。对计算结果按最大隶属度原则划分样本类别后,通过与测试样本的

12、正确类别(人工确定)进行比较,四个特征网络的总分类误差率为13.44%,误差计算公式: err=nerr?N?100%(10) 其中:nerr为误分样本数量;?N?为总测试样本数量。使用四个特征的网络进行分类估计结果比文献11的估计精度提高约一个百分点,如表2所示。 分类估计的主要错分情况为将一个类别的样本错分为其相邻类别。有少量错分类型将一个类别错分为相距两个距离的类别;这种情况可能与输入模式模糊化函数的类间区分性不够好有关。第五类(极高密度)基本无错分情况;这对于注重人群密度超拥挤的安全预警应用是一个较好的结果。绝大部分错分情况下,其对于正确类别与误分类别的隶属度值相差较小;在实际应用中可

13、根据需要将这些信息转换成有用的解释,如输入模式对于属于高密度类别与极高密度类别的隶属度都较大,且较接近,可将其解释为密度范围界于高密度人群与极高密度人群之间。 本文分类方法误差产生的主要原因有以下几个方面:人眼视觉的主观性;由于样本集的挑选、分类都是根据人眼视觉评判的主观结果,由于这种评判所具有的模糊性,样本量问题;由于人工主观判断任务繁重、工作量较大,本文的样本容量还不够大,不能较准确地反映出事物的本质特征。 从实验结果可以看出本文分类精度较高,能较好地满足关注人群安全的密度过高问题的预警应用要求。用训练好的网络工作时,时间复杂度低,适合于实时视频监视应用。 4 结束语 本文研究了用模糊神经

14、网络的方法来计算场景图像的纹理模式对于各个人群密度范围类别的隶属度,进而可以应用该计算结果对人群密度范围进行解释。研究中详细考察了用于分类的输入特征模式的模糊化问题及训练样本的隶属度确定问题。但是,该方法也存在一些缺点:一是训练好的网络是针对特定监视场景的,不同的场景需要重新训练网络;二是训练样本的分类依赖于人的主观判断。这些问题是下一步工作的研究重点。 参考文献: 1 VELASTIN S A , BOGHOSSIAN B A , LO B P L , ?et al?. PRISMATICA: toward ambient intelligence in public transport e

15、nvironmentsJ. IEEE Trans on Systems, Man and Cybernetics, Part A, 2005,35(1):164-182. 2梁英宏,王知衍,曹晓叶,等. 视频图像理解的一般性框架研究J. 计算机应用研究, 2008,25 (7):2203-2207. 3VIOLA P, JONES M J, SNOW D.Detecting pedestrians using patterns of motion and appearanceC/Proc of the 9th IEEE International Conference on Computer

16、Vision.Washington DC:IEEE Com-?puter? Society, 2003: 734-741. 4CHEN Li, TAO Ji, TAN Ya-peng, ?et al?. People counting using iterative mean?shift fitting with symmetry measureC/ Proc of the 6th International Conference on Information and Communication Security. 2007: 890-895. 5MARANA A N, CAVENAGHI M

17、 A , ULSON R S ,?et al?. Real?time crowd density estimation using images C/ Proc of International Symposium on Visual Computing.Berlin:Springer, 2005: 355-362. 6BOZZOLI M, CINQUE L. A statistical method for people counting in crowded environmentsC/ Proc of the 14th International Conference on Image

18、Analysis and Processing.Washington DC:IEEE Computer Society, 2007: 506-511. 7VELASTIN S A , YIN J H , DAVIES A C ,?et al?. Automated measurement of crowd density and motion using image processingC/ Proc of the 7th International Conference on Road Traffic Monitoring and Control.London,UK:s.n., 1994:127-132. 8BOGHOSSAN B A , VELASTIN S A. Motion?based machine vision techniques for the management of large crowdsC/ Proc of the 6th IEEE International Conference on Electronics, Circuits and Systems. 1999:961-964. 9MARANA A N , VELASTIN S A , COSTA L F , ?et al?. Est