（信号与信息处理专业论文）基于视频的人群密度估计研究.pdf

上海大学硕士学位论文 基于视频的人群密度估计研究 摘要 随着经济社会的发展，尤其是我国城镇化进程的推进，城市人口密度越来 越大，城市公共交通、生活设施等经常会迎来短期的人流高峰，人群的高度拥 挤若不能得到及时有效疏散容易造成灾祸。因此，基于视频系统的智能化人群 监控技术也随之受到越来越多的关注和研究。 本文研究了基于视频和图象处理的智能化人群密度估计的方法。首先介绍 了人群密度检测的国内外发展现状及其基本理论。通过分析可知，基于像素统 计的密度估计方法较为简单，但是当人群密度较高、人群遮挡严重时误差较大； 使用纹理分析的方法可以充分利用图像的纹理信息，但是算法复杂度较高。 针对以上问题，本文提出在不同密度人群情况下采用不同的密度估计算法 的解决方法。每幅图像首先通过计算前景人群象素面积将图像初步分为低密度 和中高密度两类，然后对低密度人群使用基于象素统计的方法估计人数；对中 高密度人群使用基于纹理分析的方法进一步估计密度。 对于低密度人群，本文提取人群前景像素面积以及边缘面积这两种特征， 然后利用最小二乘线性拟合方法估计出这两类特征与人数的线性关系。在获取 人群前景面积方面，本文主要采用背景差分法以及自适应阈值二值化法获取前 景人群，并使用数学形态学消除噪声和孤立点。在边缘检测方面，本文比较了 不同边缘检测算子的性能，并提出基于二值图像的边界检测的方法获得人群边 缘，降低了算法复杂度，并通过实验表明本文所用方法的有效性。 对于高密度人群，本文采用基于灰度共生矩阵的纹理分析方法，对纹理特 征的提取和选择进行研究，并通过实验确定了灰度共生矩阵的最佳参数，然后 引入基于统计学习理论的支持向量机进行分类，通过研究如何建立支持向量机 的模型以使分类性能达到最优，实验验证了方法的可行性。 关键词：人群监控，密度估计，纹理分析，灰度共生矩阵，支撑向量机 v 上海大学硕士学位论文基于视频的人群密度估计研究 a b s t i 认c t w i t ht h ef a s td e v e l o p m e n to fe c o n o m ya n ds o c i e t y , e s p e c i a l l yt h ep r o g r e s s o fu r b a n i z a t i o ni no u rc o u n t r y , t h ep o p u l a t i o nd e n s i t yo fc i t i e si n c r e a s e s c o n t i n u o u s l y t h ep u b l i ct r a f f i ca n di n f r a s t r u c t u r ei n c i t i e so f t e nm e e tc r o w d f l o ww i t hg r e a td e n s i t yi nr u s hh o u r , w h i c hm a yr e s u l ti na c c i d e n t si ft h e p o p u l a t i o n c o n g e s t i o nc a l l n o tb ee v a c u a t e di nt i m e i nt h i ss i t u a t i o n ，t h e e f f e c t i v ei n t e l l i g e n tc r o w ds u r v e i l l a n c es y s t e mc a l l sa g r e a ta t t e n t i o ni nr e s e a r c h t h i sp a p e rw o f k so nt h ei n t e l l i g e n tc r o w da u t o m a t i ce s t i m a t i o nt e c h n i q u e w h i c hi sb a s e do nt h ev i d e oa n di m a g ep r o c e s s f i r s t l yw ei n t r o d u c et h e d e v e l o p m e n ta n db a s i cp r i n c i p l e so ft h ei n t e l l i g e n tc r o w dm o n i t o r i n gs y s t e m t h ea n a l y s i ss h o w st h a tt h ep i x e l b a s e dc r o w de s t i m a t i o ni s s i m p l eb u tt h e e s t i m a t e de r r o ri n c r e a s e sa s t h e p o p u l a t i o nd e n s i t yi n c r e a s e s ，a n d t h e t e x t u r e - b a s e dc r o w de s t i m a t i o np e r f o r m sb e t t e ri nd e n s ep o p u l a t i o nb u ti sm o r e c o m p l e x t os o l v et h ep r o b l e m sp r e s e n t e da b o v e ，t h ep a p e rp r o p o s e st o a p p l yt h e d i f f e r e n tc r o w de s t i m a t i o nm e t h o da c c o r d i n gt ot h es p e c i f i cs i t u a t i o n w ef i r s t c o m p u t et h en u m b e ro ff o r e g r o u n dp i x e l sf o re a c hc r o w di m a g e ，a n dt h e nl a b e l t h ei m a g ew i t he i t h e ro ft h et w ot a g s ，i e ，l o wd e n s i t yo rm o d e r a t e t o h i g l l d e n s i t y a sar e s u l t ，w eu s ep i x e l - b a s e dm e t h o dt oe v a l u a t et h et o u r i s tn u m b e r f o rt h el o w d e n s i t y c r o w da n du s et e x t u r e b a s e dm e t h o df o rt h e m o d e r a t e - t o - h i g hd e n s i t yc r o w d i nt h i sp a p e r , w ec h a r a c t e r i z et h el o wd e n s i t yc r o w db yt w of e a t u r e s ：t h e a r e aa n dt h ee d g e - l e n g t ho ft h ec r o w do b j e c t s ，a n dw ee v a l u a t et h et o u r i s t n u m b e rb yt h el e a s t - s q u a r e sl i n e a rf i tm e t h o dw i t ht h e s et w of e a t u r e s t oo b t a i n t h ec r o w df o r e g r o u n do ft h ei m a g ew ea p p l yt h et e c h n i q u e si nb a c k g r o u n d a b s t r a c t i o na n da d a p t i v et h r e s h o l db i n a r i z a t i o n w et h e nu s em a t h e m a t i c a l v i 上海大学硕十学位论文基于视频的人群密度估计研究 m o r p h o l o g yt oe l i m i n a t en o i s e sa n di s o l a t e dp o i n t s w ei m p l e m e n td i f f e r e n t e d g ed e t e c t i o no p e r a t o r si nt h ec r o w do b j e c t se d g ed e t e c t i o na sw e l la st h e b i n a r yi m a g eb o u n d a r yd e t e c t i o na n dc o m p a r et h er e s u l t s t h ec o m p a r i s o n s h o w st h a tt h e p r o p o s e db i n a r yi m a g eb o u n d a r yd e t e c t i o ni ss i m p l ea n d t h em o d e r a t e t o - h i 曲d e n s i t yc r o w di sc h a r a c t e r i z e db yt h et e x t u r ef e a t u r e b a s e do nt h eg r a y - l e v e lc o o c c u r r e n c em a t r i x ( g l c m ) o p t i m u mt e x t u r e d e s c r i p t o r sa r ee x t r a c t e db ye x p e r i m e n t si nd e t e c t i n gd i f f e r e n tc r o w dd e n s i t y f e a t u r ev e c t o r sa n dt h e nc l a s s i f i e d a u t o m a t i c a l l yb y a s u p p o r t v e c t o r m a c h i n e ( s v m ) b a s e do nt h es t a t i s t i c a ll e a r n i n gt h e o r y a no p t i m u mm u l t i c l a s s s v mm o d e li s s t u d i e da n db u i l tf o rb e t t e rc l a s s i f i c a t i o n p r e c i s i o n i m p l e m e n t a t i o nr e s u l t sd e m o n s t r a t et h a t - t h em e t h o di se f f e c t i v e k e y w o r d s ：c r o w ds u r v e i l l a n c e ，d e n s i t ye s t i m a t i o n ，t e x t u r ea n a l y s i s ，g r a y - l e v e l c o o c c u r r e n c em a t r i x ( g l c m ) ，s u p p o r tv e c t o rm a c h i n e ( s v m ) v i i 上海大学硕上学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：扫盗e t 期：丝! 乏墨1 2 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 1 1 日期：鬯2 ：三：2 上海大学硕士学位论文基于视频的人群密度估计研究 第一章绪论 1 1 人群密度检测的提出 随着我国经济建设的快速发展及城市化建设的步伐加快，人们对交通的需 求也是越来越大，然而，公共交通系统落后的管理理念和经营模式已经满足不 了城市居民的出行的需求。在交通高峰期，传统的公交调度模式往往比较滞后， 无法及时疏导出行乘客，这不仅给城市居民带来极大的不便，也容易造成安全 隐患，并严重的阻碍了社会经济的可持续发展。公共交通行业的信息化建设迫 在眉睫。 为解决这一系列问题，近年来世界各国都比较重视对交通系统管理和控制 技术的研究和开发，并致力于通信技术、自动化技术及计算机技术等现代高新 技术系统地解决道路交通问题。于是提出了智能交通系统的概念。所谓智能交 通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，i t s ) ，包括了智能交通和智能运输两 方面的内容，它是将先进的信息技术( 包括数据通信、计算机等) 、传感器技术、 自动控制理论、运筹学、人工智能等有效地综合运用于交通的运输、服务控制 和车辆制造等方面，加强车辆、道路、使用者三者之间的联系，从而形成的一 种实时、准确、高效的综合运输系统，最终使交通运输服务和管理智能化，使 路网上的交通流运行处于最佳状态，改善交通拥挤和阻塞，最大限度地提高路 网的通行能力，提高整个公路运输的机动性、安全性和生产效率。 通过对公交客流信息的分析，可掌握线路客流在各时段、各方向、各断面 上的分布规律，从而为公交线网的设置、站点的设置、线路的优化以及公交调 度策略的制定与调整提供支撑和保障，解决一系列由于公交线路安排及车辆调 度不合理的问题，方便了城市居民出行，提高了公交服务水平。由此可知，对 公交客流的全面、准确把握是公交调度与公交规划的基础，因此，如何对各公 交站点以及公交车内人群进行检测估计、采集实时的客流数据，是摆在公交管 理者和调度人员面前的一大问题。 另一方面，随着经济的飞速发展，各种高层建筑、地下建筑和大型商业娱 上海大学硕士学位论文基于视频的人群密度估计研究 乐设施越来越多，与此同时，人群活动也在增多，尤其是在一些重大活动中， 如娱乐活动、体育赛事、宗教仪式、庆祝活动等，常常会聚集大量人群。从古 至今，从中到外，由人群拥塞引起灾祸案例屡见不鲜。下面给出几个由于人群 堵塞引起的灾祸的案例： 1 9 8 9 年4 月1 5 日，在英格兰的希尔斯伯勒足球场举行足协杯半决赛。由于 大批球迷蜂拥进入看台，造成2 0 0 多人受伤9 6 人死亡。这是英国体育运动史上 最惨痛的一次灾难。此前4 年，在利物浦队与意大利尤文图斯俱乐部队进行的 欧洲杯决赛中，球迷相互攻击，引起围墙倒塌，3 5 人因此死亡 1 】。 2 0 0 4 年2 月1 5 日，在北京市密云县密虹公园举办的第二届迎春灯展中，因 一游人在公园桥上跌倒，引起身后游人拥挤，造成踩死、挤伤游人的特大恶性 事故，有3 7 人死亡、1 5 人受伤 2 。 2 0 0 7 年1 1 月1 0 日上午8 点2 0 分左右，重庆市家乐福沙坪坝店在自行组织 的1 0 周年店庆促销活动中，在超市开门时超市的玻璃门内的7 米宽的1 9 级台 阶，1 0 多平方米的空间内瞬间涌入了1 0 0 多人，随即因群众滑倒而引发踩踏安 全事故，造成3 人死亡，3 1 受伤 3 】。 所有这类惨案的发生，都是由于人群过度拥挤导致人群失控造成的。伴随 着人群安全问题发展起来的人群行为和人群心理的研究，对人群安全问题发生 的原因给出了解释，但并不能从根本上解决该问题。如果我们能够自动地对人 群进行监测，及时发现人群行为的异常，就可以及时采取解决措施，避免意外 的发生。 1 2 人群密度检测的目的和意义 在人口流动频繁的今天，对公共场所的人群进行有效的监测与管理，是亟 待解决的问题；同样，在经济快速发展的今天，各行各业对提高工作效率的要 求越来越迫切。人群密度监测可以应用于社会、经济的很多方面，它不仅可以 解决人群拥挤带来的安全问题，还可以应用于交通数据统计和交通调度中，提 高城市公交系统的利用率和效率。因此，人群密度估计方法的研究有着深远的 意义和广阔的应用前景。 2 上海大学硕上学位论文 基于视频的人群密度估计研究 一、人群密度监测的重要意义主要表现在： ( 1 ) 在交通调度方面，通过对交通线路中各站点以及公交车内的乘客密度的 实时监测，可以实时采集到公交客流信息并根据此信息迅速作出调度调 整。 ( 2 ) 通过对现有建筑物中人群活动情况的观察统计，可以知道哪些地方容易 发生人群拥挤，从而对以后建筑物的设计及建造起到参考作用。 ( 3 ) 通过对人群密度的实时监测，可以达到预防因人群拥堵而引起人群灾祸 的目的。 二、人群密度监测有着广泛的应用前景，它通常被用在： ( 1 ) 管理人群流动繁忙场合的交通。如：通过统计火车站、地铁车站、公交 候车站及公交车内的乘客密度，可以合理安排车站工作人员的工作时间 和工作额度，以及进行根据实时客流信息对地铁、公交等公共交通系统 制定有效的调度策略并及时进行调整。 ( 2 ) 短期、高密度人群集中的场合。如：露天大型运动场、中心广场、大型 娱乐场地、大型会议中心、购物中心等。在这种场合下，可通过估计人 群的密度得知人群的行为和状态。 ( 3 ) 预测程序化工作场合的人群流量，提高建筑设施利用率。如：获得了等 候电梯的人数，就可以提高电梯的利用率，减少用户的等候时间。 ( 4 ) 进行市场调查。如：对于商场、超市等刚进的新货品，通过统计前来访 问的人数，可以知道顾客对这种新货品是否感兴趣，将此信息反馈给经 营者和管理者，将那些不受欢迎的货品拿下货架，将受欢迎的货品保留， 不仅减少了调查人员的工作量，也提高了运营速度和质量。 1 3 国内外研究概况 一、传统的公交客流数据采集方法 目前，我国绝大多数城市公交企业还在沿用传统的手工客流调查方式，发 达国家使用较普遍的是电子记录收费箱( e r f , e l e c t r o n i cr e g i s t e r i n gf a r e b o x e s ) 、 3 上海大学硕士学位论文 基于视频的人群密度估计研究 自动乘客计数系统a p c s ( a u t o m a t i cp a s s e n g e rc o u n t i n gs y s t e m ) 、公交i c 卡客 流信息采集技术 4 。 这些方法各有优缺点，手工客流调查方法和电子记录收费箱成本低廉，但 是记录信息有限；基于板压和红外的自动乘客技术系统收集数据广泛实时，但 当人拥挤时计数效果不佳且成本比较大；公交i c 卡客流信息采集技术简单而成 熟、采集信息量较大，在我国有较好的应用前景，但是该方法对不持公交卡的 乘客不能进行统计。目前这些方法主要是针对公交车辆上下乘客的计数，没有 对公交候车站上的客流信息进行采集和利用，且对乘客拥挤的情况不能很好地 进行计算。 二、传统的保障人群安全的途径主要有 5 】： ( 1 ) 采用物理方法修正建筑物。在一些容易发生人群聚集的地方，采取适当 地修正现有建筑物的方法，比如在人多的地方增加出入口等。 ( 2 ) 利用闭路电视监控某一场景。利用闭路电视对周围环境进行例行地扫描 来查找发生危险的地方，并有专门的工作人员盯着屏幕，以便发生情况 及时通报并采取措施。 这样做主要有如下缺点： ( 1 ) 不能起到预防的作用。即使人可以根据经验来发出危险警告，但由于人 的主观性太强，很容易发生预告太晚或者错误预告的情况。 ( 2 ) 易造成漏报。 而当人群己经发生拥塞时，一般采取的方法是：关闭人群正在大量涌入的 入e i 1 。这种方法虽然解决了建筑物某个入口处的拥挤问题，但是人群很可能 又涌向别的入口造成新的拥挤。所以这种做法往往不能从根本上解决问题。 近年来，对人群的研究越来越引起人们的关注，对人群状态和行为的研究 也越来越多，而人群研究的前提是要弄清如何对人群进行适当的描述。虽然人 群由独立个体组成，而每一个个体又有他自己的行为模式，但作为总体的人群 有它整体性的特征，且可被描述出来。要想用精确的数学模型来描述人群的状 态和行为非常困难，但我们仍然看到了一些能够逼近人群真实行为的数学模型 的出现，比如s t i l lgk 的人群动力学 6 。c r o w dd y n a m i c sl i m i t e d 公司依据s t i l l 4 上海大学硕士学位论文 基于视频的人群密度估计研究 g k 的数学模型应用a u t o c a d 做出了一些建筑设施的设计方案。 人群行为的数学模型为我们理解人群的状态和行为提供了方便，但并不能 直接用来对人群进行监控。1 9 8 5 年，f r u i n 提出当人群密度达到o 1 5 米2 人时， 人群将很容易失去控制 7 。这就给出了人群密度与人群灾难之间的量的关系， 为借助于数字图像处理方法实现对人群的自动实时监控提供了依据。 数字图像处理 8 9 】即用计算机对图像进行处理，其优点是处理精度高，可 进行复杂的非线性处理，有灵活的变通能力。数字图像处理的应用领域非常广 泛，它在包括工程、工业、医疗保健、航空航天、军事、科研、安全保卫等国 民经济中发挥着重要作用。 二十世纪以来，人群密度估计的自动方法逐渐发展起来，主要有 d a v i e s 5 1 0 、c h o w 1 1 1 2 、m a r a n a 1 3 等人的方法。 1 4 基于计算机视觉的人群监控系统 随着计算机视觉技术的不断发展，视频处理的应用也越加广泛，尤其是采 用图像序列处理技术对特定的视频运动对象的自动检测、识别、跟踪在智能监 控、智能视觉应用方面有着广泛的前景，被日益广泛地应用到各个领域 1 4 】， 且由于数字处理器件( a d ) 、数字信号处理器( d s p ) 芯片等的快速发展和价 格的降低，使基于实时图像信息的智能监控系统成为一个重要的研究方向。 一个典型的智能化人群监控系统由图像摄取与采集、图像处理单元和控制 单元组成【1 5 】( 图1 1 ) 。 图1 1 智能化人群监控系统的组成框图 其工作原理可以用以下步骤来描述： ( 1 ) 图像摄取与采集单元：c c d 摄像机对人群按一定频率扫描，连续摄取某 一场景中的人群图像，用图像采集卡将所摄取的图像数据传输至计算机内存中。 ( 2 ) 图像处理单元群图像用数字图像处理技术进行处理，得到人群的密度或 运动状态的流量数据。 5 上海大学硕士学位论文 基于视频的人群密度估计研究 ( 3 ) 控制单元：于不同的应用场合，根据人群流量及运动状态作为相应的判 断并采取相应的措施。 随着计算机科学的迅猛发展，视频数字化、前端一体化和嵌入化、监控网 络化、系统集成化和智能化成为图像监控技术公认的发展方向，其中数字化是 网络化和前端嵌入化的前提，网络化又是系统集成化和智能化的基础 1 6 】： ( 1 ) 前端一体化和嵌入化 数字信息技术和网络技术高速发展的后p c ( p o s t p c ) 时代，随着国内外各种 嵌入式芯片和c p u 产品的推广，以及各种嵌入式o s 和软件开发工具的出现， 图像监控系统要求的前端一体化自然就和嵌入式技术结合在一起，成为图像监 控技术的发展方向之一。 ( 2 ) 视频数字化 图像监控系统的数字化首先应该是系统中信息流( 包括视频、音频等) 从模 拟状态转为数字状态。信息流的数字化、编码压缩、开放式的协议，使监控系 统与安防系统中其它各子系统间实现无缝连接，并在统一的操作平台上实现管 理和控制。 ( 3 ) 监控网络化 图像监控系统的网络化意味着系统结构由集总式向集散式过渡，集散式系 统采用名层分级的结构形式，拥有微内核技术的实时多任务、多用户、分布式 操作系统以实现抢先任务调度算法的快速响应。系统网络化将使整个网络系统 实现资源共享，在某种程度上打破布控区域和设备扩展的地域局限。 ( 4 ) 系统集成化 图像监控系统应集成数据采集、报警联动、数据图像保存、网络安全及授 权认证等管理模块，综合了通信技术、计算机网络技术、图像处理技术、自动 化技术、模拟安防技术和系统管理软件技术，以满足客户的智能图像监控管理 需求。 ( 5 ) 系统智能化 智能化图像监控系统以计算机视觉分析技术为主，融合了摄像机标定、物 体识别、运动分割与跟踪、背景建模和更新、多摄像机融合、高层语义理解等 6 上海大学硕士学位论文基于视频的人群密度估计研究 多项尖端技术，具有功能强大、使用方式灵活等特点 1 7 1 。 1 5 论文的主要研究内容 本论文的研究内容是基于视频和图像处理等技术来实现对人群的密度估 计，具体内容包括建立训练图像库；对各种密度估计的算法进行研究、比较， 并提出新的改进的方案，为今后的进一步研究以及实现嵌入式监控系统提供理 论基础。 本文一共分为六章，安排如下： 第一章是绪论，主要介绍论文的背景，讨论了人群密度检测的来源、目的、 意义以及国内外研究的现状，并介绍了基于计算机视觉的人群密度监控系统的 工作原理以及发展趋势。 第二章详细介绍了人群密度检测的各种方法，主要有两种人群密度估计方 法：基于像素统计的人群密度估计方法和基于纹理分析的人群密度估计方法。 然后讨论了几种常用分类器。 第三章介绍了低密度人群下的人数估计方法，在前景获取方面主要讨论了 自适应背景的生成，前景二值化及数学形态学处理的相关理论知识；随后介绍 了几种常用的边缘检测算子以及基于二值图像的边界检测算法；最后介绍了估 计前景人数的最小二乘拟合方法。 第四章研究了高密度人群下人群密度估计方法，首先介绍了基于纹理分析 的人群密度估计的基础理论知识，然后介绍了基于灰度共生矩阵的纹理分析方 法以及人群密度特征的提取方法，最后介绍了支撑向量机的基本理论知识以及 用于多类分类的支撑向量机方法。 第五章介绍了基于视频的人群密度监控系统的总体框架，对第三章第四章 介绍的方法进行了实验比较、分析，证明了本文提出方法的可行性以及有效性， 最后对本文方法在公交客流信息采集的应用进行了讨论。 第六章对本文的研究做了总结，并对客流计数系统作了展望。 7 上海大学硕士学位论文 基于视频的人群密度估计研究 第二章人群密度检测方法的研究 2 1 基于像素统计的人群密度估计 1 9 9 9 年香港的c h o w 1 1 1 2 等人提出了使用基于混合全局学习算法的神经 网络来估计人群密度的方法。该方法主要是对监控图像进行图像处理提取出三 种特征将图像的视觉信息转化到一个二维特征空间中去描述人群密度。该方法 提取出的三种特征是：人群对象的边缘长度、人群对象的像素在整个图像中占 有的比例、以及背景对象的像素在整个图像中占有的比例。其系统框图如图2 1 所示： 图2 1 神经网络密度估计系统框图 该方法的特征提取基于一个假设：人群密度的大小与图像中有显著运动的 区域的“碎片有关。特征提取的具体操作如下：首先对视频序列进行采样， 得到静止的人群图像；再用模板对背景图像进行操作，屏蔽掉大部分复杂背景， 只留下人群对象区域的背景：然后用此背景图像对人群图像进行背景减和边缘 检测或二值化操作分离出人群对象和背景，从所得的图像中提取三种特征值： 人群对象的边缘长度、人群对象的像素在整个图像中占有的比例、以及背景对 象的像素在整个图像中占有的比例，然后将这三个特征送入神经网络进行人群 密度估计。神经网络的拓扑结构是由3 个输入层神经元，1 5 个隐藏层神经元， 1 个输出层神经元构成。最后采用最小均方误差分别与随机搜索( r s ) ，模拟退 8 上海人学硕士学位论文基于视频的人群密度估计研究 火( s a ) 和遗传算法( g a ) 三种全局搜索策略混合的方法找出神经网络的最 优权值。 2 0 0 1 年美国的p a r a g i o s 等人提出了一种基于马尔可夫随机场( m r f ) 的实 时人群密度估计的方法【1 8 。该方法分为两步：第一步是区分图像前景和背景 的变化检测算法，算法使用了基于马尔可夫随机场的方法，这种方法可以保持 图像前景背景间的不连续性。马尔可夫随机场把从各种不同信息源得到的信息 ( 背景减、强度模型) 与图像空域的信息结合起来得到一个平滑的变化检测图 像。第二步是把得到的变化检测图像与一个几何模块结合来进行透视校正，来 估计出监视区域的人群密度。 2 0 0 2 年c h o w 等人为了使他们1 9 9 9 年提出的基于神经网络的人群密度估 计方法 1 9 】能够真正适用于工业应用环境( 香港地铁车站) 而对该方法作了改 进。改进后的系统框图如图2 2 所示。 图2 2 改进后的系统框图 其中增加了一个模块：旅客模板匹配( p a s s e n g e rt e m p l a t em a t c h i n g ) 。这 个模块用来解决旅客站在镜头前遮挡住一部分监视区域的问题。这些旅客模板 用来在前景对象区域进行搜索匹配，匹配的结果作为特征矢量的附加维输入神 经网络进行人群密度估计。这样神经网络的输入层神经元增加到4 个，而隐藏 层和输出层神经元数目不变，依然是1 5 个和1 个。神经网络最优权值的全局搜 索算法采用一种新的学习策略即最小均方误差与惩罚优化( p e n a l i z e d o p t i m i z a t i o n ) 相混合，提高了收敛速度。 c h o w 、p a r a g i o s 等人的方法大体上先进行背景减操作，然后对所得图像进 行像素数统计。可以是较简单的统计，如边缘像素数统计、对象区域像素数统 计等；也有比较复杂的统计，例如m r f 方法，它不仅利用像素之间的时域相关 9 上海大学硕士学位论文基于视频的人群密度估计研究 性还利用像素的空域相关性。这些方法优点在于：通常特征提取的计算量不大， 而且在人群密度不很高的情况下，可以比较直接的得到人群密度估计结果，这 样也节省了在估计阶段的计算量。但这类基于像素数统计的方法有一个致命的 缺陷，即在对高密度人群的估计上并不十分有效。因为这些方法并不能解决高 密度人群图像中人群重叠的问题，人群密度越大，重叠越厉害，误差就越大。 2 2 基于纹理分析的人群密度估计方法 1 9 9 8 年，m a r a n a 提出了一种基于纹理分析技术的人群密度估计方法 2 0 】。 他的根据是不同密度的人群图像对应的纹理模式不同：高密度的人群在纹理上 表现为细模式；低密度的人群图像在背景图像也为低频时在纹理上表现为粗模 式。基于纹理分析技术的人群密度估计方法解决了c h o w 等所不能解决的高密 度人群的区分问题，目前正处于进一步发展之中。图2 3 是一个基于纹理分析 技术的人群密度估计的结构框图：首先，对输入图像的纹理进行统计分析，然 后提取纹理特征，将这些特征通过分类器进行分类得到密度结果。 图2 3 基于纹理分析技术的人群密度估计不意图 纹理分析的方法是特征分类的基础。基于不同的纹理特征提取算法，纹理 分析方法目前主要分为四大类：统计法、结构法、频谱法和模型法。下面对这 四类方法进行综述分析： l 、统计法 统计方法是纹理分析中最基本的一类方法，目前研究较为充分，相对来说 该类方法比较成熟，主要通过统计参数来表征图像中像素灰度级分布的特征， 7 0 年代初，h a r a l i c k 等人提出了一种叫做空间灰度共生矩阵的统计方法 2 1 】，它 是在假定图像中各像素间的空间分布关系包含了图像的纹理信息的前提下，提 出的一种具有广泛性的纹理分析方法。其他典型的方法还有l a w s 能量纹理法 等。这类方法一般复杂度较低，易于实现。 1 0 上海大学硕士学位论文基于视频的人群密度估计研究 该方法能够很好的反映图像的空间灰度分布情况，但其计算量比较庞大。 为了提高计算速度，人们可以在提取特征前降低图像的灰度级，从而大大减少 了计算量。所以，这种方法是最为常用的方法之一。 2 、结构法 直线分割法( s t r a i g h tl i n es e g m e n t s ) 【2 2 1 。这种方法的基本思想是：先对 图像做h o u g h 变换，然后提取直线分割后纹理的一阶统计特征。它的描述值有： ( 1 ) m l ( 1 0 ) ( m e a nl e n g t h1 0 ) ：最长分割长度的1 0 的分割区域长度 的均值； ( 2 ) m l ：所有分割区域长度的均值； ( 3 ) s d l ( s u mo f d e v i a t i o no f l e n g t h ) 所有分割区域长度的方差； ( 4 ) e l ( e n t r o p yo f l e n g t h ) 所有区域长度的熵； ( 5 ) s d a ( s u mo f d e v i a t i o no f a n g l e ) ：所有分割区域的角度的方差； ( 6 ) e a ( e n t r o p yo f a n g l e ) ：所有分割区域角度的熵。 很明显这种方法的缺点是不能实现实时处理，因为图像分割会占用大量时 间。 3 、频谱法 傅立叶频谱法( f o u r i e rs p e c t r u m ) 2 2 。这种方法的基本思路是：纹理的 平滑度与图像的空间能量成比例。粗纹理的频谱能量主要集中在低频部分，细 纹理的频谱能量主要集中在高频部分。方法的特征量有两个：距原点为，处的 频谱值s ( r ) 和角度为9 的频谱值之和s ( o ) 。但该方法所需特征量较多，一般在 1 0 个以上，而且所提取的特征量应用于分类后所得正确率较低，最低为7 5 1 7 。 2 0 0 1 年m a r a n a 等人又提出利用小波包分析估计人群密度的方法 2 3 。由于 摄像机的位置关系，人群图像具有一定的透视效果，因此呈现出不同的尺度， m a r a n a 等人针对这种情况，基于以前在人群图像纹理分析方面的积累，提出一 种多分辨率分析的人群密度估计方法。这种方法利用小波包分解方法提取人群 图像的纹理特征，首先对人群图像进行二级小波包分解，得到小波系数矩阵， 分别计算这些系数矩阵的能量，最后将得到的能量值作为特征矢量送入自组织 映射神经网络( s o m ) 进行分类。 上海人学硕士学位论文基于视频的人群密度估计研究 小波包分解法为人群图像的多尺度分析提供了有效的途径。多尺度分析可 以适应由摄像机位置产生的透视效应，并且由于纹理模式的尺度特性，使得多 尺度分析在纹理分析上具有相当的优势。但小波包分解系数的数据量巨大，计 算负担很重，而且由于如此大的数据量，有效地选择分类特征也变得比较困难。 4 、模型法 分形( f r a c t a l s ) 方法 2 4 】。该方法的基本思路是：纹理的平滑度与分形维 数有关。通常情况下，平滑图像的分形维数接近2 ，而高度粗糙图像的分形维 数接近3 。具体过程：首先对输入图像作边缘检测得到一个二值图像，然后根 据不同型号的结构元素判断二值图像的膨胀度( 由1 到n 来量度) ，最后将分形 维数作为分类的依据。该方法的优点是只需要一个特征量：分形维数。缺点是 对高密度和很高密度的人群的误分很大。 2 3 密度分类及分类器研究 在对人群图像进行密度特征提取或个人特征提取之后，必须对这些特征进 行分类。人群密度一般情况下分为5 类：很低、低、中、高、很高 1 3 。每类 的范围与服务级别有关。表2 1 给出了1 9 8 3 年p o l u s 关于服务级别的一个定义 1 3 2 5 ，表2 2 给出了密度分类与服务级别的关系( 实验中监控面积大约是 1 2 m 2 ) 。 表2 1 服务级别定义 服务级别人群密度( 人m 2 ) 密度分类人数范围( 人)密度范围以加：)服务级别 1 2 上海大学硕士学位论文基于视频的人群密度估计研究 一般地，为了得到可靠的结果，通常用3 种分类器进行分类：神经网络分 类器、贝叶斯分类器和拟合函数分类器。 ( 1 ) 神经网络分类器 神经网络分类法为模式分类提供了一种无需参数的途径。k o h o n e n 提出的 自组织神经网络分类法( s o m ) 实现了从高维空间到低维空间的非线性投影。 人工二维自组织神经网络的匹配过程可以用以下函数表示： 厂：x m ，x c r ” ( 2 1 ) m c r 2 ，x x ，( f ，) m ( 2 ) 贝叶斯分类器 贝叶斯分类器是基于均方误差最小的分类方法。首先它假设在条件( 2 2 ) 满足的情况下，模式x 属于类w 。 p ( xw i ) p ( w i ) p ( xw j ) p ( w j ) ，j = 1 ，m r i j( 2 2 ) 其中，p ( xw ) 是w 的概率密度函数，p ( w ) 是w 类的概率，m 是类的总数。所 以贝叶斯分类器取决于先验知识p ( x i 川和p ( w ) ，并且假定类内满足正态分布， 即p ( xw ) 为高斯函数，同时假定所有类的分布是等概率的，高斯函数的刁和仃 由已知的样本估计得到。所以说，贝叶斯分类器是统计参数分类器的一个例证。 ( 3 ) 拟合函数分类器 当己知某些模式可以由一系列的参数来描述时，那么可以用一个由这些参 数组成的拟合函数来表示这些模式，新的模式发现后新的参数也可以补充进来。 对于同一种纹理特征提取方法，选用不同的分类器得到的密度分类结果的 正确率是不同的。在实际工作中，可根据经验或者分别试验后决定采用何种分 类器。 1 3 上海大学硕士学位论文基于视频的人群密度估计研究 第三章低密度下人数估计 3 1 获取人群前景 基于视频图像序列的前景提取常用的有相邻帧差法和背景帧差法两种。前 者是利用相邻两帧或三帧之间图像信号的变化信息来提取运动前景；后者主要 是假设静止背景下目标与背景的灰度之间存在着一定的对比度从而提取前景。 利用相邻帧间差分法进行目标检测的主要优点是：算法实现简单；程序设 计复杂度低；易于实现实时监视；而且由于相邻帧的时间间隔一般较短，对场 景光线的变化一般不太敏感。但在应用中有二个问题，一是两帧间目标的重叠 部分不容易被检测出来，即只检测出目标的一部分或者出现了较大比例的空洞， 这是由于我们直接用相邻的两帧相减后，保留下来的部分是两帧中相对变化的 部分，所以两帧间目标的重叠部分就很难被检测出来；二是检测目标在两帧中 变化的信息，这样会存在较多的伪目标点，检测出的目标往往比实际的目标大 一些。 背景消减法可以提取出完整的目标图像，但在实际应用中仍有许多问题需 要解决。实际应用中一幅标准的背景图像总是不容易得到的，一种简单的获取 背景图像的方法是当场景中无任何目标出现时候捕获背景图像，很显然随着时 间的推移，外界的光线会变化，这会引起背景图像的变化，因而这种人工的非 自适应的方法获得的背景图像，会随着时间的推移，对场景中光照条件、大面 积运动和噪声比较敏感，出现许多伪运动目标点，不利于目标的准确检测。因 而，目前大多数监视算法己经放弃非自适应的背景图像估计方法，大部分的研 究人员目前都致力于开发不同的背景模型，进行背景的动态更新，以期减少动 态场景变化对于运动检测的影响，以适应环境的变化，即自适应背景模型估计 算法。 本文使用的方法是背景自适应更新以及自适应图像分割法来获得前景。 1 4 上海大学硕士学位论文基于视频的人群密度估计研究 3 1 1 自适应背景更新 在获取背景的方法中，本文采用视频拍摄得到的背景作为预存背景。在随 后的背景更新使用基于视频帧差( c d m ，c h a n g ed e t e c t i o nm a s k ) 的方法来进 行背景更新 2 6 。这一方法的基本假设是在视频序列中，运动人体不会始终站在 某一位置不动，而必定会移动，使背景显露出来。该方法应用各像素在时间轴上 的统计信息，生成没有人群的参考图像。人群视频空域上某一像素点的灰度值 是沿时间轴不断变化的一维随机信号。该信号的非平稳段意味着有前景人群通 过该像素点，而平稳段意味着该点表示背景图像。通过计算平稳段的灰度值的 统计平均，可得到背景图像在该像素点的灰度值。 假设图像序列的亮度分量为五o 力，其中工，y 表示像素位置，i 表示帧数 ( i = 1 ，加， n 为序列总帧数，用式( 3 1 ) 来表示视频帧差，它反映了相邻 帧间的亮度变化： c 阴，( x ，y ) = d , d 丁t ，d = 五y ) 一讹y ) l ( 3 1 ) 其中阈值r 用来控制去除噪声。对于位置 力，c d m 。( x ，y ) 表示了在位置 g ) 处像素点沿时间轴的变化曲线。可以根据c d m ，( x ，y ) 是否大于零来将这条 曲线分段，并将其中被检测到的静止部分用集合i s ，( x ，y ) ，1 j m 表示，如图 3 1 所示。 图3 1 o ) 像素点沿时间的变化曲线 其中，s 的起点和终点分别是s 乃和巩。在位置 ，y ) 对应的恼j 的集合 中，选择最长的静止分段并记录该分段中点的对应帧号为m o ) 。第批) 帧 1 5 上海大学硕士学位论文基于视频的人群密度估计研究 处的点用来填充视频背景中的相应位置，用下式表示： m ( x ，y ) = 丁( z ，y ) + e n ( x ，y ) ) 2( 3 2 ) b ( x ，y ) = g ，y ，m ( x ，j ，) )( 3 3 ) 其中s 毗) 和e n ( x , y ) 是对应于最长静止分段的起点和终点，b ) 为重建的 视频背景。 3 1 2 二值化 经过背景消减法获取的前景，可以通过设置阈值得n -