声音音频技术在视频安防监控中的应用

声音音频技术在视频安防监控中的应用第一页，共二十二页，2022年，8月28日声音在视频监控中的应用概述声音是携带信息的重要媒体。研究表明，人类从外部世界获取的信息中，10%是通过听觉获得的,因此声音是多媒体技术研究中的一个重要内容。声音是由物体振动产生的，这种振动引起周围空气压强的振荡，从而使耳朵产生听觉的印象。声音的种类繁多，人的语音是最重要的声音。此外，还有动物、乐器等发出的声音，风声、雨声、雷声等自然声音，以及机器合成产生的声音等。

1/28/2023第二页，共二十二页，2022年，8月28日声音在视频监控中的应用幅值t一个周期－+空气压强0

人耳能识别的声音频率范围大约在20～20kHz，通常称为音频（audio）信号。

人耳能识别的声音频率范围大约在20～20kHz，通常称为音频（audio）信号。其中300HZ~3kHZ为语音信号（speech）

图2.1空气压强振荡的波形示意图1/28/2023第三页，共二十二页，2022年，8月28日声音在视频监控中的应用音频滤波滤波器是一种选频装置，可以使信号中特定的频率成分通过，而极大地衰减其它频率成分。在测试装置中，利用滤波器的这种选频作用，可以滤除干扰噪声或进行频谱分析。音频滤波就是要滤除音频范围外的声音信号，相对突出音频信号，或者检出或去除某段频率的信号。常见的滤波器有高通，低通，带通，带阻。1/28/2023第四页，共二十二页，2022年，8月28日声音在视频监控中的应用1/28/2023第五页，共二十二页，2022年，8月28日声音在视频监控中的应用特定声音的检测和识别特定的声音常见的有玻璃破碎声，枪声，尖叫声等，下面以玻璃破碎声为例介绍特定声音的检测和识别。1/28/2023第六页，共二十二页，2022年，8月28日声音在视频监控中的应用检测原理利用玻璃破碎的频率特征（10k～15kHZ），对高频的玻璃破碎声音进行有效检测，而对10kHZ以下的声音信号（如说话、走路声）进行有效过滤，这样当检测到特定频率的声音强度超过阈值时，就可认为发生了玻璃破碎。1/28/2023第七页，共二十二页，2022年，8月28日声音在视频监控中的应用检测原理示意图生态环境声音信号预处理训练样本测试样本特征提取特征提取高斯混合模型判决规则投票识别结果训练识别前端处理1/28/2023第八页，共二十二页，2022年，8月28日声音在视频监控中的应用玻璃破碎的应用玻璃破碎可应用到银行，博物馆，商业等一系列场合，如果同时进行低频的敲击声的检测，针对性将更强，但玻璃破碎探测器要尽量靠近所要保护的玻璃，尽量远离噪声干扰源，如尖锐的金属撞击声、铃声、汽笛的啸叫声等，减少误报警。1/28/2023第九页，共二十二页，2022年，8月28日声音在视频监控中的应用声纹识别声纹识别属于生物识别技术的一种，是一项根据语音波形中反映说话人生理和行为特征的语音参数，自动识别说话人身份的技术。与语音识别不同的是，声纹识别利用的是语音信号中的说话人信息，而不考虑语音中的字词意思，它强调说话人的个性;而语音识别的目的是识别出语音信号中的言语内容，并不考虑说话人是谁，它强调共性。声纹识别系统主要包括两部分，即特征检测和模式匹配。特征检测的任务是选取唯一表现说话人身份的有效且稳定可靠的特征，模式匹配的任务是对训练和识别时的特征模式做相似性匹配。1/28/2023第十页，共二十二页，2022年，8月28日声音在视频监控中的应用声纹识别应用前景与其他生物识别技术，诸如指纹识别、掌形识别、虹膜识别等相比较，声纹识别除具有不会遗失和忘记、不需记忆、使用方便等优点外，还具有以下特性：用户接受程度高，由于不涉及隐私问题，用户无任何心理障碍。与其他生物识别技术，诸如指纹识别、掌形识别、虹膜识别等相比较，声纹识别除具有不会遗失和忘记、不需记忆、使用方便等优点外，还具有以下特性：用户接受程度高，由于不涉及隐私问题，用户无任何心理障碍。与其他生物识别技术，诸如指纹识别、掌形识别、虹膜识别等相比较，声纹识别除具有不会遗失和忘记、不需记忆、使用方便等优点外，还具有以下特性：用户接受程度高，由于不涉及隐私问题，用户无任何心理障碍。1/28/2023第十一页，共二十二页，2022年，8月28日声音在视频监控中的应用声音定位人们经常借助听觉来判定发音物体的位置。声音定位在人和动物的日常生活中着重要意义。例如，当你独自行走时，突然听到一个响声．你会想到这个声音什么意思，对你有无威胁，它来自何方等等。确定声音的方向和距离需要比较来自两耳信息，虽然你会很快作比判断和反应，但声音定位过程是听觉系统复杂综合的功能。1/28/2023第十二页，共二十二页，2022年，8月28日声音在视频监控中的应用声音定位机理强度差高频的声音刺激，由于它的波长较短，如果一个高频声波来自一侧，头部本身就构成声音传播的障碍物，使其到达对侧耳中的音强受到耗损，这样在两耳之间形成了强度差，导致神经元单位发放频率的不对称。一般成年人能准确定位2000-3000Hz的声音。1/28/2023第十三页，共二十二页，2022年，8月28日声音在视频监控中的应用声音定位机理时间差来自正前方的声音同时到达双耳，来自正侧方的声音到达近侧耳朵的时间比远侧耳朵约600ms，介于两者之间的声音到达双耳的时间差为0-600ms之间。到达的时间对有特征的、突然发生的声源定位是很有用的。此外还有音色差，相位差等。1/28/2023第十四页，共二十二页，2022年，8月28日声音在视频监控中的应用声音与视频的配合在视频监控中的应用在目前的视频监控中，基本以无声和单声道对讲为主，声音基本没有用来作为监控的特征加以应用。但声音具有一系列独有的特征，如不受白天晚上的影响，不容易遮挡，具有方向性等等，结合其诸多优点及特性，下面提出一些可行的声音在视频监控中的解决方案。1/28/2023第十五页，共二十二页，2022年，8月28日声音在视频监控中的应用方案1：带声音方向定位的智能球机具体实现：在球机上安置多个麦克风，对声音的方向进行定位，当检测到异常声音时控制球机到相应位置，这样一来，在一定程度上就可在第一时间看到异常声音所处位置的实时视频，为判定事态提供了多种信息。声音与视频的配合在视频监控中的应用1/28/2023第十六页，共二十二页，2022年，8月28日声音在视频监控中的应用方案2：声音在智能视频中的应用具体实现：目前的智能视频分析中有厂家提出了打架行为检测的概念，但普遍存在误报和漏报的情况，如果在一定的环境中同时启用声音判别和视频分析，准确率就会高很多。声音与视频的配合在视频监控中的应用1/28/2023第十七页，共二十二页，2022年，8月28日声音在视频监控中的应用声音和视频配合监控的例子很多，目前已有研究机构提出“多传感器立体监控”的概念，并应用到一些重要场合。随着成本的降低和芯片的集成度不断提高，可以大胆推断，类似设计的应用很快就会出现在市场中。声音与视频的配合在视频监控中的应用1/28/2023第十八页，共二十二页，2022年，8月28日声音在视频监控中的应用简单一点，可以做些声音信号的去噪和增强；稍复杂一点，利用单麦克可对易提取的特征进行识别；再复杂一些，可利用阵列麦克同时进行定位和识别我们目前能做些什么1/28/2023第十九页，共二十二页，2022年，8月28日声音在视频监控中的应用产品