基于内容的音频信息检索课件

1、基于内容的音频信息检索武港山Tel : 83594243Office: 蒙民伟楼608BEmail : gswu2022/10/3Wu Gangshan: Modern Information Retrieval2Contents概述查询方式语音检索音频检索音乐检索2022/10/3Wu Gangshan: Modern Information Retrieval31 音频检索概述音频是多媒体中的一种重要媒体。我们能够听见的音频频率范围是60Hz20kHz。其中语音大约分布在300Hz4kHz之内，而音乐和其他自然声响是全范围分布的。声音经过模拟设备记录或再生，成为模拟音频，再经数字化成为数字

2、音频。数字化时的采样率必须高于信号带宽的2倍，才能正确恢复信号。样本可用8 位或16位比特表示。 2022/10/3Wu Gangshan: Modern Information Retrieval41 音频检索概述音频是声音信号的表示形式，作为一种信息载体，音频可以分为三种类型： 波形声音 对模拟声音数字化而得到的数字音频信号。它可以代表语音、音乐、自然界和合成的声响。 语音 具有字词、语法等语素，是一种高度抽象的概念交流媒体。语音经过识别可以转换为文本。文本是语音的一种脚本形式。 音乐 具有节奏、旋律或和声等要素，是人声或/和乐器音响等配合所构成的一种声音。音乐可以用乐谱来表示。2022/

3、10/3Wu Gangshan: Modern Information Retrieval5音频信息的特征不同类型的声音具有不同的内在内容。人们感受到的内容不同。但从整体看，音频内容分为三个级别：最低层的物理样本级、中间层的声学特征级和最高层的语义级，如下图所示。从低级到高级，其内容逐级抽象，内容的表示逐级概括。 2022/10/3Wu Gangshan: Modern Information Retrieval7 级别 特征 显式表示 可否用于检索物理级声学级语义级音频信息的特征取样频率、量化精度、编码方法、声道数目、时间刻度信息（时：分：秒：帧）.音量、音高、音域、音色、.如一段语音的中心

4、思想、包含的关键词、类型等，一段音乐的旋律、情绪、主题等.是否否少部分部分全部2022/10/3Wu Gangshan: Modern Information Retrieval81 音频检索概述基于人工输入的属性和描述来进行音频检索是容易首先想到的方法。该方法的主要缺点反映在：当数据量越来越多时，人工的注释强度加大；人对音频的感知，如音乐的旋律、音调、音质等，难以用文字注释表达清楚。这些正是基于内容的音频检索需要研究和解决的问题。但同时应该注意到音频检索可以利用的一个优势，那就是语音是一种特殊类型的音频，它与文本可以互相转换，因此，可以利用文本检索技术进行概念检索。2022/10/3Wu G

5、angshan: Modern Information Retrieval102、查询方式:需求检索包含特定内容的一段讲话（计算机，互连网，多媒体技术.）检索指定说话人的一段讲话检索指定类型的一段音频（音乐、歌曲、报告、谈话.）检索指定旋律的一段音乐检索指定乐器演奏的一段音乐2022/10/3Wu Gangshan: Modern Information Retrieval112、查询方式：用户表达示例方式（by example）也称为拟声方式（onomatopoeia）。 用户使用一个声音例子表达其检索要求，查找出与该声音相似的所有声音。例如：用户可以发出嗡嗡声来查找蜜蜂或电气嘈杂声检索与飞

6、机的轰鸣声相似的所有声音。 直喻（simile）方式。 通过选择一些声学/感知特性来描述检索要求，如音色、音调等。 2022/10/3Wu Gangshan: Modern Information Retrieval122、查询方式：用户表达主观特征方式。 用描述语言来描述声音，如寻找“欢快”的声音。这需要预先训练系统理解这些描述语言的含义。浏览方式。对数据库中所有的声音逐个审听，寻找所需要的声音。这需要在分类的基础上进行，最好预先为每一段声音做好摘要。2022/10/3Wu Gangshan: Modern Information Retrieval14基于内容检索的特点是一种相似检索，得到

7、的是与用户指定要求相似的一组结果。检索时可以指定返回结果的数目，或要求检索结果能满足一定的相似度。可以强调或忽略某些特征，对指定特征施加 “less”或“more”等模糊运算。3 语音检索2022/10/3Wu Gangshan: Modern Information Retrieval17(1) 利用语音识别技术进行检索利用自动语音识别技术预先把语音转换为文本（脚本）：误识率较高，含噪音数据，无格式信息: 标题, 段落, 标点符号.需添加语音和文本的对齐信息: time-align含有语音的声学特征信息和感知信息对脚本进行处理，抽取摘要、关键词等信息，采用常规的文本检索方法进行检索。问题：O

8、OV(Out of Vocabulary)问题, 1%是OOV词汇, 2022/10/3Wu Gangshan: Modern Information Retrieval18(2) 基于说话人辨认进行检索辨别出说话人语音的特点，来检索出指定人的录音资料，如某位教授的讲课录音等。实现：根据说话人语音的变化分割录音，预先建立录音的结构和索引；这种技术是简单地辨别出说话人话音的差别，而不是识别出说的是什么。2022/10/3Wu Gangshan: Modern Information Retrieval19(2) 基于说话人辨认进行检索它在合适的环境中可以做到非常准确。利用这种技术，可以根据说话人

9、的变化分割录音，并建立录音索引。用这种技术检测视频或多媒体资源的声音轨迹中的说话人的变化，建立索引和确定某种类型的结构(如对话)。例如，分割和分析会议录音，分割的区段对应于不同的说话人，可以方便地直接浏览长篇的会议资料。2022/10/3Wu Gangshan: Modern Information Retrieval20(3) 基于关键词发现技术进行检索 “关键词发现”(Spotting)技术：在语音文档中，自动地检测出指定的词或短语的技术， （例如通过“进球”这个关键词可以找到体育比赛实况录音中进球前后的解说）实现：预先识别出指定集合中的关键词, 建立索引。问题：关键词集合固定, 数量有限

10、;语音数据以特征向量序列表示，索引很不方便.2022/10/3Wu Gangshan: Modern Information Retrieval21Sub-word Lattice Based Word Spotting子词(Sub-word)单位可以是音素、音节或半音节等.它是语音分析过程中的产物，与语种无关. Sub-word Lattice是一种有向无环图.查询时使用的关键词，实时生成其子词序列, 子词序列和Sub-word Lattice的进行相似度匹配(后向搜索).t-1t0.850.210.730.352022/10/3Wu Gangshan: Modern Information

11、 Retrieval22语音识别技术的应用领域Growing interest in this area: Video mail retrieval (Cam, UK)BBC news retrieval. Digital library projects( CMU的Informedia, Michagen的MSU, Sheffield和Cam的THIRL Project, Maryland的VoiceGraph, AT&T SCAN).ARPA broadcast news和TREC6,7,8的SDR Workshop. 2022/10/3Wu Gangshan: Modern Inform

12、ation Retrieval244 基于声学特征的音频检索音频检索是以波形声音为对象的检索，这里的音频可以是汽车发动机声、雨声、鸟叫声，也可以是语音和音乐等，这些音频都统一用声学特征来检索。 虽然ASR可以对语音内容给出有价值的线索，但是，还有大量其他的音频数据需要处理，从声音效果到动物叫声以及合成声音等。因此，对于一般的音频，仅仅有语音技术是不够的，使用户能从大型音频数据库中或一段长录音中找到感兴趣的音频内容是音频检索要做的事。2022/10/3Wu Gangshan: Modern Information Retrieval254 基于声学特征的音频检索音频数据的训练、分类和分割方便了音

13、频数据库的浏览和查找，基于听觉特征的检索为用户提供高级的音频查询接口。这里指的音频检索就是针对广泛的声音数据的检索，分析和检索的音频可以包含语音和音乐，但是采用的是更一般性的声学特性分析方法。 2022/10/3Wu Gangshan: Modern Information Retrieval27(1) 声音训练和分类 声音分类是把声音按照预定的类组合。首先计算被分类声音与以上类模型的距离，可以利用Euclidean距离等方式度量，然后距离值与门限(阈值)比较，以确定是否该声音纳入或不属于比较的声音类。也有某个声音不属于任何比较的类的情况发生，这时可以建立新的类，或纳入一个“其他”类，或归并到

14、距离最近的类中。2022/10/3Wu Gangshan: Modern Information Retrieval28(2) 听觉检索听觉感知特性，如基音和音高等，可以自动提取并用于听觉感知的检索，也可以提取其他能够区分不同声音的声学特征，形成特征矢量用于查询。例如:按时间片计算一组听觉感知特征：基音、响度、音调等。考虑到声音波形随时间的变化，最终的特征矢量将是这些特征的统计值，例如用平均值、方差和自相关值表示。这种方法适合检索和对声音效果数据进行分类，如动物声、机器声、乐器声、语音和其他自然声等。 2022/10/3Wu Gangshan: Modern Information Retri

15、eval29(3) 音频分割以上方法适合单体声音的情况，如一小段电话铃声、汽车鸣笛声等。但是，一般的情况是一段录音包含许多类型的声音，由多个部分组成。更为复杂的情况是，以上各种声音可能会混在一起，如一个有背景音乐的朗诵、同声翻译等。这需要在处理单体声音之前先分割长段的音频录音。另外，还涉及到区分语音、音乐或其他声音。例如对电台新闻节目进行分割，分割出语音、静音、音乐、广告声和音乐背景上的语音等。 2022/10/3Wu Gangshan: Modern Information Retrieval30(3) 音频分割处理通过信号的声学分析并查找声音的转变点就可以实现音频的分割。转变点是度量特征突

16、然改变的地方。转变点定义信号的区段，然后这些区段就可以作为单个的声音处理。例如，对一段音乐会的录音，可通过自动扫描找到鼓掌声音，以确定音乐片断的边界。这些技术包括：暂停段检测、说话人改变检测、男女声辨别，以及其他的声学特征。 2022/10/3Wu Gangshan: Modern Information Retrieval31(3) 音频分割的好处音频是时基线性媒体。现在我们看到的典型音频播放接口是与磁带录音机相似的界面，具有停止、暂停、播放、快进、倒带等按钮。为了不丢失其中的重要东西，必须从头到尾听一遍声音文件，这样要花费很多时间，即使使用“快进”，也容易丢失重要的片断，不能满足信息技术的

17、要求。因此，在分割的基础上，就可以结构化表示音频的内容，建立超越常规的顺序浏览界面和基于内容的音频浏览接口。 2022/10/3Wu Gangshan: Modern Information Retrieval32补充:Audio FeaturesFeatures derived in the time domain: average energy zero crossing rate (ZCR): It indicates the freq of signal amplitude sign change. silence ratio: Thresholding may be tricky.F

18、eatures derived in the freq domain sound spectrum【频谱】 bandwidth 【带宽】 : Music usually has a higher bandwidth than speech. energy distribution 【能量分布】 : Music usually has more high freq components than speech. =spectral centroid/brightness (midpoint of the spectral energy distribution) harmonicity【调和性】

19、: Music is usually more harmonic than other sounds. pitch【音质】: Only period sounds give rise to a sensation of pitch. Pitch is subjective, related to but not equivalent to the fundamental freq.Spectrogram【频谱图】 It shows the relation between freq, time and intensity. Music spectrogram is more regular.S

20、ubjective features【主观特征】 Pitch【音质】, Timbre【音色】, etc.2022/10/3Wu Gangshan: Modern Information Retrieval332022/10/3Wu Gangshan: Modern Information Retrieval342022/10/3Wu Gangshan: Modern Information Retrieval352022/10/3Wu Gangshan: Modern Information Retrieval362022/10/3Wu Gangshan: Modern Information

21、 Retrieval372022/10/3Wu Gangshan: Modern Information Retrieval382022/10/3Wu Gangshan: Modern Information Retrieval39Audio Classification Here we consider first speech vs. music. Therere of coz other types of sound, but their characteristics vary greatly and are difficult to generalize. FeaturesSpeec

22、hMusicBandwidth0-7kHz 0-20kHzSpectral CentroidLowHighSilence ratioHighLowZCRMore variableLess variableRegular beat Non-existingOften existing2022/10/3Wu Gangshan: Modern Information Retrieval40Audio Classification (contd)Step-by-step classification(From Lu, 2001)2022/10/3Wu Gangshan: Modern Informat

23、ion Retrieval41Audio Classification (contd)Feature-vector-based audio classification Values of a set of features are calculated and used as a feature vector. During the training stage, the average feature vector (reference vector) is found for each class of audio. During classification, the feature

24、vector of an input is calculated and the vector distances between the input feature vector and each of the reference vectors are calculated. The input is classified into the class from which it has the least vector distance.Audio Segmentation A long sound track usually consists of a mixture of speec

25、h, music and other sound types. We can use the above classification methods to segment a long audio piece into speech and music intervals. The procedure is: windowing, classification and then grouping.2022/10/3Wu Gangshan: Modern Information Retrieval42More Advanced Audio FeaturesHigh Zero-Crossing

26、Rate Ratio (HZCRR) Low Short-Time Energy Ratio (LSTER)2022/10/3Wu Gangshan: Modern Information Retrieval43More Advanced Audio Features (contd) Spectrum Flux (SF) Band Periodicity (BP)2022/10/3Wu Gangshan: Modern Information Retrieval44More Advanced Audio Features (contd) Noise Frame Ratio (NFR) Line

27、ar Spectral Pair (LSP) Distance MeasureRule: If r i,j(kp)threshold, then a frame is considered as a noise frame.2022/10/3Wu Gangshan: Modern Information Retrieval45More Advanced Audio Features (contd) Linear Spectral Pair (LSP) Distance Measure (contd) LSP divergence shape is also a good measure to

28、discriminate between different speakers. Denote the covariance for pth and qth s speech clip is Cp and Cq. If the dissimilarity is larger than a threshold, then there two speech clips could be considered as from two different speakers.5 音乐检索2022/10/3Wu Gangshan: Modern Information Retrieval47音乐检索音乐检

29、索是以音乐为中心的检索，利用音乐的音符和旋律等音乐特性来检索。如检索乐器、声乐作品等。 音乐是我们经常接触的媒体，像MIDI、MP3和各种压缩音乐制品、实时的音乐广播等。音乐检索虽然可以利用文本注释，但音乐的旋律和感受并不都是可以用语言讲得清楚的。通过在查询中出示例子，基于内容的检索技术在某种程度上可以解决这种问题。 The three basic features of a musical Pitchwhich is related to the perception of the fundamental frequency of a sound; pitch is said to rang

30、e from low or deep to high or acute sounds.Intensitywhich is related to the amplitude, and thus to the energy, of the vibration; textual labels for intensity range from soft to loud; the intensity is also defined loudness.Timbrewhich is defined as the sound characteristics that allow listeners to pe

31、rceive as different two sounds with same pitch and same intensity.2022/10/3Wu Gangshan: Modern Information Retrieval48Dimensions of the Music LanguageTimbre（音色、音质）Orchestration （编曲）Acoustics sound quality, ambience, and styleRhythm （节奏）Melody（旋律）Harmony（和弦）Structure（结构）2022/10/3Wu Gangshan: Modern I

32、nformation Retrieval49Formats of Musical DocumentsTwo Forms：symbolic scoresaudio performancesThree FormatsSymbolic formatsAudio formatsThe musical instrument digital interface2022/10/3Wu Gangshan: Modern Information Retrieval50Music SearchMelodic retrieval based on index termsMelodic retrieval based

33、 on sequence matchingMelodic retrieval based on geometric methods2022/10/3Wu Gangshan: Modern Information Retrieval512022/10/3Wu Gangshan: Modern Information Retrieval52音乐检索音乐检索利用的是诸如节奏、音符、乐器特征。节奏是可度量的节拍，是音乐中一种周期特性和表示。音乐的乐谱典型地以事件形式描述，如以起始时间、持续时间和一组声学参数(基音、音高、颤音等)来描述一个音乐事件。注意到许多特征是随时间变化的，所以，我们应该用统计方法来度量音乐的特性。 2022/10/3Wu Gangshan: Modern Information Retrieval53音乐检索除了用示例进行音乐查询之外，用户甚至可以唱或哼出要查找的曲调。基音抽取算法把这些录音转换成音符形式的表示，然后用于