基于内容的音频信息检索

1、南京大学多媒体研究所Multimedia Computing Institute of NJU基于内容的音频信息检索武港山Tel : 83594243Office: 蒙民伟楼608BEmail : 南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval2Contentsn概述n查询方式n语音检索n音频检索n音乐检索南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Mod

2、ern Information Retrieval31 音频检索概述n音频是多媒体中的一种重要媒体。n我们能够听见的音频频率范围是60Hz20kHz。n其中语音大约分布在300Hz4kHz之内，n而音乐和其他自然声响是全范围分布的。n声音经过模拟设备记录或再生，成为模拟音频，再经数字化成为数字音频。n数字化时的采样率必须高于信号带宽的2倍，才能正确恢复信号。n样本可用8 位或16位比特表示。 南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval41 音频

3、检索概述n音频是声音信号的表示形式，作为一种信息载体，音频可以分为三种类型： n波形声音 对模拟声音数字化而得到的数字音频信号。它可以代表语音、音乐、自然界和合成的声响。 n语音 具有字词、语法等语素，是一种高度抽象的概念交流媒体。语音经过识别可以转换为文本。文本是语音的一种脚本形式。 n音乐 具有节奏、旋律或和声等要素，是人声或/和乐器音响等配合所构成的一种声音。音乐可以用乐谱来表示。南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval5音频信息的音频

4、信息的特征特征n不同类型的声音具有不同的内在内容。n人们感受到的内容不同。n但从整体看，音频内容分为三个级别：n最低层的物理样本级、n中间层的声学特征级和n最高层的语义级，n如下图所示。从低级到高级，其内容逐级抽象，内容的表示逐级概括。 南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval6音频信息的音频信息的特征音乐叙事、音频对象描述、语音识别文本、事件感知特征：音调、音高；旋律、节奏声学特征：能量、过零率、LPC系数音频结构化表示采样率、时间刻度样本

5、、格式、编码语义特征级物理特征级样本数据级模糊匹配(基于内容的检索)严格匹配南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval7 级别级别 特征特征 显式表示显式表示 可否用于检索可否用于检索物理级声学级语义级音频信息的特征取样频率、量化精度、编码方法、声道数目、时间刻度信息（时：分：秒：帧）.音量、音高、音域、音色、.如一段语音的中心思想、包含的关键词、类型等，一段音乐的旋律、情绪、主题等.是否否少部分部分全部南京大学多媒体研究所Multimedia

6、 Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval81 音频检索概述n基于人工输入的属性和描述来进行音频检索是容易首先想到的方法。该方法的主要缺点反映在：n当数据量越来越多时，人工的注释强度加大；n人对音频的感知，如音乐的旋律、音调、音质等，难以用文字注释表达清楚。n这些正是基于内容的音频检索需要研究和解决的问题。n但同时应该注意到音频检索可以利用的一个优势，那就是语音是一种特殊类型的音频，它与文本可以互相转换，因此，可以利用文本检索技术进行概念检索。南京大学多媒体研究所Multimedia

7、 Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval9基于内容的音频检索nWhat? 从声学特征和语义特征进行音频信息的检索称为基于内容的音频检索。n困难：1 数字音频是一种不透明的位流，它不显式地包含可识别或可比较的语义实体；2 人工输入音频数据的属性和内容描述，工作量极大，注释的准确性依赖于人的水平、经验和工作态度；3 人对音频信息（特别是音乐）的感知，如音乐的旋律、音调、音质等，难以用文字表达清楚。南京大学多媒体研究所Multimedia Computing Institute of N

8、JU2022-4-11Wu Gangshan: Modern Information Retrieval102、查询方式:需求n检索包含特定内容的一段讲话（计算机，互连网，多媒体技术.）n检索指定说话人的一段讲话n检索指定类型的一段音频（音乐、歌曲、报告、谈话.）n检索指定旋律的一段音乐n检索指定乐器演奏的一段音乐南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval112、查询方式：用户表达示例方式（by example）也称为拟声方式（onomatop

9、oeia）。 用户使用一个声音例子表达其检索要求，查找出与该声音相似的所有声音。例如：用户可以发出嗡嗡声来查找蜜蜂或电气嘈杂声检索与飞机的轰鸣声相似的所有声音。 直喻（simile）方式。 通过选择一些声学/感知特性来描述检索要求，如音色、音调等。 南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval122、查询方式：用户表达主观特征方式。 用描述语言来描述声音，如寻找“欢快”的声音。这需要预先训练系统理解这些描述语言的含义。浏览方式。对数据库中所有的声

10、音逐个审听，寻找所需要的声音。这需要在分类的基础上进行，最好预先为每一段声音做好摘要。南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval13基于内容的检索过程用户的查询说明示例一般性描述相似性匹配返回一组候选结果结 束修改查询说明从候选结果中选择一个示例满意？NY南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieva

11、l14基于内容检索的特点n是一种相似检索，得到的是与用户指定要求相似的一组结果。n检索时可以指定返回结果的数目，或要求检索结果能满足一定的相似度。n可以强调或忽略某些特征，对指定特征施加 “less”或“more”等模糊运算。南京大学多媒体研究所Multimedia Computing Institute of NJU3 语音检索南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval16语音检索的对象及应用n检索对象：语音文档(broadcast radi

12、o, TV programs, video tapes, lectures, voice memo, voice mail, voice phonebook, etc.)n查询方式： text and/or speech n技术：语音识别技术，n应用：在电台节目、电话录音、会议录音、教学录音的数据管理与应用中极为有用。南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval17(1) 利用语音识别技术进行检索n利用自动语音识别技术预先把语音转换为文本（脚本）

13、：n误识率较高，含噪音数据，-无格式信息: 标题, 段落, 标点符号.-需添加语音和文本的对齐信息: time-align-含有语音的声学特征信息和感知信息n对脚本进行处理，抽取摘要、关键词等信息，n采用常规的文本检索方法进行检索。n问题：OOV(Out of Vocabulary)问题, 1%是OOV词汇, 南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval18(2) 基于说话人辨认进行检索n辨别出说话人语音的特点，来检索出指定人的录音资料，如某位教

14、授的讲课录音等。n实现：根据说话人语音的变化分割录音，预先建立录音的结构和索引；n这种技术是简单地辨别出说话人话音的差别，而不是识别出说的是什么。南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval19(2) 基于说话人辨认进行检索n它在合适的环境中可以做到非常准确。n利用这种技术，可以根据说话人的变化分割录音，并建立录音索引。n用这种技术检测视频或多媒体资源的声音轨迹中的说话人的变化，建立索引和确定某种类型的结构(如对话)。n例如，分割和分析会议录音，

15、分割的区段对应于不同的说话人，可以方便地直接浏览长篇的会议资料。南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval20(3) 基于关键词发现技术进行检索 n“关键词发现”(Spotting)技术：在语音文档中，自动地检测出指定的词或短语的技术， （例如通过“进球”这个关键词可以找到体育比赛实况录音中进球前后的解说）n实现：n预先识别出指定集合中的关键词, 建立索引。n问题：n关键词集合固定, 数量有限;n语音数据以特征向量序列表示，索引很不方便.南京大

16、学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval21Sub-word Lattice Based Word Spottingu子词(Sub-word)单位可以是音素、音节或半音节等.它是语音分析过程中的产物，与语种无关.u Sub-word Lattice是一种有向无环图.u查询时使用的关键词，实时生成其子词序列, 子词序列和Sub-word Lattice的进行相似度匹配(后向搜索).t-1t0.850.210.730.35南京大学多媒体研究所Multi

17、media Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval22语音识别技术的应用领域uGrowing interest in this area: nVideo mail retrieval (Cam, UK)nBBC news retrieval. nDigital library projects( CMU的Informedia, Michagen的MSU, Sheffield和Cam的THIRL Project, Maryland的VoiceGraph, AT&T SCAN).nAR

18、PA broadcast news和TREC6,7,8的SDR Workshop. 南京大学多媒体研究所Multimedia Computing Institute of NJU4 基于声学特征的音频检索南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval244 基于声学特征的音频检索n音频检索是以波形声音为对象的检索，这里的音频可以是汽车发动机声、雨声、鸟叫声，也可以是语音和音乐等，这些音频都统一用声学特征来检索。 n虽然ASR可以对语音内容给出有价值

19、的线索，但是，还有大量其他的音频数据需要处理，从声音效果到动物叫声以及合成声音等。n因此，对于一般的音频，仅仅有语音技术是不够的，使用户能从大型音频数据库中或一段长录音中找到感兴趣的音频内容是音频检索要做的事。南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval254 基于声学特征的音频检索n音频数据的训练、分类和分割方便了音频数据库的浏览和查找，基于听觉特征的检索为用户提供高级的音频查询接口。n这里指的音频检索就是针对广泛的声音数据的检索，分析和检索的

20、音频可以包含语音和音乐，但是采用的是更一般性的声学特性分析方法。 南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval26(1) 声音训练和分类 n通过训练来形成一个声音类。n用户选择一些表达某类特性的声音例子(样本)，如“脚步声”。n对于每个进入数据库中的声音，先计算其N维声学特征矢量，然后计算这些训练样本的平均矢量和协方差矩阵，这个均值和协方差就是用户训练得出的表达某类声音的类模型。 南京大学多媒体研究所Multimedia Computing In

21、stitute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval27(1) 声音训练和分类 n声音分类是把声音按照预定的类组合。n首先计算被分类声音与以上类模型的距离，可以利用Euclidean距离等方式度量，然后距离值与门限(阈值)比较，以确定是否该声音纳入或不属于比较的声音类。n也有某个声音不属于任何比较的类的情况发生，这时可以建立新的类，或纳入一个“其他”类，或归并到距离最近的类中。南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Mod

22、ern Information Retrieval28(2) 听觉检索n听觉感知特性，如基音和音高等，可以自动提取并用于听觉感知的检索，也可以提取其他能够区分不同声音的声学特征，形成特征矢量用于查询。n例如:n按时间片计算一组听觉感知特征：基音、响度、音调等。n考虑到声音波形随时间的变化，最终的特征矢量将是这些特征的统计值，例如用平均值、方差和自相关值表示。n这种方法适合检索和对声音效果数据进行分类，如动物声、机器声、乐器声、语音和其他自然声等。 南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Moder

23、n Information Retrieval29(3) 音频分割n以上方法适合单体声音的情况，如一小段电话铃声、汽车鸣笛声等。n但是，一般的情况是一段录音包含许多类型的声音，由多个部分组成。n更为复杂的情况是，以上各种声音可能会混在一起，如一个有背景音乐的朗诵、同声翻译等。n这需要在处理单体声音之前先分割长段的音频录音。n另外，还涉及到区分语音、音乐或其他声音。n例如对电台新闻节目进行分割，分割出语音、静音、音乐、广告声和音乐背景上的语音等。 南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern

24、 Information Retrieval30(3) 音频分割处理n通过信号的声学分析并查找声音的转变点就可以实现音频的分割。n转变点是度量特征突然改变的地方。n转变点定义信号的区段，然后这些区段就可以作为单个的声音处理。n例如，对一段音乐会的录音，可通过自动扫描找到鼓掌声音，以确定音乐片断的边界。n这些技术包括：暂停段检测、说话人改变检测、男女声辨别，以及其他的声学特征。 南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval31(3) 音频分割的好处

25、n音频是时基线性媒体。现在我们看到的典型音频播放接口是与磁带录音机相似的界面，具有停止、暂停、播放、快进、倒带等按钮。n为了不丢失其中的重要东西，必须从头到尾听一遍声音文件，这样要花费很多时间，即使使用“快进”，也容易丢失重要的片断，不能满足信息技术的要求。n因此，在分割的基础上，就可以结构化表示音频的内容，建立超越常规的顺序浏览界面和基于内容的音频浏览接口。 南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval32补充:Audio FeaturesFe

26、atures derived in the time domain: average energy zero crossing rate (ZCR): It indicates the freq of signal amplitude sign change. silence ratio: Thresholding may be tricky.Features derived in the freq domain sound spectrum【频谱】 bandwidth 【带宽】 : Music usually has a higher bandwidth than speech. energ

27、y distribution 【能量分布】 : Music usually has more high freq components than speech. =spectral centroid/brightness (midpoint of the spectral energy distribution) harmonicity【调和性】: Music is usually more harmonic than other sounds. pitch【音质】: Only period sounds give rise to a sensation of pitch. Pitch is

28、subjective, related to but not equivalent to the fundamental freq.Spectrogram【频谱图】 It shows the relation between freq, time and intensity. Music spectrogram is more regular.Subjective features【主观特征】 Pitch【音质】, Timbre【音色】, etc.南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Moder

29、n Information Retrieval33南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval34南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval35南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern I

30、nformation Retrieval36南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval37南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval38南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Info

31、rmation Retrieval39Audio Classification Here we consider first speech vs. music. Therere of coz other types of sound, but their characteristics vary greatly and are difficult to generalize. FeaturesSpeechMusicBandwidth0-7kHz 0-20kHzSpectral CentroidLowHighSilence ratioHighLowZCRMore variableLess var

32、iableRegular beat Non-existingOften existing南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval40Audio Classification (contd)Step-by-step classification(From Lu, 2001)南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information

33、 Retrieval41Audio Classification (contd)Feature-vector-based audio classification Values of a set of features are calculated and used as a feature vector. During the training stage, the average feature vector (reference vector) is found for each class of audio. During classification, the feature vec

34、tor of an input is calculated and the vector distances between the input feature vector and each of the reference vectors are calculated. The input is classified into the class from which it has the least vector distance.Audio Segmentation A long sound track usually consists of a mixture of speech,

35、music and other sound types. We can use the above classification methods to segment a long audio piece into speech and music intervals. The procedure is: windowing, classification and then grouping.南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval42Mor

36、e Advanced Audio FeaturesHigh Zero-Crossing Rate Ratio (HZCRR) Low Short-Time Energy Ratio (LSTER)南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval43More Advanced Audio Features (contd) Spectrum Flux (SF) Band Periodicity (BP)南京大学多媒体研究所Multimedia Compu

37、ting Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval44More Advanced Audio Features (contd) Noise Frame Ratio (NFR) Linear Spectral Pair (LSP) Distance MeasureRule: If r i,j(kp)threshold, then a frame is considered as a noise frame.南京大学多媒体研究所Multimedia Computing Institute of NJU202

38、2-4-11Wu Gangshan: Modern Information Retrieval45More Advanced Audio Features (contd) Linear Spectral Pair (LSP) Distance Measure (contd) LSP divergence shape is also a good measure to discriminate between different speakers. Denote the covariance for pth and qth s speech clip is Cp and Cq. If the d

39、issimilarity is larger than a threshold, then there two speech clips could be considered as from two different speakers.南京大学多媒体研究所Multimedia Computing Institute of NJU5 音乐检索南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval47音乐检索n音乐检索是以音乐为中心的检索，利用音乐的音符和

40、旋律等音乐特性来检索。如检索乐器、声乐作品等。 n音乐是我们经常接触的媒体，像MIDI、MP3和各种压缩音乐制品、实时的音乐广播等。n音乐检索虽然可以利用文本注释，但音乐的旋律和感受并不都是可以用语言讲得清楚的。通过在查询中出示例子，基于内容的检索技术在某种程度上可以解决这种问题。 南京大学多媒体研究所Multimedia Computing Institute of NJUThe three basic features of a musical nPitchnwhich is related to the perception of the fundamental frequency of

41、 a sound; pitch is said to range from low or deep to high or acute sounds.nIntensitynwhich is related to the amplitude, and thus to the energy, of the vibration; textual labels for intensity range from soft to loud; the intensity is also defined loudness.nTimbrenwhich is defined as the sound charact

42、eristics that allow listeners to perceive as different two sounds with same pitch and same intensity.2022-4-11Wu Gangshan: Modern Information Retrieval48南京大学多媒体研究所Multimedia Computing Institute of NJUDimensions of the Music LanguagenTimbre（音色、音质）nOrchestration （编曲）nAcoustics nsound quality, ambience

43、, and stylenRhythm （节奏）nMelody（旋律）nHarmony（和弦）nStructure（结构）2022-4-11Wu Gangshan: Modern Information Retrieval49南京大学多媒体研究所Multimedia Computing Institute of NJUFormats of Musical DocumentsnTwo Forms：nsymbolic scoresnaudio performancesnThree FormatsnSymbolic formatsnAudio formatsnThe musical instrumen

44、t digital interface2022-4-11Wu Gangshan: Modern Information Retrieval50南京大学多媒体研究所Multimedia Computing Institute of NJUMusic SearchnMelodic retrieval based on index termsnMelodic retrieval based on sequence matchingnMelodic retrieval based on geometric methods2022-4-11Wu Gangshan: Modern Information

45、Retrieval51南京大学多媒体研究所Multimedia Computing Institute of NJU2022-4-11Wu Gangshan: Modern Information Retrieval52音乐检索n音乐检索利用的是诸如节奏、音符、乐器特征。n节奏是可度量的节拍，是音乐中一种周期特性和表示。n音乐的乐谱典型地以事件形式描述，如以起始时间、持续时间和一组声学参数(基音、音高、颤音等)来描述一个音乐事件。n注意到许多特征是随时间变化的，所以，我们应该用统计方法来度量音乐的特性。 南京大学多媒体研究所Multimedia Computing Institute of NJU20