合肥工业大学课程设计报告.docx

计算机与信息学院 电子信息工程系综合课程设计报告专 业 班 级 电子信息工程 学生姓名及学号 唐苏雅 2012211810 指导教师 杨学志 课题名称基于时频分析的乐谱识别系统软件设计 2015年7月17日一、 课题的基本描述1项目背景在音乐识别方面，十年来，电子音乐已经取得了很多实用性的成果，电子乐器、音乐信号的数字编码、数字压缩、数字存储等技术迅速发展，促进了网络会话、数字电视、多媒体等的普及应用。但是，电脑音乐作为一个新学科，其根本目标是要用计算机来模拟人对音乐的认知和创作智能，涉及音乐理论、认知科学、人工智能、信息处理、模式识别、智能控制与自动化等学科，具有很大的难度。应该说，时至今日，在音乐识别方面的研究还只是刚刚开始，主要应用在音乐检索、旋律哼唱、乐谱识别方面。首先，利用音乐的旋律识别来实现音乐检索得到音乐信息，在KTV以及音乐服务系统中已经得到广泛应用。其次，音乐识别和图像处理的结合也正在蓬勃的发展，美国已经在研制利用图像处理技术识别乐谱图像的内容，生成音乐MIDI文件，此外，各种音乐服务系统、音乐喷泉控制系统、音乐辅导教学系统也取得了很大的进步。我国语音识别研究工作起步于五十年代，但近年来发展很快，研究水平也从实验室逐步走向实用。从1983年开始执行国家863计划后，国家863智能计算机专家组为语音识别技术研究专门立项，每两年滚动一次。我国语音识别技术的研究水平己经基本上与国外同步，在汉语语音识别技术上还有自己的特点与优势，并达到国际先进水平。其中具有代表性的研究单位为清华大学电子工程系与中科院自动化研究所模式识别国家重点实验室。在算法设计方面，AsifGhias等人于1995年提出基于内容的音乐检索算法，此项研究既可在KTV中实现轻松曲目选择，又便于实现网络海量音频数据的高效提取。此后，Lielu等用音高轮廓与音高差、音符长度构成三元组为单位表示旋律进行匹配，通过对音乐特征更详尽的描述以达到更精确的效果。JyhShing RogerJang等采用分级过滤算法进行分层匹配。Naoko Kosugi等也提出了同时考虑音高和节奏特征的方法。上海交大李扬等提出线性对齐匹配算法。以上算法针对性强且尚需完善。2项目目的录入或打开一段简单钢琴音乐，本系统可以自动对其进行识别处理并显示出该段音乐的简谱。3项目意义（1）乐谱作为音乐的书面语言，从远古走到现在，使浩如烟海的珍贵古乐曲代代相传，为中华民族承载了宝贵的精神财富。乐谱对于音乐的学习具有至关重要的作用，有利于从事音乐相关领域的人更好地对音乐作品做到赏析与鉴别，有利于增加大众审美方式。（2）音乐识别目前仍没有成熟的可实用的算法。特别是如何解决算法的快速性和准确性的矛盾，本次研究通过时频分析，结合已有的信号处理方法，提出了一些关于音乐识别的新算法，并努力使其在快速性和准确性上有所提高。可以对以后关于音乐识别乃至语音识别方面的研究提供参考。二、 课题的基本要求本次课程设计在创新项目的基础上继续优化，并且增加一些功能。由于创新项目只能对电脑上现有的音乐进行分析，不能实现实时性，因此本次课程设计新加入录音功能，并进行降噪，使之能实时地分析音乐，提高软件的适用性。同时，解决创新项目中存在的软件报错，美化GUI界面。三、 技术方案及关键问题1方法与步骤通过matlab编写好程序，在GUI中添加需要的组件，所有功能都整合在GUI界面中，通过对按钮的控制来调用函数，实现各个功能。以下为具体使用步骤：步骤一：打开已有WAV文件或进行现场录音自动保存为WAV文件；步骤二：对文件进行傅里叶变换得到频域的数据；步骤三：如果文件中噪声过大，则先进行滤波降噪，再进行傅里叶变换；步骤四：对变换后的声音数据进行分析，得到乐谱；2算法选取考虑到音乐的频谱是不稳定的，其频率是随着时间的变化而变化的，不能仅仅通过频谱分析来进行研究，故打算通过时频分析来对音乐信号进行识别。目前考虑到的算法有以下几种：（1）短时傅里叶变换（STFT）为了局部时频分析的需要， Gabor提出了短时傅立叶变换(Short Time Fourier Transform，STFT)的概念。给定一信号，其STFT定义为 公式（1）窗函数应取对称函数。STFT的含义可解释如下：在时域用窗函数去截取信号，对局部信号作傅立叶变换，得在t时刻的傅立叶变换。不断移动窗函数的位置，即可得到不同时刻的傅立叶变换。这些傅立叶变换的集合，即是，因此短时傅立叶变换也称窗口傅立叶变换。（2）离散时间傅里叶变换（DTFT，时间轴离散，频率轴连续)DTFT定义如下： 公式（）由定义可知，DTFT的频谱是连续的，它能够给出输入信号在任意频率点E的取值。这一点非常重要。虽然DTFT不存在快速算法，但它能够提供输入信号在任意指定频率点上的精确取值，刚此，对于音乐信号分析而言，它比一般的FFT更为有效。（3）小波变换定义：给定一个基本函数，令式中a,b均为常数，且a0。显然，是基本函数先作移位再作伸缩以后得到的。给定平方可积的信号x(t)，即，则的小波变换(waveletTransform，WT)定义为式中n，b和t均是连续变量，。决定变换的尺度，b决定变换的位置，即频谱分析中心，因此该式又称为连续小波变换(cwT)。特点：由于小波变换的恒Q性质，因此在不同尺度下，时频分析窗的面积保持不变。众所周知，信号中的高频成份往往对应时域中的快变成份，对这一类信号分析时则要求时域分辨率要好，r。此相反，低频信号往往是信号中的慢变成份，对这类信号分析时一般希望频率的分辨率要好，显然，小波变换的特点可以自动满足实际的需要。综上所述，由于小波变换具有恒Q性质及自动调节对信号分析的时宽或带宽等一系列突出优点，因此被人们称为信号分析的“数学显微镜”。小波变换在音乐识别中被实验证明是一种有效的信号变换方法，非常适合音乐信号的特点。（4）小波变换与离散时间傅里叶变换的结合称小波变换取的一小段时间内的频谱为“时间频率”窗，则小波变换具有这样的特点：检测高频信号时，“时间频率”窗变窄；检测低频信号时，“时间频率”窗变宽。这与检测高频信号时要求较好的时域分辨率，检测低频信号时要求较好的频域分辨率这一需求相吻合。由此可见，小波分析可以提高我们分析信号的准确度。我们可以考虑用小波变换处理之后再用离散时间傅里叶变换（DTFT）分析。3音符分析的具体实现音符分析要完成的工作主要分为两方面：音符识别和音符切分。先讨论音符识别方面：我们要识别的乐谱主要有两个要素每个音符的具体（1,2,3,4,5,6,7）以及每个音符持续时间的长短。我们知道，音乐中每个音符持续的时间有一个最短值（乐理上称其为“四分之一拍”)，且所有音符持续的时间都是这个时间整数倍。我们测出了这个最短值T=0.15s。我们每隔时间T取一段时域的声音信号值，对其进行傅里叶变换得到其在这一时间段内的频谱，然后将幅度最大的频率与我们事先保存好的音符频率的标准值进行比较，识别出该频率对应的音符。再讨论音符切分方面：我们要识别的是一段按顺序出现的音符，必须完成音符与音符之间的切分。对于连续出现的谱值不同的T段（如一个为1，一个为2），可以直接将其识别为两个音符；但是若对于连续出现的谱值相同的T段，这里就无法判断其是连续出现的两个音符还是持续时间为2T的一个音符。为了解决这一问题，我们引入了能量阈值的判定方式，即根据出现的前后两个T段的能量关系，识别出其是一个音符还是两个音符。举例：检测到的第一个T时间段的音符为1（do）,则我们得到一个四分之一拍的1（do）。若下一个T时间检测到的音符还是1（do)，则我们得到了一个二分之一拍的1（do）；若下一个检测到的音符是2(ruai),则我们得到一个四分之一拍的1（do）和四分之一拍的2（ruai）。应用此法，我们便可以得到一整段音乐的音符和各音符持续的时间（各音符持续的时间也即节拍），于是这段音乐的乐谱我们也可以大致得到了。4.降噪处理对于存在噪声的音频信号，由于噪声不具有规律性，使得经过傅里叶变换后的声音信号夹杂各种噪声，影响它的频谱分布，经过分析后得不到正确的频谱。为了增加识别的准确性，需要对含有噪声的声音信号进行滤波降噪，滤除不必要的多余的声音信号，以获取所需的较为纯净的信号，有利于得出更具参考性的结果。对于滤波器的选择，由于音乐的频率在250HZ500HZ，多余的频率都不需要，因此可以选用带通滤波器来滤除不需要的噪声。而对于滤波器的参数设置，可以经过多次测试选取一个较为适用的参数，用它作为默认滤波。如果用户觉得滤波效果不好，可以自行设计参数来达到需要的效果。5关键问题（1）自适应问题语音识别系统的自适应性差，主要体现在对环境的依赖性强，但是，现有具体来讲，即需要保持测试条件和训练条件的一致性。也就是在某种环境下采集到的语音训练系统只能在这种环境下应用，否则系统性能将会严重下降。（2）噪声问题目前的语音识别系统大多只能工作在安静的环境下，一旦在噪声环境下使用，受噪音干扰，唱歌者产生情绪或心理上的变化，导致发音失真、发音速度和音调改变，必须寻找新的信号处理方法。（3）识别算法选择问题目前，语音识别算法比较多，但是各种算法都有其优点和缺陷，如何在众多的算法中选择最适合嵌入式音乐识别的算法并针对音乐识别的特点而把算法加以改进是音乐识别的一个关键也是一个难点。为了解决上述问题，必须寻找一个适应性强的分析音乐的算法，使之能适用于大部分的音乐。对噪声的消除不光要进行滤波，还要考虑其他有效的降噪方法。四、 设计实现及测试 1系统流程框图2程序流程图设计整体的GUI界面，整合各个功能：（1）直接打开音频文件；通过matlab的uigetfile函数打开电脑中已存在的WAV音频文件，将单声道变换为双声道以便分析，同时在坐标轴上显示音频的时域图和频域图；（2） 进行任意时长的录音；通过audiorecorder函数开始录音并设置时间为一个较长的时间，在GUI中点击结束录音的按钮后触动pause命令，停止录音，同时得到录音的时域图和频域图；（3） 播放打开的音频文件和录音；（4） 显示滤波前和滤波后的声音时域图和频谱图；（5） 进行默认滤波和手动设置参数的滤波来进行降噪；在点击默认滤波按钮时进行已设置参数的滤波，方便迅速。如果认为滤波效果不好，可以在滤波器组选择合适的滤波器以及合适的参数，再进行滤波。滤波器组中的滤波器可以显示滤波器的波形。（6） 实时现实分析出的乐谱；将通过分析得到的音乐频率与内置的频率作对比，如若在相应的范围内就认为该音频与对比音符相一致。如若遇到两个相连的同一音符则根据能量的变换来判断。（7） 显示识别率；如果分析已存在的音乐，乐谱识别出的结果错误较为有代表性，则可直接在GUI中获得识别率。3成果展示（1） 软件界面图1 总体界面图2 实例演示结果（2）功能模块介绍（a）基本操作按钮图3 功能按钮通过在GUI中点击这些按钮，可以打开电脑中存在的WAV文件，进行录音，播放打开的文件或者是录音，分析文件得到乐谱。（b）滤波处理图4 滤波器此功能模块为滤波模块，通过点击默认滤波进行已设置参数的滤波，如果滤波效果不好则可以选择滤波器组中相应的滤波器，设置合适的参数后进行滤波。图5 滤波前时频图图6 滤波后时频图（c）识别结果图7 乐谱显示（d）识别率图8 识别率显示（e）生成了可执行文件exe4新界面的优势图9 原来的界面通过对比可以发现，新的界面中功能更加完善，不仅多了录音功能，还能对录音进行实时的滤波降噪来提高识别率。滤波器设置了默认滤波和选择滤波。默认滤波是已经设置好参数的，如果觉得默认滤波效果不好，可以自己手动选择滤波器，设置合适的参数来达到滤波要求。同时，每一个音频的时域和频域的图都可以直接显示在界面上，滤波后的时域和频域也会相应的出现来跟滤波前作对比，以更好地观察声音信息。在符合条件的识别结果中，可以直接得出识别率来直观的判断识别优劣。5识别结果及分析计算方法：根据识别的结果，与已知的正确乐谱作对照，识别错误、多音或漏音分别算为一个错误，则总的识别率为错误的个数除以正确音符的总个数。从识别结果来看，对于无噪的音乐，识别率可达96.88%，而对于录音，由于噪声去除不完全，使得识别率不能达到一个理想的值。五、 课程设计总结1任务完成情况本次课程设计基本达到预期要求，实现的功能如下：在GUI界面中：（1）可以直接打开音频文件；（2）可以进行任意时长的录音；（3）可以播放打开的音频文件和录音；（4）可以显示滤波前和滤波后的声音时域图和频谱图；（5）可以进行默认滤波和手动设置参数的滤波来进行降噪；（6）可以实时现实分析出的乐谱；（7）可以显示识别率；2.创新点（1）本项目创新性地将音乐这一艺术类的学科与信号识别这一理工类的学科相结合，体现了学科交叉的思想，既有利于音乐的创作，又有利于语音信号识别技术的发展。（2）目前市面上并没有乐谱识别的产品，并且大部分歌曲识别功能的技术是基于强大的音乐数据库支持的，依据音乐指纹的提取，与数据库进行比对，得到歌曲演唱者、词曲作家、对应专辑等基本信息。而本项目是通过对提取到的音乐声音信号进行时频分析，然后与内置的标准音符频率进行比较，再通过基于音乐本身特性的统计学模型进行分析，从而得到此段音乐的乐谱信息，不依赖搜索技术和数据库，可以单独使用，对于学习音乐有很大帮助。3.不足之处对于无噪的纯音乐，识别率较高。而对于有噪的录音，由于噪声消除不完全，使得识别率在总体上未达到一个令人满意的数值。由于音符与音符之间的能量变化特性是不确定的，仅仅利用固定的能量阈值是无法准确地进行音符分割的，所以对算法的音符分割部分都存在分割不准确的问题。这一问题