语音识别系统实验报告

1、语音识别系统实验报告专业班级：信息安全学号：姓名：目录 TOC o 1-5 h z HYPERLINK l bookmark12 o Current Document 一、 设计任务及要求1二、语音识别的简单介绍 HYPERLINK l bookmark18 o Current Document 语者识别的概念2 HYPERLINK l bookmark21 o Current Document 特征参数的提取3 HYPERLINK l bookmark41 o Current Document 用矢量量化聚类法生成码本3 HYPERLINK l bookmark52 o Current Do

2、cument 的说话人识别4.4三、算法程序分析.4函数关系 TOC o 1-5 h z 代码说明5函数mfcc5 HYPERLINK l bookmark61 o Current Document 函数 disteu5 HYPERLINK l bookmark64 o Current Document 函数 vqlbg 6 HYPERLINK l bookmark67 o Current Document 函数test6 HYPERLINK l bookmark70 o Current Document 函数testDB7 HYPERLINK l bookmark73 o Current D

3、ocument 函数 train8 HYPERLINK l bookmark76 o Current Document 函数 melfb8 HYPERLINK l bookmark79 o Current Document 四、演示分析.9五、心得体会.11 HYPERLINK l bookmark88 o Current Document 附：GUI程序代码12一、 设计任务及要求实现语音识别功能。语音识别的简单介绍基于VQ的说话人识别系统，矢量量化起着双重作用。在训练阶段，把每一个 说话者所提取的特征参数进行分类，产生不同码字所组成的码本。在识别（匹配） 阶段，我们用VQ方法计算平均失真测

4、度（本系统在计算距离d时，采用欧氏距离 测度），从而判断说话人是谁。语音识别系统结构框图如图1所示。图1语音识别系统结构框图语者识别的概念语者识别就是根据说话人的语音信号来判别说话人的身份。语音是人的自然 属性之一，由于说话人发音器官的生理差异以及后天形成的行为差异，每个人的 语音都带有强烈的个人色彩，这就使得通过分析语音信号来识别说话人成为可 能。用语音来鉴别说话人的身份有着许多独特的优点,如语音是人的固有的特征， 不会丢失或遗忘；语音信号的采集方便，系统设备成本低；利用电话网络还可实 现远程客户服务等。因此，近几年来，说话人识别越来越多的受到人们的重视。 与其他生物识别技术如指纹识别、手形

5、识别等相比较，说话人识别不仅使用方便， 而且属于非接触性，容易被用户接受，并且在已有的各种生物特征识别技术中， 是唯一可以用作远程验证的识别技术。因此，说话人识别的应用前景非常广泛： 今天，说话人识别技术已经关系到多学科的研究领域，不同领域中的进步都对说 话人识别的发展做出了贡献。说话人识别技术是集声学、语言学、计算机、信息 处理和人工智能等诸多领域的一项综合技术，应用需求将十分广阔。在吃力语音 信号的时候如何提取信号中关键的成分尤为重要。语音信号的特征参数的好坏直 接导致了辨别的准确性。特征参数的提取对于特征参数的选取，我们使用mfcc的方法来提取。MFCC参数是基于人的 听觉特性利用人听觉

6、的屏蔽效应，在Mel标度频率域提取出来的倒谱特征参数。MFCC参数的提取过程如下：对输入的语音信号进行分帧、加窗，然后作离散傅立叶变换，获得频谱 分布信息。设语音信号的DFT为：X (k)二女1 x(n)e 一考,0 k N -1 (1) n=1其中式中x(n)为输入的语音信号，N表示傅立叶变换的点数。再求频谱幅度的平方，得到能量谱。将能量谱通过一组Mel尺度的三角形滤波器组。我们定义一个有M个滤波器的滤波器组(滤波器的个数和临界带的个数相近),采用的滤波器为三角滤波器，中心频率为f(m),m=1,2,3, ，M本系统取M=100。计算每个滤波器组输出的对数能量。S(m)=ln(勿I X)|2

7、气皿)，(2)k=10 m M -1其中Hm(k)为三角滤波器的频率响应。经过离散弦变换(DCT)得到MFCC系数。C(n) = ES (m)cos(兀 n(m 0.5/m),(3)m=00 n N -1MFCC系数个数通常取2030,常常不用0阶倒谱系数，因为它反映的是频谱能 量，故在一般识别系统中，将称为能量系数，并不作为倒谱系数，本系统选取 20阶倒谱系数。用矢量量化聚类法生成码本我们将每个待识的说话人看作是一个信源，用一个码本来表征。码本是从该 说话人的训练序列中提取的MFCC特征矢量聚类而生成。只要训练的序列足够长， 可认为这个码本有效地包含了说话人的个人特征，而与讲话的内容无关。本

8、系统采用基于分裂的LBG的算法设计VQ码本，Xk(k = 1,2,K)为训练序 列，B为码本。具体实现过程如下：取提取出来的所有帧的特征矢量的型心(均值)作为第一个码字矢量B1。将当前的码本Bm根据以下规则分裂，形成2m个码字。旷 B(E)(4)B- = B (1 -)其中m从1变化到当前的码本的码字数，是分裂时的参数，本文二。根据得到的码本把所有的训练序列(特征矢量)进行分类，然后按照下面 两个公式计算训练矢量量化失真量的总和Q 们以及相对失真(n为迭代次数，初始 n=0, D-1 =8, B为当前的码书)，若相对失真小于某一阈值，迭代结束，当前 的码书就是设计好的2m个码字的码书，转5。否

9、则，转下一步。量化失真量和： TOC o 1-5 h z HYPERLINK l bookmark47 o Current Document D(n)= Y mind(X ,B)(5)k=1相对失真：,D(n-1) - Dn i5II(6)Dn重新计算各个区域的新型心，得到新的码书，转3。重复2 , 3和4步，直到形成有M个码字的码书（M是所要求的码字数）， 其中 D0=10000。VQ的说话人识别设是未知的说话人的特征矢量X 1,., XT，共有T帧是训练阶段形成的码书， 表示码书第m个码字，每一个码书有M个码字。再计算测试者的平均量化失真D, 并设置一个阈值，若D小于此阈值，则是原训练者，

10、反之则认为不是原训练者。D = 1/ T mind（勺 Bm） （7）j=11m M三、算法程序分析在具体的实现过程当中，采用了 mat lab软件来帮助完成这个项目。在mat lab 中主要由采集，分析，特征提取，比对几个重要部分。以下为在实际的操作中， 具体用到得函数关系和作用一一列举在下面。函数关系主要有两类函数文件和在调用获取训练录音的vq码本，而调用获取单个录音的me |倒谱系数，接 着调用将能量谱通过一组Mel尺度的三角形滤波器组。在函数文件中调用计算训练录音（提供vq码本）与测试录音（提供mfcc） mel倒谱系数的距离，即判断两声音是否为同一录音者提供。调用获取单个录音 的me

11、l倒谱系数。调用将能量谱通过一组Mel尺度的三角形滤波器组。具体代码说明函数mffc:function r = mfcc(s, fs)m = 100;n = 256;l = length(s);nbFrame = floor(l - n) / m) + 1;%沿-8方向取整for i = 1:nfor j = 1:nbFrameM(i, j)= s(j - 1) * m) + i); %对矩阵 M 赋值endendh = hamming(n); %加hamming窗，以增加音框左端和右端的连续性M2 二 diag(h) * M;for i = 1:nbFrameframe(:, i)=fft(

12、M2(:, i); %对信号进行快速傅里叶变换FFTendt n / 2;tmax l / fs;m melfb(20, n, fs); %将上述线性频谱通过Mel频率滤波器组得到Mel频谱,下面在将其转化成对数频谱n2 = 1 + floor(n / 2);z = m * abs(frame(1:n2, :).2;r二dct(log(z);晞将上述对数频谱，经过离散余弦变换(DCT)变换到倒谱 域，即可得到Me l倒谱系数(MFCC参数)函数disteu计算测试者和模板码本的距离function d = disteu(x, y)M, N=size(x); %音频x赋值给【M，N】M2, P=

13、size(y); %音频y赋值给【M2，P】if (M = M2)error(不匹配！ )两个音频时间长度不相等endd = zeros(N, P);if (N P)%在两个音频时间长度相等的前提下copies = zeros(1,P);for n = 1:Nd(n,:) = sum(x(:, n+copies) - y) .2, 1);endelsecopies = zeros(1,N);for p = 1:Pd(:,p) = sum(x - y(:, p+copies) .2, 1) end%成对欧氏距离的两个矩阵的列之间的距离endd = d.;函数vqlbg该函数利用矢量量化提取了音频

14、的vq码本function r = vqlbg(d,k)e = . 01;r = mean(d, 2);dpr = 10000;for i = 1:log2(k)r = r*(1+e), r*(1-e);while (1 = 1)z = disteu(d, r);m,ind = min(z, , 2);t = 0;for j = 1:2ij) = mean(d(:, find(ind = j), 2);x = disteu(d(:, find(ind = j), r(:, j);for q = 1:length(x)t = t + x(q);endendif (dpr - t)/t) e)br

15、eak;elsedpr = t;endendend函数testfunction finalmsg = test(testdir, n, code)for k = 1:n% read test sound file of each speakerfile = sprintf(%ss%, testdir, k);s, fs = wavread(file);v = mfcc(s, fs);%得到测试人语音的mel倒谱系数distmin=4;%阈值设置处%就判断一次，因为模板里面只有一个文件d二disteu(v, code1);%计算得到模板和要判断的声音之间的“距离”dist = sum(min(d

16、,2) / size(d,1); %变换得到一 距离的量%测试阈值数量级msgc = sprintf(与模板语音信号的差值为:10f , dist);disp(msgc);%此人匹配if dist distminmsg二sprintf(第%d位说话者与模板语音信号不匹配，不符合要 求!n, k);finalmsg =此位说话者不符合要求！； 界面显示语句，可随意 设定disp(msg);endend函数testDB这个函数实际上是对数据库一个查询，根据测试者的声音，找相应的文件,并且给 出是谁的提示function testmsg = testDB(testdir, n, code)nameL

17、ist=1,2,3,4,5,6,7,8,9 ;%这个是我们要识别的9个数for k=1:n%数据库中每一个说话人的特征file = sprintf(%ss%, testdir, k);%找出文件的路径s, fs = wavread(file);v = mfcc(s, fs);%对找到的文件取mfcc变换distmin = inf;k1 = 0;for l = 1:length(code)d = disteu(v, codel);dist = sum(min(d,2) / size(d,1);if dist distmindistmin = dist;%这里和test函数里面一样 但多了 具体语

18、者的识别k1 = 1;endendmsg二nameListk1msgbox(msg);end函数train该函数就是对音频进行训练，也就是提取特征参数function code = train(traindir, n)k = 16;k = 16;for i = 1:n%对数据库中的代码形成码本file = sprintf(%ss%, traindir, i);disp(file);s, fs = wavread(file);v = mfcc(s, fs);%计算MFCCs提取特征特征，返回值是Mel倒谱系数，是一个log的dct得到的codei=vqlbg(v, k);%训练VQ码本 通过矢量

19、量化，得到原说话人的VQ码本end函数melfb确定矩阵的滤波器function m = melfb(p, n, fs)f0 = 700 / fs;fn2 = floor(n/2);lr 二 log(1 + f0) / (p+1);% convert to fft bin numbers with 0 for DC termbl = n * (f0 * (exp(0 1 p p+1 * lr) - 1);直接转换为FFT的数字模型bl 二 floor(bl(1) + 1;b2 二 ceil(bl(2);b3 二 floor(bl(3);b4 = min(fn2, ceil(bl(4) - 1;

20、pf = log(1 + (b1:b4)/n/f0) / lr;fp = floor(pf);pm = pf - fp;r =fp(b2:b4) 1+fp(1:b3);c =b2:b4 1:b3 + 1;v = 2 * 1-pm(b2:b4) pm(1:b3);m = sparse(r, c, v, p, 1+fn2)；四、演示分析我们的功能分为两部分:对已经保存的9个数字的语音进行辨别和实时的 判断说话人说的是否为一个数.在前者的实验过程中，先把9个数字的声音保存 成wav的格式，放在一个文件夹中，作为一个检测的数据库.然后对检测者实行识 别,系统给出提示是哪个数字.在第二个功能中，实时的录

21、取一段说话人的声音作为模板，提取mfcc特征 参数，随后紧接着进行遇着识别，也就是让其他人再说相同的话，看是否是原说话 者.实验过程及具体功能如下:先打开Matlab使Current Directory为录音及程序所所在的文件夹再打开文件“”，点run运行，打开enter界面，点击“进入”按钮进入 系统。（注：文件包未封装完毕，目前只能通过此方式打开运行。）（如下图 figure1）enterfigure1在对数据库中已有的语者进行识别模块:选择载入语音库语音个数；点击语音库录制模版进行已存语音信息的提取;点击录音-test进行现场录音；点击语者判断进行判断数字，并显示出来。在实时语者识别模块

22、:实时语者识别P录音-twin-traing时录制模板民.泓刀 e-Lest播放-test实时语者识别in1 im 1102U1M点击实时录制模板上的“录音-train”按钮，是把新语者的声音以wav格 式存放在”实时模板”文件夹中，接着点击“实时录制模板”，把新的模板提取 特征值。随后点击实时语者识别模板上的“录音-train ”按钮，是把语者的声音 以wav格式存放在”测试”文件夹中,再点击“实时语者识别”，在对测得的声音 提取特征值的同时，和实时模板进行比对，然后得出是否是实时模板中的语者。 另外面板上的播放按钮都是播放相对应左边录取的声音。想要测量多次，只要接着录音，自动保存，然后程序

23、比对音频就可以。退出只要点击菜单File/Exit,退出程序。程序运行截图：()运行后系统界面五、心得体会实验表明，该系统能较好地进行语音的识别，同时，基于矢量量化技术（V Q）的语音识别系统具有分类准确，存储数据少，实时响应速度快等综合性能好 的特点.矢量量化技术在语音识别的应用方面，尤其是在孤立词语音识别系统中得到 很好的应用，特别是有限状态矢量量化技术，对于语音识别更为有效。通过这次课程设计，我对语音识别有了更加形象化的认识，也强化了 MATLAB 的应用，对将来的学习奠定了基础。附:GUI程序代码function pushbutton1_Callback(hObject, eventd

24、ata, handles)% hObject handle to pushbutton1 (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA)Channel_Str=get, String);Channel_Number=str2double(Channel_Strget, Value);global moodle;moodle = train(模版,Channel_Numbe

25、r) %，0 y Q 60 i 0 o 0 D D I aE i A e 士% Executes on button press in pushbutton2.function pushbutton2_Callback(hObject, eventdata, handles)% hObject handle to pushbutton2 (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handglobal data1;global moodle test(测试,1,moodle)% u

26、0 i 06% i2 a%function Open_Callback(hObject, eventdata, handles)% hObject handle to Open (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA)filename,pathname=uigetfile()file=get,filename,pathname)y,f,b=wavread(file)

27、;% function Exit_Callback(hObject, eventdata, handles)% hObject handle to Exit (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA)exit% function About_Callback(hObject, eventdata, handles)% hObject handle to About (

28、see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA)H=语者识别helpdlg(H, help text)% function File_Callback(hObject, eventdata, handles)% hObject handle to File (see GCBO)% eventdata reserved - to be defined in a future v

29、ersion of MATLAB% handles structure with handles and user data (see GUIDATA)% function Edit_Callback(hObject, eventdata, handles)% hObject handle to Edit (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA)% function

30、 Help_Callback(hObject, eventdata, handles)% hObject handle to Help (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA)% Executes on button press in pushbutton?.function pushbutton7_Callback(hObject, eventdata, hand

31、les)% hObject handle to pushbutton? (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA)msg=请速度录音msgbox(msg)clearglobal datal;%global dataDNI;AI = analoginput(winsound);chan = addchannel(AI,1:2);duration = 3; %1 seco

32、nd acquisitionset(AI,SampleRate,8000)ActualRate = get(AI, SampleRate);set(AI,SamplesPerTrigger,duration*ActualRate)set(AI, TriggerType, Manual)blocksize = get(AI, SamplesPerTrigger);Fs = ActualRate;start(AI) trigger(AI)data1,time,abstime,events = getdata(AI);fname二sprintf(E:Matlab语音识别系统实时模版)%dataDN1

33、二wden(data1,heursure,s,one,5,sym8);denoisewavwrite(data1,fname)msgbox(fname)% Executes on button press in pushbutton8.function pushbutton8_Callback(hObject, eventdata, handles)% hObject handle to pushbutton8 (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles struct

34、ure with handles and user data (see GUIDATA) global data1;%global dataDN1;sound(data1)%sound(dataDN1)axes%set to plot at axes1plot(data1);%plot(dataDN1);xlabelC训练采样序列),ylabel(信号幅);%xlabel( N p A 2 E N uD oA D ),ylabel(sym8D i 2 p 0 e op A D A A ); grid on;clear% Executes on button press in pushbutto

35、n?.function pushbutton9_Callback(hObject, eventdata, handles)% hObject handle to pushbutton? (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA)msg=请速度录音i msgbox(msg)clearglobal data2;%global dataDN2;AI = analoginpu

36、t(winsound);chan = addchannel(AI,1:2);duration = 3; %1 second acquisitionset(AI,SampleRate,8000)ActualRate = get(AI, SampleRate);set(AI,SamplesPerTrigger,duration*ActualRate) set(AI, TriggerType, Manual)blocksize = get(AI, SamplesPerTrigger);Fs = ActualRate;start(AI)trigger(AI)data2,time,abstime,eve

37、nts = getdata(AI);fname二sprintf(E:Matlab语音识别系统测试)%dataDN1二wden(data1,heursure,s,one,5,sym8);denoisewavwrite(data2,fname)msgbox(fname)% Executes on button press in pushbutton10.function pushbutton10_Callback(hObject, eventdata, handles)% hObject handle to pushbutton10 (see GCBO)% eventdata reserved -

38、 to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA) global data2;%global dataDN2;sound(data2)%sound(dataDN2) axes%set to plot at axeslplot(data2);%plot(dataDN2);xlabelC测试采样序列)，ylabel(信号幅)；%xlabel( 2 a E 0 2 E N uD oA D ),ylabel(sym8D i 2 p 0 e op

39、A D A A -u);%grid on;clear% Executes on button press in pushbuttonll.function pushbutton11_Callback(hObject, eventdata, handles)% hObject handle to pushbuttonll (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA)glo

40、bal moodle ;testDB(测试,1,moodle)% Executes on button press in pushbutton12.function pushbutton12_Callback(hObject, eventdata, handles)% hObject handle to pushbutton12 (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handlesstructure with handles and user data (see GUIDATA

41、) global % handlesmoodle = train(实时模板,1)% Executes on selection change in popupmenu3.function popupmenu3_Callback(hObject, eventdata, handles)% hObject handle to popupmenu3 (see GCBO)% eventdata reserved - to be defined in a future version of MATLAB% handles structure with handles and user data (see GUIDATA)array% Hints: contents = get(hObject,String) returns popupmenu3 contents as cellarray%contentsget(hObject,Value) returns selected item from popupmenu3 str=get, String);val二str2num(strget, Value);switch valcase 1case 2case 3case 4case 5case 6case 7case 8case 9end% Execut