语音识别系统实验报告

1、语音识别系统实验报告专业班级：信息安全学号: 姓名:目录一、设计任务及要求1二、语音识别的简单介绍2.1语者识别的概念22. 2特征参数的提取32. 3用矢量量化聚类法生成码本32.4vq的说话人识别4三、算法程序分析3. 1函数关系.43. 2代码说明53. 2. 1 函数 mfcc53. 2. 2 函数 distcu53. 2. 3 函数 vqlbg 63. 2. 4 函数 test63. 2. 5 函数 testdb73. 2. 6 函数 train83.2.7函数mclfb8四、演示分析.9五、心得体会.11附：gui程序代码12、设计任务及要求实现语音识别功能。二、语音识别的简单介绍

2、基于vq的说话人识别系统，矢量量化起着双重作用。在训练阶段，把每一个 说话者所提取的特征参数进行分类，产生不同码字所组成的码本。在识别（匹配） 阶段，我们用vq方法计算平均失真测度（本系统在计算距离d时，采用欧氏距离 测度），从而判断说话人是谁。语首_ 数摒预处理: 预加蒐、 加汉明窗洲练vq 模型语音识别系统结构框图如图1所示。码本库： 说话人的码本 说话人2的玛本 输出识别站呆识别匹配11算vq 码本偲话人n的码卞图1语咅识别系统结构框图2. 1语者识别的概念语者识别就是根据说话人的语音信号来判别说话人的身份。语音是人的自然 属性之一，由于说话人发音器官的生理差异以及后天形成的行为差异，每

3、个人的 语咅都带有强烈的个人色彩，这就使得通过分析语咅信号來识别说话人成为可能。 用语音来鉴别说话人的身份有着许多独特的优点，如语音是人的固有的特征，不 会丢失或遗忘；语音信号的采集方便，系统设备成本低；利用电话网络述可实现 远程客户服务等。因此，近几年来，说话人识别越来越多的受到人们的重视。与 其他生物识别技术如指纹识别、手形识别等相比较，说话人识别不仅使用方便， 而且属于非接触性，容易被用户接受，并且在已有的各种生物特征识别技术屮， 是唯一可以用作远程验证的识别技术。因此，说话人识别的应用前景非常广泛： 今天，说话人识别技术己经关系到多学科的研究领域，不同领域中的进步都对说 话人识别的发展

4、做出了贡献。说话人识别技术是集声学、语言学、计算机、信息 处理和人工智能等诸多领域的一项综合技术，应用需求将十分广阔。在吃力语音 信号的时候如何提取信号中关键的成分尤为重要。语音信号的特征参数的好坏直 接导致了辨别的准确性。2. 2特征参数的提取对于特征参数的选取，我们使用mfcc的方法来提取。mfcc参数是基于人的 听觉特性利用人听觉的屏蔽效应，在mel标度频率域提取出来的倒谱特征参数。mfcc参数的提取过程如下：1. 对输入的语音信号进行分帧、加窗，然后作离散傅立叶变换，获得频谱 分布信息。设语音信号的dft为：n-ljfkx“伙)=工兀(刃比 n ,0<<n-l (1)”=1

5、其中式中x(n)为输入的语咅信号，n表示傅立叶变换的点数。2. 再求频谱幅度的平方，得到能量谱。3. 将能量谱通过一组mel尺度的三角形滤波器组。我们定义一个有m个滤波器的滤波器组(滤波器的个数和临界带的个数相近)， 采用的滤波器为三角滤波器，中心频率为f (ni), ni二1,2, 3, , m本系统取m二100。4. 计算每个滤波器组输出的对数能量。n-1s(m) = ln(|xa(k)|2 hm(k),k=l0<m<m-l其中hk)为三角滤波器的频率响应。5. 经过离散弦变换(dct)得到mfcc系数。m-1c(n)=工 s (加)cos(7vn(m 一 0.5 / m),

6、(3)/n=005n5n lmfcc系数个数通常取20-30,常常不用0阶倒谱系数，因为它反映的是频谱能 量，故在一般识别系统中，将称为能量系数，并不作为倒谱系数，木系统选取 20阶倒谱系数。2. 3用矢量量化聚类法生成码本我们将每个待识的说话人看作是一个信源，用一个码本来表征。码本是从该 说话人的训练序列中提取的mfcc特征矢量聚类而牛成。只要训练的序列足够长, 可认为这个码本有效地包含了说话人的个人特征，而与讲话的内容无关。本系统采用基于分裂的lbg的算法设计vq码本，x/ = 1,2,.,k)为训练序 列，b为码本。具体实现过程如下：1. 取提取出来的所有帧的特征矢量的型心（均值）作为第

7、一个码字矢量el。2. 将当前的码木bin根据以下规则分裂，形成2ni个码字。声胡”（1+°（4）其中ni从1变化到当前的码本的码字数，£是分裂时的参数，本文£二001。3. 根据得到的码本把所有的训练序列（特征矢量）进行分类，然后按照下面 两个公式计算训练矢量量化失真量的总和d以及相对失真（n为迭代次数，初始n二0, d汕二8, b为当前的码书），若相对失真小于某一阈值£ ,迭代结束，当前的码书就是设计好的2m个码字的码书，转5。否则，转下一步。 量化失真量和：（5）a相对失真：d*'） _ d"i-|（6）d"4. 重新计

8、算各个区域的新型心，得到新的码书，转3。5. 重复2 , 3和4步，直到形成有m个码字的码书（m是所要求的码字数）, 其中 d0二 10000。2. 4 vq的说话人识别设是未知的说话人的特征矢量x|,.,x舁，共有t帧是训练阶段形成的码书, 表示码书第hi个码字，每一个码书有m个码字。再计算测试者的平均量化失真d, 并设置一个阈值，若d小于此阈值，则是原训练者，反之则认为不是原训练者。0 = 1/迄 mind（xp场 ji 7=，<m<m三、算法程序分析在具体的实现过程当中，采用了 nrntlab软件来帮助完成这个项目。在mat lab 屮主要由釆集，分析，特征提取，比对几个重要

9、部分。以下为在实际的操作屮, 具体用到得函数关系和作用一一列举在下面。3. 1函数关系主要有两类函数文件train, m和test, m在train, m调用vqlbg. m获取训练录咅的vq码本，而vqlbg. in调用mfcc. in 获取单个录音的mcl倒谱系数，接着mfcc. m调用mclfb. m 将能量谱通过一组 mel尺度的三角形滤波器组。在test, m函数文件中调用disteu. m计算训练录音（提供vq码本）与测试 录音（提供mfcc） mel倒谱系数的距离，即判断两声音是否为同一录音者提供。disteu. m调用mfcc. m获取单个录音的mel倒谱系数。mfcc. m调

10、用melfb. m将能量谱通过一组mel尺度的三角形滤波器组。3. 2具体代码说明3. 2. 1 函数 mffc:function r = mfcc(s, fs)m = 100;n 二 256;1 = length(s);nbframe = floor (1 - n) / m) + 1;%沿-00方向取整for i = 1:nfor j = l:nbframem(i, j)二 s(j - 1) * m) + i);%对矩阵 m 赋值endenclh = hamming(n) ; %加hamming窗，以增加音框左端和右端的连续性m2 = diag(h) * m;for i 二 1:nbfram

11、eframe(:, i) = fft(m2(:, i);%对信号进行快速傅里叶变换fftenclt = n / 2;tmax 二 1 / fs;m = melfb (20, n, f s) ; %将上述线性频谱通过mel频率滤波器组得到mel频 谱,下面在将其转化成对数频谱n2 = 1 + floor (n / 2);z 二 m * abs(frame(l:n2, :) 2;r = det (log(z) ;%将上述对数频谱，经过离散余弦变换(dct)变换到倒谱域，即可得到mel倒谱系数(mfcc参数)3. 2. 2 函数 disteu一-计算测试者和模板码本的距离 function d =

12、disteu(x, y)m, n = size(x); %音频 x 赋值给m, n】 m2, p二 size(y); %音频 y 赋值给【m2, p if (m 、二 m2)errorc不匹配！ )两个音频时间长度不相等endd = zeros (n, p);if (n < p)%在两个咅频吋间长度相等的前提下copies = zeros (1, p);for n 二 1:nd(n, :) = sum(x(:, n+copies) - y) 2, 1);end el secopies = zeros (1, n);for p 二 1:p d(:, p)二 sum(x - y(:, p+c

13、opies) . 2, 1)'end%成对欧氏距离的两个矩阵的列之间的距离endd = d. 0. 5;3. 2. 3 函数 vqlbg-该函数利用矢量量化提取了咅频的vq码本function r = vqlbg(d, k)e 二 01;r = mean (d, 2);dpr 二 10000;for i = 1:1og2 (k)r = r*(l+e), r*(l-e);while (1 = 1)z = disteu(d, r);m, ind二 min(z, , 2);t 二 0;for j = 1:2"r(:, j) = mean(d(:, find(ind = j), 2)

14、;x = disteu(d(:, find(ind = j), r(:, j); for q = 1:length (x)t 二 t + x(q);endencl if (dpr - t)/t) < e) break;el sedpr = t;enclendend3. 2. 4 函数 testfunction finalmsg 二 test(testdir, n, code)for k = 1 :n% read test sound file of each speakerfile = sprintf ('%ss%d. wav', testdir, k);s, fs =

15、wavread(file);v = mfcc(s, fs) ;%得到测试人语音的mol倒谱系数distmin二4;%阈值设置处%就判断一次，因为模板里面只有一个文件 d = disteu(v, codel) ;%计算得到模板和要判断的声音之间的dist = sum (min (d, , 2) / size(d, 1) ; %变换得到一个距离的量%测试阈值数量级msgc = sprintf c与模板语音信号的差值为:%10fdist);disp(msgc);%此人匹配if dist <= distmin %一个阈值，小于阈值，则就是这个人。msg = sprintf c第9紀位说话者与模板

16、语音信号匹配，符合要 求! n', k);finalmsg ='此位说话者符合要求! ; %界面显示语句，可随意设 定disp(msg);end%此人不匹配if dist > distminmsg二sprintf c第%:1位说话者与模板语咅信号不匹配，不符合要 求! n', k);finalmsg二此位说话者不符合耍求! ; %界面显示语句，可随意 设定disp(msg);endend 3. 2. 5 函数 testdb这个函数实际上是对数据库一个查询，根据测试者的声音，找相应的文件,并冃给 出是谁的提示function testmsg 二 testdb(tes

17、tdi n, code)namelist二' 1',' 2',' 3',' 4',' 5',' 6',' 7',' 8',' 9' ;%这个是我们要识别的9个数for k = l:n%数据库中每一个说话人的特征file 二 sprintf (，%ss%d. wax , testdir, k) ;%找出文件的路径s，fs = wavread(fi le);v = mfcc(s, fs) ;%对找到的文件取mfcc变换distmin = inf;kl 二

18、0;for 1 二 1:length (code)d = disteu(v, codel);dist = sum (min (d, , 2) / size (d, 1);if dist < distmindistmin = dist;%这里和test函数里面一样 但多了一个具体语者的识别kl = 1;endend msg=namelist kl msgbox(msg);end 3. 2. 6 函数 train-一该函数就是对音频进行训练，也就是提取特征参数 function code 二 train(traindir, n)k = 16;% numbcr of ccntroids req

19、uiredfor i = l:n%对数据库中的代码形成码本file = sprintf c %ss%d. wav', traindir, i); disp(file);s, fs = wavread(file);v = mfcc(s, fs) ;%计算mfcc's提取特征特征，返回值是mel倒谱系数，是一个log的det得到的 codei = vqlbg(v, k) ;%训练vq码本 通过矢量量化，得到原说话人的vq码木end3. 2. 7 函数 melfb -确定矩阵的滤波器 function m = melfb(p, n, fs)fo 二 700 / fs;fn2 = fl

20、oor (n/2); lr = log(l + 0. 5/fo) / (p+1);% convert to fft bin numbers with 0 for dc termbl = n * (fo * (exp(0 1 p p+1 * lr) - 1); 直接转换为fft的数字模型 bl 二 floor(bl(l) + 1;b2 = ceil (bl(2);b3 = floor (bl (3);b4 = min(fn2, ceil (bl (4) - 1; pf = log(l + (bl:b4)/n/f0) / lr; fp 二 floor(pf);pm = pf - fp;r = fp

21、 (b2:b4) l+fp(l:b3);c 二b2:b4 l:b3 + 1;v 二 2 * 1-pm(b2:b4) pm(l:b3);m = sparse (r, c, v, p, l+fn2)；四、演示分析我们的功能分为两部分:对已经保存的9个数字的语音进行辨别和实ii寸的 判断说话人说的是否为一个数.在前者的实验过程屮，先把9个数字的声咅保存 成wav的格式，放在一个文件夹中，作为一个检测的数据库然后对检测者实行识 别，系统给出提示是哪个数字.在第二个功能中，实时的录取一段说话人的声音作为模板，提取mfcc特征 参数，随后紧接着进行遇着识别，也就是让其他人再说相同的话，看是否是原说话 者.

22、实验过程及具体功能如下：先打开matlab使current directory为录音及程序所所在的文件夹 再打开文件“enter.，点run运行，打开enter界面，点击“进入”按钮进入系统。（注：文件包未封装完毕，目前只能通过此方式打开运行。）（如下 图 figurel）r enterfigurel在对数据库中已有的语者进行识别模块:选择载入语音库语音个数；点击语音库录制模版进行己存语音信息的提取; 点击录音-test进行现场录音；点击语者判断进行判断数字，并显示出来。在实时语者识别模块:实时语者识别:录音-train录音test播放test实时语者识别ima ftsb播放train点击实时

23、录制模板上的“录音-train"按钮,是把新语者的声音以wav格 式存放在”实时模板”文件夹屮，接着点击“实时录制模板”，把新的模板提取 特征值。随后点击实时语者识别模板上的“录音-train"按钮，是把语者的声音 以wav格式存放在”测试”文件夹中，再点击“实时语者识别”，在对测得的声音 提取特征值的同时，和实时模板进行比对，然后得出是否是实时模板中的语者。 另外面板上的播放按钮都是播放相对应左边录取的声音。想要测量多次，只要接着录咅，自动保存，然后程序比对咅频就可以。 退出只要点击菜单file/exit,退出程序。程序运行截图：(fig. 2)运行后系统界面pj unt

24、itled训练录音波形0 2实时语者识别录音实时录制横板录音-test播放jest实时语者识别05测试采样序列x10bel1! r hipiccqm vf：对数据库中已有的语者进行识另语音库录制模板删个数录音lest语者判臣播放-tramx 101丿ji五、心得体会实验表明，该系统能较好地进行语音的识别，同时，基于矢量量化技术(v q)的语音识别系统具有分类准确，存储数据少，实时响应速度快等综合性能好 的特点.矢量量化技术在语音识别的应用方面，尤其是在孤立词语音识别系统中得到 很好的应用，特别是有限状态矢量量化技术，对于语咅识别更为有效。通过这次课程设计，我对语音识别有了更加形彖化的认识，也强

25、化了matlab 的应用，对将来的学习奠定了基础。附：gui程序代码function pushbuttonl_c4丄丄back(hobject, eventdata, handles)% hobjecthandle to pushbuttonl (see gcbo)% eventdete reserved 一 to be defined in a future version of matlab% handles structure with handles and user data (see guidata) channel_str=get(handles.popupmenu3, 1 st

26、ring1);channel_number=str2double(channel_strget(handlespopupmenu3, 1 value 1) );global moodle;moodle = train ( ', channel_number) %50 yqdoidoobbiae j ae±% executes on button press in pushbutton2.function pushbutton2_c4丄丄back(hobject, eventdata, handles)% hobjecthandle to pushbutton? (see gc

27、bo)% eventdete reserved 一 to be defined in a future version of matlab% handglobal datal;global moodle ;test (1 测试 1, 1,moodle) %epe±6io6i2a% function open_callback(hobject, eventdata, handles)% hobjecthandle to open (see gcbo)% eventdata reserved 一 to be defined in a future version of matlab% h

28、andles structure with handles and user data (see guidata) filename,pathname=uigetfile(1 1 )file=get(handles.edits, filename,pathname)y,f,b=wavread(file);% function exit_c且丄丄buck(hobject, eventdetd, handles)% hobjecthandle to exit (see gcbo)% eventdata reserved 一 to be defined in a future version of

29、matlab% handles structure with handles and user data (see guidata)exit function about_callback(hobject, eventdata, handles)% hobjecthandle to about (see gcbo)% eventdata reserved 一 to be defined in a future version of matlab% handles structure with handles and user data (see guidata)h=语者识别1 helpdig(

30、hz *help text1)% function file_callback(hobject* eventdatd, handles)% hobjecthandle to file (see gcbo) msg='请速度录咅;' msgbox(msg) clear global datal;% eventdatareservedto be defined in a future version of matlab% handlesstructure with handles and user data (see guidata)function edit_callback(h

31、object, eventdata, handles)% hobjecthandle to edit (see gcbo)reserved 一 to be defined in a future version of matlab% handlesstructure with handles and user data (see guidata)function help_callback(hobject, eventdata, handles)% hobjecthandle to help (see gcbo)% eventdatareservedto be defined in a fut

32、ureversion of matlab% handlesstructure with handles and user data(see guidata)%executes on button press in pushbutton7 <function pushbutton7_callback(hobjectz eventdatahandles)% hobjecthandle to pushbutton7 (see gcbo)% eventdatareservedto be defined in a futureversion of matlab% handlesstructure

33、with handles and user data(see guidata)%global datadnl;al = analoginput(1 winsound 1);chan = addchannel(al,1:2);duration = 3; %1 second acquisitionset(al, 1samplerate1,8000)actualrate = get (atjsempgrdte ');set (al, 1samplespertrigger1,duration*actualrate)set(al,1triggertype1,manual1)blocksize =

34、 get(al,1samplespertrigger1);fs = actualrate;start(al) trigger(al)da tai, tirneabstirne, even ts = getdata (al);fname=sprintfe : mataab语音识别系统实日寸模版sl. wav') %datadnl=wden(datal, 1heursure1, 1s1, 1 one 1,5, 1sym81);denoise wavwrite(datai,fname)msgbox(fname)% executes on button press in pushfunctio

35、n pushbutton8_call_back (hobject, eventdata, handles)% hobjecthandle to pushbutton8 (see gcbo)% eventdata reserved 一 to be defined in a future version of matlab% handles structure with handles and user data (see guidata) global datal;%global datadnl;sound(datal)%sound(datadnl)axes(handles.axesl)%set

36、 to plot at axeslplot(datal);%plot(datadnl);xlabel (*训练采样序列* ) , ylabel (*信号幅，);%xlabel ( 'npa- 2enubda£i' ) , ylabel ( * sym8d j 2 *poe2opada2a u * );grid on;clear% executes on button press in pushbutton9.function pushbutton9_callback(hobject, eventdata, handles)% hobjecthandle to push

37、button9 (see gcbo)% eventdata reserved 一 to be defined in a future version of matlab% handles structure with handles and user data (see guidata) msg=，请速度录音msgbox(msg)clearglobal data2;%globa丄 datadn2;al = analoginput(1winsound1);chan = addchannel(al,1:2);duration = 3; %1 second acquisitionset(al,1sa

38、mplerate',8000)actualrate = get(al,1samplerate1);set(aiz 1 samplespertrigger 1z duration*actualrate)set(al, 1triggertype1z 1 manual')blocksize = get (al, 1samplespertrigger1);fs = actualrate;start(al)trigger(al)data2,time,abstime,events = getdata(al);fname=sprintf (' e: wmatlab® 音识别

39、系统测试wsl . wav ')%datadnl=wden(datal, 1heursure 9 f 9 s9 f 9 one 9 f 5f 9sym8 9);denoise wavwrite(data2,fname)msgbox(fname)% executes on button press in pushbuttonlo.function pushbuttonlo_callback(hobject, eventdata, handles)% hobject handle to pushbuttonlo (see gcbo)% eventdata reserved 一 to be

40、defined in a future version of matlab% handles structure with handles and user data (see guidata)global data2;%global_ datadn2;sound(data2)%sound(datadn2)axes (handles.axes2)%set to plot at axeslplot (data2);%plot(datadn2);xlabel ('测试采样序列'),ylabel ('信号幅，);%xlabel (1 2aeo2enuddad 1 ) , yl

41、abel (1 sym8d , 2 p6e26pada2a u 1) ; %grid on;clear% executes on button press in pushbuttonll.function push丄丄back(hobject, eventdata, handles)% hobjecthandle to pushbuttonll (see gcbo)% eventdete reserved 一 to be defined in a future version of matlab% handles structure with handles and user data (se

42、e guidata)global moodle ;testdb ('测试 ' , 1, moodle)% executes on button press in pushbuttonl2.function pushbuttonl2_c且丄丄beck(hobject* eventdete， handles)% hobjecthandle to pushbuttonl2 (see gcbo)% eventdata reserved 一 to be defined in a future version of matlab% handles structure with handle

43、s and user data (see guidata)global moodle;moodle = train ( 1 实时模板 * , 1)% executes on selection change in popupmenu3.function popupmenu3_callback(hobject, eventdata， handles)% hobject handle to popupmenu3 (see gcbo)% eventdata reserved 一 to be defined in a future version of matlab% handles structur

44、e with handles and user data (see guidata)% hints: contents = get(hobject, 'string 1) returns popupmenu3 contents as cell array%contentsget(hobjectj value') returns selected item frompopupmenu3str=get(handles.popupmenu3, 'string 1);val=str2num(strget(handles.popupmenu3, 1 value 1) );switch valcase 1ca