语音识别系统实验报告

1、. 语音识别系统实验报告 专业班级：信息安全 学号： 姓名：精品.目录一、 设计任务及要求1二、 语音识别的简单介绍2.1语者识别的概念2 2.2特征参数的提取3 2.3用矢量量化聚类法生成码本3 2.4vq的说话人识别 4三、 算法程序分析3.1函数关系.4精品. 3.2代码说明5 3.2.1函数mfcc5 3.2.2函数disteu5 3.2.3函数vqlbg.63.2.4函数test63.2.5函数testdb7 3.2.6 函数train8 3.2.7函数melfb8四、 演示分析.9五、 心得体会.11附：gui程序代码12精品.一、 设计任务及要求实现语音识别功能。二、 语音识别的

2、简单介绍基于vq的说话人识别系统，矢量量化起着双重作用。在训练阶段，把每一个说话者所提取的特征参数进行分类，产生不同码字所组成的码本。在识别(匹配)阶段，我们用vq方法计算平均失真测度(本系统在计算距离d时，采用欧氏距离测度)，从而判断说话人是谁。语音识别系统结构框图如图1所示。图1 语音识别系统结构框图2.1语者识别的概念语者识别就是根据说话人的语音信号来判别说话人的身份。语音是人的自然属性之一，由于说话人发音器官的生理差异以及后天形成的行为差异，每个人的语音都带有强烈的个人色彩，这就使得通过分析语音信号来识别说话人成为可能。用语音来鉴别说话人的身份有着许多独特的优点，如语音是人的固有的特征

3、，不会丢失或遗忘；语音信号的采集方便，系统设备成本低；利用电话网络还可实现远程客户服务等。因此，近几年来，说话人识别越来越多的受到人们的重视。与其他生物识别技术如指纹识别、手形识别等相比较，说话人识别不仅使用方便，而且属于非接触性，容易被用户接受，并且在已有的各种生物特征识别技术中，是唯一可以用作远程验证的识别技术。因此，说话人识别的应用前景非常广泛：今天，说话人识别技术已经关系到多学科的研究领域，不同领域中的进步都对说话人识别的发展做出了贡献。说话人识别技术是集声学、语言学、计算机、信息处理和人工智能等诸多领域的一项综合技术，应用需求将十分广阔。在吃力语音信号的时候如何提取信号中关键的成分尤

4、为重要。语音信号的特征参数的好坏直接导致了辨别的准确性。精品.2.2特征参数的提取对于特征参数的选取，我们使用mfcc的方法来提取。mfcc参数是基于人的听觉特性利用人听觉的屏蔽效应，在mel标度频率域提取出来的倒谱特征参数。 mfcc参数的提取过程如下： 1. 对输入的语音信号进行分帧、加窗，然后作离散傅立叶变换，获得频谱分布信息。 设语音信号的dft为：（1）其中式中x(n)为输入的语音信号，n表示傅立叶变换的点数。 2. 再求频谱幅度的平方，得到能量谱。 3. 将能量谱通过一组mel尺度的三角形滤波器组。 我们定义一个有m个滤波器的滤波器组（滤波器的个数和临界带的个数相近），采用的滤波器

5、为三角滤波器，中心频率为f(m),m=1,2,3,，m本系统取m=100。4. 计算每个滤波器组输出的对数能量。 （2）精品.其中为三角滤波器的频率响应。 5. 经过离散弦变换（dct）得到mfcc系数。 mfcc系数个数通常取2030，常常不用0阶倒谱系数，因为它反映的是频谱能量，故在一般识别系统中，将称为能量系数，并不作为倒谱系数，本系统选取20阶倒谱系数。2.3用矢量量化聚类法生成码本 我们将每个待识的说话人看作是一个信源，用一个码本来表征。码本是从该说话人的训练序列中提取的mfcc特征矢量聚类而生成。只要训练的序列足够长，可认为这个码本有效地包含了说话人的个人特征，而与讲话的内容无关。

6、 本系统采用基于分裂的lbg的算法设计vq码本，为训练序列，b为码本。 具体实现过程如下： 1. 取提取出来的所有帧的特征矢量的型心(均值)作为第一个码字矢量b1。2. 将当前的码本bm根据以下规则分裂，形成2m个码字。 （4）其中m从1变化到当前的码本的码字数，是分裂时的参数，本文=0.01。 3. 根据得到的码本把所有的训练序列(特征矢量)进行分类，然后按照下面两个公式计算训练矢量量化失真量的总和以及相对失真(n为迭代次数，初始n=0，=，b为当前的码书)，若相对失真小于某一阈值，迭代结束，当前的码书就是设计好的2m个码字的码书，转。否则，转下一步。 量化失真量和： 精品. （5）相对失真

7、： （6） 4. 重新计算各个区域的新型心，得到新的码书，转3。 5. 重复 ， 和步，直到形成有m个码字的码书(m是所要求的码字数)，其中d0=10000。 2.4 vq的说话人识别 设是未知的说话人的特征矢量，共有t帧是训练阶段形成的码书，表示码书第m个码字，每一个码书有m个码字。再计算测试者的平均量化失真d，并设置一个阈值，若d小于此阈值，则是原训练者，反之则认为不是原训练者。 （7）三、 算法程序分析在具体的实现过程当中，采用了matlab软件来帮助完成这个项目。在matlab中主要由采集，分析，特征提取，比对几个重要部分。以下为在实际的操作中，具体用到得函数关系和作用一一列举在下面。

8、3.1函数关系主要有两类函数文件train.m和test.m在train.m调用vqlbg.m获取训练录音的vq码本，而vqlbg.m调用mfcc.m获取单个录音的mel倒谱系数，接着mfcc.m调用melfb.m-将能量谱通过一组mel尺度的三角形滤波器组。 在test.m函数文件中调用disteu.m计算训练录音（提供vq码本）与测试录音（提供mfcc）mel倒谱系数的距离，即判断两声音是否为同一录音者提供。disteu.m调用mfcc.m获取单个录音的mel倒谱系数。mfcc.m调用精品.melfb.m-将能量谱通过一组mel尺度的三角形滤波器组。 3.2具体代码说明3.2.1函数mff

9、c:function r = mfcc(s, fs)-m = 100;n = 256;l = length(s);nbframe = floor(l - n) / m) + 1; %沿-方向取整 for i = 1:nfor j = 1:nbframem(i, j) = s(j - 1) * m) + i); %对矩阵m赋值endendh = hamming(n); %加 hamming 窗，以增加音框左端和右端的连续性m2 = diag(h) * m;for i = 1:nbframeframe(:,i) = fft(m2(:, i); %对信号进行快速傅里叶变换fft endt = n /

10、 2;tmax = l / fs;m = melfb(20, n, fs); %将上述线性频谱通过mel 频率滤波器组得到mel 频谱,下面在将其转化成对数频谱n2 = 1 + floor(n / 2);z = m * abs(frame(1:n2, :).2;精品.r = dct(log(z); %将上述对数频谱，经过离散余弦变换(dct)变换到倒谱域，即可得到mel 倒谱系数(mfcc参数)3.2.2函数disteu-计算测试者和模板码本的距离function d = disteu(x, y)m, n = size(x); %音频x赋值给【m，n】m2, p = size(y); %音频y

11、赋值给【m2，p】if (m = m2) error(不匹配！) %两个音频时间长度不相等endd = zeros(n, p);if (n p)%在两个音频时间长度相等的前提下 copies = zeros(1,p); for n = 1:n d(n,:) = sum(x(:, n+copies) - y) .2, 1); endelse copies = zeros(1,n); for p = 1:p d(:,p) = sum(x - y(:, p+copies) .2, 1); end%成对欧氏距离的两个矩阵的列之间的距离endd = d.0.5;3.2.3函数vqlbg精品.-该函数利用

12、矢量量化提取了音频的vq码本function r = vqlbg(d,k)e = .01;r = mean(d, 2);dpr = 10000;for i = 1:log2(k) r = r*(1+e), r*(1-e); while (1 = 1) z = disteu(d, r); m,ind = min(z, , 2); t = 0; for j = 1:2i r(:, j) = mean(d(:, find(ind = j), 2); x = disteu(d(:, find(ind = j), r(:, j); for q = 1:length(x) t = t + x(q); en

13、d end if (dpr - t)/t) e) break; else dpr = t; end endend精品.3.2.4函数testfunction finalmsg = test(testdir, n, code)for k = 1:n % read test sound file of each speaker file = sprintf(%ss%d.wav, testdir, k); s, fs = wavread(file); v = mfcc(s, fs); % 得到测试人语音的mel倒谱系数distmin = 4; %阈值设置处 % 就判断一次，因为模板里面只有一个文件

14、d = disteu(v, code1); %计算得到模板和要判断的声音之间的“距离” dist = sum(min(d,2) / size(d,1); %变换得到一个距离的量 %测试阈值数量级 msgc = sprintf(与模板语音信号的差值为:%10f , dist); disp(msgc); %此人匹配 if dist distmin msg = sprintf(第%d位说话者与模板语音信号不匹配,不符合要求!n, k); finalmsg = 此位说话者不符合要求!; %界面显示语句，可随意设定 disp(msg); end end3.2.5函数testdb这个函数实际上是对数据库一

15、个查询,根据测试者的声音,找相应的文件,并且给出是谁的提示function testmsg = testdb(testdir, n, code)namelist=1,2,3,4,5,6,7,8,9 ; %这个是我们要识别的9个数for k = 1:n % 数据库中每一个说话人的特征 file = sprintf(%ss%d.wav, testdir, k);%找出文件的路径 s, fs = wavread(file); v = mfcc(s, fs); % 对找到的文件取mfcc变换 distmin = inf; k1 = 0; for l = 1:length(code) 精品. d = d

16、isteu(v, codel); dist = sum(min(d,2) / size(d,1); if dist distmin distmin = dist;%这里和test函数里面一样 但多了一个具体语者的识别 k1 = l; end end msg=namelistk1 msgbox(msg);end3.2.6 函数train-该函数就是对音频进行训练，也就是提取特征参数function code = train(traindir, n)k = 16; % number of centroids requiredfor i = 1:n % 对数据库中的代码形成码本 file = spr

17、intf(%ss%d.wav, traindir, i); disp(file); s, fs = wavread(file); v = mfcc(s, fs); % 计算 mfccs 提取特征特征，返回值是mel倒谱系数，是一个log的dct得到的 codei = vqlbg(v, k); % 训练vq码本 通过矢量量化，得到原说话人的vq码本精品.end3.2.7 函数melfb-确定矩阵的滤波器function m = melfb(p, n, fs)f0 = 700 / fs;fn2 = floor(n/2);lr = log(1 + 0.5/f0) / (p+1);% convert

18、to fft bin numbers with 0 for dc termbl = n * (f0 * (exp(0 1 p p+1 * lr) - 1);直接转换为fft的数字模型b1 = floor(bl(1) + 1;b2 = ceil(bl(2);b3 = floor(bl(3);b4 = min(fn2, ceil(bl(4) - 1;pf = log(1 + (b1:b4)/n/f0) / lr;fp = floor(pf);pm = pf - fp;r = fp(b2:b4) 1+fp(1:b3);c = b2:b4 1:b3 + 1;v = 2 * 1-pm(b2:b4) pm

19、(1:b3);m = sparse(r, c, v, p, 1+fn2)；四、 演示分析精品.我们的功能分为两部分:对已经保存的9个数字的语音进行辨别和实时的判断说话人说的是否为一个数.在前者的实验过程中,先把9个数字的声音保存成wav的格式,放在一个文件夹中,作为一个检测的数据库.然后对检测者实行识别,系统给出提示是哪个数字.在第二个功能中,实时的录取一段说话人的声音作为模板,提取mfcc特征参数,随后紧接着进行遇着识别,也就是让其他人再说相同的话,看是否是原说话者.实验过程及具体功能如下：先打开matlab 使current directory为录音及程序所所在的文件夹再打开文件“ente

20、r.m”，点run运行，打开enter界面，点击“进入”按钮进入系统。（注：文件包未封装完毕，目前只能通过此方式打开运行。）（如下图figure1） figure1精品.在对数据库中已有的语者进行识别模块:选择载入语音库语音个数；点击语音库录制模版进行已存语音信息的提取；点击录音-test进行现场录音；点击语者判断进行判断数字，并显示出来。在实时语者识别模块:精品.点击实时录制模板上的“录音-train”按钮,是把新语者的声音以wav格式存放在”实时模板”文件夹中, 接着点击“实时录制模板”，把新的模板提取特征值。随后点击实时语者识别模板上的“录音-train”按钮,是把语者的声音以wav格式

21、存放在”测试”文件夹中,再点击“实时语者识别”，在对测得的声音提取特征值的同时，和实时模板进行比对，然后得出是否是实时模板中的语者。另外面板上的播放按钮都是播放相对应左边录取的声音。想要测量多次，只要接着录音，自动保存，然后程序比对音频就可以。退出只要点击菜单file/exit，退出程序。程序运行截图：（fig.2）运行后系统界面精品.五、 心得体会实验表明，该系统能较好地进行语音的识别，同时，基于矢量量化技术 （）的语音识别系统具有分类准确，存储数据少，实时响应速度快等综合性能好的特点矢量量化技术在语音识别的应用方面，尤其是在孤立词语音识别系统中得到很好的应用，特别是有限状态矢量量化技术，对

22、于语音识别更为有效。通过这次课程设计，我对语音识别有了更加形象化的认识，也强化了matlab的应用，对将来的学习奠定了基础。精品.附：gui程序代码function pushbutton1_callback(hobject, eventdata, handles)% hobject handle to pushbutton1 (see gcbo)% eventdata reserved - to be defined in a future version of matlab% handles structure with handles and user data (see guidata)

23、channel_str=get(handles.popupmenu3,string); channel_number=str2double(channel_strget(handles.popupmenu3,value); global moodle;moodle = train(模版,channel_number) % - executes on button press in pushbutton2.function pushbutton2_callback(hobject, eventdata, handles)% hobject handle to pushbutton2 (see g

24、cbo)% eventdata reserved - to be defined in a future version of matlab% handglobal data1;global moodle ;test(测试,1,moodle)% % -function open_callback(hobject, eventdata, handles)精品.% hobject handle to open (see gcbo)% eventdata reserved - to be defined in a future version of matlab% handles structure

25、 with handles and user data (see guidata)filename,pathname=uigetfile()file=get(handles.edits,filename,pathname)y,f,b=wavread(file);% -function exit_callback(hobject, eventdata, handles)% hobject handle to exit (see gcbo)% eventdata reserved - to be defined in a future version of matlab% handles stru

26、cture with handles and user data (see guidata)exit% -function about_callback(hobject, eventdata, handles)% hobject handle to about (see gcbo)% eventdata reserved - to be defined in a future version of matlab% handles structure with handles and user data (see guidata)h=语者识别helpdlg(h,help text)% -func

27、tion file_callback(hobject, eventdata, handles)% hobject handle to file (see gcbo)% eventdata reserved - to be defined in a future version of matlab% handles structure with handles and user data (see guidata)% -精品.function edit_callback(hobject, eventdata, handles)% hobject handle to edit (see gcbo)

28、% eventdata reserved - to be defined in a future version of matlab% handles structure with handles and user data (see guidata)% -function help_callback(hobject, eventdata, handles)% hobject handle to help (see gcbo)% eventdata reserved - to be defined in a future version of matlab% handles structure

29、 with handles and user data (see guidata)% - executes on button press in pushbutton7.function pushbutton7_callback(hobject, eventdata, handles)% hobject handle to pushbutton7 (see gcbo)% eventdata reserved - to be defined in a future version of matlab% handles structure with handles and user data (s

30、ee guidata)msg=请速度录音msgbox(msg)clearglobal data1;%global datadn1;ai = analoginput(winsound);chan = addchannel(ai,1:2);duration = 3; %1 second acquisitionset(ai,samplerate,8000)actualrate = get(ai,samplerate);set(ai,samplespertrigger,duration*actualrate)精品.set(ai,triggertype,manual)blocksize = get(ai

31、,samplespertrigger);fs = actualrate;start(ai)trigger(ai)data1,time,abstime,events = getdata(ai);fname=sprintf(e:matlab语音识别系统实时模版s1.wav)%datadn1=wden(data1,heursure,s,one,5,sym8);denoisewavwrite(data1,fname)msgbox(fname)% - executes on button press in pushbutton8.function pushbutton8_callback(hobject

32、, eventdata, handles)% hobject handle to pushbutton8 (see gcbo)% eventdata reserved - to be defined in a future version of matlab% handles structure with handles and user data (see guidata)global data1;%global datadn1;sound(data1)%sound(datadn1)axes(handles.axes1)%set to plot at axes1 plot(data1);%p

33、lot(datadn1);xlabel(训练采样序列),ylabel(信号幅);%xlabel(),ylabel(sym8);grid on;精品.clear % - executes on button press in pushbutton9.function pushbutton9_callback(hobject, eventdata, handles)% hobject handle to pushbutton9 (see gcbo)% eventdata reserved - to be defined in a future version of matlab% handles

34、structure with handles and user data (see guidata)msg=请速度录音msgbox(msg)clearglobal data2;%global datadn2;ai = analoginput(winsound);chan = addchannel(ai,1:2);duration = 3; %1 second acquisitionset(ai,samplerate,8000)actualrate = get(ai,samplerate);set(ai,samplespertrigger,duration*actualrate)set(ai,t

35、riggertype,manual)blocksize = get(ai,samplespertrigger);fs = actualrate;start(ai)trigger(ai)data2,time,abstime,events = getdata(ai);fname=sprintf(e:matlab语音识别系统测试s1.wav)%datadn1=wden(data1,heursure,s,one,5,sym8);denoise精品.wavwrite(data2,fname)msgbox(fname)% - executes on button press in pushbutton10

36、.function pushbutton10_callback(hobject, eventdata, handles)% hobject handle to pushbutton10 (see gcbo)% eventdata reserved - to be defined in a future version of matlab% handles structure with handles and user data (see guidata)global data2;%global datadn2;sound(data2)%sound(datadn2)axes(handles.ax

37、es2)%set to plot at axes1 plot(data2);%plot(datadn2);xlabel(测试采样序列),ylabel(信号幅);%xlabel(),ylabel(sym8);%grid on;clear % - executes on button press in pushbutton11.function pushbutton11_callback(hobject, eventdata, handles)% hobject handle to pushbutton11 (see gcbo)% eventdata reserved - to be define

38、d in a future version of matlab% handles structure with handles and user data (see guidata)global moodle ;testdb(测试,1,moodle)精品.% - executes on button press in pushbutton12.function pushbutton12_callback(hobject, eventdata, handles)% hobject handle to pushbutton12 (see gcbo)% eventdata reserved - to

39、 be defined in a future version of matlab% handles structure with handles and user data (see guidata)global moodle;moodle = train(实时模板,1) % - executes on selection change in popupmenu3.function popupmenu3_callback(hobject, eventdata, handles)% hobject handle to popupmenu3 (see gcbo)% eventdata reser

40、ved - to be defined in a future version of matlab% handles structure with handles and user data (see guidata)% hints: contents = get(hobject,string) returns popupmenu3 contents as cell array% contentsget(hobject,value) returns selected item from popupmenu3str=get(handles.popupmenu3,string); val=str2num(strget(handles.popupmenu3,value);switch val case 1 case 2 case 3 case 4 case 5 case 6 case 7 case 8精品. case 9 end% - executes during object creation, after setting all properties.function popu