智能机器人的语音识别

智能机器人的语音识别语音识别概述最近，由于其重大的理论意义和实用价值，语音识别已经受到越来越多的关注。到现在为止，多数的语音识别是基于传统的线性系统理论，例如隐马尔可夫模型和动态时间规整技术。随着语音识别的深度研究，研究者发现，语音信号是一个复杂的非线性过程，如果语音识别研究想要获得突破，那么就必须引进非线性系统理论方法。最近，随着非线性系统理论的发展，如人工神经网络，混沌与分形，可能应用这些理论到语音识别中。因此，本文的研究是在神经网络和混沌与分形理论的基础上介绍了语音识别的过程。语音识别可以划分为独立发声式和非独立发声式两种。非独立发声式是指发音模式是由单个人来进行训练，其对训练人命令的识别速度很快，但它对与其他人的指令识别速度很慢，或者不能识别。独立发声式是指其发音模式是由不同年龄，不同性别，不同地域的人来进行训练，它能识别一个群体的指令。一般地，由于用户不需要操作训练，独立发声式系统得到了更广泛的应用。所以，在独立发声式系统中，从语音信号中提取语音特征是语音识别系统的一个基本问题。语音识别包括训练和识别，我们可以把它看做一种模式化的识别任务。通常地，语音信号可以看作为一段通过隐马尔可夫模型来表征的时间序列。通过这些特征提取，语音信号被转化为特征向量并把它作为一种意见，在训练程序中，这些意见将反馈到HMM的模型参数估计中。这些参数包括意见和他们响应状态所对应的概率密度函数，状态间的转移概率，等等。经过参数估计以后，这个已训练模式就可以应用到识别任务当中。输入信号将会被确认为造成词，其精确度是可以评估的。整个过程如图一所示。图1语音识别系统的模块图

3、理论与方法从语音信号中进行独立扬声器的特征提取是语音识别系统中的一个基本问题。解决这个问题的最流行方法是应用线性预测倒谱系数和Mel频率倒谱系数。这两种方法都是基于一种假设的线形程序，该假设认为说话者所拥有的语音特性是由于声道共振造成的。这些信号特征构成了语音信号最基本的光谱结构。然而，在语音信号中，这些非线形信息不容易被当前的特征提取逻辑方法所提取，所以我们使用分型维数来测量非线形语音扰动。本文利用传统的LPCC和非线性多尺度分形维数特征提取研究并实现语音识别系统。3.1线性预测倒谱系数线性预测系数是一个我们在做语音的线形预分析时得到的参数，它是关于毗邻语音样本间特征联系的参数。线形预分析正式基于以下几个概念建立起来的，即一个语音样本可以通过一些以前的样本的线形组合来快速地估计，根据真实语音样本在确切的分析框架（短时间内的）和预测样本之间的差别的最小平方原则，最后会确认出唯一的一组预测系数。LPC可以用来估计语音信号的倒谱。在语音信号的短时倒谱分析中，这是一种特殊的处理方法。信道模型的系统函数可以通过如下的线形预分析来得到：E=；1-Wk=]其中p代表线形预测命令，3，（k=1，2，……，p）代表预测参数，脉冲响应用f\h（n）来表示，假设h（n）的倒谱是■■■■；■■■■-o那么（1）式可以扩展为（2）式：(2)AAH（z）=In//（z）=£力f砂=”n=](2)将（1）带入（2），两边同时，（2）变成（3）。将（1）带入（2），两边同时，（2）变成（3）。__5,]沱In，I-Ez-=]就获得了方程（4）：

n-£危)工"。必"=Ykak(4)那么可以通过八来获得。八h(n)=0由/?<0n=1n-1，劣+£，ik=1-—)akh(n-k)n1<np(5)n-1<女Tk&~)akh(n-k)nnNp(5)中计算的倒谱系数叫做LPCC,n代表LPCC命令。在我们采集LPCC参数以前，我们应该对语音信号进行预加重，帧处理，加工和终端窗口检测等，所以，中文命令字“前进”的端点检测如图2所示，接下来，断点检测后的中文命令字“前进”语音波形和LPCC的参数波形如图3所示。图2中文命令字“前进”的端点检测(K()IFruun9nntliiFBr图3断点检测后的中文命令字“前进”语音波形和LPCC的参数波形3.2语音分形维数计算分形维数是一个与分形的规模与数量相关的定值，也是对自我的结构相似性的测量。分形分维测量是[6-7]。从测量的角度来看，分形维数从整数扩展到了分数，打破了一般集拓扑学方面被整数分形维数的限制，分数大多是在欧几里得几何尺寸的延伸。有许多关于分形维数的定义，例如相似维度，豪斯多夫维度，信息维度，相关维度，容积维度，计盒维度等等，其中，豪斯多夫维度是最古老同时也是最重要的，它的定义如【3】所示：D=ImdiiWa(F)/]n5]J(6)其中，史，表示需要多少个单位来覆盖子集F.Ds(F)端点检测后，中文命令词“向前”的语音波形和分形维数波形如图4所示。图4端点检测后，中文命令词“向前”的语音波形和分形维数波形3.3改进的特征提取方法考虑到LPCC语音信号和分形维数在表达上各自的优点，我们把它们二者混合到信号的特取中，即分形维数表表征语音时间波形图的自相似性，周期性，随机性，同时，LPCC特性在高语音质量和高识别速度上做得很好。由于人工神经网络的非线性，自适应性，强大的自学能力这些明显的优点，它的优良分类和输入输出响应能力都使它非常适合解决语音识别问题。由于人工神经网络的输入码的数量是固定的，因此，现在是进行正规化的特征参数输入到前神经网络［9］，在我们的实验中，LPCC和每个样本的分形维数需要分别地通过时间规整化的网络，LPCC是一个4帧数据（LPCC1,LPCC2,LPCC3,LPCC4,每个参数都是14维的），分形维数被模范化为12维数据，（FDi，FD2，„FDi2,每一个参数都是一维），以便于每个样本的特征向量有4*14+12*1=68-D维，该命令就是前56个维数是LPCC，剩下的12个维数是分形维数。因而，这样的一个特征向量可以表征语音信号的线形和非线性特征。自动语音识别的结构和特征自动语音识别是一项尖端技术，它允许一台计算机，甚至是一台手持掌上电脑(迈尔斯，2000)来识别那些需要朗读或者任何录音设备发音的词汇。自动语音识别技术的最终目的是让那些不论词汇量，背景噪音，说话者变音的人直白地说出的单词能够达到100%的准确率(CSLU，2002)。然而，大多数的自动语音识别工程师都承认这样一个现状，即对于一个大的语音词汇单位，当前的准确度水平仍然低于90%。举一个例子，Dragon'sNaturallySpeaking或者IBM公司，阐述了取决于口音，背景噪音，说话方式的基线识别的准确性仅仅为60%至80%(Ehsani&Knodt,。更多的能超越以上两个的昂贵的系统有Subarashii(Bernstein,etal.,,EduSpeak(Franco,etal.,2001),Phonepass(Hinks,2001),ISLEProject(Menzel,etal.,2001)andRAD(CSLU,2003)。语音识别的准确性将有望改善。在自动语音识别产品中的几种语音识别方式中，隐马尔可夫模型(HMM)被认为是最主要的算法，并且被证明在处理大词汇语音时是最高效的(Ehsani&Knodt,1998)。详细说明隐马尔可夫模型如何工作超出了本文的范围，但可以在任何关于语言处理的文章中找到。其中最好的是Jurafsky&Martin(2000)andHosom,Cole,andFanty(2003)。简而言之，隐马尔可夫模型计算输入接收信号和包含于一个拥有数以百计的本土音素录音的数据库的匹配可能性(Hinks,2003,p.5)。也就是说，一台基于隐马尔可夫模型的语音识别器可以计算输入一个发音的音素可以和一个基于概率论相应的模型达到的达到的接近度。高性能就意味着优良的发音，低性能就意味着劣质的发音(Larocca,etal.,1991)。虽然语音识别已被普遍用于商业听写和获取特殊需要等目的，近年来，语言学习的市场占有率急剧增加(Aist,1999;Eskenazi,1999;Hinks,2003)。早期的基于自动语音识别的软件程序采用基于模板的识别系统，其使用动态规划执行模式匹配或其他时间规范化技术(Dalby&Kewley-Port,1999).这些程序包括TalktoMe(Auralog,1995),theTellMeMoreSeries(Auralog,2000),Triple-PlayPlus(Mackey&Choi,1998),NewDynamicEnglish(DynEd,1997),EnglishDiscoveries(Edusoft,1998),andSeeit,HearIt,SAYIT!(CPI,1997)。这些程序的大多数都不会提供任何反馈给超出简单说明的发音准确率，这个基于最接近模式匹配说明是由用户提出书面对话选择的。学习者不会被告之他们发音的准确率。特别是内里，（2002年）评论例如TalktoMe和TellMeMore等作品中的波形图，因为他们期待浮华的买家，而不会提供有意义的反馈给用户。TalktoMe2002年的版本已经包含了更多Hinks（2003）的特性，比如，信任对于学习者来说是非常有用的：一个视觉信号可以让学习者把他们的语调同模型扬声器发出的语调进行对比。学习者发音的准确度通常以数字7来度量（越高越好）★那些发音失真的词语会被识别出来并被明显地标注。附件2：外文原文（复印件）Improvedspeechrecognitionmethod

forintelligentrobot2、OverviewofspeechrecognitionSpeechrecognitionhasreceivedmoreandmoreattentionrecentlyduetotheimportanttheoreticalmeaningandpracticalvalue[5].Uptonow,mostspeechrecognitionisbasedonconventionallinearsystemtheory,suchasHiddenMarkovModel(HMM)andDynamicTimeWarping(DTW).Withthedeepstudyofspeechrecognition,itisfoundthatspeechsignalisacomplexnonlinearprocess.Ifthestudyofspeechrecognitionwantstobreakthrough,nonlinear-systemtheorymethodmustbeintroducedtoit.Recently,withthedevelopmentofnonlinea-systemtheoriessuchasartificialneuralnetworks(ANN),chaosandfractal,itispossibletoapplythesetheoriestospeechrecognition.Therefore,thestudyofthispaperisbasedonANNandchaosandfractaltheoriesareintroducedtoprocessspeechrecognition.Speechrecognitionisdividedintotwowaysthatarespeakerdependentandspeakerindependent.Speakerdependentreferstothepronunciationmodeltrainedbyasingleperson,theidentificationrateofthetrainingperson?sordersishigh,whileothers’ordersisinlowidentificationrateorcan’tberecognized.Speakerindependentreferstothepronunciationmodeltrainedbypersonsofdifferentage,sexandregion,itcanidentifyagroupofpersons’orders.Genejspeilyerindependentsystemismorewidelyused,sincetheuserisnotrequiredtoconductthetraining.Soextractionofspeakerindependentfeaturesfromthespeechsignalisthefundamentalproblemofspeakerrecognitionsystem.Speechrecognitioncanbeviewedasapatternrecognitiontask,whichincludestrainingandrecognition.Generally,speechsignalcanbeviewedasatimesequenceandcharacterizedbythepowerfulhiddenMarkovmodel(HMM).Throughthefeatureextraction,thespeechsignalistransferredintofeaturevectorsandactasobservations.Inthetrainingprocedure,theseobservationswillfeedtoestimatethemodelparametersofHMM.Theseparametersincludeprobabilitydensityfunctionfortheobservationsandtheircorrespondingstates,transitionprobabilitybetweenthestates,etc.Aftertheparameterestimation,thetrainedmodelscanbeusedforrecognitiontask.Theinputobservationswillberecognizedastheresultedwordsandtheaccuracycanbeevaluated.ThewholeprocessisillustratedinFig.1.Fig.1Blockdiagramofspeechrecognitionsystem3TheoryandmethodExtractionofspeakerindependentfeaturesfromthespeechsignalisthefundamentalproblemofspeakerrecognitionsystem.ThestandardmethodologyforsolvingthisproblemusesLinearPredictiveCepstralCoefficients(LPCC)andMel-FrequencyCepstralCo-efficient(MFCC).Boththesemethodsarelinearproceduresbasedontheassumptionthatspeakerfeatureshavepropertiescausedbythevocaltractresonances.Thesefeaturesformthebasicspectralstructureofthespeechsignal.However,thenon-linearinformationinspeechsignalsisnoteasilyextractedbythepresentfeatureextractionmethodologies.Soweusefractaldimensiontomeasurenon2linearspeechturbulence.ThispaperinvestigatesandimplementsspeakeridentificationsystemusingbothtraditionalLPCCandnon-linearmultiscaledfractaldimensionfeatureextraction.3.1LinearPredictiveCepstralCoefficientsLinearpredictioncoefficient(LPC)isaparametersetwhichisobtainedwhenwedolinearpredictionanalysisofspeech.Itisaboutsomecorrelationcharacteristicsbetweenadjacentspeechsamples.Linearpredictionanalysisisbasedonthefollowingbasicconcepts.Thatis,aspeechsamplecanbeestimatedapproximatelybythelinearcombinationofsomepastspeechsamples.Accordingtotheminimalsquaresumprincipleofdifferencebetweenrealspeechsampleincertainanalysisframe

short-timeandpredictivesample,theonlygroupofpredictioncoefficientscanbedetermined.U)LPCcoefficientcanbeusedtoestimatespeechsignalcepstrum.Thisisaspecialprocessingmethodinanalysisofspeechsignalshort-timecepstrum.Systemfunctionofchannelmodelisobtainedbylinearpredictionanalysisasfollow.U)II(=)k=]Whereprepresentslinearpredictionorder,ak,(k=1,2,...,p)representspredictioncoefficient,Impulseresponseisrepresentedbyh(n).SupposeAcepstrumofh(n)isrepresentedby「’,then(1)canbeexpandedas(2).A//(z)=ln/Z(z)*A£h(n)znn=][nuuduce(1)inio(2),andderivefonbothsides,(2)ischangediiw(3)1如In]".履纽*Equation(4)isobtained:p-a(\-A//(z)=ln/Z(z)[nuuduce(1)inio(2),andderivefonbothsides,(2)ischangediiw(3)1如In]".履纽*Equation(4)isobtained:p-a(\-£位二。Vnh(n)E=]Ah(n)£n(3)0口］zk劣-£fl-土mknakh(n-k)1<nWp(5)Ah(n-k)u五pThecepstrumcoefficientcalculatedinthewayof(5)iscalledLPCC,nrepresentsLPCCorder.WhenweextractLPCCparameterbefore,weshouldcarryonspeechsignalpre-emphasis,framingprocessing,windowingprocessingandendpointsdetectionetc.,sotheendpointdetectionofChinesecommandword“Forward”isshowninFig.2,next,thespeechwaveformofChinesecommandword“Forward”andLPCCparameterwaveformafterEndpointdetectionisshowninFig.3.I(MX)2(MM)31XM1400()5(KM)7(KM)KFKKISElinjilili|rPuiril]'2EndpohtdetectionofChiiese

cdninandword"lorwardSiinp|iii]£Pnini1I11.L‘i.—■JF%10152()25M济加45同FniiTu4^uuil^rI「诺3SpeechwaveftjmiofChiiesecommandword

"Furwiird”andLPCCparameterwavefonn

afterendpniitdetectkm3.2SpeechFractalDimensionComputationFractaldimensionisaquantitativevaluefromthescalerelationonthemeaningoffractal,andalsoameasuringonself-similarityofitsstructure.Thefractalmeasuringisfractaldimension[6-7].Fromtheviewpointofmeasuring,fractaldimensionisextendedfromintegertofraction,breakingthelimitofthegeneraltopologysetdimensionbeingintegerFractaldimension,fractionmostly,isdimensionextensioninEuclideangeometry.Therearemanydefinitionsonfractaldimension,eg.,similardimension,Hausdoffdimension,inforationdimension,correlationdimension,capabilityimension,box-countingdimensionetc.,where,Hausdoffdimensionisoldestandalsomostimportant,foranysets,itisdefinedas[3].D=Jhif]nV/6(F)/]r^J)(6)Where,M£(F)denoteshowmanyunit£neededtocoversubsetF.Inthispaper,theBox-Countingdimension(DB)of,F,isobtainedbypartitioningtheplanewithsquaresgridsofside£,andthenumberofsquaresthatintersecttheplane(N(£))andisdefinedas[8].八/尸』.mmfDB(F)=Im(7)J。In(1/z)ThespeechwaveformofChinesecommandword“Forward”andfractaldimensionwaveformafterEndpointdetectionisshowninFig.4.3.3Improvedfeatureextractionsmethod

ConsideringtherespectiveadvantagesonexpressingspeechsignalofLPCCandfractaldimension,wemixbothtobethefeaturesignal,thatis,fractaldimensiondenotestheself2similarity,periodicityandrandomnessofspeechtimewaveshape,meanwhileLPCCfeatureisgoodforspeechqualityandhighonidentificationrate.115002mi2500")0015(X1I'nimIi*1LI5KJ152025JKI354045醐55FrHIIEr115002mi2500")0015(X1I'nimIi*1LI5KJ152025JKI354045醐55FrHIIEr代HmbrrDuetoANN'snonlinearity,self-adaptability,robustandself-learningsuchobviousadvantages,itsgoodclassificationandinput2outputreflectionabilityaresuitabletoresolvespeechrecognitionproblem.DuetothenumberofANNinputnodesbeingfixed,thereforetimeregularizationiscarriedouttothefeatureparameterbeforeinputtedtotheneuralnetwork[9].Inourexperiments,LPCCandfractaldimensionofeachsampleareneedtogetthroughthenetworkoftimeregularizationseparately,LPCCis4-framedata(LPCC1,LPCC2,LPCC3,LPCC4,eachframeparameteris14-D),fractaldimensionisregularizedtobe12-framedata(FD1,FD2,...,FD12,eachframeparameteris1-D),sothatthefeaturevectorofeachsamplehas4*14+1*12=68-D,theorderis,thefirst56dimensionsareLPCC,therest12dimensionsarefractaldimensions.Thus,suchmixedfeatureparametercanshowspeechlinearandnonlinearcharacteristicsaswell.ArchitecturesandFeaturesofASRASRisacuttingedgetechnologythatallowsacomputerorevenahand-heldPDA(Myers,2000)toidentifywordsthatarereadaloudorspokenintoanysound-recordingdevice.TheultimatepurposeofASRtechnologyistoallow100%accuracywithallwordsthatareintelligiblyspokenbyanypersonregardlessofvocabularysize,backgroundnoise,orspeakervariables(CSLU,2002).However,mostASRengineersadmitthatthecurrentaccuracylevelforalargevocabularyunitofspeech(e.g.,thesentence)remainslessthan90%.Dragon'sNaturallySpeakingorIBM'sViaV)ice,forexample,showabaselinerecognitionaccuracyofonly60%to80%,dependinguponaccent,backgroundnoise,typeofutterance,etc.(Ehsani&Knodt,1998).MoreexpensivesystemsthatarereportedtooutperformthesetwoareSubarashii(Bernstein,etal.,1999),EduSpeak(Franco,etal.,2001),Phonepass(Hinks,2001),ISLEProject(Menzel,etal.,2001)andRAD(CSLU,2003).ASRaccuracyisexpectedtoimprove.AmongseveraltypesofspeechrecognizersusedinASRproducts,bothimplementedandproposed,theHiddenMarkovModel(HMM)isoneofthemostdominantalgorithmsandhasproventobeaneffectivemethodofdealingwithlargeunitsofspeech(Ehsani&Knodt,1998).DetaileddescriptionsofhowtheHHMmodelworksgobeyondthescopeofthispaperandcanbefoundinanytextconcernedwithlanguageprocessing;amongthebestareJurafsky&Martin(2000)andHosom,Cole,andFanty(2003).Putsimply,HMMcomputestheprobablematchbetweentheinputitreceivesandphonemescontainedinadatabaseofhundredsofnativespeakerrecordings(Hinks,2003,p.5).Thatis,aspeechrecognizerbasedonHMMcomputeshowclosethephonemesofaspokeninputaretoacorrespondingmodel,basedonprobabilitytheory.Highlike