情感语音识别研究综述

情感语音识别研究综述

导师：陶智肖仲喆研究生：沈燕内容概要课题背景及意义情感语音研究综述研究方向选择课题背景及意义语音是人类最有效、最自然的交流沟通手段,除了包含语义信息外,还携带有丰富的情感信息。人们的情感包括生理上的感觉，认知以及人们的行为举止。情感语音识别可应用于聋哑人学说话；电视调台；热线电话。研究综述——涉及的问题语音情感分类学语音库声学参量分类方法研究综述-语音情感分类学情感语音并没有统一的模型空间情感模型

情感轮等离散情感模型

高兴，愤怒，悲伤，平静，害怕，厌恶每类模型内部无定论模型的选取依赖于应用[1]林奕琳,韦岗,杨康才,语音情感识别的研究进展.电路与系统学报,2007.12(1):第90-98页.研究综述-语音库的选择现有的情感语言库有很多公开库，私有库，商用库[2]I.S.EngbergandA.V.Hansen,“DocumentationoftheDanishEmo-tionalSpeechDatabase(DES),”InternalAAUreport,CenterforPersonKommunikation,Denmark,1996.[3]F.Burkhardt,A.Paeschke,M.Rolfes,W.Sendlmeier,B.Weiss,AdatabaseofGermanemotionalspeech,in:ProceedingsoftheInterspeech2005,Lissabon,Portugal,2005,pp.1517–1520.名称性质语言Berlinemotionaldatabase[2]公开库德语Danishemotionaldatabase[3]公开库丹麦语Natural私有库普通话BabyEars私有库英语研究综述-声学参量情感语音的最佳特征：全局统计特征&局部特征

特征参数优化多类特征组合[4]M.E.Ayadi,M.S.Kamel,andF.Karray,“SurveyonSpeechEmotionRecognition:Features,ClassificationSchemes,andDatabases,”PatternRecognition,vol.44,no.3,pp.572-587,Mar.2011.研究综述-情感语音的最佳特征SpeechFeaturesContinuousQualitativeSpectralTEO-BasedPitchDurationFormantsVoicequality:happy,tense,angryLPCCMFCC[5]Kim,E.H.,Hyun,K.H.,“ImprovedEmotionRecognitionWithaNovelSpeaker-IndependentFeature,”IEEETransactionsonMechatronics,2009,14(3):317-325.[6]H.Teager,Someobservationsonoralairflowduringphonation,IEEETrans.Acoust.SpeechSignalProcess.1990,28(5):599–601.研究综述-特征参数优化

浮动前向选择（SFFS）主成分分析（PCA）线性判别分析（LDA）[7]D.VerveridisandC.Kotropoulos,“AutomaticSpeechClassificationtofiveemotionalstatesbasedongenderinformation,”inProc.12thEuropeanSignalProcessingConf.,pp.341-344,Vienna,September,2004.[8]Z.Chuang,C.Wu,Emotionrecognitionusingacousticfeaturesandtextualcontent,MultimediaandExpo,2004.IEEEInternationalConferenceonICME’04,vol.1,2004,pp.53–56.[9]M.You,C.Chen,J.Bu,J.Liu,J.Tao,Emotionrecognitionfromnoisyspeech,in:IEEEInternationalConferenceonMultimediaandExpo,2006,2006,pp.1653–1656l.研究综述-多类特征组合

结合韵律特征与语意信息结合韵律特征、语意信息以及语言结构结合韵律特征以及视频信息（人脸识别）[10]Chung-HsienWu,Wei-BinLiang,“EmotionRecognitionofAffectiveSpeechBasedonMultipleClassifiersUsingAcoustic-ProsodicInformationandSemanticLabels,”IEEETransactionsonAffectiveComputing,2011,2(1):10-21.[11]T.Otsuka,J.Ohya,Recognizingmultiplepersons’facialexpressionsusinghmmbasedonautomaticextractionofsignificantframesfromimagesequences,in:ProceedingsoftheInternationalConferenceonImageProcessing(ICIP-97),1997,pp.546–549.研究综述-分类方法

GMM，SV