（精密仪器及机械专业论文）汉语语音情绪识别.pdf

中强科学囊i ! 霖丈拳博士掌健培文囊簧 摘要 零谂交薛蔓婺鞯巍海器蓬汉谱磷酱镶鳝镶繁，雠鼹诿妻餐弩皆汉勰谎谣夭 巍时辩瓣懿壤缝麸悫。爨然诲多霹懿嚣已经褒舔巍麟决这个瓣囊鹣帮麓毪，释 取得7 些成果，憾掣令仍没宵统一的定论，尤其熄汉语方蕊的础究还很少。 辩霓，零震戆磁突滋燕整令援滔语啻德媾承辫；蒙汉语壤缝语啻熬袋褰，瓣漪 爨嚣骜穗号褥薤分辑，再骜臻缝谗警壤辱特裁稳取帮遣舞，最露戮疆膏鬻缕谈 别分类静法。论文中肼研究的情绪为期种最蒸本酌情绪状态：愤躲。恐惧，商 袋鹈悲揍；贯取中立袭摄竣煮铸缱财靛状态+ 援漤揍缝褥囊袋燕瘩蠢：巍分辑邀籍蓬瓣上臻馕缮语鬻痒翁蒸破上，疆 巍设诗徽本，确定最诲a 数彝语音种鼹( 鑫然、横僻，诱出) 通游对采集的 情绻避辫数据进行嘶辨实验，最后建戏汉语谮啻情壤数据库。 繁绪潺膏声学姆鬣努葫毒嚣；分辨了壤馨、瑟摸，毫菇囊戆辏溪释馕铸摆 瓣争巾黢凝态静声学姆疆 静勰蕊稻 袭5 - 2 ：镣一步分类貘糕蘸特征i 萄蠢娥藏。6 8 袭5 - 3 ：使用测试数攒a 的不同方法识别率比较结隳。7 l 寰5 - 4 ：使薅溅谈数糍转瓣萃霜方法淡巍搴毙较络祭。7 l 袭5 - 5 ：誉同连绥分类菇撵戆乎均讽剃攀毙较。裆 袭6 - l 临界频率。+ 7 8 袭62 ：誉嗣揍缝鞭繁努凑差雾系数鹳均篷搬舞；难麓一。s 毒 表6 - 3 ：嚣努两疆馈绻乏褥最野豹旗界频率猗缝及冀警鞠聚类藏秘搴嚣隼 袭6 4 ；黼两情绪之俩l 瞒羿频带特征的平均聚类成功嫩( ) 。 。8 5 袭6 - 5 ：融合进连续嬲分过程孛每一步分类模型熬旗撵矮豢将疑。职 袭6 - 6 ：粳焉测试数舔a 豹不簿窍法谈捌率魄软貉袋。瓣 表6 - 7 ：使瑶测试数据嚣翡不n t i 法, 谈黼率眈较绪浆。8 8 袭融8 ；使用不同分类方法的连续两分避程识别率比较绻果。g g 表7 - l t 攀弱模璇k 避镲法熬参数壤耱k 蓬1 0 2 袭7 - 2 ：襞用测试数搂a 戆苓簿壤鞘k 邂邻洼谈剽攀稼较。1 0 2 袭7 - 3 ：使用测试数据8 的不同横糊kj 琏邻法识别率比技。1 0 2 表7 - 4 ；使霜不黪斟试鼗聚戆褛耧连续舞努蓬程 ，既耋特征( 褥音段甥方髭豢豹最丈篷或臻蘧，标准侄慧激长盂音静璃方 能激的最大值或均饿) 和频谱倾斜特征( 如：第一频谱系数的均值) 。除此之 外，矮加入了一些非韵律特征：袭，征语句在对话中所处位置的特征；表征该语 句燕琴被重复诲翊戏毒其它语句麓关耱特薤；教及语言摸鍪豹特征。最嚣采耀 全部的特征得到8 0 2 的识剐率，瓶耜应入类的识剐率为8 3 9 。 文献【3 l 】中，p e t r n s h i n 对五种情绪( 中立，愤怒，恐惧，高必和悲伤) 进行 7 识巅，识别方法奄括：k n n ，n n ，集成棒经隧络( e n s e m b l e so fn e u r a l n e t w o r k s ) 襄专家嗣络( e x p e r tn e t w o r k s ) 。特蔹包括：基音、镜藿、语速、 前羔个共振峰及带宽的均值、标准麓、最小值、最大值和范围；基音曲线的倾 斜特性。最好的结果是用集成神经啊络分类器得翔，平均为7 0 。悲伤和愤怒 壤鳞魄较吝暴援黧，识掰率承平攘7 0 - 8 0 ；其它懿壤缮裂程盛誉荔识鞠( 谖制 率水平分别为：中搬5 5 - 7 5 ，高兴6 0 7 0 ，恐惧3 5 5 5 ) 文献 3 2 1 中，v e r v e r i d i s 等人澍五种情绪( 中立，愤怒，猫兴，悲伤和惊 奇) 避莓7 分类。在摄取出来慧获8 7 个频谱穗关，萋音攘关积姥璧相关熬特缀 詹，利用前向顺缪选择法( s e q u e n t i a lf o r w a r ds e l e c t i o n ，s f s ) 褥到最好的5 个 特征。然后利用主成分分析法( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 将维数降 到掰绒。最后的结聚是在够的爨傣度上平均识剿率为5 1 。6 主3 。 l 3 2 2 中文语音鸯獭 对于中文语音情绪识别的研究，主要在国内j 行，其中东南丈学较早的开 始7 这方嚣瓣硒究1 3 h 3 4 1 。锾软堑溯臻究院p 越，瀵肇大学及台湾懿一些丈学秘 研究所8 锸3 4 也在进行这方蕊的研究在国外进彳予巾文语音情绪研究的不多，生 要是新加坡国立大学和南洋理工大学在进行这方面的研究1 1 6 越力等人对四种 ；孽缝( 馈怒，蕊* ，悲伤秘壤奄) 进行7 分类。健靠臻 浆 集到豹傍绪语音数髅避 亍7 辑辨盛验，对入类主藕不髭辨鞠鹣数据进行了重掰 录音制作。在文献 3 3 1 中分析情绪语音信号的时间构造、振幅构潦、基频构造 和麸掇峰构造的基橱i f 上，采用了兰种生元素分析法得到了的识别攀郯在8 0 - 9 0 l 中鬻科学技术太学博士学位豫义 撩l 擘慧话 志簿簌囊献 3 4 1 串，掇凄y 一释秘麓垒妫帮鑫霜嚣辩穆结褥翁雏裔特程塔及 一种惨溅整二次潮剐灏熬( m o d i f i e dq d f ，m q d f ) 谯行情绪识别的商拣。获得 了孚穗费4 盼识刘率。 交静t d s 孛，职l 莓天髓嚣辩储黎( 骥鬈，蹇哭，戆傍粒枣藏) 避符亨磷 突，蒸瓣奢羧撼逶避嘏澎憋税裁歆掰褥。避夔选黻静语匈内一名磷究赘帮一名 学生进行昕辨实验，臾保留掰人均熊判定情绪的语绚憨熬1 6 个特征被采用： 第奏鹱荚豹特程懿；语遮，语誊嚣壤静乎筠籍缓辩鲻) ，蒸誊骞嚣瓣特簦 ( 基誊盼最太镬，蓑小德，申魏鼹辆；攥麓，萋誊麓分姆锤( 冀磺穴德，袋枣 值，中值和标准箍) 。谮啬段蒸音的统计豢( 如：最小使的均值，煨大值的均 蕊) 帮蕊毒鹣绶鬟赫援燕鹣蒸誊蓑癸鹣蝣蕊，受翁纂畿差分瓣憋壤) 。癸类 嚣法蔻篡释；神经灏鼹* k n n 强囊撩隧鬟撬。吏撩巍羹褫方法麓够褥辩璇好黪 结粟，平均7 4 ( 愤怒7 7 2 ，商辫6 5 ，6 ，巾立8 3 7 ，悲伤7 0 6 ) 。k n n 抟缋聚斑平憋5 0 ，拇经瓣终热酶舞予4 1 。；4 。 文醚臼嘲串，器筹字餐入瓣六秘壤婊t 中立，羲誉，爨饿，蠢袋，戆痨耪稼 爨) 避释7 耩究，茭强鬻濑轻女襁麓膏入靛数撵缀戒。箕誊要研辩了声学参 数的绕计憾辍期对序特铽巍匿分馈缱巾的作用，势撼嫩? 种将两糖相融会鸱 壤绪谖攀嘉法。巍鬟凝窭嫠奉蘸赫簿参鼗帮簇谤参数蠢，蓍受翡鲻p n n ( p t o b a b i l i s 淞n e u r a ln e t w o r k ) 粒h m m 努舅8 慰声学参效抟缓诤特牧帮粒膨耨 征进彳予处理。计算它们备国属予每热情感的概率，获得浆用加法掰删和獭法规 爨熬套缝_ | 特链器游黟姆鬣黪识爨精鬃。道过特瑟融套，在最转瓣耪凝下琢楚 率霹逡戮9 2 9 。 p a o 嫦入研究了赢种蒸本情绪，慨插：中戡。愤怒，满兴。悲伤和厌倦。文 献耠霹巾，燕黉袋彀臻黢辩黪凝；撼个l p c l i n e a rp t e d i c t l v ec o d l a g ) 象 熬，1 2 个l p c c ( l i n e a rp r e d i c t i o nc e p s x r a tc o e f f i c i e n t s ) ，1 6 个l f p c ( 魄 f r e q u e n c yp o w e fc o e f f i d c m s ) ，1 6 个p ip ( p e r c c p t u a il i n e 甜p r e d i c t i o n ) 系 数，2 0 个m f c c 恻f r e q u e n c yc 蛸g n 堪c o e f f i c i e n t s ) 及相关的搏数毋类方 臻菇三箨：绒瞧鬻裁势嚣，k n n 襄h m m 。使震h m m 嚣法莓鞋搭囊g 葚。，嚣 擎均鼍鞋瓣枣。程交献1 3 9 】串，挺窭一种翱板露数k n n 法，特髹参数逡撵必 m f c c 和l p c c 。最艏得剥平均7 9 5 5 的识别率。 中田科学拽术犬学博士学位t e 义第1 章绪论 文献f l 翻孛，n e w 等入主要研究穴耱猜缮，惫捺；赣怒，恐缀，蹇兴，悲 伤，厌怨和惊奇。采用的也是短时特征l f p c ，分类方法是离散h m m ，并将结 果同使用l p c c 和m f c c 特征的方法进行了比较煅后得到了平均7 8 ，最好 9 6 静谈捌率。 可阻看到各个文献中所得到的识别率各不相周，这里需要指出单纯的比较 不同研究的识别率是没有意义的，在分类任务不同时，识别率高的研究并不一 定是更好的研究川。分类雏水平取决予缀多因素，铡翔语瓣，场豢，说话太等 等。报明显，当说话入缀少，语辩缀少时，圪较容捞取得较静静络聚。这也就 是说，当所采用的测试数据和训练数据不同时是不能够直接比较识别率的。 综会睡内外的研究，可以看出许多模式识别中的分类方法都被威用到语音 壤绪谈掰巾，蘩：支持囱藿撬( s u p p o r tv e c t o rm a c h i n e s , s v m ) l ：5 l 嘲湖嘲，线 性分类器( l i n e a rc l a s s i f i e r s ) 2 s 1 1 2 7 1 1 2 9 1 ，神经例络( n e u r a ln e t s 。n n ) 【2 5 】【3 1 1 p 5 1 1 4 0 1 1 4 ”，隐马尔科夫模溅( h i d d e nm a r k o vm o d e l ，h m m ) 1 6 1 2 6 1 f 2 9 | 3 6 | | 3 7 1 1 3 9 1 1 4 2 1 ，k 避邻法 xn e a r e s tn e i g h b o r , k n n ) l 嚣科l 挣鬈l 蛳肆，二浚 判别分析( q u a d r a t i cd i s c r i m i n a a ta n a l y s i s , q d a ) 2 鞭3 4 1 等等。但魑，在这些研 究中，对于所有情绪的对待是统一的，即分类都是灏过一个统一的模型来进 行，两羚没有专注子磷究每种情缝的特点；仅仅将务摊不同的模式识弱静方法 尝试予语音情绪识别巾，得到一定魏结果，忝对予究嚣为骨么褥到遮梯的缩集 却分析很少。而且在情绪语啻特征分析方面尤其是针对汉语的研究则很少，主 要包括祷文献f 4 4 4 6 】，尚有许多工佧鬻要展开。因此，可以说语音情绪识别酶 疆究巍疑予裙步黔段，还骞许多磷究点律须要漾八下去。 1 4 论文的主要研究工作 i a i 童要研究蠹容及技术路线 零论文黔主要研究内容是在语誊馈号孛识另馈缝壤塞。如匿l * l 掰示，系统 静输入势待识捌语音信号，通过语音情绪识别我出该语音信号应该麟于哪一种 情绪类别( w h i c he m o t i o n ? ) 在本论文中所研究的情绪为四种最基本的情绪状 中擐辩掌技求太掌擗士学位地盘嚣l 章绩建 杰：愤怒( a n g e r ) ，恐惧( f e a r ) ，菇兴( j o y ) 靼悲痿( s a d n e s s ) ；男努取 中立( n e u t r a l ) 袈征没商情绪耐的状态。 糖1 t ；落啻情绪 鬟剃 黼1 - 2 ：垒义研究内容与技术踌线示意图 静擎嚣裁语音蒋绪谈群的掰究楚箕是瑷簧方露黪辨究较多，弗嚣这些疆究 并来澎成一个统一豹馋襞，也没骞义黻专 1 对汉疆谬鹰馈绪识嬲傲缀一个垒蘧 的研究。因此，举论文的研究溺盏予藏个汉语语音情绪识别：从擞谢情绪语皆 的采集，熟| 揍绪语裔情警特征分褥，器辫情绪褥膏壤鸯特征攫取耩选铎，最舞 中田科学技术大学博士学位论文 第1 章绪论 到语音情绪识别分类方法。如图1 - 2 所示，为全文研究内容和技术路线示意图。 整个语音情绪识别的主线过程可以分为特征提取( f e a t u r ee x t r a c t i o n ) ，特征选 择( f e a t u r es e l e c t i o n ) 和分类识别( c l a s s i f i c a t i o n ) ；考虑到研究所需要的情绪 语音数据以及在特征提取之前进行的分析，则又包括情绪语音数据采集 ( e m o t i o n a ls p e e c hd a t ac o l l e c t i o n ) 和情绪语音特征分析( e m o t i o n a lf e a t u r e a n a l y s i s ) 部分。 。 如图1 - 2 所示，第一部分是情绪语音数据采集( e m o t i o n a ls p e e c hd a t a c o l l e c t i o n ) ，在比较现有的情绪语音数据库的基础上，本论文采集了自己的汉 语语音情绪数据。第二部分是特征提取( f e a t u r ee x t r a c t i o n ) ，在进行特征提取 之前，首先着重进行了情绪语音信号特征分析( e m o t i o n a lf e a t u r ea n a l y s i s ) ， 这也是进行特征提取和选择的基础。本论文不仅对整个语句，字和词进行了情 绪特征的分析比较，而且关注于语句中字层面上的不同情绪特点，这与以往的 研究有所不同。同时本论文还分析了不同情绪对重音的影响，得到了不同情绪 时重读字的特点在这些分析的基础上，本论文提取了时域方面的特征以及临 界频带方面的频域特征。第三部分是特征选择( f e a t u r es e l e c t i o n ) ，这部分实 际上是贯穿于本论文提出的分类方法中由于提取的特征为数众多，首先根据 各个特征的区分能力选出一部分较好的特征。然后利用手动( h a n d ) 或 b o o s t i n g 算法进行特征选择。第四部分是本论文研究的重点：分类识别 ( c l a s s i f i c a t i o n ) 由于在特征分析和提取的研究中发现不同的情绪之间的远近 关系各不相同，而不同特征区分不同情绪的能力也各不相同。因此，为了充分 利用这些不同特征的不同情绪区分能力，本论文提出了基于决策树理论的连续 两分过程( c a s c a d eb i s e c t i o np r o c e s s , c b - p r o c e s s ) 。随后针对决策树的缺点， 将模糊理论( f u z z yt h e o r y ) 应用到连续两分过程中。 1 4 2 内容结构安捧 本文具体内容安排如下： 第1 章：绪论 阐明了选题背景及意义，讨论了语音情绪识别在各个方面的应用，分析了 语音情绪识别的研究现状，包括国际方面和中文语音方面的研究进展，指出了 申强科学技术大学博士学位论文纂l 掌缝豫 嚣嚣j l l ：方蔼硒究莓程静溉题，裁瞬鞭费精绪谈澍黥研究器要深入避符下去，簸 詹介缁丫论文的研究内裙与技术路线，为避步展扦馓了相威的蜜j 。 第0 窜：辏缝谱鬻簸据采纂 确定了所磺究豹德绻分类为巍静磁基本的情绪尝穗：馈慧、恐慑，离炎藉 慧伤，掰井设中立情壤袭述授有情绪时的状态。槎对国内井情绪谮街库分析的 基础上t 设译文本，确定录音人效秘添啻种炎，瓣嚣进行了揍绻瀑音数据采 蘩。程辩录翻戒翡懿语啻壤缕数据邀器氍瓣癸黢菇，选出辘够较好豹表运情绪 静潺费羧糖共l l 鳓键。 第3 牵：慎缝诺鬻声学特缎分耩 宝簧矮宠了馕缝淮费壤号孛声誉特征分爨。裂疆往戆霹 襄誉阉，着羹予 字、蠲帮瓣鼋，弦及撩豫串字熬瑟瓣上躲特禚势辑，探弱了翔静蒸率情绪豹浯 旬是如何由各个字的发街组成，为谮脊情绪识别以擞港音情绪合成打下基础。 蠢予汉语翼有耋读的特煮，骚瑟又努凝7 耩绥黠黧器款彰璃，褥熬举同傣缝瓣 璧读字豹特熹。弼辩澍母汉语熬隧个声调，瓣不鼹声诞秘字在不辩攮绪霹黪袭 现作了初步分析。蠼尉，给出不同情绪在声学特征上韵具体袭现。 第4 _ 摹；馕缝谱费特征舞取及选撵 主簧愆器啻博绪特镁遴行攫取藏选择。参照瑷镰戆研究慕勰，秀7 最大隈 度的褥剽情绪特征信息，首先摄取了2 0 8 个包括基街、短时能嚣，缀时幅值， 镶号援耩糯持续跨离露瓣翡特征。爨予特征羧藓众多，存在髭余藏举便分餐， 零喾爨煮分拆7 嚣分掰掰不弱耩绪辩，备个不同褥镊的独特戆力，然螽撮据这 些能力，优选出班詹研究需要的特征热2 8 个。 第$ 辩；连续两努谱膏壤缝识爨 与传统统一势类豹方法不潜，零论文熬磷究主簧羲重予鼹两馕绻之褥静静 耩。势程托基础土，擞瓣备个情绪乏润相互接近稔璇的不同，首次褥出了一种 基于决策树理论的连续掰分过程( c a s c a d eb i s e c t i o np r o c e s s , c b - p r o c e s s ) ，将 缓一豹势类交或一系列篷续= 叉分类建箨，这襻凌每步分癸遘程孛黎建立鑫 袋健戆分类模鍪，谨谈鬟孛戆够态分熬瘸焉掰簿涮熊语音祷臻糁髹。逶过实 际情绪谢谢数据的实骏验证，结果分析鼹示了琏续两分过程的优点。 中国科学技术大学博士学位论文第1 章绪论 第6 章：繇合瘸赛颓蒂蓿患熬连绥嚣分过程 将上一章提出的避缕两分过程扩展到频带上，根据符合入耳听觉特性的临 界频带划分，采用频带变换方法将情绪语音信号变换到频带上撬出了两类临 器频带黪鬣；攒述菝繁貔垂静参数秘接连叛謦上戆鬣努毒瓣参数，劳着重努辑 了这些参数在验证w 行性后，将晒界频带信息融含到了连续两分过程中。通 过实际情绪语音数据的燕验验证，续聚分析显示了融合临界频带信息的连续两 分过程鸵优点。 第7 章：基于横榭理论的连续两分过程 针对连续两分过穰中决策树结构谡麓传递的缺点：前一步决蔬的错误会影 响鹦下一步的分类，多争鼠会不叛斡传i 藏下去，提出了篷予模糊理论懿连续秀分 过程。将模糊理论不议寝用到每一莎黪分类模型串，两豆应用静熬个分类遂程 中，通过计算各个最终节点( 五种惰绪类别) 的模糊可能性( p o s s i b i l i t y ) ，得 射最后的识别结果。通过实际情绪语案数据的实验骏证，结果分析鼹示了基于 模糊毽论豹连缓嚣分避缓戆撬点。 第8 章；基于b o o s t i n g 算法的连绒两分过程 针对连续两分过稷中建立每一步最优分类模型的问题，撼出了基于 b o o s t i n g 簿法瓣连续秘分遘程。嚣蘩嚣莛章串都袋耀熬手动方法稳魄，基手 b o o s t i n g 算法的连续掰分过程能够根据不同的训练数据自动建立每一步的分类 模型。巍堋练数据发生变化时，只需骤重新进行训练就能够建立新的分类模 型。实骏缝采表骧，基于b o o s t i n g 雾法的连续秀分过程确实能够取褥鞍好瓣分 类结果，共有较好的稳健性。 第9 章；全文总结 憨缨金文斡主要劳 笈成果积有德瀑入舔究静翘蘸。 中重科学拽瘩大学博士学位枪吏第l 章鳍论 1 4 3 论交戆餐薪赢 从媳题和研究体系上讲，本论文是首次全颟地掰f 究了汉语谱诗情绪识剔。 势镪步建立了一个统一靛研究捧系。鞣究懑盖子熬个淡语语音簿缭谖爨；歇涎 语悻绪浯啻嚣采集，捌情绪语音饼蟹特征分析，褥辨祷绪语音信精特征提驭翱 选择，最后到语音情绪识别的分类凇法。 歇暴体研究内容上寒洪，零论文矮究的铹薪点囊簧诲瑗在弦f a 个方薤： 1 ) 在疆蠢耩鲻耱薤努辑方薅。不莰簿攀事双字镯羁语镯瓣特疰进行势 析，而且着重子谢旬中字的层黼上的特征分析，探明了四种溅率情绪的谱 匈怒如何由各个字的发音组成。鬻次分析了馈绻黩汉语重啻的黪嚷，褥烈 苓髑耩筵黠重读字爨蒋熹，勰步势耩7 双器苓嗣声潺翁字在苓霹壤靖辩戆 袭税 在嚣两耩绻乏阕分橱黪熬确上，按器备个情鳍之阕耱嚣接近程度戆苓 辩，蓍敬捷爨了一静基于决籀瓣理论豹连续掰静进赣( c a s c a d eb i s e c t i o n p r o c e s s ，c b - p r o e e s s ) ，将统一的分类变成一粼列连续二叉分撵过程，这样 巍姆一步分类避糕中都建立鸯酸鼹院姆分类楼溅。在识别串熊谚宠分靛矬 惩簿褥裂懿疆啻德缮褥薤。籀螽煞疆嚣嚣天撼擒连续嚣分过程耱霞赢，毽 括； 8 ) 将频带惯息融合到了避缕两分过程中祭用符合人蛘断觉特性的临 彝频繁翻转将壤缝溪裔镶号交换蓊攘磐上，苓获考惑7 描述睡器鼷 带能煮的参数，两且提欺了橘述临界频带上能量分布昀务数。 b ) 针对连续两分过程中决瓣树结构导致粼计误差传递的缺点，首次提 趣了蕊予楼鞑理论斡连续舞癸蓬程，酶谈糍理论不霞辍臻鹫每一步 豹分癸横艨中，嚣盖藏霸静整个分类避獠乖。 针对连续科分过程中建毙每一步最优分洪模型的问趱，首次提出了 基于b o o 蹦a g 算法的连续两分过程。 1 5 中国科擘技术大学博士学乜论义第1 掌绪论 参考文献： f i l l 盂昭兰，“人类情绪“，上蓐赢亡嬲 虑出毵盐t 9 8 9 年6 月第一艘 f 2 lk e i t h 黼融( 周满生译) ，“幸 么燕穗罐”，束茸m i t 菇稼群爹蓐南鬯秽 i 3 l 张颗，罗森韩。“馈黪建摸与倍感谖剿”，斧霉，辫r 嚣麓癣努；2 0 0 3 3 3 【4 】r o s a l i n dw p l e a d ；“a f f e a t i v ec o m p u t i n g ，t h em tm c a m b r i d g e , m a s s a c h u s e u s , l o n d o n , e n g l a n d ；1 9 9 7 ，s e c o n dp r i n t i n g 援耪弱藏，王卷赛，芏灏江，“覆都表鬻谖裂骥究避蓑”，劳动建拦零毒籀霞2 0 0 6 年 第2 5 礴第4 期 【6 1s k i n n e r , r k ac a l i b r a t e d d i n ga n da n a l y s i so ft h e 删埔，f o r c ea n dq u a l 时o f v o c a l t o n e s e x p r e s s i n g h a p p i n e s s a n ds a d n e s s ”, 萄m 妇m 镕曾弼瑰簸1 9 3 赣8 1 1 3 7 p 1j u h a n it o i v a n o n , e e mv a y r y n e n ，a n dt a p i os e p p a n e n , “a u t o m a t i cd i s c r i m i n a t i o no f e m o t i o nf r o ms p o k e nf i m f i s h , l a n g u a g ea n d s p e e c h , 2 0 0 4 ，4 7 ( 4 ) ，3 8 3 - 4 1 2 f 霹w i l l i a m s , o & ，e n ds t e v e n s , k n ，“v o c o ! c o r r e l a t e so fe m o t i o n a l 臻睡骼竹，i n ：d a r b y ，王k ( e d xs p e e c he v a l u a t i o ni np s y c h i a t r y 秘1 8 9 - 2 2 0 9 1b a c h o r m v s k i ，j a ，。v o c a le x p r e s s i o na n dp e r c e p t i o no fe m o t i o n , c u r r e n td i r e c l t o n si n p s y c h o l o g i c a l s c i e n c e x ，8 ( 2 k5 3 - 5 7 【l 甾m u r r a y ，l r ，a n d a m 翻岛j l ， t o w a r d a s i m u l a t i o n o f e m o t f o n 毡s y n t h e t i c 霉p 嘲ear e v i e w o f t h e l i t e r a t u r e o nh u m a ny o c a je m o t i o n , j o u r n a 口，t h e a c o u s t i c a l s o c i e f vo f a m e r c a , 9 3 ， 1 0 9 7 - 1 1 0 8t i i p a e h k e , a ，a n ds e n d l m e i e r , w 善， p r o s o d i cc h a r a c t d s t i c so fe m o t l o n a l 魏c l l ： m e a s u r e m e n t so f f u n d a m e n t a l f r e q u e n c ym o v a m e o t a , p r o c o f i s c aw o r k s j k po ns p e e c h a n d e m o t i o n , 2 0 0 0 ，7 5 8 0 【l 驾s c h e m e r , 瓢r _ v o c a le o t r d 疵so f e a t o t t o n , h a n d b o o ko f p s y c h o p h y s t o t o 缈：e m o t i o na n d s o c i a lb e h a v i o r , l o n d o n - w i 盯，p p 1 稻t 1 9 7 【1 3 s c h e r e r , k ，“u n i v e r s a l i t yo f e m o t i o n a le x p r e s s i o n ”, e n c y c l o p e d i a 矿h 8 r n o l j o n 3 , n e w y o r k ：m m i l l a n ，p p 6 6 9 - 6 7 4 1 4 m o z z i o o n a c d ，s ，a n dh e r m e s , d ， s t o r yo f i n t o n a t i o n 搿瞅黼瞄i n 肄髓两e x p r c 辩i n ge m o t i o n o r a t t i t u d e ：p r o d u c t i o na n d p e r c e p t i o n , i p o a n n u a l p r o g r e s s r e p o r t , i p o , e i n d h o v c n 中蔼科学挂术文学媾士学位地义萋l 章嬉论 瑟霉狲嚣o s 畦bk 墨撩啦陬靼鳓a n d 蛙端磊黥蠹a 瑚稍 婷pl m z 昂 b 璐c o m m u n t e a g a 峨 4 0 ( 2 0 0 3 ) 2 1 3 - 2 2 5 【1 6 n w e , t , l ，f o e , s w 删d e s i l v a , k 瓯 s p e e c h e m o f i c m 嘲i t 洳# 魄h i d d e n m u r k o v m o d e l 媛j ；夔点雾鳓a 黼嘲螂酝獭4 t ( 2 0 0 3 ) 渊 l 键& v e t v e r i d i s , a n d k o t r o p o u l o s , “m 饿轴瞎崤s p e e c hr e c o g n i t i o n ：r c s o u f e a t u r e s , m d m e t h o d s 船j5 驷, e e c hh o m m u n i c a t i o n _ v o l u m e4 8 ，i s s u e 巩s 举2 0 0 6 , p p 11 6 2 一i1 8 1 | 1 8 o n e y e rp i e n c - y v e s , 啪ep r o d u c t i o na n dr o g n i t i o ao f e m o i i o n sh as p e e c h ：f e a t u r e sg 螬 a l g o r i t h m s ；l m 3 h u m a n - c o m p u t e r s t u d t e “, 5 9 ( 2 0 0 3 ) , 瓣。1 5 7 - 1 8 3 。 【l 卵c o w | e ，轧a n dc o m e l i u s _ ，r i l ，“d u s e r i b i n gt i i ee m o t i o n a ls t a t e st h a ta 摊e x p r e s s e di ns p e 鼬气 艇z 醵嘲辫圆卿枯r 辩漱静渊x p 辫孓豫 溯辩凇；k r ，嚣辩端轧 dw a l l x a g 强氇，“e m o f l o r ti u f c r e n e e $ f r a mv o e a te x 秘e s s l o n o 哪蕾珊翳l a n g u a g 雌a n d c u l t u r e s , j m _ f r n a l a f c r m s c u l t u r a l p s y c h o l o g y , 3 2 ( 0 7 6 - 9 2 咎| 】s 咖馘k r “v o c a ! c o m m u n i c a t i o no f e m o t i o n ：a r e v i e wo f r e s e a r c hp a 则| g r n s , 矾z s p e e c h 莰镕薅酬嗡键弱站嚣吝2 掰 ， 礅l d e l 耘峨p o l z h ，瓢a n dw a l b e l ，氐 r e c o g n i z i n ge m o t i o n 祧s p e h , p r c , ”e e d i n g s 妒靴 i n t e r n a t i o n a l c o n g r e 甜o n s p o k e n l a n g u a g e p r o c e s s i n g ( p h t t a d e t p h i a l 7 8 6 - 7 8 9 鞲 蹦蛾i n , 丸，瞢黼a i l w o o a , t 。 c r o s s q h a g u l s t i a 翱鞠辨斌轴拜o fe m o t i o n a l 辨嘲气 p r a e e e d ；f n g s o f t h e i s c a 黻砖葫妒# 肇8 瓣渤搬跚( e # f a s o , h 0 - 1 1 3 2 4 m o n t e x o ，j m ，c m t i e t r e z - a r r i o l a , j ，p a l a z o e l o s , s qe n r l q u e z , e ，a g u i l e r a ，8 qa n dp a r d o , 崩。啦麟蜘瓣罐鼯如辨蝻嚣融飙 擗蹲鼯睡幽懒t o f 疆蚌，舟群掰懈醪妇 l n l e r r 艘t i o n a t c o n f e r e n c e o n s p o k e n z a n 洲g e 西琊嘲 嘏删，辛嚣- 9 簿 2 5 s e h u l l e r , b ，r i g o r ，封a n dt ，a n 蒜，m “s p e he m o t i o nr e c o g n i t i o nc o m b l n n ga c o u s t i c 觑嚏蝴a n dl i t t g u i g i oi n f o r m a t i o ni n 扭姆黼莲翻抑嘛蝴m a c h i n e 州蜘f i e fn e t w o r k a r c h t e c t t n e 蜘姗，辩 捌辫籀魄v a l ，l 潞漱瓣 溯氐r t g a t , 0 ，a a dl a n g , 蛾 h i d d e nm a r k o v 栅西栅e d $ p e e e he m o t i o n 州猢酬对 丹w 鹅曲郴妒如i c a , 虹p 2 0 0 3 , i e e e v o l 。l lp 辑i - 4 蚤静l 蠢氮妇& 鞋鞠删。蛹r 。p i e t a 群i n l “黜蜊硅雠o f 粥辩l 驿霉鳓蛹雌s 蠹掰拜畦辩 蹬嘴豳s i g n a l , p r o c e e d i n g so f a u t o m a t l c 劫癌鼬c o g n t a o n a n d u 漱t a r d l n g 掰积蝴 ( t r e n t o , i t a l y ) , 4 0 - 4 3 1 7 中嗣科学技木犬学博士学位论文 第l 章绪砖 ( 2 s ) c 5 4 l e e ，a n d s h r t h s n a r a y 锄帆 t o w a r d d e t e c t i n g e m o t i o n s i n 邓舳d i a l o g s ，i e e e t r a m , o ns p e e c ha n d a 瑚op r o c e s s i n g , v 0 1 1 3 ，n o 2 ，m a r c h2 0 0 5 1 2 9 1 k w o n , 0 wc h a r t ，k ，砖峨 。a n dl e e , t w ， e m o t i o nr e c o g n i t i o nb ys p e e c hs i # s 。 p r o c e e d i n g so f e u r o s p e e c h - 2 0 0 3 , p p l 2 5 - 1 2 8 3 0 a n g , j 。+ d h i l t o n , 瓢k r u p p , a ，s h e i b 嘴, 戡a n ds t o i c s , 氕，“p r o s o d y - b a s e da u t o l 翳键i o d e t e c t i o no fa n n o y a n c ea n df h 】鲥i 甚l i o ni nh u m a n - c o m p u t e rd i a l o g , p r o c e e d i n g so f i c s l p 2 0 0 2 , 2 0 3 2 0 4 0 3 t p a e s c h k e , a ，“e m o t i o nr e c o g n i t i o ni ns p e e c hs i g l ：e x p e r i m e n t a l 鞋l l 戤，d e v e l o p m e n t , a n d a p p l i c a t i o n ”，p r o c e e d i n g so f l c s l p2 0 0 0 , 2 2 2 - 2 2 5 3 2 v e r v e r i d i s , d ，k o t r o p o u | o $ , e ，a n dp i t a s , k a u t o m a t i ce m o t i o n a 华c l le l 删6 口气 p r o c e e d i n g so f l c a s s p2 0 0 4 。v 0 1 i ，p p 5 9 3 - 5 9 6 3 3 】怒力，钱翔民，筇采荣，关镇蒴，“语音蓿号串翡j 鸯惑谖捌静研究”t 嚣弹掣赫 2 0 0 1 ，1 2 ( 7 ，1 0 5 0 - 1 0 5 5 3 味糕力，芏瀹平，邹采荣是镇扬，“全岗搠时序绪构特征并用的语裔信号情黪特征识 嬲方法”，骞谚辩掣撼繁3 0 卷蘩3 期，2 0 0 4 年5 愿 【3 5 j fc h a n ge ，x y q _ ，a n ds h u mf l y ， e m o t i o nd e t e a i o nf r o ms p e e c ht oa n r l c h m n l 癌挪耐i ac o n t e n t ；如p r o e i e e ep a c i f i c - r i mc 删：o nm u l t i m e d i a2 0 0 1 。b e i n 鲁，v o ll ， p p - 5 5 0 - 5 5 7 p 6 鞯丹宁，鬃莲红，“基予语音声学特征酌情感信息识别”，搏笋寿学笋寝f 虏勰群学 崩蛰，2 0 0 6 年第4 6 箍纂l 期 【3 7 t s a n g - l o n gp a o ，y u t ec h e r t ，j u n h e n gy e h ，a n dw e n - y u a nl i a o 。“d e t e c t i n ge m o t i o n si n m a n d a r i n s p e e c h ，p r o c e e d i n g o f r o c l i n g x v i , s e p 2 0 0 4 ，p p 3 6 5 - 3 7 3 3 s r s g - l o n gp a o ，y u - t ec h e r t , j u n - h gy e h , e n dy u a n - h a oa m l g ，“e m o t i o nr e c o g n i t i o n 黼de v a l u a t i o no fm a n d a r i ns p e e c hu s i n gw 确口她dd - k n nc l a s s i f i c a t i o n , p r o c e e d i n g r o c l i n o x v i i , t a i p e i ，s 攀2 0 0 5 + 9 6 - 1 0 5 2 t 3 9 ) t s a n g - l o n gp a o , y u - t ec h e r t , j u n _ h e n gy e h a n dw e n - y u e nl i a o , “c o m b i n i n ga c o u s t i c f e a t u r e sf o rt m p r o 州e m o t l o nr e c o g n i t i o nt m v l d a r i ns p e 蝴 。np r o c e e d i n g s 旷a c i i 2 0 0 5 , l n c s3 7 8 4 , p p , 2 7 9 - 2 8 5 , 2 0 0 5 4 0 b h a t t i ，m w 。w a n gy 。a n dg u a n ，l ，“an e u r a ln e t w o aa p p a c hf o rh u m a ne m o d o n r o c i 辨i t i o n i n 辨确 i n p r o c e e d i n g s o f i s c a s 2 0 0 4 , l i i ，1 5 1 - 1 8 4 l i 中蜒抖学技术太拳孵士学位姥义 簿l 掌鳍诧 转l 渤rn i 穗豳啦；融随蹦婚韵0 蝴辞r y o h e in a k a t s 峨4 e m o t i o nr c c o g n l t t o b 趣s p e e c h u s i n g n e u r a l n e t w o r k # , 加p r o c e e d i n g s i c o n i p 9 9 6 t h i n t e r n a t i o n a l c o n f e r e n c e , 1 9 9 9 ，2 1 1 ) 4 9 5 - 5 0 1 辨l 鞫瓣n o g u c i r a s , a m i o nm - v a o , a n t o n i ob o m = f o m e qa n dj o s e & m a r i t a l , “s 麟 e m o t i o np 删t l o n 撕瓣辐蝻辨m o d e l s 臀，瓤p r o c e e d i n g so f e 黼r o s p e e c h2 0 0 1 , s c d l n a v i a 4 3 1 w = 蝣嚣枫黯静虢a n dz 。| | q 嘁髑僻擎醚谨瞅燃越晒f o r e m o t i o nr 制x ：, g n i t i o n 弧c l l ；s p c c c h 冀j e v x n a lo f s o u t 融t s tu n i v e r s i 垂, 帮蚴e d # i o n ) , v 霹。1 9 , n o 毛巍盎 2 0 0 3 | 4 4 f 鹕x l n c t 勰, a i j u n l 嚣 强 随w a n g , 嚣4 峻弛g w a n g , a n d 融罐f e n g , “ 洲瓣a 酶#