第三讲语音合成概述课件

第三讲语音合成概述背景目标基本问题技术历程典型系统第三讲语音合成概述背景目标基本问题技术历程典型系统背景计算机的普及人机自然语言交互语音合成在人机交互系统中的作用语音合成的其它应用SpeechRecognitionNaturalLanguageUnderstandingDialogManagerSpeechSynthesisNaturalLanguageGenerationInformationDatabaseSpeechInSpeechOut第三讲语音合成概述背景目标基本问题技术历程典型系统目标“让计算机像人一样说话”从文字到语音TTS（Text-To-Speech）从概念到语音CTS（Concept-To-Speech）从意念到语音ITS（Intention-To-Speech）现阶段-TTS前瞻性-CTS等待时机-ITS第三讲语音合成概述背景目标基本问题技术历程典型系统基本问题原因从语音到文字的信息缺失从文字到语音（TTS）从文字到发音描述发什么音如何发音从发音描述到语音合成第三讲语音合成概述背景目标基本问题技术历程典型系统技术历程1937，Voder，BellLab.，H.Dudly1962，级联共振峰，KTH，G.Fant1970s，混合共振峰，MIT，D.Klatt1986，PSOLA，F.Charpentier2000s，Unit-selection，N.Campbell&A.Black1970s1980s1990s2000sQualityTimeFormatPSOLAUnit-selection:Segment-orientedUnit-selection:Prosody-orientedExcellent:Human-likedFair:acceptableBad:unacceptable技术历程1937，Voder，BellLab.，H.Dudly1962，级联共振峰，KTH，G.Fant1970s，混合共振峰，MIT，D.Klatt1986，PSOLA，F.Charpentier2000s，Unit-selection，N.Campbell&A.Black1970s1980s1990s2000sQualityTimeFormatPSOLAUnit-selection:Segment-orientedUnit-selection:Prosody-orientedExcellent:Human-likedFair:acceptableBad:unacceptable音色，孤立音段音色，孤立音段音色，孤立词音色、韵律，语句韵律，语句第三讲语音合成概述背景目标基本问题技术历程典型系统典型系统基于单元挑选的TTS系统构成（韵律导向）两个模块前端：文本处理，从文字到发音描述后端：语音处理，从发音描述到语音合成一个接口，发音描述数据库，合成单元ParserProsodicEventPredictorPhonetizerProsodic&PhonemiccontextProsodicAcousticsPredictorSegmentAcousticsPredictorUnitSelectionSpeechSynthesizerTextNormalizationCorpora:speechphoneticalignment,prosodicparameterDictionary:Lexicon,Rules,HomographInputtextInterfaceOutputspeechFrontendBackend典型系统例：北京交通大学成立于1896年。TextNormalization:北京交通大学成立于1896年ParserProsodicEventPredictorPhonetizerProsodic&PhonemiccontextProsodicAcousticsPredictorSegmentAcousticsPredictorUnitSelectionSpeechSynthesizerTextNormalizationCorpora:speechphoneticalignment,prosodicparameterDictionary:Lexicon,Rules,HomographInputtextInterfaceOutputspeechFrontendBackend典型系统例：北京交通大学成立于1896年。TextNormalization:北京交通大学成立于1896年Parser:北京(npr)交通(ng)大学(ng)成立(vgo)于(pg)1896年(t) ParserProsodicEventPredictorPhonetizerProsodic&PhonemiccontextProsodicAcousticsPredictorSegmentAcousticsPredictorUnitSelectionSpeechSynthesizerTextNormalizationCorpora:speechphoneticalignment,prosodicparameterDictionary:Lexicon,Rules,HomographInputtextInterfaceOutputspeechFrontendBackendPOS(PartOfSpeech)典型系统例：北京交通大学成立于1896年。TextNormalization:北京交通大学成立于1896年Parser:北京(npr)交通(ng)大学(ng)成立(vgo)于(pg)1896年(t)ProsodicEvent:OutPut

PWordLayer:北京ng

交通ng

大学ng

成立于vg_pg

一八九六年t

OutPut

PPhraseLayer:##北京交通大学##成立于##一八九六年

OutPut

IPhraseLayer:##北京交通大学成立于一八九六年

OutPutSentenceLayer:##北京交通大学成立于一八九六年ParserProsodicEventPredictorPhonetizerProsodic&PhonemiccontextProsodicAcousticsPredictorSegmentAcousticsPredictorUnitSelectionSpeechSynthesizerTextNormalizationCorpora:speechphoneticalignment,prosodicparameterDictionary:Lexicon,Rules,HomographInputtextInterfaceOutputspeechFrontendBackend典型系统例：北京交通大学成立于1896年。TextNormalization:北京交通大学成立于1896年Parser:北京(npr)交通(ng)大学(ng)成立(vgo)于(pg)1896年(t)ProsodicEvent:OutPut

PWordLayer:北京ng

交通ng

大学ng

成立于vg_pg

一八九六年tPhonetizer:北bei3京jing1(BL:北京)交jiao1(BL:交通)通tong1(BL:交通)大da4(BL:大学)学xue2(BL:大学)成cheng2(BL:成立)立li4(BL:成立)于yu2(BL:于)一yi1(BL:一八九六年)八ba1(BL:一八九六年)九jiu3(BL:一八九六年)六liu4(BL:一八九六年)年nian2(BL:一八九六年)ParserProsodicEventPredictorPhonetizerProsodic&PhonemiccontextProsodicAcousticsPredictorSegmentAcousticsPredictorUnitSelectionSpeechSynthesizerTextNormalizationCorpora:speechphoneticalignment,prosodicparameterDictionary:Lexicon,Rules,HomographInputtextInterfaceOutputspeechFrontendBackend典型系统例：北京交通大学成立于1896年。Interface:{2{1^2%0{0^2%0[@ng^2%0<@npr(#bei3&MC$北)(#jing1&MC$京)>][@ng^2%0<@ng(#jiao1&MC$交)(#tong1&MC$通)>][@ng^2%0<@ng(#da4&MC$大)(#xue2&MC$学)>]0}{0^2%0[@vg_pg^2%0<@vgo(#cheng2&MC$成)(#li4&MC$立)><@pg(#yu2&MC$于)>]0}{0^2%0[@t^2%0<@t(#yi1&MC$一)(#ba1&MC$八)(#jiu3&MC$九)(#liu4&MC$六)(#nian2&MC$年|)>]0}1}2}ParserProsodicEventPredictorPhonetizerProsodic&PhonemiccontextProsodicAcousticsPredictorSegmentAcousticsPredictorUnitSelectionSpeechSynthesizerTextNormalizationCorpora:speechphoneticalignment,prosodicparameterDictionary:Lexicon,Rules,HomographInputtextInterfaceOutputspeechFrontendBackend典型系统例：北京交通大学成立于1896年。ProsodicAcousticPredictor: GMM(bei3)GMM(jing1)GMM(jiao1)GMM(tong1)GMM(da4)GMM(xue2)GMM(cheng2)GMM(li4)GMM(yu2)GMM(yi1)GMM(ba1)GMM(jiu3)GMM(liu4)GMM(nian4)SegmentAcousticPredictor:

occ(bei3)occ(jing1)occ(jiao1)occ(tong1)occ(da4)occ(xue2)occ(cheng2)occ(li4)occ(yu2)occ(yi1)occ(ba1)occ(jiu3)occ(liu4)occ(nian4)ParserProsodicEventPredictorPhonetizerProsodic&PhonemiccontextProsodicAcousticsPredictorSegmentAcousticsPredictorUnitSelectionSpeechSynthesizerTextNormalizationCorpora:speechphoneticalignment,prosodicparameterDictionary:Lexicon,Rules,HomographInputtextInterfaceOutputspeechFrontendBackend典型系统例：北京交通大学成立于1896年。ProsodicAcousticPredictor: GMM(bei3)GMM(jing1)…SegmentAcousticPredictor:

occ(bei3)occ(jing1)…UnitSelection:

argmincost(sam(bei3),sam(jing1),sam(jiao1),…)Corpus:bei3

jing1ParserProsodicEventPredictorPhonetizerProsodic&PhonemiccontextProsodicAcousticsPredictorSegmentAcousticsPredictorUnitSelectionSpeechSynthesizerTextNormalizationCorpora:speechphoneticalignment,prosodicparameterDictionary:Lexicon,Rules,HomographInputtextInterfaceOutputspeechFrontendBackend典型系统例：北京交通大学成立于1896年。ProsodicAcousticPredictor: GMM(bei3)GMM(jing1)…SegmentAcousticPredictor:

occ(bei3)occ(jing1)…UnitSelection:

argmincost(sam(bei3),sam(jing1),sam(jiao1),…)Corpus:bei3

jing1…SpeechSynthesizer:北京交通大学成立于1896年。ParserProsodicEventPredictorPhonetizerProsodic&PhonemiccontextProsodicAcousticsPredictorSegmentAcousticsPredictorUnitSelectionSpeechSynthesizerTextNormalizationCorpora:speechphoneticalignment,prosodicparameterDictionary:Lexicon,Rules,HomographInputtextInterfaceOutputspeechFrontendBackend后续题目基础知识韵律原理分析关键技术数据库构建文本处理声学建模最优搜索/合成器相关研究音色调整/转换HMM合成器挑战基于数据驱动的韵律建模Twotrainablecomponents:basedonanannotatedcorpusProsodiceventpredictorProsodicparameterpredictor韵律功能ProsodystructureEx.1,已经取得文凭的和尚未取得文凭的干部Ex.2,顺天府秋捐归您啦，八旗兵丁一年的赏讨下来了。Ex.3,政协十届一次会议主席团常务主席会议审议通过了政协十届一次会议提案审查委员会关于政协十届一次会议提案审查情况的报告草案(58)IntonationEx.4,明天是个晴天,最高气温...(flat) Ex.5,明天是个晴天!我们可以...(glad)Ex.6,明天是个晴天?(interrogative)AccentEx.7,明天是个晴天vs.明天是个晴天MoodEx.8,明天是个晴天

gladvs.

明天是个晴天

sadprosodyisnotallformood,timbreischangedalso韵律的声学实现Inacoustic,prosodyispresentedasthevariancesofpitchdurationintensitypause韵律描述C-ToBIdefined1'st,prosodystructure知觉判断等级与韵律层级结构对应coming,accentindex汉语韵律层次韵律结构标注，按照语调短语、中间短语、音步/韵律词三个韵律层级，描述每段发音。语调短语（intonationalphrase）：具有完整的语调，听感上可独立成句的一段发音音步（foot）：节奏的基本单位，一般由两个或三个音节构成，少数为单音节。韵律词（prosodicword）：所有的句法词具有类似词的连调模式和词重音模式、较短的词组其它凡是属于一个音步的结构跨度为1-4个音节，极大多数为2-3个音节,少数为单音节和四音节结构。中间短语（intermediatephrase）：介于语调短语和韵律词之间的节奏单元由一个或多个韵律词构成中间短语之间可能存在嵌套结构韵律标注依据听觉进行边界类型的判断，并辅助以特定类型处理的约定听觉判决所依据的线索基频重置，边界末音节展延，停顿，节奏的变化需从全局的、层级的角度考察每段发音标注符号BP2:用以界定语调短语边界BP1：用以界定中间短语边界BP0：用以界定有明显停顿的音步/韵律词间的边界空格：用以界定音步/韵律词边界*：用以界定韵律词内的音步边界特定类型约定位于短语边界的、听感上轻读的、作为短语间过渡的虚词，倾向于划归后一短语BP0为音步边界，且具有明显的停、顿，倾向于从严标出一个韵律结构标注的例子S1 编者按(BP2)世界上(BP1)有些事是相似的(BP2)甚至(BP0)惊人地相似S2 编者按(BP2)世界上有些事(BP1)是相似的(BP2)甚至(BP0)惊人地相似Problemofconsistency training acceptable韵律的深层次标注AccentIndexWhatisAI Sample催眠师有