语音识别技术与微软SpeechSDK研究毕业论文毕业论文

1、I / 29课题名称Microsoft speech SDK 与语音技术研究摘要语音识别技术是 2000 年至 2010 年间信息技术领域十大重要的科技发展技术之一 ,语音识别是一门交叉学科，语音识别正逐步成为信息技术中人机接口的关键技术，语音识别技术与语音合成技术结合使人们能够甩掉键盘，通过语音命令进行操作。语音技术的应用已经成为一个具有竞争性的新兴高技术产业。Microsoft speech SDK 是微软提供的软件开发包，其中包含了语音识别和合成引擎相关组件、帮助文档和例程，它是个语音识别和合成的二次开发平台。我们可以利用这个平台，在自己开发的软件里嵌入语音识别和合成功能，从而使用户可以

2、用声音来代替鼠标和键盘完成部分操作，实现真正的“人机对话”。语音识别技术是让机器接收、识别和理解语音信号，并将其转换成相应的数字信号的技术。语音识别技术主要包括特征提取技术、模式匹配准则与模型训练技术三个方面。此外，还涉与到语音识别单元的选取。语音识别过程包括语音输入、特征提取、模式匹配等等。语音识别系统可以根据对输入语音的限制加以分类。关键词：语音识别，语音合成， speech DSK，文本合成语音 TTS， COMII / 29AbstractSpeech recognition technology is from 2000 to 2010 the field of informatio

3、n technology among top ten major technologies are one of the, speech recognition is a cross-discipline, speech recognition, information technology is becoming the key technology in human-computer interfaces, voice recognition technology and voice synthesis technologies enable people to get rid of th

4、e keyboard, through voice commands to operate. Speech technology has become a competitive emerging high-tech industries. Microsoft speech SDK is software development kit provided by Microsoft, which includes speech recognition and synthesis engine related components, to help document and routines, i

5、t is a speech recognition and synthesis of secondary development platform. We can use this platform to develop their own software in embedded speech recognition and synthesis, so that users can use voice to replace the mouse and keyboard to complete part of the operation, to achieve real man-machine

6、 dialogue. Speech recognition technology is to enable the machine to receive, identify and understand the voice signal and converts it into a corresponding digital signal technology. Speech recognition technology include feature extraction techniques, pattern matching criteria and the three aspects

7、of model training techniques. In addition, it involves the selection of speech recognition units. Speech recognition process, including voice input, feature extraction, pattern matching, etc. Speech recognition system can be restricted based on the input speech to be classified. Key words: speech re

8、cognition, speech synthesis, speech(DSK), text III / 29synthesized speech(TTS), COM 目录摘要 IABSTRACTII第一章前言 11.1 研究目的 11.2 章节安排 1第二章语音识别技术 22.1 语音识别技术综述 22.2 语音识别的发展历史 22.3 语音识别系统的分类 42.4 语音识别的几种基本方法 52.5 语音识别系统的结构 62.6 语音识别所面临的问题 9第三章基于 SPEECH SDK 的语音识别与合成 123.1 SPEECH SDK 简介 123.1.1 语音识别引擎接口 123.1.2

9、 语音合成引擎接口 133.2 SPEECH SDK 5.1 的工作原理 133.3 实例应用 14第四章语音技术的应用与发展趋势 164.1 引言 164.1.1 语音识别技术在信息处理领域的应用 164.1.2 教育与商务应用 17IV / 294.1.3 消费电子产品应用184.1.4 语音识别技术的军事应用 194.2 语音识别技术的前景 21第五章总结 22参考文献 23致 241 / 29第一章 前言1.1 研究目的语音识别是解决机器“听懂”人类语言的一项技术。作为智能计算机研究的主导方向和人机语音通信的关键技术，语音识别技术一直受到各国科学界的广泛关注。如今，随着语音识别技术研究

10、的突破，其对计算机发展和社会生活的重要性日益凸现出来。以语音识别技术开发出的产品应用领域非常广泛，如声控交换、信息网络查询、家庭服务、宾馆服务、医疗服务、银行服务、工业控制、语音通信系统等，几乎深入到社会的每个行业和每个方面。广泛意义上的语音识别按照任务的不同可以分为 4 个方向：说话人识别、关键词检出、语言辨识和语音识别。说话人识别技术是以话音对说话人进行区别，从而进行身份鉴别和认证的技术。关键词检出技术应用于一些具有特定要求的场合，只关注那些包含特定词的句子，例如对一些特殊人名、地名的监听等。语言辨识技术是通过分析处理一个语音片断以判别其所属语言种类的技术，本质上也是语音识别技术的一个方面

11、。语音识别就是通常人们所说的以说话的容作为识别对象的技术，它是 4 个方面中最重要和研究最广泛的一个方向，也是本文讨论的主要容。 通过对 Microsoft Speech SDK 的学习和使用，初步掌握语音识别技术和语音合成技术的基本概念，以与计算机进行语音识别和语音合成的工作过程，可以加深对语音技术方面的认识，在以后的工作和学习中也多一种能够使用的学习工具。1.2 章节安排全文总体分为三个部分：第一部分介绍了语音识别技术的原理和方法，以与语音识别系统的结构、分类，语音技术发展的历史、现在面临的问题；第二部分介绍 Microsoft Speech SDK 各部分构成的原理和语音识别和合成功能的

12、开发；第三部分总结以上容并介绍语音技术的相关应用与前景，并对这次的毕业设计进行总结。2 / 29第二章 语音识别技术2.1 语音识别技术综述 语音识别是一门交叉学科,语音识别正逐步成为信息技术中人机接口的关键技术,语音识别技术与语音合成技术结合使人们能够甩掉键盘,通过语音命令进行操作。语音技术的应用已经成为一个具有竞争性的新兴高技术产业。与机器进行语音交流,让机器明白你说什么,这是人们长期以来梦寐以求的事情。语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门交叉学科。近二十年来,语音识别技术取得显著进步,开始从实验室走向市场。人们预计,未来 10

13、年,语音识别技术将进入工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等各个领域。语音识别听写机在一些领域的应用被美国新闻界评为 1997 年计算机发展十件大事之一。很多专家都认为语音识别技术是 2000 年至 2010 年间信息技术领域十大重要的科技发展技术之一。 语音识别技术的应用包括语音拨号、语音导航、室设备控制、语音文档检索、简单的听写数据录入等。语音识别技术与其他自然语言处理技术如机器翻译与语音合成技术相结合，可以构建出更加复杂的应用，例如语音到语音的翻译。 语音识别技术所涉与的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。2.2 语音识别的

14、发展历史(1) 国外研究历史与现状 语音识别的研究工作可以追溯到 20 世纪 50 年代 AT&T 贝尔实验室的 Audry系统,它是第一个可以识别十个英文数字的语音识别系统。 但真正取得实质性进展,并将其作为一个重要的课题开展研究则是在 60 年代末 70 年代初。这首先是因为计算机技术的发展为语音识别的实现提供了硬件和软件的可能,更重要的是语音信号线性预测编码（LPC）技术和动态时间规整（DTW）技术的提出,有效的解决了语音信号的特征提取和不等长匹配问题。这一时期的语音识别主要基于模板匹配原理,研究的领域局限在特定人,小词汇表的孤立词识别,实现了基于线性预测倒谱和 DTW 技术的特定人孤立

15、词语音识别系统;同时提出了矢量量化(VQ) 和隐马尔可夫模型(HMM) 理论。 随着应用领域的扩大,小词汇表、特定人、孤立词等这些对语音识别的约束条件需要放宽,与此同时也带来了许多新的问题：第一,词汇表的扩大使得模板的选取和建立发生困难;第二,连续语音中,各个音素、音节以与词之间没有明显3 / 29的边界,各个发音单位存在受上下文强烈影响的协同发音（Co-articulation）现象;第三,非特定人识别时,不同的人说一样的话相应的声学特征有很大的差异,即使一样的人在不同的时间、生理、心理状态下,说同样容的话也会有很大的差异;第四,识别的语音中有背景噪声或其他干扰。因此原有的模板匹配方法已不再

16、适用。 实验室语音识别研究的巨大突破产生于 20 世纪 80 年代末：人们终于在实验室突破了大词汇量、连续语音和非特定人这三大障碍,第一次把这三个特性都集成在一个系统中,比较典型的是卡耐基梅隆大学(Carnegie Mellon University)的 Sphinx 系统,它是第一个高性能的非特定人、大词汇量连续语音识别系统。 这一时期,语音识别研究进一步走向深入,其显著特征是 HMM 模型和人工神经元网络(ANN) 在语音识别中的成功应用。HMM 模型的广泛应用应归功于 AT&T Bell 实验室 Rabiner 等科学家的努力,他们把原本艰涩的 HMM 纯数学模型工程化,从而为更多研究者

17、了解和认识,从而使统计方法成为了语音识别技术的主流。 统计方法将研究者的视线从微观转向宏观,不再刻意追求语音特征的细化,而是更多地从整体平均（统计）的角度来建立最佳的语音识别系统。在声学模型方面,以 Markov 链为基础的语音序列建模方法 HMM（隐式 Markov 链）比较有效地解决了语音信号短时稳定、长时时变的特性,并且能根据一些基本建模单元构造成连续语音的句子模型,达到了比较高的建模精度和建模灵活性。在语言层面上,通过统计真实大规模语料的词之间同现概率即 N 元统计模型来区分识别带来的模糊音和同音词。另外,人工神经网络方法、基于文法规则的语言处理机制等也在语音识别中得到了应用。 20

18、世纪 90 年代前期,许多著名的大公司如 IBM、苹果、ATT 和 NTT 都对语音识别系统的实用化研究投以巨资。语音识别技术有一个很好的评估机制,那就是识别的准确率,而这项指标在 20 世纪 90 年代中后期实验室研究中得到了不断的提高。比较有代表性的系统有：IBM 公司推出的 Via Voice 和 Dragon System 公司的 Naturally Speaking, Nuance 公司的 Nuance Voice Platform语音平台,Microsoft 的 Whisper, Sun 的 VoiceTone 等。其中 IBM 公司于 1997 年开发出汉语 ViaVoice 语

19、音识别系统,次年又开发出可以识别话、广东话和四川话等地方口音的语音识别系统 ViaVoice98 。它带有一个 32 ,000 词的基本词汇表,可以扩展到 65 ,000 词,还包括办公常用词条,具有“纠错机制”,其平均识别率可以达到 95 %。该系统对新闻语音识别4 / 29具有较高的精度,是目前具有代表性的汉语连续语音识别系统。(2) 国研究历史与现状我国语音识别研究工作起步于五十年代,但近年来发展很快。研究水平也从实验室逐步走向实用。从 1987 年开始执行国家 863 计划后,国家 863 智能计算机专家组为语音识别技术研究专门立项,每两年滚动一次。我国语音识别技术的研究水平已经基本上

20、与国外同步,在汉语语音识别技术上还有自己的特点与优势,并达到国际先进水平。中科院自动化所、声学所、清华大学、大学、工业大学、交通大学、中国科技大学、邮电大学、华中科技大学等科研机构都有实验室进行过语音识别方面的研究,其中具有代表性的研究单位为清华大学电子工程系与中科院自动化研究所模式识别国家重点实验室。清华大学电子工程系语音技术与专用芯片设计课题组,研发的非特定人汉语数码串连续语音识别系统的识别精度,达到 94.8%（不定长数字串）和96.8%（定长数字串） 。在有 5%的拒识率情况下,系统识别率可以达到 96.9%（不定长数字串）和 98.7%（定长数字串）,这是目前国际最好的识别结果之一,

21、其性能已经接近实用水平。研发的 5000 词邮包校核非特定人连续语音识别系统的识别率达到 98.73%,前三选识别率达 99.96%;并且可以识别普通话与四川话两种语言,达到实用要求。 中科院自动化所与其所属模式科技(Pattek)公司 2002 年发布了他们共同推出的面向不同计算平台和应用的“天语”中文语音系列产品Pattek ASR,结束了中文语音识别产品自 1998 年以来一直由国外公司垄断的历史。2.3 语音识别系统的分类 语音识别系统可以根据对输入语音的限制加以分类。如果从说话者与识别系统的相关性考虑,可以将识别系统分为 3 类：(1)特定人语音识别系统：仅考虑对于专人的话音进行识别

22、;(2)非特定人语音系统：识别的语音与人无关,通常要用大量不同人的语音数据库对识别 系统进行学习;(3)多人的识别系统：通常能识别一组人的语音,或者成为特定 组语音识别系统,该系统仅要求对要识别的那组人的语音进行训练。 如果从说话的方式考虑,也可以将识别系统分为 3 类：(1)孤立词语音识别系统：孤立词识别系统要求输入每个词后要停顿;(2)连接词语音识别系统：连接词 输入系统要求对每个词都清楚发音,一些连音现象开始出现;(3)连续语音识别 系统：连续语音输入是自然流利的连续语音输入,大量连音和变音会出现。如果从识别系统的词汇量大小考虑,也可以将识别系统分为 3 类：(1)小词5 / 29汇量语

23、音识别系统。通常包括几十个词的语音识别系统。(2)中等词汇量的语音识别 系统。通常包括几百个词到上千个词的识别系统。(3)大词汇量语音识别系统。 通常包括几千到几万个词的语音识别系统。随着计算机与数字信号处理器运算能力以与识别系统精度的提高,识别系统根据词汇量大小进行分类也不断进行变化 。目前是中等词汇量的识别系统到将来可能就是小词汇量的语音识别系统。这些 不同的限制也确定了语音识别系统的困难度。2.4 语音识别的几种基本方法一般来说,语音识别的方法有三种：基于声道模型和语音知识的方法、模板匹配的方法以与利用人工神经网络的方法。(1) 基于语音学和声学的方法该方法起步较早,在语音识别技术提出的

24、开始,就有了这方面的研究,但由于其模型与语音知识过于复杂,现阶段没有达到实用的阶段。通常认为常用语言中有有限个不同的语音基元,而且可以通过其语音信号的频域或时域特性来区分。这样该方法分为两步实现：第一步,分段和标号把语音信号按时间分成离散的段,每段对应一个或几个语音基元的声学特性。然后根据相应声学特性对每个分段给出相近的语音标号第二步,得到词序列根据第一步所得语音标号序列得到一个语音基元网格,从词典得到有效的词序列,也可结合句子的文法和语义同时进行。(2) 模板匹配的方法模板匹配的方法发展比较成熟,目前已达到了实用阶段。在模板匹配方法中,要经过四个步骤：特征提取、模板训练、模板分类、判决。常用

25、的技术有三种：动态时间规整(DTW)、隐马尔可夫（HMM）理论、矢量量化（VQ）技术。1）动态时间规整(DTW)语音信号的端点检测是进行语音识别中的一个基本步骤,它是特征训练和识别的基础。所谓端点检测就是在语音信号中的各种段落(如音素、音节、词素) 的始点和终点的位置,从语音信号中排除无声段。在早期,进行端点检测的主要依据是能量、振幅和过零率。但效果往往不明显。60 年代*学者 Itakura 提出了动态时间规整算法(DTW：Dynamic Time Warping)。算法的思想就是把未知量均匀的升长或缩短,直到与参考模式的长度一致。在这一过程中,未知单词的时间轴要不均匀地扭曲或弯折,以使其特

26、征与模型特征对正。2）隐马尔可夫法(HMM)6 / 29隐马尔可夫法(HMM) 是 70 年代引入语音识别理论的,它的出现使得自然语音识别系统取得了实质性的突破。HMM 方法现已成为语音识别的主流技术,目前大多数大词汇量、连续语音的非特定人语音识别系统都是基于 HMM 模型的。HMM是对语音信号的时间序列结构建立统计模型,将之看作一个数学上的双重随机过程：一个是用具有有限状态数的 Markov 链来模拟语音信号统计特性变化的隐含的随机过程,另一个是与 Markov 链的每一个状态相关联的观测序列的随机过程。前者通过后者表现出来,但前者的具体参数是不可测的。人的言语过程实际上就是一个双重随机过程

27、,语音信号本身是一个可观测的时变序列,是由大脑根据语法知识和言语需要(不可观测的状态) 发出的音素的参数流。可见 HMM 合理地模仿了这一过程,很好地描述了语音信号的整体非平稳性和局部平稳性,是较为理想的一种语音模型。3）矢量量化(VQ)矢量量化(Vector Quantization) 是一种重要的信号压缩方法。与 HMM 相比,矢量量化主要适用于小词汇量、孤立词的语音识别中。其过程是：将语音信号波形的 k 个样点的每一帧,或有 k 个参数的每一参数帧,构成 k 维空间中的一个矢量,然后对矢量进行量化。量化时,将 k 维无限空间划分为 M 个区域边界,然后将输入矢量与这些边界进行比较,并被量

28、化为“距离”最小的区域边界的中心矢量值。矢量量化器的设计就是从大量信号样本中训练出好的码书,从实际效果出发寻找到好的失真测度定义公式,设计出最佳的矢量量化系统,用最少的搜索和计算失真的运算量,实现最大可能的平均信噪比。核心思想可以这样理解：如果一个码书是为某一特定的信源而优化设计的,那么由这一信息源产生的信号与该码书的平均量化失真就应小于其他信息的信号与该码书的平均量化失真,也就是说编码器本身存在区分能力。在实际的应用过程中,人们还研究了多种降低复杂度的方法,这些方法大致可以分为两类：无记忆的矢量量化和有记忆的矢量量化。无记忆的矢量量化包括树形搜索的矢量量化和多级矢量量化。4）神经网络的方法利

29、用人工神经网络的方法是 80 年代末期提出的一种新的语音识别方法。人工神经网络(ANN)本质上是一个自适应非线性动力学系统,模拟了人类神经活动的原理,具有自适应性、并行性、鲁棒性、容错性和学习特性,其强的分类能力和输入-输出映射能力在语音识别中都很有吸引力。但由于存在训练、识别时间太长的缺点,目前仍处于实验探索阶段。由于 ANN 不能很好的描述语音信号的时间动态特性,所以常把 ANN 与传统识7 / 29别方法结合,分别利用各自优点来进行语音识别。2.5 语音识别系统的结构语音识别是研究如何利用计算机从人的语音信号中提取有用的信息，并确定其语言含义。其基本原理就是将输入的语音，经过处理后，将其

30、和语音模型库进行比较，从而得到识别结果。见图 1图1 语音识别原理图其中语音采集设备指话筒、等将语音输入设备；数字化预处理则包括 AD变换和过滤、预处理等过程：参数分析指提取语音特征参数，利用这些参数与模型库中的参数进行匹配，从而产生识别结果的过程：语音识别是最终将识别结果输出到应用程序中的过程；而模型库，是提高语音识别率的关键。不同的语音识别系统，虽然具体实现细节有所不同，但所采用的基本技术相似，一个典型语音识别系统的实现过程如图2所示。图2 语音识别的实现完整的基于统计的语音识别系统可大致分为三部分：（1）语音信号预处理与特征提取 选择识别单元是语音识别研究的第一步。语音识别单元有单词（句

31、） 、音节和音素三种,具体选择哪一种,由具体的研究任务决定。 单词（句）单元广泛应用于中小词汇语音识别系统,但不适合大词汇系统,原因在于模型库太庞大,训练模型任务繁重,模型匹配算法复杂,难以满足实时性8 / 29要求。音节单元多见于汉语语音识别,主要因为汉语是单音节结构的语言,而英语是多音节,并且汉语虽然有大约 1300 个音节,但若不考虑声调,约有 408 个无调音节,数量相对较少。因此,对于中、大词汇量汉语语音识别系统来说,以音节为识别单元基本是可行的。音素单元以前多见于英语语音识别的研究中,但目前中、大词汇量汉语语音识别系统也在越来越多地采用。原因在于汉语音节仅由声母（包括零声母有 22

32、个）和韵母（共有 28 个）构成,且声韵母声学特性相差很大。实际应用中常把声母依后续韵母的不同而构成细化声母,这样虽然增加了模型数目,但提高了易混淆音节的区分能力。由于协同发音的影响,音素单元不稳定,所以如何获得稳定的音素单元,还有待研究。语音识别一个根本的问题是合理的选用特征。特征参数提取的目的是对语音信号进行分析处理,去掉与语音识别无关的冗余信息,获得影响语音识别的重要信息,同时对语音信号进行压缩。在实际应用中,语音信号的压缩率介于 10-100 之间。语音信号包含了大量各种不同的信息,提取哪些信息,用哪种方式提取,需要综合考虑各方面的因素,如成本,性能,响应时间,计算量等。非特定人语音识

33、别系统一般侧重提取反映语义的特征参数,尽量去除说话人的个人信息;而特定人语音识别系统则希望在提取反映语义的特征参数的同时,尽量也包含说话人的个人信息。 线性预测（LP）分析技术是目前应用广泛的特征参数提取技术,许多成功的应用系统都采用基于 LP 技术提取的倒谱参数。但线性预测模型是纯数学模型,没有考虑人类听觉系统对语音的处理特点。Mel 参数和基于感知线性预测（PLP）分析提取的感知线性预测倒谱,在一定程度上模拟了人耳对语音的处理特点,应用了人耳听觉感知方面的一些研究成果。实验证明,采用这种技术,语音识别系统的性能有一定提高。从目前使用的情况来看,梅尔刻度式倒频谱参数已逐渐取代原本常用的线性预

34、测编码导出的倒频谱参数,原因是它考虑了人类发声与接收声音的特性,具有更好的鲁棒性（Robustness） 。也有研究者尝试把小波分析技术应用于特征提取,但目前性能难以与上述技术相比,有待进一步研究。（2）声学模型与模式匹配声学模型通常是将获取的语音特征使用训练算法进行训练后产生。在识别时将输入的语音特征同声学模型（模式）进行匹配与比较,得到最佳的识别结果。9 / 29声学模型是识别系统的底层模型,并且是语音识别系统中最关键的一部分。声学模型的目的是提供一种有效的方法计算语音的特征矢量序列和每个发音模板之间的距离。声学模型的设计和语言发音特点密切相关。声学模型单元大小（字发音模型、半音节模型或音

35、素模型）对语音训练数据量大小、系统识别率,以与灵活性有较大的影响。必须根据不同语言的特点、识别系统词汇量的大小决定识别单元的大小。以汉语为例：汉语按音素的发音特征分类分为辅音、单元音、复元音、复鼻尾音四种,按音节结构分类为声母和韵母。并且由音素构成声母或韵母。有时,将含有声调的韵母称为调母。由单个调母或由声母与调母拼音成为音节。汉语的一个音节就是汉语一个字的音,即音节字。由音节字构成词,最后再由词构成句子。汉语声母共有 22 个,其中包括零声母,韵母共有 38 个。按音素分类,汉语辅音共有 22 个,单元音 13 个,复元音 13 个,复鼻尾音 16 个。目前常用的声学模型基元为声韵母、音节或

36、词,根据实现目的不同来选取不同的基元。汉语加上语气词共有 412 个音节,包括轻音字,共有 1282 个有调音节字,所以当在小词汇表孤立词语音识别时常选用词作为基元,在大词汇表语音识别时常采用音节或声韵母建模,而在连续语音识别时,由于协同发音的影响,常采用声韵母建模。基于统计的语音识别模型常用的就是 HMM 模型 (N,M,A ,B),涉与到HMM 模型的相关理论包括模型的结构选取、模型的初始化、模型参数的重估以与相应的识别算法等。（3）语言模型与语言处理语言模型包括由识别语音命令构成的语法网络或由统计方法构成的语言模型,语言处理可以进行语法、语义分析。语言模型对中、大词汇量的语音识别系统特别

37、重要。当分类发生错误时可以根据语言学模型、语法结构、语义学进行判断纠正,特别是一些同音字则必须通过上下文结构才能确定词义。语言学理论包括语义结构、语法规则、语言的数学描述模型等有关方面。目前比较成功的语言模型通常是采用统计语法的语言模型与基于规则语法结构命令语言模型。语法结构可以限定不同词之间的相互连接关系,减少了识别系统的搜索空间,这有利于提高系统的识别。2.6 语音识别所面临的问题（1）就算法模型方面而言,需要有进一步的突破。目前能看出它的一些明显10 / 29不足,尤其在中文语音识别方面,语言模型还有待完善,因为语言模型和声学模型正是听写识别的基础,这方面没有突破,语音识别的进展就只能是

38、一句空话。目前使用的语言模型只是一种概率模型,还没有用到以语言学为基础的文法模型,而要使计算机确实理解人类的语言,就必须在这一点上取得进展,这是一个相当艰苦的工作。此外,随着硬件资源的不断发展,一些核心算法如特征提取、搜索算法或者自适应算法将有可能进一步改进。可以相信,半导体和软件技术的共同进步将为语音识别技术的基础性工作带来福音。 （2）就适应方面而言,语音识别技术也有待进一步改进。目前,象 IBM 的ViaVoice 和 Asiaworks 的 SPK 都需要用户在使用前进行几百句话的训练,以让计算机适应你的声音特征。这必然限制了语音识别技术的进一步应用,大量的训练不仅让用户感到厌烦,而且

39、加大了系统的负担。并且,不能指望将来的消费电子应用产品也针对单个消费者进行训练。因此,必须在自适应方面有进一步的提高,做到不受特定人、口音或者方言的影响,这实际上也意味着对语言模型的进一步改进。现实世界的用户类型是多种多样的,就声音特征来讲有男音、女音和童音的区别,此外,许多人的发音离标准发音差距甚远,这就涉与到对口音或方言的处理。如果语音识别能做到自动适应大多数人的声线特征,那可能比提高一二个百分点识别率更重要。事实上,ViaVoice 的应用前景也因为这一点打了折扣,只有普通话说得很好的用户才可以在其中文版连续语音识别方面取得相对满意的成绩。（3）就强健性方面而言,语音识别技术需要能排除各

40、种环境因素的影响。目前,对语音识别效果影响最大的就是环境杂音或嗓音,在公共场合,你几乎不可能指望计算机能听懂你的话,来自四面八方的声音让它茫然而不知所措。很显然这极限制了语音技术的应用围,目前,要在嘈杂环境中使用语音识别技术必须有特殊的抗嗓(NoiseCancellation)麦克风才能进行,这对多数用户来说是不现实的。在公共场合中,个人能有意识地摒弃环境嗓音并从中获取自己所需要的特定声音,如何让语音识别技术也能达成这一点呢？这的确是一个艰巨的任务。此外,带宽问题也可能影响语音的有效传送,在速率低于 1000 比特/秒的极低比特率下,语音编码的研究将大大有别于正常情况,比如要在某些带宽特别窄的

41、信道上传输语音,以与水声通信、地下通信、战略与话音通信等,要在这些情况下实现有效的语音识别,就必须处理声音信号的特殊特征,如因为带宽而延迟或减损等。语音识别技术要进一步应用,就必须在强健性方面有大的突破。（4）多语言混合识别以与无限词汇识别方面：简单地说,目前使用的声学模型和语音模型太过于局限,以至用户只能使用特定语音进行特定词汇的识别。如11 / 29果突然从中文转为英文,或者法文、俄文,计算机就会不知如何反应,而给出一堆不知所云的句子;或者用户偶尔使用了某个专门领域的专业术语,如“信噪比等,可能也会得到奇怪的反应。这一方面是由于模型的局限,另一方面也受限于硬件资源。随着两方面的技术的进步,

42、将来的语音和声学模型可能会做到将多种语言混合纳入,用户因此就可以不必在语种之间来回切换。此外,对于声学模型的进一步改进,以与以语义学为基础的语言模型的改进,也能帮助用户尽可能少或不受词汇的影响,从而可实行无限词汇识别。（5）多语种交流系统的应用：最终,语音识别是要进一步拓展我们的交流空间,让我们能更加自由地面对这个世界。可以想见,如果语音识别技术在上述几个方面确实取得了突破性进展,那么多语种交流系统的出现就是顺理成章的事情,这将是语音识技术、机器翻译技术以与语音合成技术的完美结合,而如果硬件技术的发展能将这些算法进而固化到更为细小的芯片,比如手持移动设备上,那么个人就可以带着这种设备周游世界而

43、无需担心任何交流的困难,你说出你想表达的意思,手持设备同时识别并将它翻译成对方的语言,然后合成并发送出去;同时接听对方的语言,识别并翻译成已方的语言,合成后朗读给你听,所有这一切几乎都是同时进行的,只是机器充当着主角。任何技术的进步都是为了更进一步拓展我们人类的生存和交流空间,以使我们获得更大的自由,就服务于人类而言,这一点显然也是语音识别技术的发展方向,而为了达成这一点,它还需要在上述几个方面取得突破性进展,最终,多语种自由交流系统将带给我们全新的生活空间。12 / 29第三章 基于 Speech SDK 的语音识别与合成3.1 Speech SDK 简介微软的Speech SDK是是微软提

44、供的软件开发包，其中包含了语音识别和合成引擎相关组件、帮助文档和例程，它是个语音识别和合成的二次开发平台。我们可以利用这个平台，在自己开发的软件里嵌入语音识别和合成功能，从而使用户可以用声音来代替鼠标和键盘完成部分操作，例如：文字输入、菜单控制等，实现真正的“人机对话”。Speech SDK是基于COM的视窗操作系统开发工具包。这个SDK中含有语音应用程序接口（SAPI），微软连续语音识别引擎（MCSR）以与串联语音合成（又称文本到语音）引擎（TTS）等等。SAPI 中还包括对于低层控制和高度适应性的直接语音管理，训练向导，事件，语法，编译，资源，语音识别管理以与文本到语音管理，其结构如图所示

45、。图 3 SAPI 框架图图 3 中，语音框架主要靠 SAPI 运行来实现应用程序与语音引擎之间的协作，而 SAPI 提供各种接口实现不同的语音功能，SAPI 使得应用程序和语音引擎之间高度紧密的结合，实时处理各种语音引擎在底层工作中的细节。本系统会同时使用到 SPEECH SDK 的语音识别引擎和 TTS 合成引擎因此，对这两个引擎的相关控制命令介绍如下。13 / 293.1.1 语音识别引擎接口(1)识别上下文(1spRecoContext)接口：是主要的语音识别程序接口，主要用于发送和接收与语音识别相关的消息通知，创建语法规则对象。(2)语音识别引擎(1spReeognizer)接口：用

46、于创建语音识别引擎的实例。SAPI拥有两种不同的语音识别引擎类型，一个是共享的语音识别引擎 (SharedRecognizer)。由于它可以与其他语音识别应用程序共享其程序资源，所以在大多数场合中被推荐使用。需要建立一个采用共享语音识别引擎的识别环境(IspRecoContext)。一个是独占(1nProcRecognizer)的引擎，它只能由创建的应用程序使用，而共享引擎可以提供多个应用程序使用。(3)语法规则(IspRecoGrammar)接口：定义引擎需要识别的具体容，创建、载入和激活识别用的语法规则。(4)识别结果(IspVoice)接口：用于获取识别的结果，包括识别的文字，识别的语法

47、规则等。3.1.2 语音合成引擎接口语音合成(ISpVoice)接口：主要功能是实现文本到语音的转换。它的作用如使用IspVoice：Speak来从文本数据生成语音，从而使电脑会说话。当处于异步工作时，可以使用IspVoiee：CetStatus来获得发音状态与文本位置等。在接口中，有许多成员函数，通过这些成员函数可以实现对发音频率、发音音量等合成属性进行调整。在C#中，我们通过实现ISpVoice接口的SpVoice类来实现语音合成。具体步骤如下：(1)首先创建SpVoice类的对象；(2)利用对象成员函数设置语音属性，如果不设置，则按默认方式处理；(3)调用对象成员函数speak函数来朗读

48、指定文本Speak函数需要两个参数，第一个参数指明需要朗读的文本。第二个参数指明发音方式。3.2 Speech SDK 5.1的工作原理Speech SDK的最高版本是5.1版。微软speech SDK 5.1全面支持中文语音应用程序的开发，SDK里提供了语音识别和合成引擎相关组件、应用程序层接口、详细的技术资料和帮助文档。它采用COM标准开发，底层协议都以C0M组件的形式完全独立于应用程序层，为应用程序设计人员屏蔽掉复杂的语音技术，充分体现了COM的优点，即语音相关的一系列工作由COM组件完成：语音识别由识别引擎(Recognition Engine)管理，语音合成由语音合成引擎(Synth

49、esis Engine)负14 / 29责；程序员只需专注于自己的应用，调用相关的语音应用程序接口(SAPI)来实现语音能。语音识别的功能COM接口共同完成，而且遵守特定的工作程序。概括地说，语音识别的工作原理遵循C0M组件的工作原理和一般windows应用程序的工作原理(消息驱动机制)，具体如下：(1)首先，初始化COM平台；(2)定义各个语音接口对象(以特定的顺序)，设置识别语法、识别消息，使识别引擎处于工作状态；(3)当有语法规则被识别后，ISpRecoContext对象向应用程序发出语音识别消息，从而调用识别消息响应函数；在改消息函数中，通过ISpPhrase接口获取识别的结果。此步可

50、以循环，直到停止语法规则为止。(4)应用程序退出时，卸载COM平台。语音识别软件系统流程如下图所示，硬件只需在原来的机器人系统上配置麦克风。COM 平台，定义各个接口对象通过麦克输入语音指令SR 引擎对象识别发送自定义消息，激活消息函数比较结果是否匹配输出结果成功是否15 / 29图4语音识别流程图3.3 实例应用(1) 网络同声翻译伴随着语音识别技术的不断发展，语音合成技术把可视的文本信息转化为可听的声音信息，能听、能讲普通话、还可以高度适应不同的口音，因而可以广泛适用于不同文化背景的使用者，尤其是中国地区语言差别较大的广大用户。利用SAPI的语音识别来实现网络同声翻译，将大大提高中国与外国

51、的交流，通过它，普通人很容易与外国的人交流，那将使中国的经济飞速发展。(2) 语音录入通过SAPI的语音识别引擎，还可以进行语音录入。这将大方便残疾人进行文本录入，通过它，残疾人只要说话就能实现文本录入的工作。实现上述应用的流程与部分程序如下：在利用SAPI 5.0进行语音识别时，主要运用 ApplicationLevel Interfaces中的Speech Recognition interfaces下IspRecoContext interface来实现语音到本的转换。大体过程为:建立语音识别引擎：cpRecoEngineCoCreatelnstance ( CLSlD-SpShared

52、-Recognizer)；(公有引擎)cpRecoEngineCoCreatelnstance ( CLSIDSplnprocRecognizer)；(私有引擎)建立与之相关的识别上下文CComPtr(ISpRecoContextcpRecoCtxt；cpRecoEngine-CreateRecoContext(cpRecoCtxt)；然后声明语音识别的WIN32消息CComPtr(ISpNotifyTranslatorcpNotify；hr cpNotifyCoCreatelnstance (CLSIDSpNotifyTranslator)；if(SUCCEEDED(hr)hr=cpNoti

53、Iy一InitWindowMessage(hWndWMDICTRECOEVENT，0，O)；if(SUCCEEDED(hr)hrcpRecoCtxt一SetNotifySink(cpNotify)；if(SUCCEEDED(hr)f hrcpRecoCtxt-SetInterest(mullDictInterestmullDictInterest)；声明完后，在WMDICTRECOEVENT消息下调用处理函数eventGetFrom(cpRecoCtxt)得到识别的消息句柄，用16 / 29switch(eventeEventld)和case来实现对不同识别事件进行不同的处理。在识别消息中，有

54、六种基本消息SPEISOUNDSTART，SPEISOUNDEND，SPEI-PHRASESTART，SPRTFALSERECOGNITION，SPEIHYPOTHESIS， SPEI_RECOGNITION。其中SPEIHYPOTHESIS，SPEIRECOGNITION 需要做重点处理。最主要的就是得到识别后的文本，运用函数GetText就可以方便地得到文本。最后对文本进行一些处理与翻译，就实现了网络同声翻译和语音录入。第四章 语音技术的应用与发展趋势4.1 引言 语 音 识 别 技 术 的 发 展 的 确 经 历 了 一 个 漫 长 的 渐 进 过 程。 二 十 多 年 前， 它 还 只

55、 是 科 研 人 员 在 实 验 室 里 描 述 的 一 个 梦 想 般 的 希 望， 但 两 个 方 面 的 进 步 终 于 促 成 了 这 一 技 术 的 平 民 化。 其 一， 半 导 体 技 术 的 发 展 使 得 以 前 只 有 在 巨 型 机 上 才 能 进 行 的 语 音 识 别 系 统 如 今 在 微 机 上 就 可 以 实 现。 无 疑， 英 特 尔 公 司 在 这 其 中 扮 演 了 重 要 的 角 色， 今 天， 多 数 的 普 通 家 庭 都 对 “Intel Inside” 这 样 一 句 广 告 词 耳 熟 能 详， 并 且 也 具 备 足 够 的 支 付 能 力

56、来 使 用 一 台 高 性 能 微 机； 其 二， 软 件 技 术 的 演 进 也 使 得 这 项 技 术 走 向 实 用， 一 些 核 心 算 法， 如 特 征 提 取、 语 音 的 声 学 摸 型 与 相 应 的 语 言 模 型， 搜 索 算 法 与 自 适 应 算 法 等 都 取 得 了 长 足 的 进 展。 软 硬 件 技 术 的 有 效 结 合 为 我 们 提 供 了 一 种 全 新 的 远 景。 很 显 然， 语 音 处 理 正 在 革 新 这 个 世 界， 因 为 一 旦 赋 予 人 类 语 音 以 力 量 之 后， 任 何 会 说 话 的 人 都 将 能 自 由 地 应 用 这

57、 种 技 术。 并 且， 这 也 是 现 存 的 最 为 自 然 的 用 户 界 面。 多数人可 能 都 怀 着 一 种 模 糊 而 激 动 的 心 情 期 待 着 这 一 新 技 术 的 来 临， 然 而， 语 音 识 别 技 术 确 切 地 能 够 为 我 们 带 来 什 么 呢 ？ 许 多 行 业 还 并 未 清 晰 地 意 识 到 该 技 术 所 可 能 开 拓 的 广 阔 空 间。 但 是， 就 目 前 的 发 展 势 态 与 技 术 进 步 来 看， 它 将 有 可 能 涉 足 人 类 生 活 的 每 一 领 域。 目 前， 在 信 息 处 理、 教 育 与 商 务 应 用、 消

58、费 电 子 应 用 方 面， 语 音 识 别 技 术 都 已 经 展 现 出 了 它 的 巨 大 优 势。4.1.1 语音识别技术在信息处理领域的应用 个 人 电 脑 的 普 与 在 中 国 一 直 有 着 不 小 的 障 碍。 多 数 的 中 国 用 户 往 往 会 被 其 复 杂 的 用 户 界 面 弄 得 不 知 所 措。 此 外， 汉 字 输 入 也 是 计 算 机 应 用 的 一 个 困 难， 即 使 五 笔 字 型 已 经 如 此 著 名， 但 愿 意 花 时 间 去 学 并 且 学 好 的 人 也 并 不 17 / 29很 多， 而 拼 音 输 入 对 于 发 音 不 太 准 或

59、 拼 音 基 础 不 好 的 人 来 讲 也 成 问 题。 因 此， 语 音 识 别 技 术 至 少 首 先 在 这 两 个 方 面 有 着 广 阔 的 应 用。 简 单 地 讲， 语 音 识 别 技 术 在 信 息 处 理 领 域 的 首 要 的 巨 大 应 用 将 在 于 提 供 了 一 种 全 新 的 人 机 交 互 形 式， 在 这 样 一 种 形 式 之 下， 将 会 拓 展 出 许 多 应 用 分 支：（1） 给 计 算 机 发 送 指 令 (Command & Control)： Windows 的 图 形 用 户 界 面 虽 然 已 经 大 大 简 化 了 操 作 环 境， 但

60、 大 多 数 用 户 仍 然 会 在 其 中 迷 失 方 向。 而 且， 日 益 出 现 的 新 领 域 也 超 过 了 一 般 用 户 的 理 解 能 力。 而 现 在， 随 着 语 音 识 别 技 术 的 应 用， 计 算 机 将 会 象 是 一 位 与 你 交 谈 的 伙 伴， 你 可 能 只 需 要 对 着 话 筒 说 几 句 话， 就 可 以 实 现 那 些 隐 藏 在 Windows 层 层 菜 单 后 面 的 功 能。 目 前， 国 际 商 用 机 器 公 司 (IBM) 在 这 方 面 已 经 有 成 熟 的 产 品。 国 购 买 联 想 微 机 的 用 户 想 必 已 经 体