（生物医学工程专业论文）远程会诊系统中实时通信子系统的设计与研究.pdf

浙江大学硕 ：学位论 a b s t r a c t a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fm u l t i m e d i aa n dc o m m u n i c a t i o nt e c h n o l o g y , t e l e m e d i c i n e ，e s p e c i a l l yt e l c c o n s u l t a t i o n h a s g o n ei n t o ah i g h s p e e ds e e d t i m e t e l e c o n s u l t a t i o ni sd i f f e r e n tf r o mt r a d i t i o n a r yd i a g n o s i sm o d e w i t hi tp e o p l ef a r a w a ya l s oc a ng e ts a f eh e a l t hc a r ec o n v e n i e n t l y s oi t sw o r t ht od e s i g na n dr e s e a r c h a l li n t e m e tb a s e dt e l e c o n s u l t a t i o ns y s t e mt oh e l pd o c t o r sa n dp a t i e n t st oh a v ead i s t a n t “f a c et of a c e c o n s u l t a t i o n a n dt h ek e r n e li st h er e a l t i m ec o m m u n i c a t i o ns y s t e m ， w i t c hi st h et h e s i st a l k sa b o u t t h et h e s i si n t r o d u c e st h ed e s i g na n dr e s e a r c ho ft h er e a l - t i m ec o m m u n i c a t i o n s y s t e m t h e r ea r et w ok e yt e c h n o l o g i e s ，m u l t i m e d i ad a t ac o m p r e s s i o na n dn e t w o r k c o m m u n i c a t i o n o nt h eb a s eo fc o m p a r i n gd i f f e r e n tm e t h o d s , f i n a l l yic h o o s eh 2 6 3 s t a n d a r dt oc o m p r e s sa n dd e c o m p r e s sv i d e od a t a , a n dg 7 2 3 1w i t ha u d i od a d a i c h o o s ei 旺p 甩互c p u d ps t a n d a l dt ot r a n s f e rm u l t i m e d i ad a t as f f e a m n e x ti tt a l k s a b o u tt h ef r a m e w o r ko ft h es y s t e m ，w i t c hi sd i v i d e di n t ov i d e om o d u l e ，a u d i om o d u l e ， c h a r a c t e rm o d u l e n e t w o r kc o m m u n i c a t i o nm o d u l ea n ds y s t e mc o n t r o lm o d u l e n e d e s i g na n dp r o g r a ma c c o m p l i s h m e n to fe a c hm o d u l ew i l lb e e ns e e na sf o l l o wi n d e t a i l k e y w o r d s ：t e l e e o n s u l t a t i o n ,r e a l t i m ec o m m u n i c a t i o n , d a t ac o m p r e s s i o n , n e t w o r kc o m m u n i c a t i o n ，v i d e o ，a u d i o ，c h a r a c t e r n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他入已经发表 或撰写过的研究成果，也不包含为获得迸姿盘茎或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示谢意。 学位论文作者签名： 矧驾蔫签字日期：，啊年r 月心日 学位论文版权使用授权书 本学位论文作者完全了解逝垫盘鲎有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授 t 逝些盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位敝作者躲钠铂导师签名芗 签字日期： 凋年上月应日签字目期：l 汐年月西日 学位论文作者毕业后去向： t 二作单位：杭州茂力半导体 电话：1 3 7 0 5 8 1 4 2 1 2 通讯地址：杭州市教工路2 3 号百脑汇大楼1 4 0 6 房间邮编：3 1 0 0 0 0 e m a i l 地址：h u x q z j u g m a i l t o m 浙江丈学硕上学位论文 绪论 1 绪论 计算机和通信技术的迅猛发展，给远程医疗的发展和推广带来了新的契机。 开展城乡医疗资源共享，消除医疗水平的地域差异成为当前的热门话题。多媒体 数据压缩和网络通信技术的飞速发展也不断推动着远程会诊的前进。当前主流的 远程医疗会诊系统是基于视频会议系统的，成本较高，并且需要安装维护等大量 的工作，很难普遍应用于一般的医院之中。因此，开发一套成本低、代码解析度 高、使用灵活的远程会诊系统符合当前的需要。“远程会诊系统中实时通信子系 统的设计与研究”这一课题的提出，正是为了满足这种需要。 1 1 远程医疗概述 1 1 1 远程医疗的定义和分类 远程医疗( t e l e m c d i c i n e ) 是通过远程通信技术和计算机多媒体技术，来实现对 医学信息的远程采集、传输、处理和查询，以达到异地疾病诊治、远程教学、卫 生保健服务、共享医疗信息资源等医疗目的。具体地说，远程医疗包括远程医学 影像、远程医学病理、远程医学咨询及会诊、远程医学教育、远程医学信息数据 共享等。【1 j 根据不同环境下的不同需要，远程医疗技术可分为三大类： 1 远程监护 远程监护通过对生理体证参数进行连续监测来研究远地对象生理、病理状 态。可定义为通过通信网络将远端的生理等医学信息传送到监护中心进行分析， 并给出诊断意见的一种技术手段。远程监护利用现代通信技术将病人监护范围从 医院内扩展到通信网络可以达到的任何地方，可以实现病人与诊所、诊所与医院 或医院间诊疗信息的传送。它缩短了医生和病人之间的距离，医生可以根据这些 异地传来的生理信息为患者提供及时的医疗服务。 2 远程诊治 借助远程通信的途径实现对异地对象的诊断和治疗的过程称为远程诊治。按 浙江大学硕 学位论文 照远程诊治中不同应用的要求以及涉及到的技术差别，可将其分为： 1 ) 特殊目的的远程诊断与治疗系统，包括远程皮肤学、远程病理学等等； 2 ) 远程会诊系统； 3 1 远程诊疗咨询系统； 钔远程康复技术； 5 1 远程手术技术。 3 远程医学教育 作为远程医疗的服务形式之一，远程医学教育包括对医护人员的专业教育 ( 基础教育和继续教育) 、获取远地信息( 数据库、文献和专家) 和社区医疗保 健教育三部分。 本课题的研究主要针对远程会诊而言。 1 1 2 远程医疗的意义 开展远程医疗可以增加每个社会成员获得医疗服务和医学教育的机会，减少 因地区差异、贫富差异、种族差异等原因造成的医疗水平的不平等，使患者能够 以可接受的价格获得高水平的医疗服务。开展远程医疗所具有重大的现实意义概 括如下f 2 l ： 1 远程医疗对患者的影响 首先患者通过远程医疗在当地医院接受大型综合医院顶级专家诊断和治疗， 从而节省患者及患者家属到大医院就医要花费的交通费、食宿费、误工费等，节 约了大量的金钱。其次，远程医疗减少了疾病诊断和治疗在时间上的延误，减轻 了患者的痛苦。第三，通过远程医疗，会诊专家和患者之间建立起全新的联系， 双方通过屏幕“面对面”的交流机会增多，患者对自身病情了解更加详细，增强 了战胜疾病的信心，有助于疾病的治疗和康复。 2 远程医疗对医护人员的影响 一方面，远程医疗将明显扩大医护人员与同事交流的范围与深度，节省医务 人员出差、吃住等费用。远程系统可将病例报告和图像即时发送到参与讨论同行 的电脑终端，方便了医护人员获取、交流患者信息。另一方面，边远地区的医护 人员通过远程医疗系统可及时、准确地获取最新的医疗动态及治疗计划，积累临 2 浙江大学硕t 学位论文 床经验，以便在同样的情况下更好地治疗和护理患者。同时中心城市大型综合性 医院的专家通过远程系统也可更多地了解边远地区的需求，促使他们提供更佳的 医疗服务。 3 远程医疗对医院的影响 对医院来说，远程医疗加深了医院信息化、数字化程度。采用远程方式可以 减少非急诊患者的求诊人数，减轻医生问诊的负担，同时也避免了医院的拥挤， 医院的秩序得以更好的维持。更主要的是方便了患者，使患者足不出户便可得到 一流的医疗服务，优化了医疗卫生资源的配置，有效促进各级医院医疗水平的提 高。建立远程会诊系统后，会诊医院和申请医院提高了知名度，可吸引更多的患 者前来就医，医疗收入将会大为提高，为双方带来更多的经济效益。 1 1 3 远程医疗的三大支撑技术 由远程医疗的定义可以看出，医疗保健技术、远程通信技术、信息处理技术 便是远程医学的三大支撑技术：i l j 1 医疗保健技术 用于远程医疗的医疗保健技术包括医疗专业人员的诊疗技术、临床试验检测 技术( 如血、尿、体液的各种生化含量指标) 、生物学信号数据( 如心电图、血 压、肌电图、血氧等生理和电生理参数) 、医学成像技术( 如b 超、c t 、断层扫 描、核磁共振等) 和病人医疗记录( 电子病历) 。由于远程医疗的特点是异地传 输医疗数据，开展远程医疗的前提是医疗信息的数字化。 2 通信技术 远程通信技术在最近1 0 年得到了长足的发展，为远程医疗传输医学信息f 数 据、文字、视频、音频和图像) 等提供了强有力的技术支持。其中数据和文字信 息的数据量小，对通信要求不高。视频和音频信号数据量较大，而且在远程会诊 和交互式会议中需要同步传输实时视频和音频信号，因此对通信设备要求较高。 医学影像中的静态图像一般为一幅或几幅医学影像，如x 片或c t 图像，传输的 实时性要求不高；而动态图像是显示一系列变化的图像，对实时性要求高，因此 对网络的带宽和传输速度也都有较高的要求。 远程医疗依附的通信技术经历了最初的拨号上网，i s d n 、d d n 专线，卫星 3 浙江大学硕士学位论文 绪论 通信到现在的口宽带网。今后宽带互联网和第三代移动通信的结合，更将改变 现有的远程医疗模式，使患者不管在任何地方、任何时候都能获得优质的医疗服 务。 3 信息处理技术 信息处理技术是远程医疗研究中另一个重要的关键技术。在远程医疗的网络 传输中，对各种医疗信息，如实验室数据、生物信号、医学图像数据等的检测、 采集、处理、传输、显示、查询、存储等的处理方式并涉及多媒体等一系列信息 处理技术。信息处理技术将在远程医疗中发挥重要作用，而数字化网络通信技术 是医疗信息处理的技术平台。 在远程医疗中，尤其在远程会诊系统中，如何将计算机多媒体技术和网络通 信技术结合到远程会诊系统中，实现远地两端的实时通信，是本课题的主要研究 任务。下面引入多媒体及多媒体通信技术的概念。 1 2 多媒体通信技术概述 1 2 1 媒体与多媒体的概念 媒体是指信息传递和存储的最基本的技术和手段，即信息的载体。它包括五 大类：感觉媒体、表示媒体、显示媒体、存储媒体和传输媒体。1 3 】 在多媒体技术中的“多媒体，通常是指感觉媒体的组合，即声音、文字、 图像、数据等各种媒体的组合。 多媒体技术就是计算机交互式综合处理多媒体信息，包括文本、图形、图像 和声音，是多种信息建立逻辑连接，集成为一个系统并具有交互性。简而言之， 多媒体技术就是计算机综合处理声、文、图信息的技术，具有集成性、实时性和 交互性的特点。 3 1 多媒体技术最简单的表现形式就是多媒体计算机。它的主要特征体现在它能 够有效地对图像数据进行实时地压缩和解压缩，并能够在时间上与有相关性的多 种媒体保持同步。 当存储数字化活动图像信息的数据库与用户多媒体计算机分开时，用户就需 要通过通信网络调用远处数据库中的图像信号和伴音信号，这样多媒体技术便延 4 浙江大学硕上学位论文 伸到通信领域，从而产生了多媒体通信技术。 1 2 2 多媒体通信的基本概念 多媒体通信技术是多媒体技术、计算机技术、通信技术和网络技术等相互结 合和发展的产物。在物理结构上，由若干个多媒体通信终端、多媒体服务器经过 通信网络连接在一起构成的系统，就是多媒体通信系统。在计算机领域，人们也 将该系统称为分布式多媒体系统。 一般来说，多媒体通信系统必须兼有下面三个特征【3 l ： 1 集成性 多媒体通信系统能够处理、存储和传输多种表示媒体，并能捕获与显示多种 感觉媒体，因此多媒体通信系统集成了多种编译码器和多种感觉媒体的显示方 式。能与多种传输媒体接口，并且能与多种存储媒体进行通信。 2 交互性 多媒体通信系统的一个重要特征是多媒体通信终端的用户与系统通信的全 过程中具有完备的交互控制能力，此特征也是区别多媒体通信系统和非多媒体通 信系统的一个主要标准。 3 同步性 同步性指的是在多媒体通信终端上显示的文字、声音和图像是以在时空上同 步的方式工作的。只有将各种媒体信息融合为一体，并使它们具有时空上的同步 关系，才是多媒体。同步性也是多媒体通信系统中最难解决的技术问题之一。 1 2 3 多媒体通信中的关键技术 由于多媒体通信是一门跨学科的交叉技术，所以它涉及的关键技术也有多 种： 1 多媒体数据压缩技术 3 1 多媒体计算机的关键技术是数据压缩技术。数字化后的多媒体信息数据量非 常大，尤其是视频信号，数据量更大。为了节省存储空间，充分利用有限的信道 容量传输更多的多媒体信息，必须对多媒体数据进行压缩。多媒体数据的压缩包 括视频数据和音频数据压缩两个方面，二者采用的基本压缩技术相同，只是视频 5 浙江大学硕上学位论文绪论 信号的数据量比音频数据量大得多，压缩难度更大，所以通常以视频信号为例来 讨论多媒体数据压缩技术。 图像压缩编码的发展经历了三个阶段，即第一代、第二代、第三代图像压缩 编码方法。第一代图像压缩编码方法以仙农信息论为基础，考虑图像信源的统计 特性，采用预测编码、变换编码等方法。第一代图像压缩编码方法于2 0 世纪8 0 年代初已趋于成熟，目前利用第一代技术对视频图像的压缩可以达到8 4 8 k b i t $ 的最低传输码率。第二代图像压缩编码方法充分考虑了人眼的视觉特性，采用基 于方向滤波的图像编码方法和基于图像轮廓一纹理编码方法，可获得极低码率的 图像数据。但是目前第二代技术还没发展到成熟的阶段。第三代图像压缩编码方 法考虑到图像传递的景物特征，采用分形编码方法和基于模型的编码方法，其中 基于模型的压缩编码方法是目前最活跃的研究领域，代表着新一代的压缩编码方 向。 有关音频信号的压缩编码技术基本上与图像压缩编码技术相同，不同之处在 于图像信号是二维的，而音频信号是一维的，音频信号数据压缩难度较低。 2 多媒体数据的获取与显示技术 多媒体数据的获取与显示主要体现在用户和多媒体系统之间进行交互的多 媒体终端上。不同的多媒体业务要求使用不同的多媒体终端，因此对应的获取与 显示技术也不相同。目前，文字识别、语音识别、图形识别等先进技术的运用， 使人们越来越方便的使用多媒体终端。 3 多媒体数据的同步 目前，多媒体技术可以处理视觉、听觉甚至触觉信息，但是支持的媒体越多， 处理这些媒体之间的同步问题就越复杂。当前解决多媒体通信中同步信息的方法 很多，其中3 种基本的方法是时间戳法、同步标记法和多路复用法。 4 多媒体数据库及其检索技术 近年来由于数据压缩、海量存储、宽带网络、高速计算机技术的发展，使得 多媒体很快成为计算机和通信行业的热点，同时数据库作为信息管理的有效手段 也成为多媒体研究的重要方向。 相比传统的数据库管理系统，多媒体数据库要加强合理语义模型技术，特别 是视像和图像的语义模型，要设计有效的索引和组织方法，建立适合于媒体同步 6 浙江大学硕i ：学位论文 和集成的数据模型，加大查询语言的研究，在物理存储管理上设计有效的数据存 放模式，采用分布式多媒体数据库的管理。 5 多媒体通信网【4 】 通信网络是多媒体应用的传输环境，多媒体通信对信息的传输和交换都提出 了新的高的要求。网络的带宽、交换方式及通信协议都将直接影响能否提供多媒 体通信业务与多媒体通信的质量。多媒体通信网络的要求主要体现在以下几个方 面： 1 ) 多媒体的多样化，能同时支持音频、视频和数据的传输； 2 1 交换节点的吞吐量； 3 1 有足够的可靠带宽； 铆具有良好的传输性能，如同步、延时、误比特率等必须满足要求； 5 ) 具备呼叫连接控制、拥塞控制、服务质量控制和网络管理功能。 1 2 4 多媒体通信技术的应用 多媒体通信系统的应用十分广泛，可以提供远程教学、远程办公、远程医疗、 多媒体电子邮件、可视电话、桌面视频会议、数字图书馆、v o d 视频点播等多 种多样的业务。 本课题所作的研究就是如何将多媒体通信技术用于远程会诊中，实现专家与 会诊申请方的实时通信，包括音视频交流及文本数据的实时传输。 1 3 课题背景和主要研究内容 1 3 1 课题背景 目前我国医疗资源分配很不平衡，特别是在中西部广大偏远地区和农村，医 护水平和医疗条件不高，大量患者得不到合理医治，误诊事件时有发生，这些都 给远程医疗特别是远程会诊的发展带来了契机。而远地之间的“面对面”交流是 远程会诊系统的核心，本课题的任务便是实现远地之间的实时通信。 我国远程医疗虽然经历了十多年的发展，大多数系统仍处于研究和试用阶 段，比较成功的项目集中在远程医学教育方面。对于远程会诊，这类系统往往只 7 浙江大学硕士学位论文 是利用像n e t m e e t i n g 一类网络视讯会议系统加电子邮件一类消息传递应用软件 作为远程信息交换。这些网络软件资源，往往因远程医疗软件厂商不具备自主知 识产权，很难开发与医院数字化医疗设备、h i s 、p a c s 等信息系统的集成接口。 这类系统多数是视频会议系统和其他应用软件的堆叠或加成，难形成远程医疗协 同处理环境，不利于病人信息的采集、交换，不利于会诊过程声音、视频、图像、 记录、报告等会诊信息的保存，不仅使用不方便，也难保证会诊的安全和质量。 5 1 以目前发展迅速的东软远程医疗系统为例，它是通过访问医疗网站来提交会诊 所需的影像资料及病人资料，会诊过程则由一套独立的视频会议系统来完成。这 样的简单组成方式很难与医院的信息系统进行交互，不利于长远发展。而且对于 每个会诊分布点都必须安装一套视频会议系统，不仅费用极高，安装维护起来也 不方便。 另一方面，目前的视讯软件大多是利用现有的网络传输工具进行二次开发 的，比如目前广为使用的音视频聊天软件q q 和m s n 就是利用n e t m e e t i n g 进行 二次开发实现的。这种方法实现起来容易、方便，可以直接调用现有工具较好的 压缩算法和发送接收管理机制，不需要做底层的高难度开发。但是因为是二次 开发，许多底层功能都无法控制，导致在界面设置和功能实现上都有所限制。 基于以上两方面的原因，开发一套既不用在各个会诊点都安装视频会议客户 端，又完全掌握系统内部开发细节的远程会诊系统，具有一定的研究价值。本课 题的目标就是设计与实现这样一套远程会诊系统中音视频交流的实时通信子系 统。课题按照会诊的实际需要选择数据压缩算法和网络传输协议，并将实时通信 子系统做成控件内嵌到会诊网站中，与其形成无缝集成，组成一个完整的一体化 的远程会诊系统。最后希望以此为雏形，开发出具有实际应用价值的远程会诊系 统，为城乡医疗资源共享、消除地区差异做出贡献。 1 3 2 主要研究内容 远程会诊实时通信子系统就是用来实现专家和普通医生、医生和病人之间的 实时交流，包括视频交流、音频交流和文字交流。 本文涉及的主要研究内容如下： 1 ) 设计实时通信子系统的整体框架； 8 浙江大学硕上学位论文 绪论 采集音视频输入信号； 研究多媒体数据压缩技术，尤其是音视频压缩技术，根据远程会诊的需 要制定合适的音视频编解码方案； 钔研究多媒体网络通信技术，根据远程会诊的实际需要制定合适的音视频 及文字数据网络传输方案。 5 1 显示接收到的音视频数据及文字； 们实现远程会诊实时通信子系统，实现两地及以上多点之间的音视频交流 和文字交流。 9 浙江大学硕t 学位论文 时通信了：系统中的关键技术 2 实时通信子系统中的关键技术 从第一章的介绍中我们已经知道，多媒体通信涉及到的关键技术很多。根据 远程会诊的需要，实时通信子系统是用来实现多媒体数据包括视频数据、音频数 据和文字数据的采集、实时传输和回放。所以在本系统的设计和实现中，主要涉 及到两个关键技术：数据压缩技术和网络通信技术。下面本文将详细介绍这两方 面的关键技术。 2 1 多媒体数据压缩技术 在本课题所研究的实时通信系统中，多媒体信息主要包括视频、音频和文字 信息。其中视频、音频信息量很大。要在有限的带宽中及时准确的传输大量的数 据，就必须采用合理的数据压缩算法。本人对视频选用h 2 6 3 压缩算法，而对音 频选用g 7 2 3 1 压缩算法。为什么选用这两种压缩技术，本文将在后面作详细分 析。 2 1 1 多媒体数据压缩概述 2 1 11 数据压缩的必要性 在多媒体计算机系统中，信息从单一媒体转到多种媒体，若要表示、传输和 处理大量数字化了的声音、图片、影像视频信息等，数据量是非常大的。因此， 在多媒体计算机系统中，为了达到令人满意的图像、视频画面质量和听觉效果， 必须解决视频、图像、音频信号数据的大容量存储和实时传输问题。解决的方法， 除了提高计算机本身的性能及通信信道的带宽外，更重要的是对多媒体数据进行 有效的压缩【6 l 。没有好的压缩技术，多媒体技术就不能实用化。 2 1 1 2 数据压缩的途径 数据之所以能够进行压缩有两个原因：1 ) 信源数据中存在或多或少的冗余， 1 0 浙江大学硕l ：学位论文时通信于系统中的关键技术 这种冗余既存在信源本身的相关性中，也存在于信源概率分布的不均匀中，如空 间冗余、时间冗余、结构冗余、知识冗余及纹理统计冗余；2 ) 对于图像、音频 和视频等特殊信源，人的感知可容忍某些细节信息的丢失( 失真) ，这种是感知 冗余。 数据冗余的类型如图2 1 ： 吲网国国罔 图2 - 1 数据冗余类型 1 1 空间冗余：这是图像数据中经常存在的一种冗余，是一幅图像内部相邻 像素之间存在较强的相关性所造成的冗余。 时间冗余：这是序列图像和语音数据中所经常包含的冗余。图像序列中 的两幅相邻的图像之间有较大的相关性，这反映为时间冗余；在语音中， 由于人在说话时发音的音频是一连续的渐变过程，而不是一个完全时间 上独立的过程，因而存在时间冗余。 3 1 结构冗余：是指图像中存在很强的纹理结构或自相似性。 4 ) 信息熵冗余：也称编码冗余，如果图像中平均每个像素使用的比特数大 于该图像的信息熵，则图像中存在冗余，这种冗余称为信息熵冗余。 5 1 视觉冗余：是指人眼不能感知或不敏感的那部分图像信息。这是因为人 类视觉系统并不是对任何图像的变化都很敏感，人眼对于图像的注意是 非均匀的。 6 1 听觉冗余：是指人耳不能感知或不敏感的那部分声音信息。这是由于人 类听觉系统对不同频率声音的敏感程度不同，而且受环境的影响，声音 之间还存在掩蔽效应。 乃知识冗余：是指图像中包含和先验知识和背景知识相关的信息。 数据压缩的途径就是消除冗余。数据压缩“历史悠久”，已经发展了4 0 多年， 1 1 浙江大学硕e 学位论文时通信子系统中的关键技术 但直到2 0 世纪8 0 年代以后才不断涌现出适合各种应用场合的编码和压缩算法。 2 1 1 3 数据压缩方法的分类【6 1 数据的压缩实际上是一个编码过程，即把原始的数据进行编码压缩。数据的 解压缩是数据压缩的逆过程，即把压缩的编码还原为原始数据。因此数据压缩方 法也称为编码方法。目前，数据压缩技术日趋成熟，适应各种应用场合的编码方 法不断产生。针对多媒体数据冗余类型的不同，相应地有不同的压缩方法。 1 根据解码后数据与原始数据是否完全一致，数据压缩方法划分为两大 类： 1 1 无损压缩( 无失真编码，可逆编码) ：该压缩法去掉或减少数据中的冗 余，但这些冗余值是可以重新插入到数据中的，因此是可逆的过程。如 h u f f m a n 编码、算术编码、行程编码等。 有损压缩( 有失真编码，不可逆编码) ：该压缩法压缩了熵，会减少信 息量，而损失的信息是不能再恢复，因此这种压缩法是不可逆的。如变 换编码和预测编码。 2 根据压缩的原理分类 根据编码原理进行分类，大致有预测编码、变换编码、量化编码、信息熵编 码、子带编码、模型编码和其他一些编码方法。其中信息熵编码是无失真的编码， 其他编码方法基本上都是有失真的编码。 1 ) 预测编码：它是针对空间冗余和时间冗余的压缩方法。其基本思想是利 用已被编码象素点的数据值，预测邻近一个像素点的数据值。预测根据 某个模型进行。如果模型选取得足够好的话，则只需存储和传输起始像 素和模型参数就可获得全部象素的编解码数据。按照模型的不同，预测 编码又可分为线性预测、帧内预测和帧问预测。 2 1 变换编码：它也是针对空间冗余和时间冗余的压缩方法。其基本思想将 图像时域信号变换到频域空问上处理。时域空间有强相关的信号，反映 在频域上是某些特定的区域内能量常被集中在一起，从而实现压缩。 3 ) 量化编码：为了使整体量化失真最小，就必须依照统计的概率分布设计 最优的量化器。 浙江大学硕t 学位论文 时通信了：系统中的关键技术 4 ) 信息熵编码：根据信息熵原理，让出现概率大的用短的码字表达，反之 用长的码字表示。最常见的方法有h u f f m a n 编码、s h a n n o n 编码以及算 术编码。 5 1 子带编码：使用带通滤波器组将信号频带分割成若干个子频带，然后分 别处理。 国模型编码：编码时首先将图像中边界、轮廓、纹理等结构特征找出来， 保存这些参数信息。解码时根据结构和参数信息进行合成，恢复出原图 像。具体方法有轮廓编码、域分割编码、分析合成编码、识别合成编码、 基于知识的编码、分形编码等。 2 1 14 数据压缩的性能指标 衡量数据压缩技术有三个主要性能指标1 6 】： 1 ) 压缩比：压缩性能常常用压缩比定义，也就是压缩过程中输入数据量和 输出数据量之比，希望压缩比尽量地大。 2 ) 压缩质量( 失真) ：这与压缩的类型有关。压缩方法可以分为无损压缩 和有损压缩。无损压缩过程中没有损失信源的信息，而有损压缩则要对 原始信息做一些改变。 3 1 压缩与解压的速度：希望压缩解压速度要快。 当以上三个性能指标不能兼得时，要结合实际情况综合考虑，以达到满意的 效果。本文在选择压缩方法时便是基于这三个性能指标的。 2 1 2 视频压缩技术 2 1 2 1 视频压缩的基本概念 视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。 在视频压缩中常需用到以下的一些基本概念： t o l 1 有损和无损压缩 在前面已有介绍，不再赘述。 2 帧内和帧间压缩 浙江大学硕士学位论文 时通信于系统中的关键技术 帧内( i n t r a f r a m e ) 压缩也称为空问压缩( s p m i a lc o m p r e s s i o n ) 。当压缩一帧 图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，帧内压缩一般达不 到很高的压缩量。 采用帧间( i n t e r f r a m e ) 压缩是基于许多视频或动画的连续前后两帧具有很 大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之 间具有冗余信息。根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压 缩量，减小压缩比。帧间压缩也称为时间压缩( t e m p o r a lc o m p r e s s i o n ) ，它通过 比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。 3 对称和不对称编码 对称性( s y m m e t r i c ) 是压缩编码的一个关键特征。对称意味着压缩和解压 缩占用相同的计算处理能力和时间，对称算法适合予实时压缩和传送视频，如视 频会议应用就以采用对称的压缩编码算法为好。不对称或非对称意味着压缩时需 要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的 速度进行压缩和解压缩。一般地说，压缩一段视频的时问比回放( 解压缩) 该视 频的时间要多得多。 图像和视频压缩方法的分类如图2 2 ： 图像和视频压缩方法【 巨 圃 e 。一，- j 【。，一。j 日 _ 耋 口隔丽丽 2 1 2 2 视频压缩标准及比较 随着多媒体技术的发展，国际标准化组织( i s o ) 及国际电信联盟( r r u ) 1 4 一 算术编丹 一 浙江大学硕士学位论文 时通信于系统中的关键技术 相应制定了一系列视频压缩编码的国际标准，按推出的时间先后顺序有h 2 6 1 、 m p e g 1 、m p e g 2 h 2 6 2 、h 2 6 3 、m p e g - 4 、h 2 6 4 等。其中h 2 6 1 、m p e g 1 、 m p e g 2 h 2 6 2 和h 2 6 3 采用的是第一代压缩编码方法。m p e g 4 和h 2 6 4 采用 第二代压缩编码方法川。有关第一代和第二代压缩编码的内容请查阅1 2 3 。下面 简单介绍下几种国际标准以及我国的视频编码标准：1 7 l 【s l 1 h 2 6 1 图像编解码标准 它是国际电信联盟电信标准化组织( u - t ) 制定的关于n x 6 4 k 速率下的 会议电视视频编码的标准，广泛用于h 3 2 0 、h 3 2 3 会议电视系统。 2 m p e g 1 图像编解码标准 m p e g ( m o v i n g p i c t l , h ee x p e r t sg r o u p ) 是运动图像专家组的简称，全称是 i s o m cj t c l s c 2 9 w g l l ，即国际标准化组织和国际电工委员会第一联合技术 组第2 9 分委会第1 1 工作组，负责数字视频、音频和其他媒体的压缩、解压缩、 处理和表示等国际技术标准的制定工作，制定的标准推动了v c d 、d v d 、数字 电视、高清晰度数字电视等产品的发展。 m p e g 1 由国际标准化组织( i s o ) 于1 9 9 1 年制定，是基于一般低端应用的 视频、音频的编解码标准，它主要针对3 5 2 像素2 8 8 行分辨率和每秒3 0 帧的 图像质量，将视频信号和相应的伴音在可以接受的质量要求下编码成1 5 m b p s 的数据流。感官上，图像较细腻而且很流畅，对大多数视频会议与图像监控是一 个完全可以接受的标准。 3 m p e g - 2 图像编解码标准 m p e g 2 标准制定于1 9 9 4 年，设计目标是高级工业标准的图像质量以及更 高的传输率，它提供3 m b p s 1 0 m b p s 传输速度。m p e g 2 也可提供并能够提供 广播级的视像和c d 级的音质。m p e g 2 的音频编码可提供左右中及两个环绕声 道，以及一个加重低音声道，和多达7 个伴音声道( d v d 可有8 种语言配音的原 因) 。由于m p e g 2 在设计时的巧妙处理，使得大多数m p e g 2 解码器也可播放 m p e g 1 格式的数据( 如v c d 等) 。因为m p e g 2 可以提供一个较广的范围改变 压缩比，以适应不同画面质量、存储容量以及带宽的要求，所以除了作为v c d 和d v d 的指定标准外，m p e g - 2 还可用于为广播、有线电视网、电缆网络以及 卫星直播提供广播级的数字音视频。 浙江大学硕k 学位论文时通信子系统中的关键技术 4 h 2 6 3 图像编解码标准 它是u - t 制定的关于低速率下会议电视视频编码标准。这个标准是在 h 2 6 1 的基础之上加以改进，在低速率下能得到更好的图像质量的一个编码标准。 主要用于低于3 8 4 k 速率的应用场合，它在低速的h 3 2 0 、h 3 2 3 、h 3 2 4 等会议 电视系统应用广泛。h 2 6 3 提供了s q c i f 、q c i f 、c i f ，4 c i f 、1 6 c i f 五种编码 算法。 5 m p e g - 4 图像编解码标准 m p e g - 4 的发展目的是基于m 的视频传送，其最大优点是考虑了网络的传 输问题，而且可在压缩品质和压缩量上取得最佳平衡，以确保传输时的流畅。 m p e g - 4 就利用很窄的带宽，通过帧重建技术来压缩和传输数据，以求利用最少 的数据获得最佳的图象质量。m p e g - 4 标准主要应用于视频电话，视频邮件和电 子新闻等。从原理来看，m p e g - 4 的编码出发点与m p e g - 2 相比则有较大的差异。 m p e g - 4 技术从技术角度来看，m p e g 4 标准与m p e g 2 标准的基点大相径庭， m p e g - 4 不再将图像看成是一个矩形像素阵列的序列，把音频看成是一个多声道 或单声道的声音，而是深入到组成一个场景的视频、音频对象的语义中去，对不 同的主体采用不同的编码方式，例如把一幅图像中活泼的白猫和毛线团以及背景 中的房间分别进行编码。各种视、音频源不限于自然界，也可以是合成源，最终 在解码端进行组合。因此m p e g - 4 是完全基于对象的一种编码方式。当然m p e g 4 采用了比m p e g 2 更为先进的压缩方式，因此简单说，基于内容的压缩、更高 的压缩比和时空可伸缩性是m p e g - 4 的3 个最重要的特点。m p e g - 4 主要针对于 低码率场合应用，适用相对范围宽。从发展趋势上看，m p e g - 4 的进一步发展， 主要适用于基于对象的查询，并将在m 网络上将会得到进一步发展。 6 h 2 6 4 图像编解码标准 随着市场的需求，在尽可能低的存储情况下获得好的图像质量和低带宽图像 快速传输已成为视频压缩的两大难题。为此l e o m 晰口r r u t 两大国际标准化 组织联手制定了新一代视频压缩标准h 2 6 4 。h 2 6 4 和以前的标准一样，也是差 分脉冲编码调制( d p c m ) 加变换编码的混合编码模式。但它采用“回归基本” 的简洁设计，不用众多的选项，获得比m e p g 4 好得多的压缩性能；h 2 6 4 加强 了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对丢包的处 浙江大学硕t 学位论文时通信子系统中的关键技术 理；h 2 6 4 应用目标范围较宽，可以满足不同速率、不同解析度以及不同传输( 存 储) 场合的需求。在技术上，h 2 6 4 标准中有多个闪光之处，如统一的变长编码， 高精度、多模式的位移估计，基于4 块的整数变换、分层的编码语法等。这些措 施使得h 2 6 4 算法具有很高的编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强，增加了差错恢复能力， 并能以较低的数据速率传送基于互联网协议( 口) 的视频流，在视频质量、压缩 效率和数据包恢复丢失等方面，超越了现有的m p e g 2 、m p e g - 4 和h 2 6 x 视频 通讯标准，更适合窄带传输，能够很好地适应m 和无线网络的应用。 7 我国自主研发的音视频编码标准 a v s 标准是“信息技术先进音视频编码”( a u d i o a n dv i d e o c o d i n g s t a n d a r d w o r k g r o u p o fc h i n a ) 系列标准的简称，其核心是把数字视频和音 频数据压缩为原来的几十分之一甚至百分之一以下。a v s 包括系统、视频、音 频等三个主要标准和一致性测试等支撑标准，这是基于我国创新技术和公开技术 制定的开放标准，旨在为中国的音视频产业提供完整的信源编码技术方案。 与世界其他知名音视频编码标准相比，它具有如下特点：性能高，编码 效率比m p e g 2 高2 倍以上，与h 2 6 4 的编码效率相当；算法复杂度比h 2 6 4 低；软硬件实现成本都低于h 2 6 4 ：专利授权模式简单，费用明显低于同 类标准。在码率和峰值信噪比( p s n r ) 相当的情况下，a v s 的编码速度是h 2 6 4 的4 倍以上。a v s 视频标准采用了一系列技术来达到高效率的视频编码，包括 帧内预测、帧间预测、变换和量化、熵编码等。帧间预测使用基于块的运动矢量 消除图像间的冗余；帧内预测使用空间预测模式消除图像内的冗余；再通过对预 测残差进行变换和量化消除图像内的视觉冗余；最后，运动矢量、预测模式、量 化参数和变换系数用熵编码进行压缩，以消除编码码字冗余 9 1 。 表2 1 为几种常用视频编码标准的比较。 表2 - 1 几种常用视频编码标准的比较 h 2 6 3h 2 6 4m p e g 2m p e g - 4s 制定 u - 1 联合 i s o h e cl s o m c a v s 工作组 组织 主要实时通电视广播实时电视广播多媒体视频、电视广播实时通 1 7 浙江大学硕士学位论文时通信子系统中的关键技术 应用信通信等多种领流媒体等信等多种领域 方向域 发展将要淘i p t v 、移动接最为成熟，产品线丰 多媒体视频、没有周边产品， 前景汰收等方面前景富，是事实上的标准，流媒体等方需要很长时间才 广阔还要存在很长时间面前景广阔能形成规模产业 有线没有应不会取代已经大规模应用将应用不会很短时间内不会取 数字 用m 咿e g - 2 在长时间内占主导地多代m p e g - 2 电视位 方匾 综上所述，h 2 6 1 是为i s d n 视频会议系统设定，m p e g 2 是为数字电视信 号设定的，h 2 6 3 视频编码标准是专为中高质量运动图像压缩所设计的低码率图 像压缩标准。在保证图象质量的条件下，h 2 6 4 和m p e g - 4 两种标准都可以工作 在较低的带宽上。h 2 6 4 标准的推出是视频编码标准的一次重要进步，比h 2 6 3 ， m p e g 2 具有明显的优势。但是由于m p e g - 4 和h 2 6 4 采用的是第二代压缩编码 方法，算法的复杂度上也大大提高。对于我国自主研发的a v s 标准，尽管性能 上存在很大的优势，但是其算法复杂度也相对复杂。在本课题的研究中，只是要 达到两地之间的视频交流，不需要实现非常高清晰图像，故采用算法复杂度比较 低的h 2 6 3 标准。下面本文主要对h 2 6 3 协议作一个简单介绍。 2 1 2 3 h 2 6 3 标准【1 0 j h 2 6 3 由u 定义，支持用于视频会议和视频电话应用程序的视频编解码。 h 2 6 3 基于h 2 6 1 编码，并且为在最低带宽为2 0 k 到2 4 kb i t s e e 上传输的视频 流而开发。作为一般规则，h 2 6 3 只需h 2 6 1 一半的带宽即可达到与h 2 6 1 相 同的视频质量，所以在很大程度上h 2 6 3 取代了h 2 6 1 。 1 h 2 6 3 的内容和特点 h 2 6 3 视频编码标准是专为中高质量运动图像设计的低码率图像压缩标准。 与h 2 6 1 的p x 6 4 k 的传码率相比，h 2 6 3 的码率更低，单位码率可以小于6 4 k ， 且支持的原始图像格式更多，包括了在视频和电视信号中常见的q c i f ，c i f ， e d t v ，i t u r 6 0 1 ，n u r 7 0 9 等等。h 2 6 3 的编码速度快，其设计编码延时不超 浙江大学硕t 学位论文时通信了：系统中的关键技术 过1 5 0 m s ；码率低，在5 1 2 k 乃至3 8 4 k 带宽下仍可得到满意的图像效果，十分 适用于需要双向编解码并传输的场合( 如：可视电话) 和网络条件不是很好的场 合( 如：远程监控) 。 h 2 6 3 使用户可以扩展带宽利用率，可以低达1 2 8 k b p s 的速率实现全运动视 频( 每秒3 0 帧) 。h 2 6 3 以其灵活性以及节省带宽和存储空间的特性，具有低总拥 有成本并可提供迅速的投资回报。 2 h 2 6 3 压缩编码格式 h 2 6 3 的输入视频帧格式为q c i f 、c i f 等。将每个视频帧分成许多宏块 ( m b m i c