（信息与通信工程专业论文）avs网络电视机顶盒软件设计与去块滤波算法研究.pdf

浙江人学硕士学位论文 摘要 随着互联网应用的日益广泛，视频编解码技术的不断发展，网络电视( i p t v ) 业务广阔的应用前景日渐明朗。在i p t v 的关键技术中，机顶盒( s e t t o pb o x ) 作为i p t v 的家庭业务终端，是用户与i p t v 进行交互的桥梁。此外，i p t v 中视 频编解码技术也是非常重要的，采用何种视频编解码标准也影响着i p t v 业务的 发展。目前视频编解码标准仍采用基于块的混合编码框架，而基于块的混合编码 有一个最大的缺点就是在压缩率较高时会产生明显的块效应。去块滤波技术能够 有效地去除视频编码产生的块效应，是当前先进视频编码标准中的一个重要技 术。 本文对i p t v 机项盒的软件设计与实现以及去块滤波技术这两方面工作进行 了研究。首先对i p t v 技术、视频编解码技术以及去块滤波技术做了简要介绍； 然后介绍了i p t v 机顶盒的实现平台d m 6 4 4 6 ，并介绍了该处理器的外围接口和 内核结构，同时介绍了作为本i p t v 系统视频标准的a v s 第二部分视频标准，以 及该标准中变换量化、帧内预测、帧间预测、插值和环路滤波等多个模块的算法； 接着，详细介绍了机顶盒系统相应程序在d m 6 4 4 6a r m 核上的实现，重点介绍 了音视频系统码流的解复用、数据接口设计、音视频的播放以及a r m 核与d s p 核之间的通信；然后，详细介绍了a v s 视频标准中环路滤波算法及该算法在 d m 6 4 4 6c 6 4 + 内核上的优化，并给出优化结果；然后对去块滤波算法进行了研究 并提出了一种环路滤波方案，同时给出了此方案的实验结果；最后总结了本文的 工作，并提出了可以改进的方向。 关键词：网络电视，机项盒，a v s ，d m 6 4 4 6 ，去块滤波 浙江大学硕士学位论文 a b s t r a c t 嘞t h ei n c r e a s i n g l yw i d e s p r e a da p p l i c a t i o no ft h ei n t e r n e t a n dt h ed e v e l o p m e n t o fv i d e oc o d i n gt e c h n i q u e t h eb r o a dp r o s p e c t so fi p t vb u s i n e s sb e c o m ec e r t a i nd a y b yd a y a m o n gt h ek e yt e c h n n i q u ei nt h ei p t v , a st h ed o m e s t i ct e r m i n a l ss e t t o pb o x i st h ei n t e r a c t i v eb r i d g eb e t w e e nd o m e s t i cu s e r sa n di p t vs y s t e m i na d d i t i o n v i d e o c o d i n gt e c h n i q u ei sa l s ov e r yi m p o r t a n ti n t h ed e v e l o p m e n to fi p t vb u s i n e s s n o w a d a y sb l o c k b a s e dh y b r i dc o d i n gi st h em a i nf r a m e w o r ko fm o s tv i d e oc o d i n g s t a n d a r d s ab i gd r a w b a c ko ft h i sa r c h i t e c t u r ei st h a to b v i o u sb l o c ka r t i f a c t sa p p e a r w h e nt h ec o m p r e s s i o nr a t i oi sh i g h d e b l o c k i n gf i l t e rc a nr e d u c eb l o c ka r t i f a c t s e f f i c i e n t l ya n di sa ni m p o r t a n tt e c h n i q u ei nv i d e oc o d i n g i nt l l i st h e s i s t w oa s p e c t so fw o r ka r ed o n e o n ei st h es o f t w a r ed e s i g na n d i m p l e m e n t a t i o no fs e t t o pb o x t h eo t h e ri st h es t u d yo fd e b l o c k i n gf i l t e r i n gt e c h n i q u e f i r s t l y , t h et h e s i si n t r o d u c e st h et e c h n i q u eo fi p t v - v i d e oc o d i n gt e c h n i q u ea n dt h e d e b l o c k i n gf i l t e r i n gt e c h n i q u e s e c o n d l y , t h ep l a t f o r mo fi p t vs e t - t o pb o xn a m e d d m 6 4 4 6i si n t r o d u c e d a n dt h e nt h ea 、，sv i d e oc o d i n gs t a n d a r dw h i c hi s i m p l e m e n t e da st h ev i d e oc o d i n gs t a n d a r d o fi p t vi si n t r o d u c e d t h ek e m e l a r c h i t e c t u r e p e r i p h e r a ld e v i c e so fd m 6 4 4 6a n dt h ek e yt e c h n i q u eo fa 、厂sv i d e o c o d i n g s u c ha s t r a n s f o r m a t i o n ，q u a n t i z a t i o n ，i n t r a p r e d i c t i o n ，i n t e r - p r e d i c t i o n ， i n t e r p o l a t i o n a n dl o o pf i l t e ri si n t r o d u c e di nd e t a i l t l l i r d l y , t h es y s t e mp r o c e d u r e so f s e t t o pb o xw h i c ha r ei m p l e m e n t e do nt h ea r ms i d eo fd m 6 4 4 6a l ei n t r o d u c e di n d e t a i l t i l i sp a r tf o c u s e so nt h ed e m u l t i p l e xo fa u d i oa n dv i d e od a t a t h ed e s i g no fd a t a i n t e r f a c e t h ep l a y b a c ko fa u d i oa n dv i d e o a n dt h ec o m m u n i c a t i o nb e t w e e na i 洲a n d d s p f o u r t h l y , t h el o o pf i l t e ra l g o r i t h mo fa v sv i d e oc o d i n gs t a n d a r di si n t r o d u c e di n m l ld e t a i l a n dt h eo p t i m i z e dp r o c e d u r e so ft h ea l g o r i t h mo nt h ed s ps i d eo fd m 6 4 4 6 a r ei n t r o d u c e d a n dt h e nt h eo p t i m i z e dr e s u l t sa r ep r e s e n t e d f i f t h l y , t h et h e s i s i n t r o d u c e sa n da n a l y z e st h es t a t e o f - a r tt e c h n i q u eo fd e b l o c k i n gf i l t e r , a n dp r o p o s e sa d e b l o c k i n gm e t h o d ，a n dt h e nt h er e s u l t so fp r o p o s e dm e t h o da r eg i v e n f i n a l l y , s u m m a r i z eo ft h i st h e s i sa n df u r t h e rd e v e l o p m e n ti sg i v e n k e yw o r d s ：i p t v ，s e t - t o pb o x ，a v s ，d m 6 4 4 6 ，d e b l o c k i n gf i l t e r 浙江大学硕士学位论文 第一章绪论 近年来，随着互联网应用的日益广泛，网络带宽的不断增加，互联网上的多 媒体业务和应用得到了蓬勃的发展。其中网络电视( i p t v ) 是互联网业务和传 统电视业务融合后的产物，有着相当广阔的市场前景。个人电脑、机顶盒+ 电视 机或3 g 手机都可以作为i p t v 业务的终端。而机顶盒+ 电视机作为i p t v 的家庭 业务终端，是广大用户与i p t v 系统进行交互的桥梁，也成为目前i p t v 业务的 主流终端。 i p t v 系统中，视频编解码技术在整个系统中处于重要地位。目前常用的视 频编码标准有：i t u t 的h 2 6 3 和h 2 6 4 ，m p e g 组织制定的m p e g 2 、m p e g 一4 ， 中国的数字视频编解码技术标准组织( a v s ) 制定的拥有自主知识产权的a v s 编解码标准。其中h 2 6 4 和a v s 最有可能成为我国i p t v 的视频编解码标准。 视频编解码技术的主要目标是最求较大的压缩比、较快的压缩解压缩速度以 及尽可能好的图像还原质量。为了达到上述目标，h 2 6 4 和a v s 都采用了变换量 化、帧内预测、帧间预测、亚像素插值、去块滤波和熵编码等技术。而去块滤波 技术作为视频编解码中的核心技术能明显提高图像的主观质量，从主观质量的角 度来说，相当于在同样的主观质量下，降低了编码码率，等价于提高了编码的效 率 1 】。 本章第一节介绍i p t v 技术及发展趋势，第二节介绍视频编解码技术及发展， 第三节介绍去块滤波技术，第四节介绍本文的工作及全文结构。 1 1 i p t v 技术及发展趋势 1 1 1i p t v 概述 i p t v 即交互式网络电视，是集互联网、多媒体、通讯等多种技术于一体， 向客户提供视频直播、视频点播、游戏、视频会议等多种交互式宽带视频服务的 技术。用户在家中可以通过计算机或网络机项盒+ 电视机等方式享受i p t v 服务。 i p t v 与模拟电视和数字电视最大的区别在于媒体内容的传播方式，模拟电视和 数字电视都是单向的，而i p t v 是交互式的，不仅可以提供直播电视和点播业务， 还可以提供时移电视、个人视频录制( p v r ) 等视频类的扩展业务。 i p t v 的主要特点有：( 1 ) i p t v 平台可开发性强，能够支持不同的视频编码 标准。随着视频压缩技术的发展，视频编码效率已经大幅提高，这使得在同样带 宽条件下视频质量迅速提高，用于可以得到高质量数字媒体服务。( 2 ) i p t v 业 务开展主要基于宽带i p 网，有交互性优势。i p t v 可提供建立在i p 网络上的互 动性视频服务，让用户可以有多种选择。( 3 ) i p t v 采用的播放平台是新一代家 庭数字媒体终端的典型代表，除了能提供单向的视频直播之外，还能根据用户的 选则配置多种多媒体服务功能，包括可视i p 电话，d v d v c d 播放，互联嘲浏 览等交互式多媒体信息服务。( 4 ) i p t v 是运行存运营商网络框架下的端到端连 浙江大学硕上学位论文 接业务。在业务服务时，节目源和用户间建立起一个i p 连接通道，并能保证该 连接的服务质量( q o s ) 和实时性要求 2 】。 1 1 2i p t v 关键技术 1 、信源编码转码技术 目前，我国电视节目大多采用m p e g 2 格式编码，而m p e g 2 由于压缩效率 不高，对于标清的电视节目码率都在5 6m b p s 。由于网络带宽有限，不可能直 接使用m p e g - 2 的码流，而是采用其他编码压缩率更高的视频编码标准，如 h 2 6 4 、a v s 等。同时，由于目前的码流大部分已m p e g 2 格式存在，现阶段需 要在服务器端进行m p e g 2 格式到h 2 6 4 或a v s 格式的转码。所以转码技术可 以说是i p t v 与现有媒体资源相关联的核心技术。 2 、流媒体技术 流媒体技术( s t r e a m i n gm e d i at e c h n o l o g y ) 是i p t v 的平台技术，是为解决 以i n t e m e t 为代表的中低带宽网络上多媒体信息( 以视频、音频信息为重点) 传 输问题而产生发展起来的一种网络技术。采用流媒体技术，能够有效地突破低比 特率接入i n t e m e t 方式下的带宽瓶颈，克服文件下载传输方式的不足，实现多媒 体信息在i n t e r a c t 上的流式传输。这种流技术把连续的影像和声音信息经过压缩 处理后利用网络服务器，让用户一边下载一边观看、收听，而不需要等整个压缩 文件下载到自己的机器后才可以观看。该技术先在使用者的电脑上创造一个缓冲 区，在播放前预先下载一段资料作为缓冲，在网络实际连接速率小于播放所耗用 资料的速度时，播放程序就会取用这- - , j , 段缓冲区内的资料，从而避免播放的中 断，使得播放品质得以维持。 3 、c d n 技术 c d n ( c o n t e n td e l i v e r yn e t w o r k ，内容发布与速递网络) 技术是近年来兴起 并迅速发展起来的一种解决互联网性能不佳问题的有效手段。其基本思路就是尽 可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输 的更快、更稳。通过在网络各处放置节点服务器所构成的在现有的互联网基础之 上的一层智能虚拟网络，c d n 系统能够实时地根据网络流量和各节点的连接、 负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用 户最近的服务节点上。对用户来说，通过c d n 系统，得到响应的时间被大大缩 短，连接质量也大大提高，从而大大提高了上网访问的总体性能。通过c d n 把 视频内容发送到靠近用户端的c d n 节点后，可以在一定程度上保证端到端的服 务质量。 4 、d r m 技术 d r m ( d i g i t a lr i g h tm a n a g e m e n t ，数字权限管理技术) 用于实现i p t v 领域的 版权保护。d r m 系统的原理就是综合使用各种技术对数字产品的分发、传输和 使用等环节进行管理和控制，使得数字产品只能被授权的用户按照授权的方式存 浙江大学硕士学位论文 授权的使用期限内使用。现有多种流行的d r m 系统，例如，微软公司的w i n d o w s m e d i ad r m ，r e a l n e t w o r k s 的r e a l s y s t e mm e d i ac o m m e r c es u i t e 和飞利浦的 d o m a i nd r m 等。 5 、机顶盒 机顶盒( s e t t o pb o x ) 起源于数字电视，是一种数字电视信号转换成模拟信 号的变换装置。在数字电视应用中主要根据传输网络不同有三类数字电视机顶 盒：用于有线电视网的数字电视机顶盒s t b c 、用于卫星电视网的数字电视机顶 盒s t b s 和用于地面广播网的数字电视机顶盒s t b t 3 】。目前满足i p 协议的机 顶盒作为i p t v 的家庭业务终端，是用户与i p t v 系统进行交互的桥梁。 1 1 3i p t v 发展现状与前景 2 0 0 6 年是全球i p t v 快速发展的一年，以电信巨头a t & t 的u v e r s e 、英国 电信的b t v i s i o n 和德国电信的t - h o m e 为代表的视频与数据捆绑的i p t v 业务纷 纷开始商用。电信运营商期望通过提供包括i p t v 在内的融合性业务实施战略转 型，以应对日益激烈的市场竞争。2 0 0 7 年以来，全球i p t v 发展继续升温，i p t v 正在成长成为电信运营商的战略性业务。据d i t t b e r n e r ( 一家国际市场调查 咨询公司) 发布的报告，全球i p t v 用户数在2 0 0 7 年第一季度达到5 4 0 万，比 2 0 0 6 年底增长1 3 。中国香港的电讯盈科是最大的i p t v 运营商，其i p t v 用户 达到8 0 万。法国电信的i p t v 用户数达到7 6 9 万，排名第二。从发展速度和发 展空间来看，法国电信的i p t v 用户规模将很快超过电讯盈科。表1 1 中列出了 截至2 0 0 7 年3 月全球i p t v 用户数最多的十个国家和地区。 国家和地区用户数( 万)i p t v 在宽带用户中的普及率( ) 法国 1 4 l1 0 1 7 中国香港 9 2 5 5 9 3 中国 7 2 11 2 9 西班牙 4 2 86 0 7 日本 3 0 41 1 4 中国台湾 2 6 96 0 4 意大利 2 1 22 4 6 荷兰 1 6 73 2 6 比利时 1 4 96 3 9 瑞典 1 4 56 1 1 表1 - 1i p t v 用户数最多的1 0 个国家和地区( 来源：d i t t b e r n e r ) 中国两大固网运营商中国电信和中国网通于2 0 0 4 年前后步入i p t v 市 场。三年多的时间里，中国i p t v 发展缓慢，目前还处于市场导入期。表1 2 列 出了截至2 0 0 8 年1 月国内i p t v 用户的分布和发展情况。政策限制、产业合作 模式不清晰、内容缺乏、技术标准缺失等多方面问题的存在限制了中国i p t v 的 浙江大学硕上学位论文 快速发展。但是，技术和业务融合的趋势是改变不了的，监管政策也将随之调整， 以适应产业的发展。 目前，我国电视用户数已经超过3 亿，宽带用户数和手机用户数正处于高速 增长中，并且i p t v 业务也越来越完善，因此消费市场必将快速发展起来。在我 国，i p t v 运营只是n u 冈w j 起步，电信、广电两大行业就已经开始了这块蛋糕的争 夺战。具体表现在运营市场上，其发展趋势具有如下特点：1 ) 电信与广电网络 提供商加紧进行网络升级改造；2 ) 电信与广电内容提供商逐渐融合；3 ) 电信与 广电服务费用一降一升。另外i p t v 制造市场也会随着消费市场和运营市场的发 展而发展，会出现电信、广电、家电、i t 等几个行业的制造业将逐步走向融合， 同时制造业与运营业合作越来越紧密的趋势。 地区发展情况用户数 黑龙江( 网通)2 0 0 5 年5 月商用，由哈尔滨扩展到全省1 2 万 上海( 电信)2 0 0 6 年9 月正式商用2 4 万 河南( 网通)在党建的基础上发展公众用户2 0 万 杭州( 华数+ 小网通)在数字电视基础上以有线+ 宽带的方式发展2 5 万 互动电视用户，面向公众和酒店 安徽( 电信)党建用户及部分公众用户3 万 广东( 电信)试商用用户7 5 万 福建( 电信) 试商用用户1 0 5 万 浙江( 除杭州) ( 电信)试商用用户6 3 万 四川( 电信)电视上网1 万 江苏( 电信)企业用户+ 公众用户3 5 万 云南、湖北、陕西、党建+ 公众5 万 宁夏、沈阳等各地电 信和网通 其他零散用户行业、酒店3 万 合计1 2 0 8 万 表1 22 0 0 7 年国内i p t v 用户分布情况( 截至2 0 0 8 年1 月1 号，来源流媒体网) 1 2 视频编解码技术及发展 1 9 8 8 年c c i t t 通过了视频编码标准h 2 6 1 【4 】4 ，被称为视频压缩编码的一个 里程碑。同年i s o i e c 信息技术联合委员会成立了运动图像专家组( m p e g ， m o v i n gp i c t u r ee x p e r t sg r o u p ) 。1 9 9 1 年公布了m p e g 1 5 视频编码标准，码率 为1 5m b p s ，主要用于家用v c d 的视频压缩。1 9 9 4 年1 1 月公布了m p e g 2 6 】 标准，主要用于数字视频广播( d v b ) 、家用d v d 的视频压缩及高清晰电视 ( h d t v ) ，码率按照不同的档次和级别从4m b p s 、1 5m b p s 直至1 0 0m b p s 。1 9 9 5 年，国际电信联盟通信标准化组织( i t u t ) 推出了h 2 6 3 1 7 标准，用于低于6 4 4 浙江大学硕士学位论文 k b p s 的低码率视频传输。后又分别公布了h 2 6 3 + 、h 2 6 3 + + 等标准。1 9 9 9 年1 2 月份，m p e g 通过了“视听对象的编码标准”m p e g 4 1 8 ，它除了定义视频 压缩标准外，还强调了多媒体通信的交互性和灵活性。2 0 0 1 年，i t u t 的视频 编码专家组( v c e g ，v i d e oc o d i n ge x p e r t sg r o u p s ) 和i s o i e c 的m p e g 成立联 合视频组( t ，j o i n tv i d e ot e a m ) ，并于2 0 0 3 年3 月正式公布了h 2 6 4 1 9 视频 压缩标准，不仅显著提高了压缩比，而且具有良好的网络亲和性，加强了对i p 网、移动网的误码和丢包的处理。此外，伴随着视频编解码技术的进步和标准的 更新换代，我国数字音视频编解码技术标准工作组提出了音视频标准a v s ，是 我国具备自主知识产权的第二代信源编码标准，目标是面向中国的信息产业需 求，将广泛应用于标准分辨率、高分辩率数字广播、高密度激光数字存储媒体、 无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用中。图1 1 描述了 国际上视频标准的发展。以上提到的标准都是基于混合编码( h y b r i dc o d i n g ) 框 架的。所谓混合编码框架是综合预测、变换以及熵编码的编码框架。 司p 阿了 i 。毒0 i m m p e gl 瓣l冈 i t u i m 晦2 i l 回曰日 厂 厂1 中国 i 参与国际标准制定i a v s 图1 1 视频编码压缩标准发展 1 2 1h 2 6 1 标准 h 2 6 1 标准是针对可视电话和视频会议等业务的视频编码制定的，目的是在 窄带i s d n 上实现速率p 6 4k b p s 的双向声像业务，其中p = l - - - 3 0 。h 2 6 1 中主 要采用了1 6 1 6 宏块的运动补偿、8 8 块d c t 变换和量化、游程编码和变长编 码的编码结构 1 0 。h 2 6 1 被称为视频压缩编码的里程碑，i t u - t 、i s 0 等公布的 基于波形的一系列视频编码标准的编码方法都是基于h 2 6 1 中的混合编码方法。 h 2 6 1 编码器框图如图1 2 所示。 1 2 2h 2 6 4 标准 h 2 6 4 是最新一代的视频压缩标准，由i s o i e c 下属的运动图像专家组m p e g 和i t u t 下属的视频编码专家组v c e g 共同成立的联合视频小组j v t 负责完成。 浙江大学硕上学位论文 图1 - 2h 2 6 1 编码器框图 从图1 3 可以看出，与早期的标准( h 2 6 1 、m p e g 1 、h 2 6 2 、h 2 6 3 ) 类似， h 2 6 4 也是基于块的混合编码模型，其中编解码器功能块的组成并没有什么区别， 但是每一个功能模块的细节上都有重要的变化。这些变化，也就是h 2 6 4 的关键 技术。 1 、树状块结构 首先，h 2 6 4 支持7 种不同尺寸和形状的宏块和子宏块( 8 8 ) 分割，分别 为1 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 8 和4 4 。这种更小的、更多形状 的宏块分割，可以改善运动补偿的精度，更好的实现运动隔离，提高图像质量和 编码效率。 2 、帧内预测 帧内预测是用近邻块的像素( 当前块的左边和上边) 来预测当前块的像素， 预测块和当前块的残差被编码，以消除空间冗余。h 2 6 4 支持4 4 或1 6 1 6 亮 度块的多种预测模式。 3 、变换和量化 h 2 6 4 对图像或预测残差采用了4 4 整数离散余弦变换技术，避免了以往标 准中使用的通用8 8 离散余弦变换、逆变换经常出现的失配问题。在图像编码 中，变换编码和量化从原理上讲是两个独立的过程。但在h 2 6 4 中，将两个过程 中的乘法合二为一，并进一步采用了整数运算，减少了编码器的运算量，提高了 图像压缩的实时性。这些措施对峰值信噪比( p s n r ) 的影响很小，可以忽略不 计。 4 、环路滤波 6 浙江大学硕士学位论文 为了降低由h 2 6 4 高压缩比产生的明显的块失真效应，所有宏块按扫描顺序 进行有条件的滤波。环路滤波器处理编解码环路中的数据，在编码器中，被滤波 的图像帧作为后续编码帧进行运动补偿的参考帧；在解码器中，滤波后的图像输 出显示，同时相应地也作为后续编码帧的参考帧。 5 、熵编码 在h 2 6 4 中熵编码可以采用基于上下文自适应的可变长编码( c a v l c ) 也可 以采用基于上下文的自适应二进制算术编码( c a b a c ) 。在c a v l c 中，通过根 据已编码语法元素的情况，动态调整编码中使用的码表，以取得高的压缩比。在 性能上c a b a c 比c a v l c 有1 5 的提高。 在系统层面上，h 2 6 4 提出了一个新的概念，在视频编码层v c l ( v i d e oc o d i n g l a y e r ) 和网络抽象层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 之间进行概念性分割，前者 是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送的表述， 这样的结构便于信息的封装和对信息进行更好的优先级控制。 图1 - 3h 2 6 4 编码框图 1 2 3a v s 视频标准 2 0 0 2 年6 月，我国成立了a v s 工作组，并于2 0 0 3 年1 2 月定稿a v s 视频部 分。a v s 是我国自主制定的音视频编码技术标准，以当前最先进的h 2 6 4 a v c 框架为基础，强调自主知识产权，同时充分考虑了实现的复杂程度。与h 2 6 4 a v c 的b a s e l i n ep r o f i l e 相比，a v s 视频增加了b 帧、i n t e r l a c e 等技术，因此其压缩效 率明显提高，而与h 2 6 4 a v c 的m a i np r o f i l e 相比，又减少了c a b a c 等实现难 度大的技术，从而增强了可实现性i 1 1 】。 a v s 视频标准当中具有特征性的核心技术包括：8 8 整数变换、量化、帧 内预测、四分之一精度像素插值、特殊的帧间预测运动补偿、二维熵编码、去块 浙江大学硕士学位论文 效应环内滤波等 1 1 】。 1 3 去块滤波 前面所介绍的基于块的视频编码标准，有一个共同的缺陷，在压缩率比较高 的时候，会出现明显的块效应。这是因为，在基于块的视频编码方法中，各个块 的编码是相互独立的，因此在块与块的边界，当量化比较大的时候就容易产生边 界的不连续。在视觉上就有可能导致块效应得出现 1 2 1 4 。 为了去除这些块效应，人们提出了很多去块滤波的方法。用于视频编码中的 去块滤波方法总的来说可以分成两类：后处理去块滤波( p o s td e b l o c k i n gf i l t e r ) 和环路去块滤波( i n 1 0 0 pd e b l o c k i n gf i l t e r ) 。视频编码的后处理去块滤波技术， 源于图像压缩的去块滤波技术。它把视频解码后的序列，每幅图像都进行去块滤 波。其主要特点是：去块滤波模块在编( 解) 码环外，即给后面图像做预测的图 像是没有经过滤波的图像。由于其不影响编码结果，在编码器中一般没有此模块， 在解码器中一般在一幅图像解码完成送去显示之前。由于不是解码器的必须部 分，而所有的视频编码标准都只规定解码流程，所以，视频标准中没有规定后处 理滤波的方法。由于后处理滤波的可选性，后处理滤波为解码器装置提供了最大 的自由度。环路去块滤波指在编( 解) 码环内的去块滤波器。被滤波过的图像用 来给后面的图像做参考，所以所有符合标准的解码器都应该正确的实现此环路去 块滤波，以保证和编码器的参考帧的一致，从而保证正确解码。当然，如果需要 的话，对于使用了环路去块滤波的解码器，依然可以再加一个后处理去块滤波器。 环路滤波器相对于后处理滤波器主要有如下几个优点：首先，使用环路去块 滤波能够保证一定的解码质量。这个是指，使用环路去块滤波后，编码器能够知 道解码器解出来的质量是个什么水平。这对于现在的很多厂商提供各自不同解码 器的情况下，视频内容提供商能够保证自己提供的节目在用户那里是个什么结 果。其次，使用环路去块滤波后，解码器不需要额外的帧存。在只使用后处理去 块滤波的情况下，通常，解码帧被放到一个参考帧帧存中，而滤波后用来显示的 帧则需要存储在另外的帧存中。而当使用环路滤波时，在解码时，去块滤波可以 解完每个宏块就滤波一次，滤波的输出结果被直接存到参考帧的帧存里面。这样 就节省了帧存的数目。第三，环路去块滤波相对于后处理去块滤波，不但能提高 主观和客观质量，同时还能明显的降低解码器的复杂度。质量的提高主要是由于 使用去块滤波后的帧做预测，能够带来更好的运动补偿的效果。复杂度的降低主 要是由于滤波的时候考虑到前面的参考帧已经被滤波过，则去块滤波器可以做相 应得优化 1 5 】。 1 4 本文工作及全文结构 本文主要对i p t v 机顶盒的软件设计与实现以及去块滤波技术这两方面工作 进行了研究。 i p t v 机顶盒的实现平台采用t i 公司新推出的双核多媒体处理器d m 6 4 4 6 ， 浙江人学硕士学位论文 将机顶盒中网络接收、音视频系统解复用、音频解码以及音视频的播放等模块在 d m 6 4 4 6 的a r m 核上实现，而a v s 解码器在d s p 核上实现。本文的工作主要 包括实现网络数据的接收、音视频系统码流的解复用、解复用程序与音视解码程 序的数据接口设计、音视频的播放、a r m 核与d s p 核之间的通信以及a v s 解 码程序中环路滤波等程序的优化。 本文的另一个重要的工作是对去块滤波技术进行了研究，并且针对正在制定 中的a v s 视频监控标准提出了一种环路滤波方案。该方案在兼容原a v s 环路滤 波器并且不增加算法复杂度的基础上，提高了图像的主客观质量。 第一章绪论首先简要介绍了i p t v 技术及发展趋势，然后回顾了视频编解码 标准的发展，并对其中几个影响重大标准做了进一步介绍，紧接着对视频编解码 中的两类去块滤波技术做了介绍和分析，最后给出了本文的工作及全文结构。 第二章介绍i p t v 机项盒的实现平台d m 6 4 4 6 和a v s 视频标准。d m 6 4 4 6 介 绍了该处理器的外围接口和内核结构。而a v s 标准着重介绍了变换量化、帧内 预测、帧间预测、插值和环路滤波等多个模块的算法及a v s 标准编解码器的实 现。 第三章对i p t v 机顶盒的系统程序进行研究。其中包括网络数据的接收、音 视频系统码流的解复用、解复用程序与音视解码程序的数据接口设计、音视频的 播放以及a r m 核与d s p 核之间的通信。 第四章详细介绍了了a v s 标准中环路滤波算法及其在d m 6 4 4 6c 6 4 + 内核上 的的优化，并给出优化后的结果。 第五章分析了块效应形成的原因，并介绍了几种去块滤波算法，接着提出了 一种环路滤波方案并给出了实验结果。 最后一章对全文进行总结并对有关工作加以展望。 9 浙江大学硕士学位论文 第二章d m 6 4 4 6 平台及a v s 视频编解码技术 2 1 d m 6 4 4 6 2 1 1 简介 d m 6 4 4 6 ( t m s 3 2 0 d m 6 4 4 6 ) 1 6 】是t i 公司为了适应网络媒体编解码应用的 处理需求而推出的新一代嵌入式多核处理器。d m 6 4 4 6 的双核结构融合了d s p 和r i s c ( r e d u c e di n s t r u c t i o ns e tc o m p m e r ) 各自的优势，包括一个高性能的 t m s 3 2 0 c 6 4 x + d s p 内核和一个a r m 9 2 6 e j s 内核。其中，t m s 3 2 0 c 6 4 x + d s p 1 7 】 是高性能的定点d s p ，它基于第二代高级超长指令字结构( v l i w ， v e r y 1 0 n g i n s t r u c t i o n w o r d ) 的增强版。a r m 9 2 6 e j s 1 8 】是3 2 位r i s c 处理器内 核，它可以执行3 2 位或1 6 位的指令，处理3 2 位、1 6 位或8 位数据。 2 1 2d m 6 4 4 6 的结构特点 下面介绍d m 6 4 4 6 的结构特点。如图2 1 所示为d m 6 4 4 6 的结构框图。 1 、高性能 d m 6 4 4 6 采用低功耗、高性能的3 2 位t m s 3 2 0 c 6 4 x + 内核和a r m 9 2 6 e j s 内核，工作频率分别高达5 9 4m h z 和2 9 7m h z 。t m s 3 2 0 c 6 4 x + i 为核在时钟频率 5 9 4m h z 时性能最高可达4 7 5 2m i p s ( m i l l i o ni n s t r u c t i o np e rs e c o n d ) ，这样的高 性能为许多复杂度高的应用提供了解决方案。 d m 6 4 4 6 还拥有丰富的片上内存资源。d m 6 4 4 6 采用两级c a c h e 结构。 a r m 9 2 6 e j s 内核具有独立的1 6k b 一级指令c a c h e 和8k b 一级数据c a c h e ， a r m 内核的片内资源还包括1 6k br a m 和8k br o m 。除此之外d m 6 4 4 6 还 有3 2k b 一级程序r a m c a c h e 和8 0k b 数据r a m c a c h e 以及6 4k b 二级 r a m c a c h e ，而这些内存既可以被d s p 内核访问也可以被a r m 内核访问。 2 、低功耗 从供电( 电池) 和发热量来考虑，很多应用对低功耗有特别的要求。d m 6 4 4 6 有三种电源管理模式：备用电源模式、低功耗运行模式和正常运行模式。备用电 源模式下运行的功耗是最低的，d s p 内核和视频处理子系统都不运行，除了通用 的i o 、u a r t 和p w m 运行外，其他的外设都不运行，而且只以2 7m h z 的时 钟工作。低功耗模式下，仅仅运行一些a r m 的基本模块，d s p 核和视频处理子 系统也都不运行，除了通用i o 、u a r t 、p w m 、s p i 和定时器外，其他的外设 都不运行，而且也只以2 7m h z 时钟工作。正常运行模式下，除了所有的模块和 外设都可以运行外，两个时钟也正常运行。以上所述的电源管理模式保证了 d m 6 4 4 6 的低功耗性能。 3 、专用的视频图像协处理器和视频处理子系统 d m 6 4 4 6 中有专用的视频图像协处理器( v i c p ，v i d e o i m a g ec o p r o c e s s o r ) 。 l o 浙江大学硕士学位论文 该协处理器可以进行很多特定的视频和图像处理任务来减轻d s p 的负担，这样 d s p 就可以有更多的资源来进行其他处理【1 6 】。从图2 1 可以看出，d m 6 4 4 6 还 包含一个视频处理子系统( v p s s ，v i d e op r o c e s s i n gs u b s y s t e m ) ，该子系统可分 为视频处理前端( v p f e ，v i d e op r o c e s s i n gf r o n t e n d ) 和视频处理后端( v p b e ， v i d e op r o c e s s i n gb a c k e n d ) 。视频处理前端用于接收外部传感器或视频解码器等 的图像，而视频后端用于输出图像到s d t v 、l c d 、h d t v 等显示屏上。 4 、存储容量 d m 6 4 4 6 有2 5 6m b 的3 2 位d d r 2s d r a m 存储空间，1 2 8m b 的1 6 位f l a s h 存储空间。如此庞大的存储空间足以满足任何嵌入式应用。 5 、丰富的外围接口 d m 6 4 4 6 的外围接口包括：2 个可配置的视频接口，1 个带有数据输入输出 管理模块( m d i o ，m a n a g e m e n td a t ai n p u t o u t p u t ) 的1 0 m 1 0 0 m 以太网接口，1 个1 2 c ( i n t e r - i n e r g r a t e dc i r c u i t ) 总线接口，1 个音频串行口( a s p ，a u d i os e r i a lp o r t ) ， 2 个6 4 位通用定时器，1 个6 4 位看门狗定时器，高达7 1 个通用输入输出口，3 个p w m 接口，2 个外部存储器接口( 1 个异步外部存储器接口，1 个同步存储 器接口) 等。此外，d m 6 4 4 6 还支持m m c s d 、c f 卡等 1 6 】。 削 曰曰曰国画匿匣 一 i 。 系统 圜匿翟围圜壁圈雷 连接程序，敏据存储 8 b b t 6 5 6 、i i c 2 4 b r g b n t s c p a l 。 s - v i d e o , k g b ， y p b p r 图2 1d m 6 4 4 6 结构图 2 1 3a r m 子系统 a r m 子系统中包含的部件使a r m 9 2 6 e j s ( a r m ) 能控制d m 6 4 4 6 ，包括 d s p 子系统、视频处理子系统以及大部分外设和外部存储器【1 8 。 在d m 6 4 4 6 中，a r m 负责处理许多系统任务，比如系统的初始化、配置、 浙江大学硕士学位论文 用户接口、用户命令执行、控制d s p 子系统以及其他的系统控制等。 a r m 子系统的框图如图2 2 所示，包含以下模块：1 个3 2 位a r m 9 2 6 e j s 内核，1 6k b 指令c a c h e ，8k b 数据c a c h e ，写缓存( w r i t eb u f f e r ) ，内存管理单 元( m m u ) ，协处理器( c p1 5 ) ，j a v a 加速器，a r m 片内存储器( 1 6k b 内建 r a m ，8k b 内建r o m ) ，嵌入式追踪模块和嵌入式追踪缓存( e t m e t b ， e m b e d d e dt r a c em o d u l ea n de m b e d d e dt r a c eb u f f e r ) 【18 】。 如图2 2 所示，d m 6 4 4 6 采用两个主要的总线来进行系统内数据的传输，一 个是d m a 总线，另一个是配置总线( c o n f i g u r a t i o nb u s ) 。d m a 总线用于各子系 统与各模块之间的数据传输，而配置总线用于配置外设的控制寄存器。而a r m 子系统通过i - t c m ( t i g h tc o u p l em e m o r