【毕业学位论文】（Word原稿）基于DSP的MPEG-4编码器的改进和移植-计算机应用技术

I 分类号： 密级： 学号： 010731 东 南 大 学 硕 士 学 位 论 文 基于 码器的改进和移植 研究生姓名： 王高浩 导师姓名： 徐宏炳 教授 王健 副教授 申请学位级别 硕士 学科专业名称 计算机应用技术 论文提交日期 2004 年 3 月 论文答辩日期 2004年 3 月 学位授予单位 东 南 大 学 学位授予日期 20 年 月 日 答辩委员会主席 评 阅 人 2004 年 3 月 日 f n or Y 004 南 大 学 学 位 论 文 独 创 性 声 明 本人声明所呈交的学位论文是我个人在导师指导下进行的研 究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名： 日 期： 东 南 大 学 学 位 论 文 使 用 授 权 声 明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文 档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权东南大学研究生院办理。 研究生签名： 导师签名： 日 期： 要 数字视频处理在很多领域都发挥着重要的作用，而旧的视频标准已经不能满足日益增长的市场需求，所以应该开发基于新的视频标准的监控产品。 本文首先介绍了视频处理的一般原理，主要介绍了采样，变换编码，预测编码，量化，熵编码等。然后介绍了最新的视频标准 要介绍了 系统 体系结构，系统解码器模型，缓冲区模型规范，对象描述框架，以及场景描述和视频部分。 接着介绍了 绍了它的特点，主要应用， 构，讲述了数据总线和程序总线的分离，以及数据通路的功能，以及各个功能单元的作用，流水线和中断。 以 下的章节 给出了 视频处理 基于 实现，以及 应用 理 进行 新 算法的 设计 和 原有算法的 改进 , 最后进行 移植 。 一般的做法，总是通过针对目标 改进耗时的指令来达到目的，但是这种改进是有限的。只有结合算法层面的改进才可以进一步提高速度。本设计采用的 这些改进 算法都是 基于 实践的观察和理论的探索，做到了 充分挖掘视频处理的固有特点， 配合 现有 的 快速算法，做到了适用面广，处理速度 明显提高 ，且图像质量 无实质 下降。然后给出 充分的 实验数据，并加以分析。最后对 本文所 应用的 理在更一般的层次上加以 分析 总结 。 关键词：数字视频处理， 法 设计和 改进 V is in is of we a on In we of DM,SP,of of of In we a to on or of a is CA is in a 录 第一章绪论 . 1 . 1 . 2 . 2 . 4 . 4 . 4 . 4 . 5 第二章 视频处理的一般原理 . 6 . 6 . 6 . 7 . 8 . 8 . 12 . 13 第三章 . 16 . 17 . 18 . 19 . 19 . 20 . 20 . 21 第四章 . 22 . 22 . 23 第五章 . 27 . 28 . 28 . 29 判断 I/. 31 法 . 32 . 33 . 34 第六章应用 . 35 . 35 . 37 . 42 . 43 . 51 . 51 七章 . 53 . 53 . 54 第八章今后的工作 . 56 参考文献 . 57 致谢 . 59 附录一 未经优化的 行统计信息 . 60 附录二 改进了基于块的半像素运动估计算法后的运行统计信息 . 63 附录三 及早排除了 . 66 附录四 及早排除了基于宏块的半像素运动估计后的程序运行统计信息 . 69 附录五 应用了优化的变换量化算法的程序运行统计信息 . 72 东南大学硕士学位论文 1 第一章绪论 言 数字视频通信与模拟视频通信相比，具有一系列的优点：进行中继传输和多次复制时，不会造成噪声和非线性失真的积累；数字图像便于进行加密；数字图像有利于计算机处理。但是数字化的图像信息量巨大，如果没有经过压缩，难于直接应用。下面举几个未经压缩的数字化信息的例子： 一页印在 18055上的文件，若以中等分辨率（ 300扫描仪进行采样，其数据量约 。一片 650 存 98 页。 数字电视图像： 式， 式、彩色、 4： 4： 4 采样。 每帧数据量 352*240*3=253秒数据量 253*30=s 一片 存帧数 650/ 一部 目时间（ 650/ 式， 式、 4： 4： 4 采样。 每帧数据量 720*576*3=秒数据量 5=s 一片 存帧数 650/ 一片 存节目时间为 650/ 我们再举一个陆地卫星的例子（其水平、垂直分辨率分别为 2340*3240，四波段，采样精度 7 位），它的一幅图像的数据量为 2340*3240*7*4=212每天 30 幅计，每天数据量为 212*30= 年的数据量高达 2300 从以上列举的数据例子看出，数字化信息的数据量是何等庞大，这样大的数据量，无疑给存储器的存储容量、通信干线的信道传输率以及计算机的速度都增加了极大的压力。数据压缩技术是个行之有效的解决办法，通过数据压缩减少数据量，以压缩形式存储和传输，即节约了存储空间，又提高了通信干线的传输效率。 对于视频编码的研究虽然早在二十世纪四十年代就已经开始，视频编码的实用化与产业化一直到二十世纪九十年代才得以实现。 这主要有 2 方面的原因，一方面，视频技术的发展是一个长期的过程，如表 1示。 1 表 1频技术的发展 1948 年 提出数字信号电视化 50， 60 年代 对帧内预测、亚抽样复原算法进行研究 1968 年 提出变换编码 1969 年 进行线性预测编码的研究 70 年代 对帧间预测进行研究 80 年代 对运动补偿进行研究 1990 年 通过 频编码标准 1993 年 通过 频编码标准 1995 年 通过 议 另一方面，视频编码技术的发展还收到硬件水平的制约，只有在硬件的数字处理功能足够强的时候，数字视频编码算法才可能有理论变为现 实。通常，在一块 片上集成的晶体管数目越多， 片的处理成立就越强，表 1示了单个芯片上集成的晶体管数目的增长。 东南大学硕士学位论文 2 表 1成电路技术的发展 1971 年 第一块微处理器 4004，大约 3000 个晶体管 1974 年 8 位微处理器 8080，大约 9000 个晶体管 1978 年 16 位微处理器 8086，大约 5 万个晶体管 1981 年 80286， 个晶体管 1986 年 32 位微处理器 80386， 50 万个晶体管 1989 年 微处理器 80486， 129 万个晶体管 1993 年 奔腾微处理器， 310 万个晶体管，包含 媒体指令集 到了 90 年代，随着 换，帧间预测，熵编码为特征的混合编码的逐渐成熟以及强大的奔腾处理芯片的问世，数字视频通信才得以走向实用。 频处理一般过程 视频处理的一般过程如下。 图 1个典型的编码器 注意 ，图像是以宏块 (输入单位的。其中， 离散余弦变换， Q 指量化， 变长编码， 反离散余弦变换， 运动补偿， 运动估计。 种国际编码标准 表 1像视频编码的国际标准 2 标准 标题 制定的起止日 期 目标比特率 应用场合 采用的主要编码技术 续色调静态图像的数字压缩编码 缩比 230 因特网 数字照相 图像视频编辑 觉量化 描 霍夫曼编码 算术编码 一代静态图像编码标准 1 缩比 250 因特网 移动通信 打印 有技术 小波变换 南大学硕士学位论文 3 扫描 数字照相 遥感 传真 医学图像 数字图书馆 电子商务 码 空间可扩展编码 质量可扩展编码 面向对象编码 位图 形状编码 容错编码 树扫描 向数字 存储的运动图像及其伴音的编码 特率 s 光盘存储 费视频 视频监控 有技术 自适应量化 运动补偿预测 双向运动补偿 半象素运动估计 动图像及其伴音信息的通用编码 5Mb/s 数字电视 数字搞清晰度电视 高品质视频 卫星电视 有线电视 地面广播 视频编辑 视频存储 有技术 基于帧 /场的运动补偿 空 间可扩展编码 时间可扩展编码 质量可扩展编码 容错编码 视频对象的通用编码 2001.1 在进行 比特率 8kb/s 35Mb/s 因特网 交互式视频 可视编辑 内容操作 消费视频 专业视频 2D/3D 计算机图形 移动通信 有技术 小波变换 高级运动估计 重叠运动估计 视相关可扩展编码 位图形状编码 对象编码 脸部运动 动态网格编码 用多媒体描述接口 1996 媒体数据库等 媒体框架 p*64kb/s 的视音频服务的编码 1984 特率 p*64kb/s （ p:130） 频会议 适应量化 描 运动补偿预测 运动估计 霍夫曼编码 容错编码 比特率通信的视频编码 1996 998.1 在进行 比特率 8kb/s s 频电话 桌面视频电话 移动视频电话 有技术 双向运 动补偿 半象素运动估计 高级运动估计 东南大学硕士学位论文 4 重叠运动补偿 算术编码 于 频处理简述 时信号处理的概念 信号处理的实质是对信号进行变换，目的是获取信号中包含的有用信息，并用更直观的方式表达。数字信号处理就是用数字的方法对信号进行变换来获取有用信息，如离散傅丽叶变换（ 是最常用的 法。实时指的是系统必须在有限的时间内对外部输入信号完成制定的处理，即信号处理的速度必须大于输入信号的更新速度，而且从信号输入到处理后输出的延迟必须足够的小。其中视频信号的典型数据率在 100 1003 点 结构特点在很大程度上体现了 法的需求，有如下特点： 硬件乘法器 由于 功能特点，乘法操作是 主要任务。而在通用微处理器通过微程序实现的乘法操作往往需要 100 多个时钟周期，非常费事，因此在 都设有硬件乘法器来完成操作，以提高乘法速度。 多功能单元 为了进一步提高速度，可以在 部设置多个并行操作的功能单元（ 法器和地址产生器等）。如 部有 8 个功能单元，包括 2 个乘法器和 6 个 8 个功能单元最多可以在 1 个周期执行 8 条 32 位指令。 总线结构 用了程序总线和数据总线分离的哈佛总线结构，这样 能同时取指和取操作数了。而且很多至有 2 套和 2 套以上的内部总线，这种总线结构称为修正的哈佛结构。 列 采用了新的长指令字）结构，片内提供 8 个独立的运算单元， 256 位的程序总线， 2 套 32 位的数据总线和一套32 位的 用总线。灵活的总线结构大大缓解了数据瓶颈对系统性能的限制。 专用寻址单元 一个支持地址计算的算术单元 地址产生器。地址产生器与 行工作，因此地址的计算不再额外占用 间。由于有些算法通常需要一次从存储器中取 2 个操作数，所以 的地址产生器一般也是 2 个。 地址产生器一般还支持位反转寻址（用于 法）和循环寻址。 于 视频监控系统 该系统由监控端摄像头、实时视频采集压缩板、远程接收主机组成。其实现方框图如下图 1示。视频图像经过采集存储于帧缓存器中，采集完成后可编程逻辑器件 向 片发出接收信号。 片接收到“图像采集好”信号后，用 图像传送到片外存储器中，并启动 频压缩编码。编码输出码流通过送到网络模块，该模块将输入数据组装成含有接收主机 址的 ，发送到互联网上。接收端比较简单，由接收主机将发送过来的数据流解压并将视频图像在显示器上显示出来。 东南大学硕士学位论文 5 图 1于 硬件实时视音频压缩系统 文的工作 第一章绪论。在这一章，介绍了几种常见的国际视频标准。然后介绍了 及 特点，最后介绍了基于 硬件实时视音频压缩系统。 第二章：视频处理的一般原理。在这一章，给出视频处理的一般原理，主要分为采样，变换编码，预测编码，熵编码。 第三章： 准。在这一章，讨论 同于一般编码标准的特殊之处，包括 系统，视频。 第四章： 列介绍。在这一章，讨论 列的特点， 构和开发环境。 第五章： 研究 。这一章主要讨论 序的流程。 第六章： 算法改进。这一章主要讨论在算法层面如何应用 理改进原有算法，并设 计新的算法，提高 运行速度，并给出实验结果，并加以分析。 第七章： 移植和指令优化 初步 。这一章讨论 对 移植和针对 指令优化初步。 第八章：今后的工作。 东南大学硕士学位论文 6 第二章 视频处理的一般原理 数字视频信号可以进行压缩，首先是因为信号在时间和空间是高度冗余的，去除相同信息的重复表示，可以大大的减少信息的发送量，从而实现数据压缩。通常，视频数据本身存在如下的几种冗余： 人眼视觉系统（ 于某些失真并不敏感，所以某些失真是可以接受的，因此，可以利用这些失真获得较大的压缩比。比如人眼对色度分辨率的不敏感，以及人眼对活动图像分辨率的不敏感。 空间上的冗余：视频图像同一帧内相邻象素存在很大的相关性，研究表明，图像同一帧内的行、列相邻点之间的相关性可达 时间上的冗余：视频序列前后帧之间存在较大的相关性，研究表明，视频序列前后帧同一位置上的相关性也达 上。有人统计了 1可视电话，发现前后相邻帧只有 4%的象素发生变化。 符号表示上的冗余：根据信息论，使用 相同的码长来表示不同概率出现的符号会造成比特数的浪费、增加。 彩空间和色彩采样 彩空间 从理论上讲，任何一种颜色都可以用三种基本颜色按不同比例混合得到。三种颜色的光强越强，达到我们的光就越多，他们的比列不同，我们看到的颜色也就不同，没有光到达眼睛，就是一片漆黑。当三基色按不同的强度相加时，总的光强增加，并可得到任何一种颜色。 颜色 =R（红色的百分比） +G（绿色的百分比） +B（蓝色的百分比） 在 彩空间，任意彩色光 F，其配色方程可写成 F=rR+gG+bB (中 r、 g、 b 为三色系数， rR、 gG、 bB为 F 色光的三色分量。任意一种色光，其色度可由相对色系数中的 2 个唯一确定。因此，各种色彩的色度可以用二维函数表示。 4 基色主要用于混合了亮度和色度的场合。在另外的很多场合下，为了更有效的转换和处理颜色信号，需要使亮度信号和色度信号分离。有很多 3 分量色彩空间可以达到这个目的，一个对应亮度信号，另外 2 个对应色度信号。其中一个是 Y 代表亮度分量 ， 色差信号 (Y,U,V)和 (R,G,B)的转换关系 5如下 。 及 (南大学硕士学位论文 7 其中， R ， G ， B 是经过亮度校正后的值。 彩采样 一个数字视频信号，由帧率行数（行 /帧或者行 /图高）及每行采样率同定义。线率, 。时间采样间隔或者说帧间隔，t=1/垂直采样间隔，y=图高 /水平采样间隔，x=每帧宽度 /连续视频信号 , 与离散视频信号 , 的关系如下：，。除了以上的参数外，另一个重要的参数是每个象素需要多少个 表示，般而言，亮度或者 3颜色值制定为 8比特或者 256级。因此，对于单色视频来说，；对于彩色视频来说，4。数字视频的数据率，,。 除了图像分辨率， 准还制定了数字色彩空间，叫做 缩放和移位。这保证了每个分量的值在 0 到 255 之间。假如 分量的值在 0 到 255之间，那么： 及 于人眼对亮度信息敏感，而对色度信息不敏感，所以可以减少色度信息的采样来达到压缩的目的。如果把色度信息 r 采样率降低一半，也就是 2/, ，也就是说每一行的采样点减少一半，而采样行数不变，就成了 4:2:2 格式。这意味着每 4 个 Y 采样点上，只有 2个 2 个 样点。为了进一步降低数据率， :1:1 格式，每一行的色度分量采样率缩小了 4 倍，也就是每一个 样点对应于 4 个 Y 采样点。这导致了在水平和垂直方面采样的不均等。为了避免这个问题，在水平和垂直方向的色度采样率都缩小了一半，而整个数据率与 4:1:1 格式相同，也是每个 样点对应于 4 个 Y 采样点，称为 4:2:0。如果应用需要很高的分辨率，那么就采用 4:4:4 格式，它采样色度分量于采样亮度分量是一样的。这 4 个格式的表示如图 2示： 东南大学硕士学位论文 8 图 2种采样格式 按照 4:2:0 采样的某些图像格式如表 2示 。 表 2些按照 4:2:0 标准采样的图像格式 7 图像格式 每行亮度象素数 每 帧亮度行数 每行色度象素数 每帧色度行数 28 96 64 48 76 144 88 72 52 288 176 144 404 576 352 288 16408 1152 704 576 换编码和量化 换编码 变换编码不是直接对空域图像信号编码，而是首先将空域图像信号映射变换到另一个正交矢量空间（变换域，或频域），产生一批变换系数，然后对这些变换系数，进行编码处理。在发送端将原始图像分割成 1n 个子图像块， 每个子图像送入正交变换器做正交变换，变换器输出变换系数经滤波、量化、编码后送信道传输到达接受端，接受端做解码、逆变换、综合拼接，恢复出空域图像。如图 2示 。 东南大学硕士学位论文 9 图 2于 编码器处理步骤 数字图像信号经过正交变换为什么能够压缩数据呢？这是因为信号在时域或者空域描述，数据之间的相关性大，数据冗余度大；而转换到频域描述，数据相关性大大减少，数据冗余量小，参数独立，数据量减少。因此对图像压缩效果显著。 同时，考虑到最终接收图像的是人眼，利用人眼的视 觉特性，对图像高频细节不敏感的特性，用一个低通滤波器把变换系数中的高频系数部分滤除，保留低频部分，使恢复出的图像域原始图像之间的误差所产生的图像失真，人眼难以察觉，即图像失真不降低主观保真度。 对经过滤波处理后的系数再经过量化、熵编码，以达到进一步压缩数据提高编码效率的目的。在这个过程中，由于滤波，量化均会损失信息，所以变换编码是一种有损编码技术。 从数学的角度来看，可以把变换处理看成是用一系列的基本图案（叫做变换基函数）的线性叠加来表示一个图像块，如图 2示。 5每一个