低码率下实时高清视频压缩方案

1、低码率下实时高清视频压缩方案韩文俊 1，2，任国 强 1，吴钦章 1（1. 中 国 科 学 院 光 电 技 术 研 究 所 ，四 川 成 都 610209； 2. 中 国 科 学 院 研 究 生 院 ，北 京 100039）【摘 要 】 在 低 码 率 的 条 件 下 ，h.264 视 频 压 缩 很 容 易 产 生 失 真 并 且 基 于 这 一 标 准 的 高 清 实 时 编 码 具 有 较 高 复 杂 度 ， 在 硬 件 中 很难 实 现 。 提 出 一 种 解 决 方 案 ，在 低 码 率 的 条 件 下 ，可 以 在 ti tms320c6455 dsp 上 实 现 720p25 f

2、/s 高 清 格 式 视 频 的 实 时 编 码 。 该 方 案 通 过 在 整 数 变 换 和 量 化 前 采 取 全 零 块 预 测 方 法 ，同 时 使 用 视 频 抽 样 、dsp 优 化 和 插 值 处 理 来 降 低 编 码 复 杂 度 ，达 到 高 速 实 时 压 缩 的 目 的 。 实 验 结 果 表 明 ，该 方 案 在 低 码 率 下 ，编 码 速 度 能 满 足 实 时 视 频 的 要 求 ，在 客 观 峰 值 信 噪 比 指 标 （psnr）及 人 眼 视 觉 特 性 上 都 远 优 于 原 标 准 。【关 键 词 】 h.264；高 清 视 频 ；dsp；视 频 编

3、码【中 图 分 类 号 】 tn919.8【文 献 标 识 码 】 ascheme for real-time hd video compression in low bit ratehan wenjun1, 2, ren guoqiang1, wu qinzhang1（1. institute of optics and electronics, chinese academy of sciences, chengdu 610209, china;2. graduate university of chinese academy of sciences, beijing 100039, ch

4、ina ）【abstract】 in low bit rate, the video coded based on h.264 may have a lot of distortion, and hd real-time encoding based on h.264 is hard to implement on hardware because of its high complexity and large computation, a scheme is presented that 720p25 f/s hd format video can be real-time encoded

5、 on a ti tms320c6455 dsp in low bit rate. pre-detection algorithm for all-zero blocks is used before integer transform and quantization, meanwhile video sampling, dsp optimization and interpolation are used to reduce encoding complexity and achieve high-speed real-time compression purposes. experime

6、ntal results show that the scheme can satisfyreal-time encoding, and is far superior to the original standard both in peak signal-to-noise ratio （psnr） and human visual systemin low bit rate.【key words】 h.264; hd video; dsp; video encoding引言新一代视频压缩标准 h.264 由于采用了很多新技 术 1，使其编码性能要远远优于其他标准 ，但 是 在 低 码 率

7、条件下 ，其结果却不尽如人意 ，比如在 较窄的带宽中传输 高清视频流 ，压缩比非常 高 ，必须对现有的压缩方法进行 改进，并且由 于 h.264 编码过程较为 复 杂 ，基 于 这 一 标 准实 现 的 案 例 5。 笔者针对低码率条件下的 h.264 视 频 压缩 ， 提出了一种基于 c64x+内核实现高清 720p25 f/s 的 h.264 视频压缩方法 ， 该方法大大减少了算法的计 算 量 ， 提高了计算速度。 实验结果表明，在低码率下，psnr 及人眼主观感觉上都远优于原标准。0视频质量评价方法视频质量的评定主要有主观评定和客观质 量 评定两 1的实时 编解码技术面临着巨大的挑战 ，

8、对于高分辨 力图像更是很难做到实时 ， 因此 如 何 提 高 h.264 的 编 码 效 率和编码速度是制约其发展的瓶颈 。基于 dsp 的视频压缩具有易扩展、方便更改、成本低 的 特 点 ，是一种较好的解决方案 ，但 是 由 于 耗 时 的 问 题 ， 使得视频压缩方法在 dsp 上 实 现 时 具 有 较 大 的 困 难2-3， 尽管 ti 推出了基于 c64x+内核的 dsp，d1 分辨力的 h.264 实时编解码技术在单片 dsp 上实现已成为可能4，但是由 于高清格式视频压缩的实现困难 ， 目前还没有 在单核 上种估计方法。主观评定取决于个人的视觉系统以及对视频内容的熟悉程度 ，需要

9、足够 多 的 样 本 ，通 常 需 耗 费 较 多的人力和时间 ，除非图像质量 相 差 非 常 明 显 ，否 则 很 难 得 到 确 切 的 结 果 ；客观质量评价主要是采用数 学 的方法反 映图像质量的变化 ， 笔 者 将 使 用 psnr 作 为 客 观 评 价 标 准，定义为n2psnrdb=10lg（2 -1） /mse（1）33l-1 xij 2 5（3）i=0 j=0a（qm，0，0）4n2式中：（2 -1） 为图像中最大可能的信号值平方 ，n 为 每 个像 素 的 比 特 数 ，mse 为 原 始 图 像 和 编 码 后 图 像 之 间 的 均 方误差，定义为m-1 n-112f

10、（x，y）-f （x，y）mse=（2）0mnx=0 y=0式中：f0（x，y）和 f（x，y）分别为原始图像和压缩之后的图像在（x，y）处的灰度值，m，n 为整幅图像的像素数。式 中 ：l=15+qp/6，qm=qp%6（qm 为 量 化 步 长 ，qp 为 量 化h.264 结构h.264 编码算法总体上分为视频编码层（video codinglayer，vcl） 和 网 络 适 配 层 （network abstraction layer，2参 数 ，qp 每 增 加 6，q 加 倍 ），a （q ，u，v） 为 量 化 参 数 矩mm阵 ，a（qm，0，0）为量化矩阵的最大值 。该 判

11、据在一定程度 上解决了全零块判断的问 题 ，但是并未从提高量化及变 视频编码层是视频处理的核心 ，完 成 对 视 频 有 效nal）。换速度的角度出发 ，运算时不能充分发挥 dsp 的性能 ，结合图 2b 提出了新的全零块预测方法 ，即 判 断 1616 块 是 否为全零块。 如果将计算出的阈值乘以 16 作为新判据的 阈值， 在判断出的 1616 全零块内部可能存在非全 零 的44 块，从而导致误判。 经实验测试表明，1616 块的阈值 按量化步长增幅的 12.5来 递 增 ，当 qp=0 时 ，初 始 阈 值数据的描述；网络适配层主要是实现在不同网 络应用中的 数 据 打 包 。 h.26

12、4 的视频编码层 框 图 如 图 1 所 示6，其方法和 h.263 等视频压缩标准类似 ，编码方法。都是 基于块的混 合qp为 13，从而每一个 qp 对应的阈值为 13（1+0.125）。 在量化步长为 2947 区 间 ，采 用 720p25_rush_hour.yuv 测 试 的准确性 ，零块检出率和零块预测错误的比例如表 1 所 示 ，在 预 测 模 式 选择或者运动估计过程中 1616 块 的 sad（sum of absolute differences）已经被计算，不会增加额外的运算时间。表 1零 块 预 测 检 出 率 测 试 表阈 值 800 900 1 012 1 139

13、 1 281 1 440 1 600 1 800 2 025 2 277 2 561 2 880尽 管 h.264 和 其 他 视频压缩标准的主要结构相似 ，但是由于使用了许多特殊的数据处理方法 ， 使得编码效 率 有 了 很 大 的 提 高 ，主要体现在帧内预测 、帧 间 预 测 、熵 编码、整数变换、量化和扫描等7。全零块的提前预测算法h.264 帧间编码需要对残差块数据进 行 整 数 变 换 和 量化，耗时较多，原标准中执行流程如图 2a 所示。 很多情 况 下 ，特 别 是压缩比较大时 ，残差块的绝对值 一 般较小 ，3在低码率条件下 ，即量化 步 长 较 大 时 ，按 照 提 出 的

14、 零块提前预测方法将会取得非常好的效 果 ， 在 dsp 中测试 发现可以减少 15%25%的计算量。硬件实现在硬件实现时 ，首 先 将 yuv 视频数据通过千兆网络 从 pc 端传到 dsp 中，然后 在 dsp 中对数据进行抽样 、编 码，最后把数据回传到主机，具体实现过程为：1） yuv 视频数据抽样方法读 入 的 720p yuv 420 的 高 清 数 据 流 首 先 进 行 抽 样，由于编码 是基于 1616 宏 块 ，抽样后的图像分辨力必 须被 16 整除。 方法如图 3a 所示，抽样只保留图中黑色的4经量化后系数大多为 0，如果在变换和 量化前就可以正 确判决出全零块 ， 可以

15、避免 后续的变换 、 量化以及反变换、反量化等运算过程 ，节省运算时间 ，如图 2b 所示 。文献8-10都对这一问题进行了改进，但是都是基 于 44 块进行的判断，笔者将参考的方法进行改 进 ，提出了降低全零块漏判率的判决条件qp 35 3637383940414243444546判 决零 块 预 测错 误 1.01 1.00 0.80 0.40 0.74 0.30 0.44 0.27 0.19 0.12 0.19 0.12比 例/%零 块检 出 26.0 28.6 31.9 33.7 37.6 41.3 40.9 42.3 44.5 42.5 51.5 53.2率/%点，水平方向和竖直方向

16、以二抽一的方式进 行抽样 ，保留mbyte， 可 以 设 置 为 sram，cache 或 部 分 cache 和 部 分中 间 16 行 ，抽样后图像尺寸为 640368。色 度 分 量 也 作通过分析数据 、程 序的大小以及耗时的影响 ，从 内ram。相应的抽样，如图 3b 所示，抽样后为 320184。部 l2 sram 中分配 64 kbyte 用 作二级 cache。占 用 空 间相对较小的程序段放入 内 部 sram，原始视频数据和参 考帧数据相对 较 大 ，放 于 外 部 ddr2 存 储 器 中 。在 内 部ram 中开辟 双 缓 冲 区 用 作 ping-pong 操 作 ，

17、要的数据搬移到缓存区 ，以减少 l2 miss。编 码 前 将 需（2） 程序级优化。 使用 ccs 的 profiler 工具或直接调用芯片的 timer 模块来测试并记录函数的 执 行 时 间 ，将 程 序中的耗时部分用内联函数 、 线性汇 编等优化以提高速 度。 h.264 压缩标准中运动估计 、整数变换 、反整数变换 、量 化 、反 量 化 、帧 间 预 测 插值等是最耗时的部分 ，将 其 用线性汇编优化，如耗时比例较大的运动估计中 sad 的计算 ，可 以 采 用 subabs4 和 dotpu4 指 令11-12实 现 ，如 图 5所示。2） 压缩算法的 dsp 移植及优化算 法

18、的 dsp 移植主要包括更改数据输入输出 接 口 及配置硬件资源 。 对于输入输出接口 ，源 程 序 使 用 fread 和 fwrite 函数来读取和保存数据 ， 通过 jtag 口 操 作 ，速度较慢，采用网口对数据进行读入和保存。 程序执行流程如图 4 所示，定义了两个任务 ，一个负责数据的 读入和保 存，另一个负责完成编码 ，任务之间 的通信使用旗语信号 量来实现。编 译 选 项 优 化 。设 置-pm，-o3，-mt 等 选 项 编 译（3）程 序 。经 过 以 上 3 步 优化编码速度可以达到 25 f/s （帧/秒）以上。视频接收端的解码和图像插值过程3）pc 端程序从网络接收编

19、码后视频流 ，解码生成 640368 分 辨 力 的 yuv 视 频 流 ， 再经过像素插值恢复为 1 280720 的视频并显示。插值过程和抽样相反，参考图 3，在黑色点已知的条件下 ，补充白 色 的 点 。 水 平 插 值 时 ，每 行的后一个像素值直接拷贝前 一 个 像 素 值 ， 竖 直 插 值 时亮度数据除中间的 16 行 不需 插 值 外 ，其他行间隔拷贝上 一行的数据，色度插值时中间 8 行不需插值。实验结果主机端配置为 e5300 cpu 双核 2.6 gbyte，内存 2 gbyte， 编码端采用 tms320c6455 dsp，对 720p25_rush_hour.yuv

20、和 720p25_riverbed.yuv 各 选 取 连 续 100 帧 图 像 做 测 试 ， 均 采 用 ippp 编 码 模 式 。 psnr 和码率的统计关系如图 6 所示，可以看出在低 码率条件下 ，本文算法处理效果要明 5显 优 于 原 标 准 算 法 ，特 别 是 对 于 720p25_riverbed.yuv 视程序优化分为 3 步：（1） 存储及 cache 优 化 。频，由于图像细节 较多 ，本文算法和原标准算法的交点位 置的 码率更高 ，即在高复杂度的视频 处 理 上 ，本 文 算 法 较 原标准算法优势更明显。tms320c6455 具 有 高 速 的两 级 缓 存

21、结 构 ，内 部 一 级 缓 冲 l1p sram 和 l1d sram分 别 有 32 kbyte， 全 部 设 置 为 cache。 内 部 ram 有 2final committee draft of joint video specification final committeedrafts.2002.王 强 ，卓 力 ，沈 兰 荪. 基 于 dsp 平 台 的 h.264 编 码 器 的 优 化 与 实 现j. 电 子 与 信 息 学 报 ，2007，29（12）：2970-2973.李 小 红 ，蒋 建 国 ，齐 美 彬 ，等. 基 于 dsp 的 h.264 关 键 模 块

22、技 术 的 研 究 及 实 现j. 仪 器 仪 表 学 报 ，2006，27(10）：1330-1333.韩 文 俊 ，张 艳 艳 ，任 国 强 ，等 . 基 于 ti c64x+ 内 核 dsp 的 h.264 压 缩 关 键 模 块 优 化j. 电 视 技 术 ，2010，34（3）：28-30.韩 文 俊 ，张 艳 艳 ，任 国 强 ，等. 基 于 双 dsp 的 实 时 高 清 h.264 视 频 编 码 器 实 现j. 电 视 技 术 ，2010，34（5）：33-35.wiegand t， sullivan g j， bjontegaard g， et al. overview o

23、f the h.264/avc video coding standardj. ieee trans. circuits and systems for video technology，2003，13（7）：560-576.余 兆 明 ，查 日 勇 ，黄 磊 ，等. 图 像 编 码 标 准 h.264 技 术m. 北 京 ：人民 邮 电 出 版 社 ，2006.moon y h， kim g y， kim j h. an improved early detection algorithm for all -zero blocks in h.264 video encoding j. iee

24、e trans. circuits and systems for video technology， 2005，15 （8）：1053-1057.su c y. an enhanced detection algorithm for all-zero blocks inh.264 video codingj. ieee trans. consumer electronics，2006，52（2）：598-605.沈 礼 权 . 高 效 视 频 编 码 的 算 法 优 化 及 其 扩 展 研 究d. 上 海 ：上 海 大 学 ，2008.tms320c64x + dsp cache user

25、s guide eb/ol. 2010 -02 -09. http：//lit/ug/spru862b/spru862b.pdf.tms320c64x/c64x+ dsp cpu and instruction set reference guide eb/ol. 2010 -02 -09. http ：//files/docs/n900/ spru732h.pdf.笕23456对于 720p25_rush_hour.yuv 视频，在码率为 452.6 kbit/s条 件 下 ，选 取 连 续 100 帧 ，分别使 用原标准算法和本文 算 法 进 行 压 缩 ，抽 取 第 95 帧图像进行比较 ， 如 图 7c 和7d 所 示 。 原 h.264 标 准 压 缩 后 ，有大面积的模糊块 ，图 像 的很多重要信息丢失 ，如 车 牌 号 等 ，本 文 方 法 在 主 观 感觉上明显优于 原 标 准 算 法 ， 且 原 标 准 处