（信号与信息处理专业论文）基于无线传感器网络的视频安全传输关键技术的研究(1).pdf

南京邮电大学硕士研究生学位论文 摘要 i 摘要摘要 随着无线网络和流媒体技术的飞速发展，各种针对流媒体的应用也愈加普及。因此它的 安全问题也愈受重视，如何设计一种高效快速的视频加密算法成为亟待研究的课题。同时， 视频在无线环境下的传输还面临着无线环境的时变性等情况，所以无线网络的路由算法也同 样是一个研究重点。 本文的研究分为两个方面。一是基于无线传感器网络的视频传输。本文阐述了基本蚁群 路由算法，针对能量消耗提出自适应机制，引入信息素的局部调整和全局调整，使其负载平 衡且更适应无线网络的传输。同时，采用基于 h.264 的视频传输框架平台，运用 ns2 进行仿 真， 在同等网络环境下， 不仅得出与 aodv 的性能(时延、 包成功传送率和平均跳数)的对比， 最后给出恢复的视频截图，让其性能更加一目了然。 另一个方面是视频的安全。针对 h.264 视频特殊的编码结构，本文提出了一种基于 aes 算法的 ofb 模式对视频进行加密处理的算法， 选择视频中帧内编码模式(i 帧)中的 dc 差分系 数和帧间预测编码模式(p 帧)、帧间双向预测编码模式(b 帧)中 intra 块的 dc 差分系数进行处 理。经过初步仿真分析，该处理方法降低了加密系统的计算复杂度，能抵御错误传播，提高 了实时性和安全性，且适合无线多媒体网络视频流的安全传送。 论文最后将提出的加密算法在 s3c6410 嵌入式平台上进行实现。 关键词：关键词： wsn；蚁群算法；h.264；视频加密；s3c6410 南京邮电大学硕士研究生学位论文 abstract ii abstract with the rapid development of wireless network and streaming media technologies, the various applications for streaming media are being used more and more widely. so, the security of streaming media becomes more increasingly important. the design of efficient video encryption algorithms becomes an urgent subject. at the same time, video transmission based on wireless network has high demand for real-time traffic, and the routing algorithm is another study emphasis. there are two research points in this paper. one is video transmission based on wsn. first, ant colony algorithm is presented. and according to the power consumption, this paper proposes an adaptive function, local pheromone updating and global pheromone updating. the simulations indicate that the proposed algorithm obtains more balanced transmission and its more suitable for wireless network. while, through a video transmission framework which based on h.264, this paper takes improved ant colony algorithm embedded ns2 network simulation system and compares the performances(e.g., delays, packet delivery rate and average hops) of this algorithm with aodv. results show that the proposed algorithm delivers good quality of video streaming than aodv. second is the security of the video. according to the features of h.264, this paper proposes a selective encryption scheme, which is based on aes ofb mode, encrypts dc difference coefficients of i frame, p frame and b frame. experimental results show that the proposed method exhibits low complexity and good security, and it supports error-propagation prevention. moreover, it is suitable for secure transmission of wireless multimedia network. besides, apply the proposed algorithm on s3c6410 embedded system to validate the practicality of the proposed algorithm. keywords: wsn; ant colony algorithm; h.264; video encryption; s3c6410 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内容。 论文的公布（包括刊登）授权南京邮电大学研究生院（筹）办理。 研究生签名：_ 日期：_ 研究生签名：_ 导师签名：_ 日期：_ 南京邮电大学硕士研究生学位论文 第一章 绪 论 1 第一章第一章 绪绪 论论 1.1 研究的背景与意义研究的背景与意义 随着信息技术与网络技术的发展，人类获取信息的方式发生了巨大的变化，网络媒体已 经从单一媒体模式发展到多媒体信息模式。同时通信服务业也从电话、传真、电报等传统业 务发展为可视电话、视频会议、视频点播等以视频信息为主的多媒体通信方式。众所周知， 人类获取的信息 70%来自于视觉，视频信息是包含内容最为丰富的一种媒体，在多媒体信息 中占有重要地位，视频信息虽然具有直观性、确定性、高效性等特点，但视频信息的数据量 之大，对数据存储和网络传输都提出了严峻的挑战。因此，二十多年来，高效的视频编码技 术一直是人们研究的热点课题。尤其是 h.264 技术的日趋成熟，关于流媒体的各种网络应用 越来越广泛。同时，由于流媒体数据存储和传输的方便性和广泛性等特点，它的安全问题也 日益受到重视。针对流媒体的特点，如何设计一个快速而高效的加密算法是一个急需解决的 问题。 并且， 在无线环境下的流媒体安全还得面临着无线环境的时变性， 容易引起差错率较高， 误码、时延、丢包等情况，从而导致图像质量差和播放不连续的问题，因此，无线传感器网 络的路由设计也是一个严峻的问题。 综上所述，基于无线传感器网络的视频安全传输的关键技术的研究，一是传输性能的研 究，二是视频安全的研究，即视频加密的研究。 1.2 课题内容的研究现状课题内容的研究现状 1.2.1 视频压缩编码技术的发展情况 自 20 世纪 90 年代以来，国际电信联盟(itu-t)视频编码专家组(vceg)和国际标准化组 织/国际电工委员会(iso/iec)活动图像专家组(mpeg)制定了一系列的视频编码标准，这些标 准极大地推动了视频技术及视频应用的发展。下面简单介绍 h.264/avc 视频标准、移动视频 编码技术研究现状和可伸缩视频编码技术。 (1) h.264/avc 视频标准： 2001 年， iso/iec 的 mpeg 专家组与 itu-t 的 vceg 专家组联合成立了联合视频专家组 (joint video team jvt)，决定在 h.26l1的基础上共同研究和制定下一代新的视频编码标准， 南京邮电大学硕士研究生学位论文 第一章 绪 论 2 即 h.264/avc2视频编码标准。在 iso/iec 中，该标准的正式名称为 mpeg-4 avc；在 itu-t 中的正式名称为 h.264(业界常用的名称)。h.264 的主要目标是重点提升视频编码效率，简化 码流的语法复杂度，实现与现有网络协议的无缝融合，满足尽可能多的视频应用需求。2003 年，h.264/avc 标准正式发布。 (2) 移动视频编码技术研究现状： internet 技术的成熟对实时视频应用的推广做出了巨大贡献。 随着无线网络技术与消费电 子的发展， 移动视频电话、 手机视频聊天、 移动电视等移动视频的应用也得到了快速的推进， 怎样高效地利用各种设备处理和传输视频信息， 已成为视频编码研究的重要方向和热点课题。 在移动设备上实现视频编码存在许多限制性问题，如设备计算资源的局限性、设备的多 样性与异构性、无线网络的低带宽及不稳定性都将对移动环境下的视频编码提出严峻的技术 挑战。因此在移动设备上实现视频编码必须具备以下四个特性：较低的算法复杂度、灵活的 可伸缩特性、高效的编码效率、很强的容错/纠错能力。近年来，视频编码技术的研究工作也 主要是围绕这几个方面进行展开。 高效的视频编码是在一定限制条件下(如复杂度、时延等)获得码率与视频失真之间的最 优平衡3，即实现率失真函数(r-d 函数)最优化。高效的视频编码主要关注两个方面的研究： 其一是设计高级的视频编码算法达到更高的编码效率，降低对存储空间和网络带宽的需求； 其二是在保证 r-d 性能的同时，有效地降低算法的复杂度，满足视频编码的实时性需求。 a 高级视频编码算法 高级视频编码算法以 r-d 最优化理论为基础4-6。 r-d 优化的实质是在比特率与视频失真 之间取得较好的折中与平衡，可用式 1.1 表示，即在给定的最大允许失真 dmax 范围内，使 码率 r 最小；或在给定的最大允许码率 rmax 范围内，使失真 d 最小化。 max max )min()( )min()( rr dd drd rdr (1.1) h.264/avc 作为最新视频编码标准， 引入许多高级视频编码算法， 实现了目前最优的 r-d 平衡。h.264/avc 的高级视频编码算法包括： 1、帧内预测机制7由于视频帧内有较高的空间冗余信息，在帧内进行空间预测可获得更 高的编码效率，h.264/avc 提供丰富的帧内预测模式可保证帧内预测具有较高的准确性。 2、 精细的运动估计策略8， 首先采用了 1/4 像素的运动预测， 增强了运动估计的精确度； 其次采用了可变块的运动估计，将宏块划分为 7 种模式进行预测，预测更加准确；另外还采 用了多参考帧预测模式，最高可达 5 个参考帧，运动估计可以在之前的多帧内进行搜索，不 南京邮电大学硕士研究生学位论文 第一章 绪 论 3 但可以进一步提高目标估计的准确度，还能提高解码器的容错能力。 3、去块失真环内滤波9，h.264/avc 将去块失真滤波器植入运动补偿预测环路中，既可 以去除块失真效应又能保护图像边缘的细节，同时提高图像质量。由于滤波器位于解码环内 故称之为环内滤波。 4、44 整数变换10，h.264/avc 与以往的视频编码标准不同，不再采用 88 的 dct 变 换，而采用 44 的整数变换。其优点是运算速度快、精确度高并且占用内存少。整数操作拥 有严格的反变换，避免了截取误差，减少了运动物体边缘编码失真。 5、基于上下文的自适应熵编码，自适应熵编码的原理是根据已编码元素的统计动态调整 编码码表，获得更高的编码效率。h.264/avc 采用自适应熵编码算法，基于上下文的自适应 变长编码(caval)11和基于上下文的自适应二进制算术编码(cabac)12。 b 复杂度优化 h.264/avc 的高级视频编码算法与以往的标准相比具有高的计算复杂度。虽然 h.264/avc 的编码效率非常适合于无线网络的传输要求，但其引入的复杂度却不适合移动设 备的计算性能。近年来，针对 h.264/avc 的复杂度提出了很多的优化方法，主要集中在帧内 预测模式决策、运动估计快速算法、高效环内滤波器等。这些优化在保证编码效率的同时有 效的减少了 h.264/avc 的复杂度。实现了码率-失真-复杂度(r-d-c)之间的平衡，将 r-d 问题 进一步扩展为 r-d-c 问题， 如式 1.2 所示。 即在的最大允许码率 rmax 和最大允许失真 dmax 的范围内，使计算复杂度 c 最小化。 maxmax )min(),( ddrr cdrc (1.2) (3) 可伸缩视频编码技术 网络的带宽差异及设备计算资源、 屏幕尺寸不尽相同， 导致对视频的码率、 编码复杂度、 分辨率等提出了不同的要求。在未来的视频应用中，编码应该能够适应各种网络和终端，可 伸缩编码便是为这一目的而提出的新的编码技术13,14。可伸缩编码的原理是将原始视频信号 进行高帧率、高分辨率、高质量可伸缩编码，解码器能够对部分数据进行解码，获得需要的 帧率、分辨率或质量的视频。因此，可伸缩编码包括 3 个方面的内容：时间(帧率)可伸缩编 码15、空间(分辨率)可伸缩编码16,17、psnr(质量)可伸缩编码18,19。 由于可伸缩编码实现复杂，使得实时可伸缩编码的应用十分困难，可伸缩编码技术目前 仍仅仅能够应用在离线的环境中，其系统结构如图 1-1 所示，原始视频经过可伸缩编码器编 码，并将编码后的数据保存在存储系统中，自适应调节器根据终端用户的应用需求及网络的 状况，从存储系统中抽取相应的数据发送给终端，解码器对收到的数据进行解码，满足特定 南京邮电大学硕士研究生学位论文 第一章 绪 论 4 的需求。自适应调节器有两个作用，一是从存储系统中准确地抽取数据，二是根据用户需求 和网络状态动态调节，从而保证最佳的输出视频质量。 可伸缩 视频编 码器 存储系 统 输入视频 自适应调 节器 视频解 码器 网络反馈 用户反馈 网络 图 1-1 可伸缩视频编解码系统 随着嵌入式技术的发展，在移动终端上实现实时的视频编码已经成为视频应用的趋势。 但是，移动终端存在多样性与异构性，计算性能差异较大，导致拥有固定算法的视频编解码 不能有效地适用于各种计算性能的终端， 上述的可伸缩编码能够在解码端实现复杂度可伸缩， 越多的数据输入解码器便能获得高的帧率、 分辨率或视频质量， 但需要增加的解码的复杂度， 为了高效地在移动终端上实现实时视频应用，面向移动终端的可伸缩视频编码成为新的研究 热点。 1.2.2 基于无线传感器网络视频传输的研究现状 无线传感器网络(wsn，wireless sensor network)20是一种自组织网络，由大量具有无线 通信、数据采集和处理、协同合作等功能的节点协同组织构成。wsn 在军事、环境、工控和 交通等方面有着广阔的应用前景。 基于无线传感器网络的传输，要考虑其路由算法的性能。受其自身特点的影响，路由设 计需要考虑一下几点问题： 1、 优化能量消耗。 在无线传感器网络中， 能量受限是路由协议必须考虑的一个核心问题， 因此优化能量消耗是我们所追求的目标。 2、 均衡能量消耗。 即不应频繁使用某条路径或某几个节点， 否则有关节点能量迅速用完， 将引起网络失效等情况。 3、合理选择多跳。用这种途径来传输数据可达到节省能量的目的。 4、优化传输路径。有时，在无线传感器网络中，通过合理的选择分支节点来优化传输路 南京邮电大学硕士研究生学位论文 第一章 绪 论 5 径，也可以节省能量的消耗。 本文下面将对无线传感器网络的路由协议做个简单的介绍。 1.2.3 视频安全研究现状 随着计算机技术的发展，视频音频等多媒体信息的应用愈加广泛，尤其是视频会议、网 络视频和监控系统等方面对多媒体信息的安全提出了严峻的挑战。 由于视频数据具有数据量较大、实时性要求较高等特点，因此传统的针对文本数据的高 强度密码可能不适宜视频数据的加密。 目前国内外已出现了很多种针对视频数据的加密算法， 它们在安全性能、保持压缩比不变、保持数据格式不变和实时性等各方面有着不同的性能。 总体来说，分为三大类，为完全加密算法、选择加密算法和熵编码加密算法等。本文下面将 针对各种算法的性能进行详细的讨论。 1.3 本文研究内容和本文研究内容和章节安排章节安排 本文是基于无线传感器网络的视频安全传输的研究，可以理解为首先将视频进行编码加 密，密文在无线网络中传输，到达接收端之后进行解密解码，恢复原始视频。因此关键技术 分为两部分，一是视频的加密，针对视频安全，二是视频在无线传感器网络的传输，针对传 输性能。 本文的主要工作是：在无线传感器网络环境中，针对能量消耗提出自适应机制，并且引 入信息素的局部调整和全局调整，从而改进基本蚁群算法，使得视频在无线传感器网络中传 输性能得到提高；其次提出一种利用 aes 的 ofb 模式，对 h.264 视频中 i 帧中的 dc 差分系 数以及 p 帧和 b 帧中 intra 块的 dc 差分系数进行加密的算法，同时给出了实验结果，并进行 了相关分析；最后将加密算法在 s3c6410 上进行实现。 本文的章节安排： 第一章 绪论。简要叙述了本文的研究背景与意义，介绍了视频编码标准的发展、基于无 线传感器网络的传输和流媒体安全的研究现状，并给出本文的研究内容和章节安排。 第二章 视频编码标准 h.264 的关键技术，详细介绍了 h.264/avc 编码框架中，包括帧 内/帧间预测、整数变换、量化、熵编码等关键技术，为后面的加密算法做准备。 第三章首先介绍了无线传感器网络及其常见的路由协议等基本内容，其次对于基本蚁群 算法进行了描述，然后提出改进的蚁群算法，即针对能量消耗提出自适应机制，引入信息素 的局部调整和全局调整，使其更适合无线传感器网络中的视频传输。采用 h.264 视频传输框 南京邮电大学硕士研究生学位论文 第一章 绪 论 6 架平台，利用 ns2 仿真工具进行了仿真并与 aodv 进行比较，结果证明改进的蚁群算法用 于无线传感器网络的时候，平均跳数有了明显的减少，时延和数据包的成功传送率等性能也 较之更好。特别是当场景运动不是很激烈的情况下，网络性能尤其有明显的改善，适合视频 的传输。 第四章提出一种基于 aes 的 ofb 模式的视频加密算法，选择视频中帧内编码模式(i 帧) 中的 dc 差分系数和帧间预测编码模式(p 帧)、帧间双向预测编码模式(b 帧)中 intra 块的 dc 差分系数进行处理，使需处理的数据尽可能地少，以达到掩蔽图像的目的，较好地保护视频 信号。经过初步仿真分析，该处理方法同时具有开销小和一定抗误码传播能力，能满足视频 数据具有数据量大、实时性要求高等特点，并给出实验结果。 第五章本文提出算法的实际应用，将视频加密算法在 s3c6410 进行实现。 第六章对全文的工作做了总结并对未来的工作提出了展望。 南京邮电大学硕士研究生学位论文 第二章 视频编码标准 h.264 的关键技术 7 第二章第二章 视频编码标准视频编码标准 h.264 的关键技术的关键技术 2.1 h.264/avc 简介简介 h.264 是国际电信联盟(itu-t)视频编码专家组(vceg)和国际标准化组织/国际电工委员 会(iso/iec)活动图像专家组(mpeg)联合开发的新一代视频编码标准，也称为 mpeg-4 高级 视频编码(avc)。h.264 在 2003 年被正式颁布为国际标准。 h.264 具有优异的编码效率，在相同的视频质量下，h.264 比 h.263 节约 50%左右的比特 率。h.264 不仅具有高效的压缩性能，而且具有良好的网络适应性，为实时视频通信提供了 重要保障。因此，h.264 在数字广播、视频实时通信、网络流媒体等各个行业发挥了重要作 用， 在数字视频通信和存储领域也得到越来越广泛的应用。 h.264 设计时考虑了多行业应用， 分为 3 个档次，分别面向不同的应用：1，基本档次(baseline profile)，主要用于视频会议、可 视电话、 远程教学等； 2， 主要档次(main profile)，主要用于数字广播电视、 数字视频存储等； 3，扩展档次(extended profile )，主要用于视频点播等网络视频流。 面向移动终端的视频编码和传输所面临的主要问题分别是压缩的高效性及对网络的适应 性， 这两个问题正是 h.264 编码标准的主要设计目标。 有限带宽是无线网络的特点， 所以 h.264 具有的高效率非常适合移动环境中视频应用。但 h.264 在有效提高编码效率的同时引入了高 复杂度的算法，如可变块运动估计、多参考帧预测、帧内块预测、环内滤波器等，大大增加 了编码的复杂度。据统计，h.264 编码的复杂度是 mpeg-4 的 3 倍以上，解码复杂度大约相 当于 mpeg-4 的 2 倍。而移动终端往往具有低功耗、计算资源受限等特性。因此，实现面向 移动设备的 h.264 视频编码特别是实时视频应用，必须考虑在保证编码效率的同时有效地降 低算法复杂度。 h.264 与以往的视频编码标准类似，都是采用基于预测的混合视频编码框架，但 h.264 作为最新的视频编码标准引入了许多新技术，编码流程也与以前的视频标准有所不同，h.264 的编码流程如图 2-1 所示。与之前标准相比较 h.264 主要包括： 环内反走样滤波器，反走样处理后的宏块被保存在内存中用于后续宏块的预测； 之前的编码标准在内存中只保留一个参考帧，h.264 由于采用了多参考帧运动估计，需要 在内存中保留多个参考帧； 帧内预测机制，利用同一帧内的宏块进行预测； 采用整型变换代替离散余弦变换。 南京邮电大学硕士研究生学位论文 第二章 视频编码标准 h.264 的关键技术 8 编码控制 变换编码/量化 反量化/反变换编 码 重建图像 熵编码 运动补偿预测 运动估计 运动向量 量化变换系数 控制参数 解码器 intra /inter 图 2-1 h.264 视频编码框架 除了在框架图上的差异外，h.264 在运动估计的模式上也有所变化，h.264 支持 7 种模式 运动估计。此外，h.264 还引入了上下文自适应的变长编码和二进制算术编码。虽然 h.264 有效地提高了编码效率，但其复杂度也大大增加。 2.2 帧内帧内/帧间预测帧间预测 2.2.1 帧内预测 在帧内预测模式21中，预测块是基于重建块和当前块形成的。4 4 亮度子块有 9 种预测 模式，独立预测每一个 4 4 亮度子块，适用于带有大量细节的图像编码；16 16 亮度块有 4 种预测模式， 预测整个 16 16 亮度块， 适用于平坦区域图像编码； 色度块也有 4 种预测模式， 类似于 16 16 亮度块预测模式。 编码器通常选择使预测块和编码块之间差异最小的预测模式。 此外， 还有一种帧内编码模式称为 i_pcm 模式。 该模式下， 编码器直接传输图像像素值， 而不经过预测和变换。在一些特殊的情况下，特别是图像内容不规则或者量化参数非常低时 该模式比“常规操作”(帧内预测-变换-量化-熵编码)效率更高。i_pcm 模式用于以下目的： 1，允许编码器精确地表示像素值； 2，表示不规则图像内容的准确值而不引起大量的数据增加； 3，严格限制宏块解码比特数但不牺牲编码效率。 南京邮电大学硕士研究生学位论文 第二章 视频编码标准 h.264 的关键技术 9 在 h.263+、mpeg-4 等视频编码标准中，帧内编码被引入变换域。h.264 帧内编码预测 块左方或者上方的已编码块的邻近像素点被引入空间域。 但是， 如果参考块是帧间编码宏块， 预测会因参考块的运动补偿引起误码扩散。所以，参考块通常选取帧内编码的邻近块。 4 4 亮度预测模式 a a b b c c e e f f g g i i j j k k m m n n o ol l k k j j i i q q a a b b c c d d d d h h l l p p e e f f g g h h 8 8 1 1 6 6 4 4 5 5 0 0 7 7 3 3 (a) (b) 图 2-2 (a)利用像素 a-q 对方块中 a-p 像素进行帧内 44 预测 (b)帧内 4 4 预测的 8 个预测方向 如图 2-2 所示，4 4 亮度块22的上方和左方像素 a-q 为已编码和重构像素，用作预测参 考像素。a-p 为待预测像素，利用 a-q 值和 9 种模式实现。其中模式 2(dc 预测)根据 a-q 中 已编码像素预测，而其余模式只有在所需预测像素全部提供才能使用。图 2-3 中箭头表明了 每种模式预测方向。对模式 3-8，预测像素由 a-q 加权平均而得。例如，模式 4 中， p=round(b/4+c/2+d/4)。 m m a a b b c c d d e e f f g g h h i i j j k k l l 0 垂直 m m a a b b c c d d e e f f g g h h i i j j k k l l 1 水平 m m a a b b c c d d e e f f g g h h i i j j k k l l 2 dc mean mean a ad d .l l m m a a b b c c d d e e f f g g h h i i j j k k l l 3 下左对角线 m m a a b b c c d d e e f f g g h h i i j j k k l l 4 下右对角线 m m a a b b c c d d e e f f g g h h i i j j k k l l 5 右垂线 m m a a b b c c d d e e f f g g h h i i j j k k l l 6 下水平 m m a a b b c c d d e e f f g g h h i i j j k k l l 7 左垂直 m m a a b b c c d d e e f f g g h h i i j j k k l l 8 上水平 图 2-3 44 亮度块预测模式 16 16 亮度预测模式 南京邮电大学硕士研究生学位论文 第二章 视频编码标准 h.264 的关键技术 10 宏块的全部 16 16 亮度成分可以采用整体预测，有 4 种预测模式，如图 2-4 所示。 0 垂直 h v 1 水平 h v 2 dc h v mean h+v 3 平面 h v 图 2-4 1616 预测模式 表 2-1 1616 预测模式 8 8 色度块预测模式 每个帧内编码宏块的 8 8 色度成分由左上方已编码色度像素预测而得， 两种色度成分 u、 v 常用同一种预测模式。4 种预测模式类似于帧内 16 16 的预测模式，只是模式编号不同， 包括 dc(模式 0)、水平(模式 1)、垂直(模式 2)、平面(模式 3)。 2.2.2 帧间预测 h.264 帧间预测是利用已编码帧/场和基于块的运动补偿预测模式。与以往标准中帧间预 测的区别在于块尺寸可选择范围更广(从 16 16 到 4 4)、 亚像素运动矢量的使用(亮度采用 1/4 像素精度 mv)及多参考帧等。 树状结构运动补偿 每个宏块(16 16 像素)可以按 4 种方式分割：一个 16 16，两个 16 8，两个 8 16，四个 8 8，其运动补偿也相应有四种，每个 8 8 模式的子宏块还可以按四种方式分割：一个 8 8， 两个 4 8 或两个 8 4 及 4 个 4 4。这些分割子宏块大大提高了各宏块之间的关联性。这种分 割下的运动补偿则称为树状结构运动补偿。 模式 描 述 模式 0(垂直) 由上边像素推出相应像素值 模式 1(水平) 由左边像素推出相应像素值 模式 2(dc) 由上边和左边像素平均值推出相应像素值 模式 3(平面) 利用线形“plane”函数及左、上像素推出相应像素值，适 用于亮度变化平缓区域 南京邮电大学硕士研究生学位论文 第二章 视频编码标准 h.264 的关键技术 11 0 1616 16 8 0 1 816 01 88 01 23 0 88 84 0 1 48 01 44 01 23 图 2-5 宏块及子宏块分割 每个分割或子宏块都独立进行运动补偿并且每个 mv 必须被编码、传输，分割模式也需 编码。对大的分割尺寸而言，mv 选择和分割类型只需少量的比特，但运动补偿残差在多细 节区域能量将非常高。小尺寸分割运动补偿残差能量低，但需要较多的比特表征 mv 和分割 模式。分割尺寸的选择影响压缩性能。整体而言，大的分割尺寸适合平坦区域，小尺寸适合 多细节区域。 宏块的色度成分(u 和 v)为相应亮度的一半(水平和垂直各一半)。色度块采用和亮度块相 同的分割模式，只是尺寸减半(水平和垂直方向都减半)。例如，8 16 的亮度块对应色度块尺 寸为 4 8，8 4 亮度块对应色度块尺寸为 4 2。色度块的 mv 可以根据对应亮度块的 mv 水 平和垂直分量分别减半而得。 mv 预测 每个分割的 mv 编码需要很多比特，特别是小分割尺寸时。为减少比特数，可利用相邻 块之间 mv 较强的相关性，由相邻已编码块的 mv 预测而得。e 为当前宏块或分割子块。a、 b、c 分别为 e 的左、上、右上方的三个相对应块。如果 e 的左边不止一个块，取其中最上 的一个为 a；上方不止一个块时，取最左边一个为 b。图 2-6 显示了所有块具有相同尺寸时 相邻块选择。图 2-7 给出了不同尺寸时临近块选择。 南京邮电大学硕士研究生学位论文 第二章 视频编码标准 h.264 的关键技术 12 b ea c 图 2-6 当前块和相邻块(相同尺寸) e 16*16 a 8*4 c 16*8 b 4*8 图 2-7 当前块和相邻块(不同尺寸) 加权预测 加权预测是一种用来修正 p 或 b 片中运动补偿预测像素方法。h.264 采用树状结构运动 补偿，提高了预测能力，小块预测提高了模型处理更高精度运动的能力。h.264 运动向量的 精度提高到 1/4 像素(亮度)，运动补偿的预测能力进一步提高。h.264 还提供多参考帧模式， 产生更好的视频质量。相对于 1 帧参考，5 个参考帧可以节约 5%10%的比特率且有助于比 特流的恢复。考虑到缓冲区的能力和编码器的效率，目前一般选取 35 个参考帧。 2.3 整数变换与量化整数变换与量化 为进一步节省传输码率，需对图像信号压缩，一般是去除图像的相关性及减小图像编码 的动态范围，通常采用变换编码及量化。变换编码将时域信号变换成频域信号，在频域中图 像信号能量大部分集中在低频区域，相对时域信号码率有较大的下降。h.264 对图像或预测 残差采用了 44 整数变换10技术，避免了用 8 8 离散余弦逆变换经常出现的失配问题。 变换编码和量化从原理上讲是两个独立的过程。但在 h.264 中，将两个过程中的乘法合 二为一，并进一步采用整数运算，减少编解码的运算量，提高图像压缩的实时性，这些措施 南京邮电大学硕士研究生学位论文 第二章 视频编码标准 h.264 的关键技术 13 对峰值信噪比(psnr)的影响很小，一般低于 0.02db，可不计。其中，如果输入块是色度块或 帧内 1616 预测模式的亮度块， 则将各 44 块整数变换的直流分量组合起来再进行 hadamard 变换，进一步压缩码率。 2.3.1 整数变换 一维 n 点离散余弦变换(dct)可以表示为： 1 0 2 ) 12( cos n n nkk n kn xcy (2.1) 其中， n x是输入时域序列中第 n 项， k y是输出频域序列中第 k 项，系数 k c定义如下： 1, 2 , 1 2 0 1 nk n k n ck (2.2) 每个 dct 系数 k y确定信号 n x在相应频率点上的贡献。最低的系数(即 k=0)为 dc 系数， 代表信号的平均值，也称为直流分量。其它系数称为 ac 系数，与递增的较高频率相联系。 一维 n 点离散余弦逆变换(idct)可以表示为： 1 0 2 ) 12( cos n k kkn n kn ycx (2.3) 二维 nn 图像块的 dct 可以理解为先对图像块的每行进行一维 dct，然后对经行变换 的块的每列再应用一维 dct。可以表示为： 1 0 1 0 2 ) 12( cos 2 ) 12( cos n j ij n i nmmn n mi n nj xccy (2.4) 1 0 1 0 2 ) 12( cos 2 ) 12( cos n j mnnm n i ij n mi n nj yccx (2.5) 其中， ij x是原始图像块 x 中第 i 行第 j 列图像或残差值， mn y是变换结果矩阵 y 相应频 率点上的 dct 系数。可以用矩阵表示： y axat (2.6) x atya (2.7) 其中 nn 变换矩阵 a 中的系数： 南京邮电大学硕士研究生学位论文 第二章 视频编码标准 h.264 的关键技术 14 n ij ca iij 2 ) 12( cos (2.8) 2.3.2 量化 量化过程是在不降低视觉效果的前提下减少图像编码长度，减少视觉恢复中不必要的信 息。h.264 采用标量量化技术，它将每个图像样点编码映射成较小的数值。一般标量量化器 的原理为： qp y roundfq (2.9) 其中，y 为输入样本点编码，qp 为量化步长，fq 为 y 的量化值，round()为取整函数(其 输出为与输入实数最近的整数)。其相反过程，即反量化为： qpfqy (2.10) 在量化和反量化过程中， 量化步长qp决定量化器的压缩率及图像精度。 如果qp比较大， 则量化值 fq 动态范围较小， 其相应的编码长度较小， 但反量化时损失较多的图像细节信息； 如果 qp 比较小，则 fq 动态范围较大，相应的编码长度也较大，但图像细节信息损失较少。 编码器根据图像值实际动态范围自动改变 qp 值，在编码长度和图像精度之间折中，达到整 体最佳效果。 在 h.264 中，量化步长 qstep 共有 52 个值。其中 qp 是量化参数，是量化步长的序号。 当 qp 取最小值 0 时代表最精细的量化，当 qp 取最大值 51 时代表最粗糙的量化。 qp 每增加 6，qstep 增加一倍。应用时可以在这个较宽的量化步长范围内根据实际需要灵活选择。对于 色度编码，一般使用与亮度编码同样的量化步长。为了避免在较高量化步长时的出现颜色量 化人工效应，现在的 h.264 草案把色度的 qp 最大值大约限制在亮度 qp 最大值的 80范围 内，最后的 h.264 草案规定，亮度 qp 的最大值是 51，而色度 qp 的最大值是 39。 2.4 熵编码熵编码 2.4.1 基于上下文的自适应可变长编码 h.264 cavlc(基于上下文自适应的可变长编码)11通过已编码句法元素的情况动态调整 编码使用的码表，取得了极高的压缩比。 cavlc 用于亮度和色度残差数据的编码，残差经过变换量化后的数据表现出如下特性： 南京邮电大学硕士研究生学位论文 第二章 视频编码标准 h.264 的关键技术 15 44 块数据经过预测、变换、量化后，非零系数主要集中在低频部分，而高频系数大部分是 零；量化后的数据经过 zig-zag 扫描，dc 系数附近的非零系数值较大，而高频位置上的非零 系数值大部分是+1 和-1；相邻的 44 块的非零系数的数目是相关的。cavlc 充分利用残差 经过整数变换、量化后数据的特性进行压缩，进一步减少数据中的冗余信息，为 h.264 卓越 的编码效率奠定了基础。 利用相邻已编码符号所提供的相关性，为所要编码的符号选择合适的上下文模型。根据 合适的上下文模型，可以大大降低符号间的冗余度。在 cavlc 中上下文模型的选择主要体 现在两个方面，非零系数编码所需表格的选择以及拖尾系数后缀长度的更新。 2.4.2 基于上下文的自适应二进制算术熵编码 算术编码12的思想是用 0 到 1 区间上的一个数来表示一个字符输入流，它的本质是为整 个输入流分配一个码字，而不是给输入流中的每个字符分别指定码字。算术编码是用区间递 进的方法来为输入流寻找这个码字的，它从第一个符号确定的初始区间(0 到 1)开始，逐个字 符地读入输入流，在每一个新字符出现后递归地划分当前区间，划分的根据是各个字符的概 率，将当前区间按照各个字符的概率划分成若干子区间并将当前字符对应的子区间取出，作 为处理下一个字符时的当前区间。处理完最后一个字符后，得到最终区间，在最终区间中任 意挑选一个数作为输出。解码器按照和编码相同的方法和步骤工作，不同的是作为逆过程， 解码器每划分一个子区间就得到输入流中的一个字符。 算法流程 在算术编码的递进计算过程中，编码器必须保存以下变量记录状态： 1) 当前区间的下限 l 2) 当前区间的大小 r 3) 当前字符 binval 4) 各字符的概率px l 和 r 用来确定当前区间；px是当前区间的划分根据，在二进制编码中，只有 1 和 0 两 个字符，所以只需记录0p或1p即可；最后确定 binval 所在的子区间作为下一个递进的当前 区间。 r 的递进关系：pxrr (2.11) 南京邮电大学硕士研究生学位论文 第二章 视频编码标准 h.264 的关键技术 16 当前 binval=0 noyes l=l r=r*p0 l=l+r*p0 r=r*p1 当前字符结束 图 2-8 算术编码流程 自适应 在实际过程中，输入流中字符的概率分布是动态改变的，这需要维护一个概率表去记录 概率变化信息。在作递进计算时，通过概率表中的记录值估计当前字符的概率，当前字符处 理后，需要刷新概率表。这个过程表现为对输入流字符的自适应。编码器和解码器按照同样 的方法估计和刷新概率表，从而保证编码后的码流能够顺利解码。 码流输出 在实际操作过程中， 编码器并不是递进到最终区间才输出码字的， 这里有两方面的原因， 一是在编码器的递进计算过程中，如果没有输出，信道会出现空闲，形成浪费；二是如果输 入流较长时，最终得到的区间非常小，必须以极高的精度来记录 l 和 r 。幸运的是，在二进 制编码中，区间的上下限以二进制形式表示，每当下限的最高有效位与上限的最高有效位一 样时， 就可以移出这个比特。 这样的方法可以保证编码器在递进计算的同时不断地输出码流。 序列出现的可能性越大，区间就越长，确定该区间所需要的比特数就越少。 2.5 本章小结本章小结 本章分别详细介绍了与本文研究工作紧密相关的 h.264 核心技术，包括帧内/帧间预测， 整数变换与量化以及熵编码，为后一章加密算法的提出奠定了理论基础。 南京邮电大学硕士研究生学位论文 第三章 多跳无线传感器网络中视频传输性能的研究 17 第三章第三章 多跳无线传感器网络中视频传输性能的研究多跳无线传感器网络中视频传输性能的研究 无线传感器网络是一种自治的无线多跳网络，它是由一些任意移动的节点组成的。因此 和有线固定网络相比，它具有动态拓扑、网络寿命短、无固定基础设施等显著特点，由于视 频传输对于时延和传输质量等的要求，其路由的设计是具有挑战性的。本章就关于视频传输 的路由协议这一块进行研究。 3.1 无线传感器网络及路由协议概述无线传感器网络及路由协议概述 3.1.1 无线传感器网络简介 无线传感器网络是由一组传感器以无线传感方式构成的无线网络， 其目的是协作地感知、 采集和处理网络覆盖的地理区域中感知对象的信息，并发布给观察者。无线传感器网络的特 点20主要体现在以下几方面： 1、自组织：网络的布设无需依赖于任何预先架设的网络设施，节点开机后就可以快速、 自动地组成一个独立地网络。 2、无中心性：所有节点地位平等，节点可以随时加入或离开网络，任意节点故障不会影 响整个网络运