（通信与信息系统专业论文）基于h264的智能手机监控系统的设计与实现.pdf

大连理工大学硕士学位论文 摘要 视频监控应用有着广阔的市场需求。可是，目前大部分的视频监控系统主要集中在 桌面计算机或者基于w e b 网络。随着国内3 g 网络的正式商用以及移动智能终端计算能 力的飞速发展，基于智能手机的无线视频监控系统有着很大的发展前景。 本文实现了一种采用智能手机终端的数字视频监控系统。该系统采用h 2 6 4 视频编 码标准。众所周知，h 2 6 4 是目前最优秀的视频压缩编码标准。利用h 2 6 4 的高压缩性、 网络亲和性以及错误恢复能力，系统可以克服无线网络带宽有限和噪声干扰的缺点，同 时能够得到高质量的视频监控画面。本文系统在网络协议上选用了r t p 多媒体传输协 议。该协议广泛应用在音视频传输、流媒体应用领域。r t p 协议能够实现在非宽带网络 中的音视频流传输、控制和质量反馈，保证数据传输的服务质量。在智能手机接收端， 本文系统采用了w i n d o w sm o b i l e 操作系统。该智能手机操作系统目前市场占有率高， 具有使用方便、程序开发便捷等特点。 本文首先介绍了h 2 6 4 标准在编解码方面采用的新技术，分析了它在网络传输方面 的结构特点，以及它优异的错误恢复技术。然后文章通过对r t p 、r t s p 等流媒体传输 协议的分析，提出了一种适合h 2 6 4 视频负载的r t p 打包方案。接着本文分析比较了 目前市场上流行的智能手机操作系统，最终选用w i n d o w sm o b i l e 作为客户端系统，并 介绍了如何在该系统平台上进行软件开发。文章最后介绍了如何设计并实现基于h 2 6 4 的智能手机监控系统。具体讲解了p c 端视频采集、开源库代码移植、智能手机视频回 放等实现方法，同时指出了系统实现过程中遇到的各种问题以及解决方案，并最终展示 了系统的整体实现效果。本文对于在智能手机上开发流媒体视频应用也有一定的借鉴作 用。 关键词：视频监控；h 2 6 4 ；r t p ；w i n d o w sm o b il e 基于h 2 6 4 的智能手机监控系统的设计与实现 av i d e om o n i t o r i n gs y s t e mo fs m a r tp h o n eb a s e do nh 2 6 4 a bs t r a c t v i d e om o n i t o ra p p l i c a t i o nh a sb r o a dm a r k e td e m a n d b u t ，a tt h ep r e s e n tt i m e ，m o s t m o n i t o rs y s t e m sm a i n l yf o c u so nd e s k t o pc o m p u t e ro rb a s eo nw e b a l o n g 埘t h3 gb u s i n e s s h a so f f i c i a l l ye n t e r e dt h ec o m m e r c i a lp h a s ea n di n t e l l i g e n tm o b i l et e r m i n a lc o m p u t i n gp o w e r d e v e l o p sr a p i d l y ，w i r e l e s sv i d e om o n i t o rs y s t e mb a s e do ns m a r tp h o n eh a sab i gd e v e l o p m e n t f o r e g r o u n d t h i st h e s i sr e a l i z e sak i n do fd i g i t a lv i d e om o n i t o rs y s t e mb a s e do nt h es m a r tp h o n e t e r m i n a l t h i ss y s t e ma d o p t sh 2 6 4v i d e oc o d i n gs t a n d a r d i ti sw e l lk n o w nt h a th 2 6 4i st h e b e s tv i d e oc o m p r e s s i o na n dc o d i n gt e c h n o l o g i e s m a k i n gu s eo fi t sh i g hc o m p r e s s i b i l i t y ，g o o d p e r f o r m a n c ei nn e t w o r ka n de r r o rr e c o v e r y ，t h i ss y s t e mh a st h ea b i l i t yt oo v e r c o m et h el o w b a n d w i d t ha n dn o i s ej a m m i n g m e a n w h i l e ，i tc a nr e a l i z ev i d e om o n i t o rw i t l lh i g hq u a l i t y t h e s y s t e mu s e sr t p t ot r a n s p o r td a t a t h er t pi sw i d e l yu s e di nm u l t i m e d i aa p p l i c a t i o na r e a i t h a sq u a l i t yf e e d b a c kf u n c t i o n i tc a l la l s or e a l i z et r a n s p o r t i n ga n dc o n t r o l l i n gm u l t i m e d i ad a t a i nl o wb a n d w i d t ha n de n s u r eq u a l i t yo ft r a n s p o r ts e r v i c e i nt h es m a r tp h o n et e r m i n a l ，t h e s y s t e ma d o p t sw i n d o w sm o b i l eo s t h i so p e r a t es y s t e mh a sh i g hm a r k e ts h a r e ，w h i c hi s c h a r a c t e r i z e da su s a b l ea n de a s yt od e v e l o pa p p l i c a t i o np r o g r a m t h i st h e s i sf i r s t l yi n t r o d u c e sn e w t e c h n i q u e so fh 2 6 4a n di t se r r o rr e c o v e r y ，a n da n a l y z e s i t sd e s i g nf e a t u r ei nn e t w o r kt r a n s m i s s i o n t h e nt h et h e s i sa n a l y z e st r a n s p o r tp r o t o c o l s ，l i k e r t pa n dr t s p ，a n dp r e s e n t sas i m p l ep a c k e tm e t h o do fh 2 6 4p a y l o a d t h ea r t i c l ea l s o a n a l y z e ss m a r tp h o n eo p e r a t es y s t e m sw h i c hp r e v a i la tt h em a r k e ta tp r e s e n t ，t h e nc h o o s e s w i n d o w sm o b i l ea sc l i e n to sa n da l s oi n t r o d u c e sh o wt od e v e l o pp r o g r a mo nt h i so s a tl a s t ， t h i st h e s i sp r e s e n t sh o wt or e a l i z et h es m a r tp h o n em o n i t o rs y s t e mb a s e do nh 2 6 4 i td e t a i l s t h a th o wt or e a l i z ev i d e oc a p t u r e di np c t e r m i n a l ，t r a n s p l a n to p e ns o u r c el i b r a r ya n dd i s p l a yt h e v i d e oi nt h es m a r tp h o n e t h ea r t i c l ea l s oi n t r o d u c e st h ep r o b l e m se n c o u n t e r e dd u r i n gt h e s y s t e md e s i g na n di m p l e m e n t a t i o n ，a n dp o i n t so u tt h es o l u t i o n s f i n a l l y ，i ts h o w st h ew h o l e p i c t u r eo ft h es y s t e m t h i st h e s i sa l s oc a nb ear e f e r e n c et ot h o s ep e o p l ew h ow a n tt od e v e l o p s t r e a m i n gv i d e oo nt h es m a r tp h o n e k e yw o r d s ：v i d e om o n i t o r i n g ；h 2 6 4 ；r t p ；w i n d o w sm o b i l e i i 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属手大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目： 作者签名： 导师签名： 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 作者签名： 大连理工大学硕士学位论文 1 绪论 1 1研究问题的背景及意义 随着信息技术的迅猛发展，数字视频监控系统日益普及。相比于传统的模拟监控系 统，数字视频监控有着适合存储查找、视频质量优越、方便传输等诸多优点。与此同时， 移动终端设备无论在人们的日常生活当中还是工作学习领域都扮演着越来越重要的角 色。而其中的智能手机终端凭借着它的便携性和多功能性日益受到人们的青睐。据工业 和信息化部2 0 0 9 年9 月发布的通信业运行报告显示，2 0 0 9 年1 至7 月，全国累计净增 电话用户4 8 9 8 8 万户，总数达到1 0 3 0 5 9 2 万户。其中，固定电话用户减少1 2 4 1 8 万户， 达3 2 8 亿户，移动电话用户增加6 1 4 0 6 万户，首次突破7 亿户，达到7 0 3 亿户【。在 传统安防产品竞争日益激烈、厂家利润日益下降的今天，智能手机视频监控作为一种创 新的技术，在未来几年将会成为各个行业青睐的产品。 什么是智能手机视频监控? 智能手机视频监控是手机多媒体应用中的一种，手机视 频监控系统允许用户通过手机随时随地来观看远程监控点的视频，并可以实现远程控 制、本地录像存储与回放等功能。监控场地发生意外情况时，可以通过服务器向手机报 警或发送短信、彩信通知等。 目前手机视频监控实际可应用的范围有【2 】： 商业店铺：商场店铺的监控，收银、货架、出入口监控 居民住宅：室内远程监控报警，小区、大楼安全防范，物业的无人监控 教育行业：幼儿园、小学校的教学评估，家长远程监控 旅游行业：宾馆饭店的楼层管理、重点文物及景点的保护 随着0 9 年中国市场正式开始3 g 网络商用，特别是当前国内3 大电信公司大力推行 音视频应用的背景下，智能手机的多功能性将会得到彻底释放。因此通过智能手机实现 无线数字视频监控应用有着广阔的市场前景。 1 2 本文主要研究内容 视频监控系统的核心问题应该是：如何才能够传输质量清晰的视频画面。那么采用 什么样的编码方法以及如何进行网络传输就应该是视频监控系统的主要研究内容。 1 2 1 本文研究的视频压缩标准 视频编码技术的理论基础是香农信息论，它用概率统计的方法系统阐明了通信系统 中信息的基本概念、信息度量的统计方法和编码及率失真理论，奠定了经典信息论的基 基于h 2 6 4 的智能手机监控系统的设计与实现 础【3 1 。从h 2 6 1 视频编码建议，到h 2 6 2 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + ，以及m p e g 1 、 m p e g 2 等视频编码标准都有一个共同的不断追求目标，即在尽可能低的码率或存储容 量下获得尽可能好的图像质量。而且，随着市场对图像传输需求的增加，如何适应不同 信道传输特性的问题也日益显现出来。 为了解决以上问题，2 0 0 3 年5 月，i t u t 和i s o 组成的t 组织发布了新的视频 编码标准h 2 6 4 ，也就是m p e g 4 的第十部分。该标准融合了h 2 6 2 和m p e g 的优点， 各个方面的性能大幅度提高，在所有的速率上比h 2 6 3 节省5 0 的比特率，压缩比大约 是m p e g 2 的2 3 倍【4 1 。h 2 6 4 相对于m p e g 2 而言，采用的方式更简洁，语法描述更简 单。 h 2 6 4 与以前的编码标准相比较，提出了一些新的编码技术，这些新技术主要有： 运动估计、1 4 采样精度运动补偿、空间域预测的帧内编码、整数变换和量化、抗块效 应滤波器、基于上下文的熵编码、参数集等等。正是这些新技术的提出，使得h 2 6 4 视 频编码压缩率大幅提高。h 2 6 4 不仅具有优异的压缩性能，而且具有良好的网络亲和性， 这对实时视频通信是十分重要的。现在已有基于d s p 的采用h 2 6 4 编码的可视电话出 现在市场上，进一步说明了在视频通信领域里，h 2 6 4 有着重要的应用价值。 h 2 6 4 视频编码标准采用多种新技术，具有较高的压缩比；同时h 2 6 4 视频编码使 用分层结构，具有良好的网络友好性。h 2 6 4 的这些性能使其成为目前最为优秀的视频 编码协议。因此，本文系统选择h 2 6 4 作为系统的视频压缩标准。 1 2 2 本文研究的网络传输标准 多媒体应用的一个显著特点是数据量大，并且许多应用对实时性要求比较高。传统 的t c p 协议是一个面向连接的协议，它的重传机制和拥塞控制机制都是不适用于实时 多媒体传输的。r t p 是一个应用型的传输层协议，它并不提供任何传输可靠胜的保证和 流量的拥塞控制机制。r t p 位于u d p 之上。u d p 虽然没有t c p 那么可靠，并且无法保 证实时业务的服务质量，需要i 订c p 实时监控数据传输和服务质量。但是，由于u d p 的传输时延低于t c p ，并且能与音频和视频很好地配合，因此，在实际应用中， r t p r t c p u d p 用于音频视频媒体，而t c p 用于数据和控制信令的传输。目前，支持 流媒体传输的协议主要有实时传输协议r t p 、实时传输控制协议r t c p 和实时流协议 r t s p 等。 r t p 是针对i n t e m e t 上多媒体数据流的一个传输协议，由i e t f ( i n t e r n e t 工程任务 组) 作为r f c l 8 8 9 发布。r t p 被定义为在一对一或一对多的传输情况下工作，其目的 是提供时间信息和实现流同步。r t p 的典型应用建立在u d p 上，但也可以在t c p 或 大连理工大学硕士学位论文 a t m 等其他协议之上工作。r t p 本身只保证实时数据的传输，并不能为按顺序传送数 据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务。 r t c p 负责管理传输质量在当前应用进程之间交换控制信息。在r t p 会话期间，各 参与者周期性地传送r t c p 包，包中含有已发送的数据包的数量、丢失的数据包的数量 等统计资料。因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷 类型。r t p 和r t c p 配合使用，能以有效的反馈和最小的开销使传输效率最佳化，故特 别适合传送网上的实时数据。 因此，本文系统在网络传输上采用实时传输及控制协议r t p r t c p ，承载在u d p 协议之上，然后通过i p 传输。 1 2 3 本文主要实现效果 h 2 6 4 的高压缩性和网络亲和性使得它的应用前景十分广阔。本文的基本思想就是 利用h 2 6 4 的这两大特点，结合r t p r t c p 的实时传输性质，实现基于智能手机终端的 视频监控系统。 本文主要实现目标是：通过普通u s b 摄像头采集q c i f 和c i f 两种格式视频，将采 集到的原始数据通过服务器进行实时h 。2 6 4 视频编码，并打包成r t p 数据包。在室内 w i f i 环境下，通过无线路由器进行发送，并最终在采用w i n d o w sm o b i l e6 0 操作系统 的智能手机终端，实时解码显示无线网络传输过来的影像。 1 3 论文的组织结构 本文各章的组织结构如下： 第一章为绪论部分。本章主要介绍课题研究背景及意义，指出了本文主要的研究内 容和最终要实现的系统综合效果。 第二章为h 2 6 4 视频编码标准。本章主要介绍了当前最优秀的视频编码标准h 2 6 4 ， 重点介绍了它的主要编码技术特点，网络传输性能，以及它抗干扰和错误恢复等技术。 第三章探讨了网络传输方面的问题。主要介绍了h 2 6 4 是如何进行r t p 打包，以 及系统采用j r t p l i b 库实现过程中遇到的问题及解决方法。 第四章介绍了智能手机系统的特点。本章重点介绍了如何搭建智能手机开发平台， 以及在智能手机平台开发过程中遇到的问题和解决方法。 第五章综合介绍了智能手机视频监控系统的设计与实现，最后展示了系统的整体效 果。 基于h 2 6 4 的智能手机监控系统的设计与实现 2h 2 6 4 视频编码标准 h 2 6 4 视频压缩编码标准是国际电信联盟( i t u t ) 的v c e g ( 视频编码专家组) 和国际标准化组织( i s o i e c ) 的m p e g ( 活动图像专家组) 的联合视频组( t ，j o i n t v i d e ot e a m ) 开发的一个新的数字视频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g - 4 的第十部分，又称m p e g - 4a v c 。所以，人们常常将h 2 6 4 标准与m e p g - 4 a v c 合起来，称作h 2 6 5 a v c 。h 2 6 4 视频编码标准于2 0 0 3 年3 月正式发布【5 】。 本章将介绍h 2 6 4 视频压缩编码标准的主要技术特点，重点介绍h 2 6 4 的n a l 网 络适配层结构特点以及其错误恢复技术。 2 1h 2 6 4 基本编码技术 h 2 6 4 视频协议类似于m p e g 4 协议，也分为多个档级标准以适应不同的领域应用。 h 2 6 4 定义了3 种不同的档次t ( 1 ) 基本档次：b a s e l i n ep r o f i l e ，该档次使用i 帧和p 帧支持帧内和帧间编码，支 持利用基于上下文的自适应变长编码进行的熵编码( c a v l c ) 。主要应用在“视频会 话 中，如可视电话、会议电视、远程医疗、远程教学、视频监控等，要求具有较低的 延迟。 图2 1h 2 6 4 档次 f i g 2 1 h 2 6 4p r o f i l e 大连理丁大学硕士学位论文 ( 2 ) 主要档次：m a i np r o f i l e ，支持隔行视频，采用b 帧的帧间编码和采用加权预 测的帧内编码；支持利用基于上下文的自适应的算术编码( c a b a c ) 。该档次主要用 于消费电子应用，如数字电视广播、数字视频存储等。 ( 3 ) 扩展档次：e x t e n d e dp r o f i l e ，支持码流之间的有效切换，即支持s p 帧和s i 帧，支持数据分割技术，但不支持隔行视频和c a b a c ，主要应用于网络的视频流，如 视频点播等。 如图2 1 所示【5 j 为h 2 6 4 的档次。其中，各个档次具有不同的功能，其中扩展档次 包括了基本档次的所有功能，而不能包括主要档次的全部功能。每一种档次的设置参数 不同，例如取样速率、图像尺寸、编码比特率等等，从而得到的编码器性能也各有不同。 h 2 6 4 和h 2 6 1 、h 2 6 3 一样，也是采用d c t 变换编码加d p c m 的差分编码，即混 合编码结构。同时，h 2 6 4 在混合编码的框架下引入了新的编码方式，提高了编码效率， 更适合实际应用。 同早期的视频编码标准一样，h 2 6 4 并没有明确的定义编解码器，但着重定义了编 解码视频数据流的语法以及对这种数据流的解码方法。编码器大致包括的功能模块如图 2 2 所示【5 】，除了去块滤波器以外，大部分基本的功能模块，例如预测、变换、量化等， 在以前的标准中均采用过。但是h 2 6 4 标准的重要变化也就是它的优越性能主要体现在 每个功能模块的实现细节上。 图2 2i - i 2 6 4 编码器流程 f i g 2 2 e n c o d e rp r o c e s so fh 2 6 4 基于h 2 6 4 的智能手机监控系统的设计与实现 h 2 6 4 标准与以往的编码方法的不同之处主要体现在以下几个方面。 可变大小的运动补偿技术 h 2 6 4 可选择运动补偿预测区域的大小和形状，该技术比以前的标准更灵活，并且 最小的亮度运动补偿达到4 * 4 像素。 1 4 采样精度运动补偿 之前的视频编码标准，例如h 2 6 3 ，一般只采用1 2 像素精度的运动补偿技术。1 4 采样精度的运动补偿技术虽然在m p e g 4 标准中已经得到应用，但运算很复杂。h 2 6 4 大大减少了1 4 采样精度运动补偿技术中内插处理的复杂度。 运动矢量可以跨越图像边界 多参考图像运动补偿技术 在m p e g 2 及以前的视频编码标准中，p 帧只能用于前向预测，且只参考一帧图像 进行预测，b 帧也只能参考两帧图像进行预测。h 2 6 4 使用了高级图像选择技术，可参 考已编码且保留在缓冲区中的帧图像进行预测，大大提高了编码效率。 消除参考图像顺序和显示图像顺序的相关性 在h 2 6 4 标准之前，各类视频编码标准都规定参考图像顺序必须对照显示图像顺序。 但h 2 6 4 消除了这一限制，可以任意选择参考图像。 消除参考图像与图像表示方法的限制 通常情况下，b 帧图像不能作为预测图像，但h 2 6 4 在很多情况下可以利用b 帧图 像作为参考帧。 去除块效应的滤波器技术 基于块的视频编码技术存在块效应，这主要来源于预测和残差编码。h 2 6 4 采用自 适应的去块效应滤波技术，有效消除块效应，改善视频的主观和客观质量。 2 2n a l 网络适配层 和以往的视频编码标准不同，h 2 6 4 标准在系统层面上提出了一个新的概念，即把 h 2 6 4 系统层分为网络抽象层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 和视频编码层v c l ( v i d e oc o d i n gl a y e r ) 。如图2 3 所示。其中，视频编码层v c l 独立于网络，主要包 括核心压缩引擎以及块、宏块和片的语法定义。网络提取层n a l 的主要功能是定义数 据的封装格式，把v c l 产生的比特字符串适配到各种网络或者多元环境中。 h 2 6 4 从系统框架结构上提出n a l 和v c l ，其主要目的有两个：首先，可以定义 v c l 视频编码层与n a l 网络传输层的接口，这样使得视频编码层的设计可以在不同的 大连理工大学硕士学位论文 处理器平台进行移植，而与n a l 层的数据封装格式无关：第二，v c l 和n a l 都被设 计成工作于不同的传输环境，异构的网络环境并不需要对v c l 比特流进行重构和重编 码。n a l 层的提出，使得h 2 6 4 标准具有很好的网络亲和性，改善网络传输效果。 h 2 6 4 编码层定义 视频编码层v c l视频编码层v c l 一一一 一一v c l - n a l 数据接口上一一一 网络提取层n a l网络提取层n a l n a l 编码数据接口 h 2 6 4 h 2 6 4t oh 2 6 4 t oh 2 6 4t o 数据传输层 f i l ef o r m a t h 3 2 4 m r t p i p 一，_ _ ， 。三惑 有线网络无线网络 图2 3h 2 6 4 系统层结构 f i g 2 3s y s t e ml a y e rs t r u c t u r eo fh 2 6 4 2 2 1n a l 单元结构 早期的视频压缩标准一直使用比特流的概念，高层语法元素被编码分割，以允许比 特流发生误码时进行重同步。但是在h 2 6 4 中n a l 层则以n a l u ( n a lu n i t ) 为单元 在基于分组交换技术网络中进行传输。它定义了符合传输层或存储介质的数据格式，同 时给出头信息，从而提供了视频编码与外部的接口。网络通信中的r t p 封装只针对n a l 单元接口，对其进行打包封装1 6 1 。 一个n a l 单元结构上是一个包含一定语法元素的可变长字节的字符串。每个n a l 单元由一个字节的头和一个可变长字符串组成。n a l 单元头结构如图2 4 所示。 图2 4n a l u 头结构 f i g 2 4 h e a d s t r u c t u r eo fn a l u 基于h 2 6 4 的智能手机监控系统的设计与实现 具体意义如下： f ：f o r b i d d e nz e r ob i t ，隐藏比特位。 h 2 6 4 编码器默认将该位置为0 ，当网络识别到该n a l 单元中存在比特错误时，将 该位置l 。f 位主要适用不同种类的网络环境，比如有线无线结合的环境。例如，一个 n a l 单元到达某一网关后，校验和失败，此时网关可以选择从n a l 流中去掉这个n a l 单元，也可以把已知被破坏的n a l 单元的f 位置l ，然后传给接收端。在这种情况下， 智能解码器将尝试重构这个n a l 单元，而非智能的解码器将简单地抛弃该单元。 r ：n a lr a fi d c ，n r i ，参考位。 该标识用于标记一个n a l 单元的重要性。其值为o 时，表示这个n a l 单元没有用 于预测，因此可被解码器抛弃而不会有错误扩散。其值大于0 时，表示此n a l 单元要 用于重构，且值越高，此n a l 单元在重构中的影响越大。在这里需要指出的是，任何 非零的n m 在h 2 6 4 解码器的处理是相同的。因此，接收者在传送n a l u 给解码器时 不必操作n 砌的值。 t y p e ：n a l _ u n i m p e ，n a l u 类型。 当t y p e 范围是1 到1 2 时，h 2 6 4 编码器必须根据h 2 6 4 规范设置n r i 的值。详细 设置见表2 1 【7 1 。 表2 1n a l u 类型语义 t a b 2 1s e m a n t i c so fn a l ut y p e 大连理工大学硕士学位论文 2 2 2n a l 层起始前缀码 在网络传输的环境下，编码器将每个n a l u 独立的、完整的放入一个网络分组中。 由于网络分组都有头部，解码器可以很方便地检测出n a l u 的边界，依次取出n a l u 进行解码。为了节省码流，h 2 6 4 没有另外在n a l 单元的头部设立标示起始位置的句法 元素。当编码数据存储在介质，如d v d 、硬盘上时，由于n a l 单元是依次紧密排列的， 解码器无法分辨n a l u 的起始位置和终止位置，所以必须另外寻找机制解决这个问题。 h 2 6 4 标准在附录b 中提出了一种高效简单的方案：在每个n a l u 前添加固定的起 始前缀码：0 x 0 0 0 0 0 1 。在某种类型的介质上，要求数据在长度上对齐，或必须是某个常 数的整数倍，此时，需要在起始前缀码之前用若干字节的0 来填充，直到该n a l u 的长 度满足要求。 添加起始前缀码是一个很好的解决方法，但是，如果在n a l u 内部出现了o x 0 0 0 0 0 1 怎么办? 此时，解码器将错误的判断n a l u 的起始和终止位置，造成解码数据错位，进 而无法正确解码。有关实验证明，n a l u 内部经常会出现这样的序列。 于是h 2 6 4 提出了“防止竞争码 来解决这个问题。在编码器编码完一个n a l u 时， 应该检测码流中是否会出现图2 5 左侧的四个字节序列。如果检测存在这种序列，编码 器将在最后一个字节前加入一个新字节：0 x 0 3 ，从而变成图2 5 右侧的样子。当解码器 在n a l u 内部检测到0 x 0 0 0 0 0 3 序列时，将把0 x 0 3 丢弃，还原成原始序列。 0 x 0 0 0 0 0 0 o x o o o 0 0 3 0 0 0 x 0 0 0 0 01 0 x 0 0 0 0 0 3 01 o x 0 0 0 0 0 2 o x o o 0 0 0 3 0 2 0 x 0 0 0 0 0 3 o x o o o 0 0 3 0 3 图2 5n a l u 插入0 x 0 3 起始竞争码 f i g 2 5 o r i g i n a t ec o m p e t i t i o nc o d eo fn a l uw i t h0 x 0 3 图2 5 中前两个字节序列是基本的起始前缀码，第三个0 x 0 0 0 0 0 2 是起保留作用，而 第四个0 x 0 0 0 0 0 3 是为了保证码流中出现0 x 0 0 0 0 0 3 时，解码器能够正确解码而插入0 x 0 3 。 2 3h 2 6 4 错误恢复技术 在h 2 6 1 、h 2 6 3 、m p e g - - 4 等以前编码标准中，许多错误恢复工具已经得到了很好 的应用。h 2 6 4 标准继承了以前视频编码标准中某些优秀的错误恢复工具，同时也改进 和新建了多种错误恢复工具。这里简单介绍一下h 2 6 4 的错误恢复技术【5 】。 基于h 2 6 4 的智能手机监控系统的设计与实现 参数集 参数集是h 2 6 4 标准的一个新技术，是一种通过改善视频的码流结构来增强错误恢 复能力的方法。h 2 6 4 的参数集分为序列参数集和图像参数集。其中，序列参数集包括 一个图像序列的所有信息，即两个i d r 图像间的所有图像信息。图像参数集包括一个图 像的所有分片的全部相关信息，包括图像类型、序列号等，解码时检查某些序列号是否 丢失可检验数据分组的丢失与否。 众所周知，一些关键信息数据，例如序列和图像的头信息的丢失，会造成解码的严 重负面效应，而h 2 6 4 把这些关键信息分离出来，凭借参数集的设计，确保在易出错的 环境中能正确地传输他们。这种码流结构的设计无疑增强了码流传输的错误恢复能力。 参数集在具体应用中的实现方法也是多样的：1 、通过数据传输信道之外传输，这 种方式要求参数集通过可靠的协议，在第一帧编码数据到达解码器之前送到；2 、通过 数据传输信道传输，这需要为参数集提供更高级别的保护，例如发送复制分组来保证参 数集正确到达目标；3 、在编码器和解码器中提前约定参数集，这种情况适合固定参数 集情况。 灵活宏块排序 一帧图像由若干片组成，每片包含一系列的宏块( m b ) 。在h 2 6 4 标准中，每个 片独立解码，不同片的宏块不能用于预测参考。因此，片的设置不会造成误码扩散。 灵活的宏块排序( f m o ，f l e x i b l em a c r o b l o c ko r d e r i n g ) 是h 2 6 4 的一大技术特点， 适用于h 2 6 4 的基本档次和扩展档次的应用。f m o 通过宏块分配映射技术，把每个宏 块分配到不按扫描顺序排列的片中。f m o 模式也可以使一帧中的宏块顺序分割，使得 分割后的片的大小小于无线网络的m t u ( m a x i m u mt r a n s m i s s i o nu n i t ) 尺寸。经过f m o 模式分割后的图像数据可分开进行传输。 如图2 6 所示，所有的m b 被分成了片组0 和片组1 ，相应地分别采用灰色和白色 表示。当白片丢失时，因为其周围的宏块都属于其他片的宏块，同时丢失的概率较低。 然后利用临域相关性，灰片宏块通过某种加权运算来估计相应的白片宏块。这种错误恢 复机制可以明显提高h 2 6 4 的抗误码性能。实验证明，在c i f 图像的视频会议中，在丢 包率达到1 0 时，视频失真低到需要训练有素人员的眼睛才能识别。使用f m o 的代价 就是降低了编码效率。 人连理工人学硕士学位论文 图26f 们分片例图 f i g2 d i a g r a mo f f m os l i c e 除了上述技术之外，h2 6 4 还采用了数据分割、冗余片方法、帧内编码等等技术增 强了h2 6 4 的错误恢复能力，使得h2 6 4 成为目前非常优秀的编解码标准。 基于h 2 6 4 的智能手机监控系统的设计与实现 3 适合于h 2 6 4 的r t p 分组格式 多媒体通信大体可以分为三类：1 、面向存储的多媒体传输。这一类主要是把音视 频数据封装在某种固定的格式内，比如a v i ，m k v ，m p 4 等。通过网络下载工具进行下载， 实现本地存贮，下载完成后随时可以观看。这类传输对实时性基本没有要求。2 、单向 视频传输。这一类主要是在流媒体和视频监控领域广泛应用。目前比较流行的视频网站， 比如优酷，p p l i v e 等都是使用这种传输模式。这类应用对实时性有一定要求，但允许有 一定的时延，通常在3 - 4 秒内。不同于视频监控应用，流媒体视频源通常都是已经过压 缩编码，存贮在服务器上，用户在需要时，链接即可观看。3 、双向视频传输。这类应 用主要是视频通话和视频会议等。对实时性有很强的要求，通常在毫秒级，不能影响通 话双方的实时感，对视频质量可以有一定的让步。 其中第一种应用完全面向存储媒体，不在本文的讨论范围内。而后两种应用，不论 是单向传输还是双向传输，都不同程度上依赖于实时传输协议。本章将首先介绍一下相 关的网络传输协议，然后重点介绍h 2 6 4 如何与r t p 协议结合，实现优质的网络视频 传输。 3 1多媒体传输协议简介 虽然多媒体的应用是很多的，但用于不同应用或者网络的协议具有相同的结构。不 同类型的网络在不同的模式下( 电路交换或分组交换，面向连接或者无连接) 运行，每 种网络要采用不同的网络接口协议。但是在网络层协议之上，所有的协议都是由一个或 者多个应用协议组成的。这些提供了适用于各种网络交换的服务应用协议，就是t c p i p 中的传输控制协议( t c p ) 和用户数据报协议( u d p ) 1 8 】。t c p 提供一种面向连接的服 务，而u d p 提供无连接的服务。通常两个协议并存，选择哪个协议要看应用的需要。 另外，当应用包括实时音视频数据流时，则由实时传输层协议( r t p ) 和实时传输层控 制协议( r t c p ) 保障音视频的实时传输与同步。当然，除了本文系统采用的r t p u d p 模式外，还有r t s p 、s i p 和s d p 等多媒体协议栈。下面分别简单介绍一下协议内容。 3 1 1 1 0 p lp 协议族 在讲述这些协议以前，先说明每个协议在t c p i p 族里的位置，如图3 1 所示1 9 】。通 常，在网络协议i p 以及网络协议以下的协议都是由各种操作系统内核或者网卡驱动实 现的。两个传输层协议t c p 和u d p 或者是在管理操作系统的内核中实现，或者在连接 到应用程序的一个库函数里实现。 大连理工大学硕士学位论文 在我们的系统里，u d p 协议是通过调用w i n d o w s 提供的w i n s o c k 2 0 库来实现的。 应用协议 ( 程序进程) 传输层 网络层 数据链路层 物理层 i pt c p & i d pr t p r t c p 帧头应用数据帧尾 包头头头 图3 1t c p i p 协议族 f i g 3 1 t c p i pi n t e m e tp r o t o c o ls u i t e 在多数的网络应用中，都是采用服务器客户端形式存在的。这种通信中，客户端使 用的应用程序与远端的服务器使用的应用程序应该相同，或者说采用同样的传输协议。 例如，客户需要文件传输或者电子邮件传输，通信双方都需要可靠的服务，即被传输的 信息不允许有误差，信息的传递顺序不能有改变。因此这时的应用需要依靠t c p 来提 供可靠的传输服务。 t c p 是把i p 提供的尽最大可能的服务转换成可靠服务，相对来说，u d p 就是简单 的尽最大可能的为应用程序服务。此时，u d p 虽然不能保证传输数据的准确无误，但是 能够尽快的传输数据，保障了实时性。这种应用的例子就包括了实时传输压缩后的音视 频数据流。显而易见，音视频传输数据的接收和输出是同时的，相应接收错误然后进行 基于h 2 6 4 的智能手机监控系统的设计与实现 重发是不可以接受的，所以此时必须采用u d p 作为传输层协议。使用u d p 作为传输协 议的其他应用，例如h t t p 和s n m p ，都是需要即时的消息交换，所以需要采用u d p i o 】。 在通信双方发送的协议数据单元( p d u ) 中，除了要指定对方的i p 地址，同时也 要指定对方相应进程的端口号。这是为了区分两个机器之间存在多个应用程序同时通信 的情况。通常情况下，服务器端应用协议端口号是固定的，称为固定端口号。一些比较 常用的应用服务，他们的端口号由国际互联网代理成员管理局( i a n a ) 分配，范围从l 到1 0 2 3 。例如，服务器端文件应用协议( f t p ) 的固定端口号是2 1 ，t e l n e t 协议是2 3 等。所以，编写自己的通信程序时，应指定大于1 0 2 4 小于6 5 5 3 5 的端口号。在这里需 要强调一下，分别采用t c p 和u d p 的应用程序可以同时指定相同的端口号，因为它们 的端口号是相互独立的，可以使用相同的端口号而不会互相干扰。在w i n d o w s 操作系 统下，可以在命令行环境输入“n e t s t a t a 命令，查看当前主机端口使用情况。 对于采用t c p 类型的通信程序，通常只有服务器端程序需要指定具体的端口号。 对于客户端程序，通常不需要指定端口号，因为w i n s o c k 库会自动为应用程序分配一个 空闲的端口号。 在这里需要指出的是，我们系统所采用的j r t p l i b 库( 3 4 1 节详细介绍) 默认要 求r t p 进程指定的端口号为偶数，j 却l i b 库自动为对应的r t c p 进程分配该偶数加一的 奇数端口号，从而实现r t c p 的通信控制功能。 3 1 2 实时传输协议r t p r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是用于i n t e r a c t 上，针对多媒体音视频数据流的 一种传输协议。它由i e t f ( t h ei n t e m e te n g i n e e r i n gt a s kf o r c e ，互联网工程任务组) 在 1 9 9 6 年提出，首先定义在r f c l 8 8 9 ( r e q u e s tf o r c o m m e n t s ) 中，然后该工程组在2 0 0 3 年又重新将r t p 定义在r f c 3 5 5 0 中，原先的r f c l 8 8 9 废弃。随着h 2 6 4 视频压缩标准 的提出，因为它的优越性能以及网络应用的日益普及，i e t f 又在2 0 0 5 年提出了专门针 对h 2 6 4 的有效负载格式r f c 3