基于Android平台的视频监控系统的设计研究

论文题目：基于Android平台的视频监控系统的设计研究专业：通信与信息系统硕士生：郭永清（签名）_指导教师：孙弋（签名）_摘要随着流媒体技术、无线网络技术以及视频压缩技术的不断进步，视频监控系统的应用日益广泛和深入，监控的规模和范围也不断扩大。基于嵌入式移动终端设备和无线网络的远程视频监控已经成为监控研究领域的热点。本文通过对视频监控系统现状及发展趋势的分析，结合理论技术的发展及监控系统性能的需求，提出了一种基于Android平台的视频监控系统设计方案，实现了监控系统的视频采集、视频压缩编码、视频网络传输及实时显示功能。整个系统开发的软件平台选用基于Linux内核的开源手机操作系统Android，鉴于其良好的可开发性和移植性，该系统已经开始向工业级进军；硬件平台采用具有硬件加速功能且支持H.264视频编解码的高性能S3C6410处理器。本论文介绍了监控系统所涉及关键技术的理论知识，在此基础上提出了基于Android平台的视频监控系统的总体设计方案，完成了监控系统各模块的设计和软件实现。该系统由视频采集端(摄像头)、视频服务器以及监控客户端构成，主要模块包括：视频数据采集模块、视频编码模块、视频实时传输模块、客户端显示模块。本监控系统的视频编码模块采用了最新的低码率视频压缩标准H.264，将H.264算法在集成芯片DSP上实现，不仅减小了信道传输容量而且提高了图像质量和编码性能，达到了系统实时性、可靠性的要求；视频实时传输模块采用流媒体技术以及Socket网络编程，实现了基于RTP协议的端到端的传输功能；客户端显示模块采用VLC多媒体播放器，实现了视频的实时显示播放。最后通过对本文进行总结，提出了后续的开发方案和计划。关键词：视频监控；Android；H.264算法；RTP传输协议研究类型：应用研究Subject:DesignandReasearchofVideoMontioringSystemBasedonAndroidSpecialty:CommunicationandInformationSystemName:GuoYongqing(Signature)Instructor:SunYi(Signature)ABSTRACTWiththerapiddevelopmentofstreamingmediatechnology,wirelesscommunicationtechnologyandvideocompressiontechnology,thevideomonitoringsystemisappliedmorewidelyanddeeply,thescaleandcopeofthemonitorisexpanding.Remotevideosurveillancebasedonembeddedmobileterminaldevicesandwirelessnetworkhasbecomeahotfieldofresearch.Thisarticlethroughthepresentsituationandthedevelopmentanalysisofthevideomonitoringsystem,combinedwiththedevelopmentofthetheoryandtechnology,andtherequirementsperformanceofthevideomonitoringsystem,putforwardonekindofdesignschemebasedontheAndroidvideomonitoringsystem.Realizedthevideocapture,videocompression,videonetworktransmissionandthereal-timedisplayfunctionofthemonitoringsystem.TheselectionsoftwareplatformofthewholesystembasedontheopeningphoneoperatingsystemAndroidwiththeLinuxkernel,thesystemhasbeguntoentertheindustriallevelbecauseofthegooddevelopmentandportability,thehardwareplatformbasedonS3C6410processorofhighperformancewhichhasthehardwareaccelerationfunctionandH.264videodecoder.Thispaperintroducedthekeytechniquetheoryknowledgeofthemonitoringsystem,raisedthedesignschemeofthevideomonitoringsystembasedontheAndroidplatform,completedthemoduledesignandtheimplementationofthesoftware.Thesystemconsistsofthevideocollectionterminal(camera),videoserverandclient.,themainmoduleincludethevideogathermodule,thevideocodingmodule,thereal-timetransportingmodule,theclientdisplaymodule.ThemonitoringsystemusesthenewlowbitratevideocompressionstandardH.264,whichintegratedinDSPnotonlyreducesthetransmissioncapacitybutalsoimprovetheimagequalityandcodingefficiency,achievethereal-time,reliabilityrequirementsofthemonitoringsystem,inthereal-timetransportingmodule,SocketprogramandrealizationofRTPprotocolarefullydiscussed,intherealtimevideodisplaymoduleusestheVLCmultimediaplayer.Inthelast,itsummarizesandcomesupwiththesubsequentdevelopmentprogramsandplans.Keywords:Videomonitoring;Android;H.264algorithm;TheRTPtransportprotocolThesis:ApplicationResearch目录I目录1绪论.11.1选题的背景及意义.11.2监控系统现状及发展趋势.11.2.1监控系统现状.11.2.2监控系统发展趋势.21.3本论文所做的工作及文章结构安排.32视频监控系统的相关技术.52.1Android平台.52.1.1Android系统简介.52.1.2Android的优点.52.1.3Android系统结构.62.2H.264标准简介.82.2.1H.264编码标准基本概念.82.2.2H.264标准的优点.92.3H.264标准结构.92.3.1H.264档次和级别.92.3.2H.264标准分层结构.102.4H.264标准关键模块.112.4.1帧内预测.112.4.2帧间预测.122.4.3变换与量化.132.4.4熵编码.142.5网络传输协议.152.5.1网络传输协议标准.152.5.2RTP相关概念.162.5.3RTP数据包格式.172.5.4RTP设计原则及工作原理.182.6VLC播放器介绍.192.7本章小结.203视频监控系统设计方案.213.1监控系统总体概述.213.2监控系统设计方案.22目录II3.2.1监控系统硬件设计方案.223.2.2嵌入式操作系统选择方案.233.2.3应用软件设计方案.233.2.3视频数据采集和压缩编码方案.243.2.4视频网络传输方案.253.3本章小结.264视频监控系统软件实现.274.1Android系统实现.274.1.1Android平台搭建.274.1.2Android应用程序结构.294.2视频采集模块实现.314.2.1USB驱动移植模块实现.314.2.2视频数据采集实现.324.2.3视频预览界面实现.344.3视频编码模块实现.364.3.1H.264基本流结构.364.3.2H.264编码.374.3.3X264编码实现.374.3.4JNI技术实现.394.4视频网络传输模块实现.404.4.1流媒体传输系统.404.4.2RTP传输实现.414.4.3Socket网络通信模块实现.434.5视频显示模块实现.454.6本章小结.475视频监控系统测试.485.1测试目的.485.2测试内容.485.3测试结果.485.4本章小结.496结论与展望.50致谢.52参考文献.531绪论11绪论本章主要概括介绍了论文的研究背景及意义、视频监控系统现状及发展趋势、基于Android系统的研究现状以及论文的内容安排。1.1选题的背景及意义随着Internet和网络技术的日益发展，人们对安全保障的要求不断提高，传统的以文字和图片为主的内容服务已不能满足用户的需求，视频和音频的多媒体内容服务即将成为主流，这是互联网技术发展的必然趋势。通过采取嵌入式技术，不仅实现了视频监控系统的体积微小化、安装简便化、配置灵活化、另外还降低了成本。由于将视频压缩和网络功能集中到了体积较小的嵌入式设备内，通过网络对视频监控设备进行远程监控，即可获取监控视频。目前，网络视频监控已经不再是企业级客户的应用，视频监控应用将逐渐向平民化方向发展，利用视频监控的数据为大众服务，如数字化矿工系统、交通导航、旅游景点人流及景点查看等。网络视频监控系统采用现有的网络系统，由嵌入式的视频服务器和视频终端组成。嵌入式系统凭借其以应用为中心和系统可裁剪等优点在工业领域中有着广泛的应用。Android作为系统式基于Java的嵌入式操作系统，运行在Linux内核之上，系统小巧而且拥有全特征。此系统凭借其应用程序良好的开放性和平台可移植性发展迅速，如将其应用在工业领域势必会极大推动工业生产效率。因此，本课题提出一种基于Android平台的网络视频监控系统方案，不仅为人们的生活带来极大的便利，而且具有良好的发展前景。1.2监控系统现状及发展趋势1.2.1监控系统现状网络视频监控系统经历了数字控制的模拟视频监控和数字视频监控两个阶段。模拟视频监控不仅系统性能稳定、技术发展成熟，而且在工业领域中得到了广泛的应用，尤其是在大、中型网络视频监控工程中的应用特别广泛；后者是新近崛起的以流媒体技术、网络技术及图像视频压缩为核心的新型网络视频监控系统，该监控系统有效解决了模拟系统存在的部分弊端，但仍需进一步改善和提高。目前，国内外市场的视频监控系统正处在数控模拟系统与数字系统混合应用并逐渐向数字系统过渡的阶段。西安科技大学硕士学位论文2（1）模拟视频监控系统，也可以称为第一代视频监控系统，出现于20世纪90年代初期，主要由摄像机、视频矩阵、监视器、录像机等组成。该监控系统以模拟方式采用同轴电缆进行传输，传输距离不能太远，而且信号质量不高，主要用于扩展能力有限的小范围内监控系统，一般只能在控制中心进行查看，并且系统的成本高。（2）20世纪90年代中期，随着视频压缩编码技术的不断发展产生了基于PC机的第二代视频监控系统。在远端视频监控现场，通过若干个摄像头、各种检测、报警探头以及数据处理设备，首先将摄像头采集到的模拟视频信号转化成数字信号，再利用专用压缩卡对数字信号进行压缩处理，通过各自的数据传输通道，与多媒体监控终端PC机连接，监控终端的PC机对视频数据进行解压后，就能够显示远端的图像。基于PC的视频监控系统与传统的模拟视频监控系统相比，具有图像质量高、应用灵活性好、传输距离远、数据的保存成本低等特点，并且数字化的视频数据可以通过各种方式被连接在网络计算机上共享。因此，基于PC的视频监控系统自出现后被广泛应用，但是该系统也存在很多不足，稳定性较差、结构相对复杂、体积较大、可扩展性差。（3）到了20世纪90年代末特别是近几年来，由于网络带宽、计算机处理能力和存储内存等的迅速提高，以及各种实时视频信息处理技术的出现，加速了第三代视频监控系统，即基于嵌入式技术的网络视频监控系统的出现。基于嵌入式技术的网络视频监控系统将嵌入式技术引入到视频技术中，可以很好地解决基于PC的视频监控系统中存在的问题。基于嵌入式技术的网络视频监控系统的主要工作原理是：采用嵌入式实时操作系统，将摄像机传送来的视频信号数字化后由高效压缩芯片压缩，通过内部总线传送到内置的服务器。与基于PC的视频监控系统相比，基于嵌入式技术的视频监控系统具有体积小，安装方便，备置灵活，成本低，稳定性高等特点。因此，基于嵌入式技术的网络化视频监控系统必将有良好的应用与发展前景。1.2.2监控系统发展趋势（1）视频监控系统的发展方向随着视频监控系统的逐渐发展，监控前端一体化、视频数字化、监控网络化、系统集成化成为视频监控系统公认的发展方向，而数字化是网络化的前提，网络化则又是系统集成化的基础，所以，视频监控系统发展的最大两个特点就是数字化和网络化。1绪论3（2）监控系统数字化监控系统数字化是21世纪的显著特征，是以信息技术为核心的电子技术发展的必然。视频监控系统的数字化是将系统中信息流(包括视频、音频、控制等)从模拟状态转为数字状态，从根本上改变视频监控系统信息采集、数据处理、传输、系统控制等方式和结构形式。信息流的数字化、编码压缩、协议的开放化，使视频监控系统与安防系统中其它各子系统间实现无缝连接，并在统一的操作平台上实现管理和控制，这也是系统集成化的含义。（3）监控系统网络化视频监控系统的网络化意味着系统的结构将由集总式向集散式系统过渡。集散式系统采用多层分级的结构形式，具有微内核技术的实时多任务、多用户、分布式操作系统以实现抢先任务调度算法的快速响应。组成集散式监控系统的硬件和软件采用标准化、模块化和系列化的设计，系统设备的配置具有通用性强、开放性好、系统组态灵活、控制功能完善、数据处理方便、人机界面友好以及系统安装、调试和维修简单，系统运行互为热备份，容错可靠等优点。系统的网络化打破了布控区域和设备扩展的地域和数量界限。系统网络化将使整个网络系统硬件和软件资源的共享以及任务和负载的共享变为可能，这也是系统集成的一个重要概念。1.3本论文所做的工作及文章结构安排本课题主要实现的是基于Android平台的视频监控系统的设计与研究，该系统集中运用了嵌入式技术、视频编码技术、网络传输技术等诸多方面的知识。在初步了解嵌入式系统理论知识的基础上，对Android操作系统作了较为深入的学习，根据芯片的技术参数以及平台的硬件指标，对Android系统在S3C6410平台上进行移植，并在PC的Windows操作系统平台下对Android应用程序进行设计。监控系统采用S3C6410开发板作为系统的硬件开发平台，指定H.264为视频压缩编码算法、Socket网络通信和RTP传输协议实现网络通信，使用VLC多媒体播放器实现实时播放功能。作者的主要工作包括以下几点：（1）完成了整个系统的需求分析和总体设计工作，包括系统功能模块以及软硬件工作划分。系统的应用软件功能模块主要有界面模块、视频数据采集模块、视频编码模块、视频实时传输模块、VLC多媒体播放器播放模块。（2）针对本系统视频编码模块，在熟悉整个H.264编码原理及算法的基础上，采用X264编码器，实现了高编码效率、高质量视频画面的H.264标准视频压缩编码；针对视频实时传输模块，经过分析RTP设计原则及工作原理，西安科技大学硕士学位论文4重点实现了基于RTP协议的实时端到端的视频传输功能；视频显示模块通过学习VLC多媒体播放器的基本功能，实现了视频信息的实时播放。（3）根据对监控系统的总体设计和应用逻辑的分析，搭建了Android软件开发平台，编写了系统应用软件程序，实现了实时视频监控功能。最后，给出该监控系统的测试目的、内容和结果。本论文分为六章，论文的章节内容安排如下：第一章绪论。提出了课题的研究背景及意义，介绍了视频监控系统现状及发展趋势，说明了本文进行了的主要工作及论文的组织安排。第二章视频监控相关技术。以Android操作系统为平台，主要从视频数据采集技术、视频编码标准、RTP传输协议等系统所涉及到的关键技术和标准进行阐述，并对系统开发过程中所用到的一些专用技术进行了介绍。第三章视频监控系统总体设计。描述了系统的总体结构和功能，主要对基于Android平台的视频监控系统的系统网络框架结构和需求进行了分析，在此基础上，给出了系统的总体设计。选择并制定处理器选型方案，设计系统硬件外围电路模块。第四章视频监控系统各模块的实现介绍。主要包括Android系统的环境搭建、视频采集模块的实现、视频编码模块实现、视频网络传输模块实现以及视频监控现实模块的具体实现。第五章阐述视频监控系统的测试目的及内容，并得出测试结果。第六章总结与展望。对本文的工作进行总结与展望并提出了后续的开发设计思想和方案。2视频监控系统的关键技术52视频监控系统的相关技术通过对视频监控系统现状及发展趋势的讨论分析，现代网络监控系统在实时性、稳定性、处理速度以及价格等方面相比传统的监控系统有着突出的优势，监控所采用的技术也越来越先进。本章主要从视频监控系统的开发平台、网络传输理论、视频信息处理理论等方面对系统所涉及到的关键技术和标准进行阐述。2.1Android平台2.1.1Android系统简介Android是Google于2007年11月发布的基于Linux2.6内核之上的开源手机操作系统，主要使用于便携设备，系统小巧而且拥有全特征。该平台由操作系统、中间件、用户界面和应用软件组成。Android操作系统运行在开放的Linux内核之上，利用Java编程语言实现上层应用程序的开发，其应用程序可以调用该平台中任何的核心功能。Android特性包括多媒体支持、加速3D图形引擎(基于硬件支持),SQLite支持的数据库以及Google提供的综合网络浏览器等。AndroidSDK与其它SDK相比，不仅具有开放性，而且提供了各种新的API，增加了受支持的应用程序类型。开源免费的AndroidSDK使开发者可以定制自己的操作系统以达到控制终端业务的目的，为开发者提供了更多的便利。2.1.2Android的优点与其他手机操作系统相比，Android具有以下四大优点：（1）开放性Android与其它操作系统相比最大的特点在于其开放性。开放性包括两方面：其一，Android以开源Linux内核为基础，源代码开放、应用开发人才资源丰富；其二，Android对第三方软件开发的开放，极大的促进该系统第三方软件的开发。（2）可移植性Android系统具有良好的源代码可移植性和兼容性。Android应用程序框架完全使用Java编程语言，不仅编程简单且而可以实现跨平台运行。（3）应用程序间平等且无界限西安科技大学硕士学位论文6系统的核心应用和第三方应用都是完全平等的，开发人员可以把Web上的数据与本地结合起来，应用程序也可以通过声明供其他应用程序使用。（4）无缝结合的Google应用Google为Android应用开发提供具有高效、简洁、节省资源的运行环境Dalvik虚拟机；完美免费的开放软件Googlemaps也深受人们青睐，同时Google服务还包括浏览器、邮件、语音等。2.1.3Android系统结构Android作为终端操作系统，其软件层次自上而下分为：应用程序、应用程序框架、各种库和Android运行环境、基于Linux内核的操作系统，其系统结构如图2.1所示。图2.1Android系统结构（1）应用程序(Application)：Android将一系列核心应用程序包(如图2.2所示)一起发布，所有的应用程序都使用JAVA语言编写,主要应用在用户界面设计方面。图2.2应用程序层结构（2）应用程序框架(ApplicationFramework)：Android应用程序框架(如图2.3所示)保证了应用程序间平等和无界限开发等特性。2视频监控系统的关键技术7图2.3应用程序框架结构（3）系统库：Android包含供系统各个组件使用的C/C+集合的库(如图2.4所示)，该库通过Android应用程序框架为开发者提供服务。图2.4系统库构成（4）运行环境：Android的运行环境由DalvikJava虚拟机和基础的Java类库组成。每个Android应用程序运行在自己的进程中，所有的类经由Java编译器编译后，通过SDK中的“dx”工具转化成“.dex”格式由Dalvik虚拟机运行。运行环境结构如图2.5所示。图2.5运行环境结构（5）Linux内核：Android系统内核(如图2.6所示)采用Linux2.6以上版本，是硬件和软件之间的抽象层，主要用于保障进程管理、安全性、内存管理和驱动模型等。西安科技大学硕士学位论文8图2.6系统内核结构2.2H.264标准简介H.264是由ITU-T视频编码专家组和ISO/IEC动态图像专家组联合制定的高度压缩的数字视频编解码标准。H.264标准采用跟以往标准相似的基于块的混合编码的思想，但是在具体实现上有所区别，可以获得比H.263+和MPEG4更好的压缩特性；采用“网络友好”的语法和结构，增强了对各种不同网络的适应性，有利于对无码和丢包的处理；应用目标范围广，可以满足不同速率、不同传输以及不同存储场合的需求。2.2.1H.264编码标准基本概念（1）编码图像和帧H.264标准的一个视频序列由一系列的视频编码图像组成。一幅编码图像既可以表示一个完整的帧，也可以表示一个单独的场。一帧视频是由一个包含偶数行的顶场和一个包含奇数行的底场交错放置而形成的。H.264标准中的帧包括三种类型：I帧(帧内编码帧)、P帧(帧间预测编码帧)和B帧(双向预测编码帧)。I帧是自带全部信息的独立帧，无需参考其它图像便可以独立的进行解码，视频序列始终都是以I帧开始的。P帧需要参考前面的I帧或P帧的不同部分才能进行编码。B帧需要同时以前面的帧和后面的帧作为参考帧进行解码。（2）视频流格式H.264编码器支持YUV格式的视频流，其中Y代表亮度信号，U、V代表色差信号，Y、U、V之间是相互独立的。YUV采样格式有YCbCr4：2：0、YCbCr4：2：2、YCbCr4：1：1和YCbCr4：4：4，H.264编码器编码的YUV视频流格式是YCbCr4：2：0。（3）编码片H.264编码片共有5种类型，分别为I片、P片、B片、还有SP片和SI片。其中SP（切换P）片包含P和/或I宏块，用于不同的编码流之间的切换。扩展档次中包含了一种特2视频监控系统的关键技术9殊类型的编码宏块，叫做SI宏块，SI也是扩展档次中进行切换的必备功能。2.2.2H.264标准的优点H.264标准的主要目标是在相同的带宽下提供更加优秀的图象质量。其最大的优势是具有很高的数据压缩比率，在具有高压缩比率的同时还拥有高质量流畅的图像。与当前的其它压缩标准相比，H.264标准具有如下优点：（1）高压缩比，低码率。H.264采用的压缩编码技术有效的节省了信道带宽、存储容量及用户的下载时间和数据流量收费。（2）图像质量好。H.264能够提供连续、流畅的高质量图像。（3）容错能力强。H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。（4）网络适应性强。H.264中增加了网络适应层，使得H.264的文件能容易地在不同网络上传输。（5）应用范围广。H.264提供了四个不同档次的Profile，在实际应用中可根据时延要求选择不同的档次。2.3H.264标准结构2.3.1H.264档次和级别H.264作为视频压缩编解码标准，为了适应不同场合的不同应用，规定了不同的档次。其每个档次规定了不同的语法元素和句法，适合于不同的应用场合。H.264总共有四个不同功能的档次，每个档次设定不同的参数(如采样速率、编码比特率、图像尺寸等)，得到编码器不同性能的级别。（1）基本档次：利用I片和P片支持帧内预测编码和帧间预测编码，支持利用基于上下文的自适应的变长编码进行熵编码。主要用于可视电话、会议电视、无线通信等实时视频通信。（2）主要档次：采用加权预测的帧内编码和B片的帧间编码，支持利用基于上下文的自适应算数编码，支持隔行视频。主要用于数字广播电视与数字视频存储等。（3）扩展档次：SP片和SI片支持码流之间的切换，改进误码性能(数据分割)、但是不支持隔行视频和自适应算数编码。（4）高级档次:视频联合小组于2004年增加了高端档次，用于支持高精度拓展，西安科技大学硕士学位论文10该拓展支持更高的像素精度。2.3.2H.264标准分层结构H.264的压缩系统(如图2.7所示),包括视频编码层(VCL)和网络提取层(NAL)两部分。VCL和NAL分别完成高效率编码和网络友好性的任务。VCL包括视频数据的压缩编码和解码，主要有运动补偿、变换编码、熵编码等压缩单元。NAL从VCL获得数据，包括头信息、段结构信息和实际载荷，并将视频数据进行封装打包后使其在网络中进行传送，NAL层的引入大大提高了H.264适应复杂信道的能力。图2.7H.264结构（1）视频编码层(VCL)视频编码层主要用于实现视频数据的压缩编码和解码，通常采用变换编码以及空间和时间预测的混合编码。每一帧视频数据划分为片、宏块、子块、块，这样的划分使得编码结构化、简单化。其层次结构如图2.8所示：图2.8VCL结构（2）网络提取层(NAL)VCL的数据只有封装到NAL单元中才可以进行传输和存储。NAL封装的数据由视频编码数据和控制数据两部分构成，该层负责对视频数据进行封装打包并使其在网络中进行传送。NAL单元格式如图2.9所示，NAL头中包含了数据载荷类型，RBSP中存储了视频图像的相关信息，是NAL的基本传输单元。2视频监控系统的关键技术11图2.9NAL结构封装于网络抽象单元的数据称之为原始字节序列载荷RBSP，是NAL的基本传输单元。其中，RBSP又分为视频编码数据和控制数据。其基本结构是：在原始的编码数据后面填加结尾比特，一个bit“1”若干比特“0”，以保证字节对齐。2.4H.264标准关键模块H.264标准的关键模块主要包括：预测编码、变换与量化、熵编码等。H.264编码器在总体结构上与以往的编码器并没有太大的差别，但是在局部的编码策略上，H.264引入了新算法与特性，从而增强了压缩能力，也提高了对传输错误的抵抗力。H.264标准区别于其他标准的主要技术有：（1）运动补偿块采用可变形式提高了编码率，块的大小可以从1616，168，816,88,84,48,44中任意选择。（2）运动矢量的精确度可达1/4或1/8像素，与整数精度的空间预测编码相比，可以提高大于20%的编码效率。（3）采用多参考帧进行帧间预测，比单独参考帧方法可以节省5%-10%的传输码率，并且有利于码流的错误恢复。（4）采用44像素块的整数变换，反变换过程中没有匹配错误问题。（5）采用基于44块边界的去块效应滤波器，消除块效应，从而提高了图像的质量。(6)采用三种不同的熵编码方式更有效的节省码率。2.4.1帧内预测H.264的预测编码部分包括帧内和帧间预测两种方式，提供了多种预测模式的选择以提高编码质量。帧内预测是在空间域进行预测编码的，运用相邻块的像素对当前块进行预测，通过去除图像的空间冗余，获得更高的压缩比。帧内预测模式中，预测块是基于当前帧内完成编码和重构的块构造出的。亮度采样有9种构造44预测块以及4种构造1616预测块的预测模式。（1）44亮度帧内预测模式Intra_44模式分别对每个44亮度块单独进行预测，对图像部分区域的细节具有较好的描述。44亮度帧内预测模式，首先将一个宏块按照空间位置划分成16个44西安科技大学硕士学位论文12快，以44为单位进行预测，对于每个44块有9种预测模式，其中模式0，1，3，4，5，6，7，8为8种方向的预测模式，另外一种是直流DC模式。（2）1616亮度帧内预测模式Intra_1616模式对整个1616的亮度块进行预测，更适合于图像中平滑区域的编码。使用Intra_1616模式时，宏块中的所有亮度成分都被预测，支持4种预测模式，分别是：预测模式0(垂直预测)，模式1(水平预测)，模式2(直流预测)，模式3(平面预测)。与Intra_44预测模式相似，只不过Intra_44预测模式是用每个边上的4个相邻点来预测44的块，而Intra_1616则是通过每个边上的16个相邻点来预测1616的块。（3）88色度块帧内预测模式按照4：2：0采样的视频序列，与一个1616亮度宏块相对应的色度块大小是88。由于人类的视觉系统对于色度变化不像对于亮度那么慢，所以色度信息相比亮度信息的重要性要差些。因此可以采用粗略的方式预测色度信息。H.264规定的帧内色度预测是基于88块的预测方式，对色度的两个分量U和V结合起来统一进行预测。2.4.2帧间预测帧间预测编码通过运动估计和补偿对连续帧中的时间冗余进行处理。H.264的运动估计和补偿不仅支持以往视频编码标准中的大部分关键特性，而且还灵活地添加了更多的其他功能，除了支持P帧、B帧以外，H.264还支持一种新的流间传送帧SP帧。只要码流中包含有SP帧，则可以在具有内容类似但码率和码流不同的编码帧之间进行快速的切换，同时还支持随机接入和快速回放的模式。H.264的运动估计及补偿有以下4个特性。（1）不同大小和形状的宏块分割对于每一个1616像素宏块的运动补偿可以采用不同的大小和形状，H.264支持7种运动补偿的模式。其中小块模式的运动补偿提高了运动详细信息的处理性能，减少了方块效应，提高了图像的质量。（2）高精度的亚像素运动补偿H.263采用的是半像素精度的运动估计，而H.264则通常采用1/4或者1/8像素精度的运动估值。在要求相同精度的情况下，H.264使用1/4或者1/8像素精度的运动估计后的残差要比H.263采用半像素精度运动估计后的残差小很多。这样在相同精度下，H.264在帧间编码中所需的码率也就更小。（3）多帧预测2视频监控系统的关键技术13H.264提供可选的多帧预测功能，在帧间编码时，可选5个不同的参考帧，提供更好的纠错性能，这样可以改善视频图像的质量。这一特性主要应用于以下场合：周期性的运动、平移运动、在两个不同的场景之间来回变换摄像机的镜头。（4）去块滤波器H.264定义的自适应去除块效应的滤波器，可以处理预测环路中的水平和垂直块边缘，大大减少了方块效应。2.4.3变换与量化在变换方面，H.264使用了基于44像素块的类似于DCT的变换，但是如果直接采用DCT的定义进行变换，会带来两个问题：一个是需要进行浮点数操作，从而造成系统设计上的复杂性；另一个是由于变换核都是无理数，而有限精度的浮点数不可能精确地表示无理数，再加上浮点数的运算可能会引入误差，这就使得在具体实现时会导致编解码的不一致。为了克服这些问题，H.264采用以整数为基础的空间变换，使得变换操作仅用整数加减和移位操作就可以完成，这样既降低了设计的复杂度，又避免了编解码不一致的问题。在H.264的量化部分，没有采用与以往相同标准的固定量化步距的策略，而是采用了可变的量化步距。量化参数QP(QuantizationParameter)增加1，量化步距增加12%，这样如果量化参数QP增加6，量化步距则加倍，其中量化参数共有53个可选值。显然，H.264更广泛的量化水平，使得精确量化成为可能，提高了码率控制能力。H.264编码器的变换与量化过程如图2.10所示：图2.10H.264变换与量化流程图中输入为预测残差，输出为准备进行熵编码的数据，共有五类。为了更大程度的利用空间冗余，对于Intra_1616帧内预测模式，H.264在对1616的Iuma分量的16个44块进行DCT变换后，将每个44块的DC系数提取出来，组成44的IumaDC块，西安科技大学硕士学位论文14对其再进行44的哈达玛(Hadamard)变换。同样，对88chroma分量的4个44块进行DCT变换后，也将每个44快的DC系数提取出来，组成22的chromaDC块，对其进行22的Had