视频传输系统要点课件

1、嵌入式远程视频监控系统目录基于H.264的视频编码模块视频采集模块嵌入式视频监控系统的开发模式视频监控系统结构 远程视频监控系统的发展状况发展状况视频监控系统的发展经历了三个阶段：第一个阶段主要是以模拟设备为主的模拟视频监控系统。第二个阶段是基于PC或工控机的远程监控系统。第三个阶段是基于嵌入式技术的网络监控系统。远程视频监控系统结构图网络传输模块视频编码模块视频采集模块视频监控端USB摄像头驱动程序视频系统开发模式先在宿主机上调试通过后,再移植到目标板上 开发模式直接在目标板上进行开发 两种开发模式的比较1.先在宿主机上调试通过后,再移植到目标板上。移植的工作包括两个方面: 函数库的问题。在

2、程序移植时可能会有函数未定义的问题。对于这种问题,一般要求开发者自己编制这些要用到却又未定义的函数。 这种模式存在一些问题，我们主要介绍第二种方法： 2.直接在目标板上进行开发。将宿主机和目标板通过以太网连接,在宿主PC机上运行minicom作为目标板的显示终端,在目标板上通过NFS(网络文件系统)来mount宿主机硬盘,让应用程序直接运行在目标板上进行调试视频采集模块配置USB摄像头驱动及V4L 采集程序实现过程截取视频图像视频采集模块配置USB摄像头驱动及V4L. 在Linux下,所有外设都被看成是一种特殊的文件,称为设备文件。系 统调用是内核和应用程序之间的接口,而设备驱动程序则是内核和

3、外设之间的接口。它完成设备的初始化和释放、对设备文件的各种操作和中断处理等 功能,为应用程序屏蔽了外设硬件的细节,使得应用程序可以像普通文件一 样对外设进行操作。 Linux系统中的视频子系统Video4Linux为视频应用程序提供了一套统一 的API,视频应用程序通过标准的系统调用即可操作各种不同的视频捕获设 备。Video4Linux向虚拟文件系统注册视频设备文件,应用程序通过操作视 频设备文件实现对视频设备的访问。在嵌入式Linux的内核定制和编译阶段, 已经加入了对V4L模块以及OV511设备的支持,运行Linux下的视频图像 采集程序,可以通过V4L提供的编程接口(API)从OV5l

4、l设备中获取图像帧.采集程序实现过程获取设备信息和图像信息图像参数设定开始内存映射mmapVIDEOCAPTURE等待采集完成本缓冲区满 ？指向下一个缓冲区停止视频采集 ？关闭视频设备结束NoYesNoYes截取视频图像 对视频图像的截取有两种方法:一种是read()直接读取;另外一种mmap() 内存映射.Read()通过内核缓冲区来读取数据,该系统调用在驱动中的解决办法就是用copytouser()函数在内核空间、用户空间的内存空间中互相拷贝。但是对于像视频应用等大批量的数据,采用拷贝的方法显然会增加时间开销;而mmap()通过把设备文件映射到内存中,绕过了内核缓冲区,最快的 磁盘访问往往

5、还是慢于最慢的内存访问,所以mmap()方式加速了I/O访问。 另外,mmap()系统调用使得进程之间通过映射同一文件实现共享内存,各进 程可以像访问普通内存一样对文件进行访问,访问时只需要使用指针而不用 调用文件操作函数。因为mm印()的以上优点,所以在程序实现中采用了内存映射方式,即mmap()方式。 视频编码H.264:新一代视频压缩编码标准H.264是国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式。H.264是ITU-T以H.26x系列为名称命名的视频编解码技术标准之一。H.264标准的主要目标是：与其它现有的视频编码标准相比，在相同

6、的带宽下提供更加优秀的图象质量。通过该标准，在同等图象质量下的压缩效率比以前的标准（MPEG-2）提高了2倍左右。视频编码的必要性及编码目标1.数字化后的视频和音频的信息数据量非常庞大，给存储和网络实时传输带来困难。特别是视频数据，未经压缩的视频网络传输所需带宽远远超过网络的承载带宽。只有压缩后的视频，存储时会更方便，传输时才会减少带宽。因此对数字视频和音频数据进行压缩是很有必要的。2.将视频信号在传送前先进行压缩编码，即进行视频源压缩编码，然后在网络上进行传送，以便节省传送带宽和存储空间。这里有两个要求：1） 必须压缩在一定的带宽内，即视频编码器应具有足够的压缩比；2） 视频信号压缩之后，应

7、保持一定的视频质量。这个视频质量有两个标准：一个为主观质量，由人从视觉上进行评定；一个为客观质量，通常用信噪比（S/N）表示。如果不问质量，一味地压缩，虽然压缩比很高，但压缩后严重失真，显然达不到要求；反之，如只讲质量，压缩比太小，也不符合要求。视频编码的可能性视频能够压缩的根本原因在于视频数据具有较高的冗余度。压缩就是消除冗余，主要基于两种技术：统计学和心理视觉。1).消除统计冗余的基本依据是视频数字化过程在时间和空间上采用了规则的采样过程。简言之，理想的压缩系统能够动态适应视频在时间和空间上的变化，所需要的数据量远低于数字化采样所产生的原始数据。2).心理视觉技术主要是针对人类视觉系统极限

8、。人类视觉在对比度带宽、空间带宽(特别是彩色视觉)、时间带宽等方面存在极限，而且，这些极限并非相互独立，整体的视觉系统存在上限。例如，人眼不可能同时察觉到时间和空间的高分辨率。显然，没有必要表征那些不能被感知的信息，一定程度的压缩损失是人的视觉系统感知不出来的。视频压缩编码的基本原理1 预测编码 2 变换编码 3熵编码基本概念帧内预测编码帧间预测编码运动估计基本概念 K-L变换DCT变换游程编码基本概念变长编码算术编码预测编码预测法是最简单和实用的视频压缩编码方法，这时压缩编码后传输的并不是像素本身的取样幅值，而是该取样的预测值和实际值之差。为什么取像素预测值与实际值之差作为传输的信号？因为大

9、量统计表明，同一幅图像的邻近像素之间有着相关性，或者说这些像素值相似。邻近像素之间发生突变或“很不相似”概率很小。而且同帧图像中邻近行之间对应位置的像素之间也有较强的相关性。人们可以利用这些性质进行视频压缩编码。帧内预测：一维线性预测方法预测值：其中f(x)为当前像素值，以f(x)为基准，f(x-1)为前一个像素值，f(x-2)为前两个像素值。把前m个像素值的加权和作为f(x)的预测值。 是预测系数，m 为预测阶数。其预测误差如下： 为获得最佳预测效果，应使e(x)的均方误差最小，编码效率最高：帧间预测和运动估计帧间预测：单向预测，双向预测；运动估计：在帧间预测编码中，由于活动图像邻近帧中的景

10、物存在着一定的相关性。因此，可将活动图像分成若干块或宏块，并设法搜索出每个块或宏块在邻近帧图像中的位置，并得出两者之间的空间位置的相对偏移量，得到的相对偏移量就是通常所指的运动矢量，得到运动矢量的过程被称为运动估计。变换编码绝大多数图像都有一个共同的特征：平坦区域和内容缓慢变化区域占据一幅图像的大部分，而细节区域和内容突变区域则占小部分。也可以说，图像中直流和低频区占大部分，高频区占小部分。这样，空间域的图像变换到频域或所谓的变换域，会产生相关性很小的一些变换系数，并可对其进行压缩编码，即所谓的变换编码。正交变换：K-L变换 DCT变换游程编码熵编码用信源的统计特性进行码率压缩的编码就称为熵编

11、码，也叫统计编码。视频编码常用的有两种：变长编码和算术编码。视频压缩标准从九十年代开始，国际上先后制定了一系列视频图像编码标准。目前从事视频压缩标准制定的国际标准组织主要有国际电信联盟（ITU-T）的视频编码专家组VCEG和国际标准化组织(ISO)的运动图像专家组MPEG。为了对视频数据进行压缩编码，国际标准化组织(ISO）已制定出一系列压缩标准，主要有H标准(如H.261，H.263等)、JPEG和MPEG等系列标准.但被普遍认可并成为权威的还是MPEG技术。MPEG系列目前常用有三个MPEG标准：MPEG-1（1991），MPEG-2（1994）和MPEG-4（1999）。H.264视频压

12、缩标准正式公布于2003年。MPEG-1,MPEG-2MPEG-1是1991年为工业级标准而设计的，传输速率约15Mb/s，每秒播放30帧或25帧这个标准主要是针对具有这种数据传输率的CD-ROM和网络而开发的，用于在CD-ROM上存储数字视频和在网络上传输数字视频。MPEG-1的实时编码通常需要硬件才能完成，解码可以用软件来完成。该标准不能提供分级图像编码，也不能在丢包率高的情况下应用。MPEG-2是MPEG-l的扩充，它增加了许多新的功能，是一个直接与数字电视广播有关的高质量图像和声音的编码标准。它提供了一个较为广泛的压缩比改变范围，以适应各种情况下不同画面质量、存储容量和带宽的要求。它的

13、传输速率约为3Mbps一10Mbps，主要用于高清晰度电视（HDTV）及DVD的标准。MPEG-4MPEG-4是一个数据速率很低的多媒体通信标准，特别是64kbps下的音频、视频压缩，这是为了在标准电话线上传送可视电话。相对于MPEG的前两个压缩标准，MPEG-4己经不再是个单纯的视频音额编解码标准，它更多定义的是一种格式和框架，而不是具体的算法，从而为多媒体数据压缩提供了一个更广泛的平台。MPEG-4支持的应用包括：因特网多媒体应用、实时可视通信。例如可视电话、会议电视等：交互式存储媒体应用，广播电视，远程视频监控等。MPEG-4最大的特点就是利用很窄的带宽，通过帧重建技术，压缩和传输数据，

14、以求以最少的数据获得最佳的图像质量。在易受干扰环境下有很强的鲁棒性，因此特别适合在网络中传输视频数据。H.264H.264，同时也是MPEG-4第十部分。H.264标准的目的是提供与以往其它视频编码标准相比更高的图像压缩比更好的图像压缩质量.但是,实际上H264所采用的压缩思想同H263和MPEG-4等标准是十分相似的，都包括以下四个主要步骤:1)将每个视频帧都分成若干个像素宏块，对视频图像的处理以宏块为基本处理单元。2)通过帧内预测对原始宏块进行编码，以减小帧内部的空间冗余，再对帧内预测后的残差数据进行变换，量化和熵编码(可变长编码VLC)。H.2643)在连续的图像帧中的宏块之间存在着很大

15、的时间相关性，所以只需编码和传输连续帧之间的变化量。时间预测的主要手段是运动估计和运动补偿。对任何给定宏块，通过对先前编码的一帧或几帧内的宏块进行搜索匹配来确定运动矢量，运动矢量则在编码和解码过程中用来进行宏块的预测。4)通过对残差数据的编码来进一步减少数据间存在的空间冗余，残差数据即为原始宏块与预测宏块之间的差值，同样也要经过变换，量化和熵编码。Company LogoH.264 的技术亮点1）分层设计H.264的算法在概念上可以分为两层：视频编码层负责高效的视频内容表示，网络提取层（NAL：Network Abstraction Layer）负责以网络所要求的恰当的方式对数据进行打包和传送

16、。在VCL和NAL之间定义了一个基于分组方式的接口，打包和相应的信令属于NAL的一部分。这样，高编码效率和网络友好性的任务分别由VCL和NAL来完成。2）高精度、多模式运动估计在H.264中，允许编码器使用多于一帧的先前帧用于运动估计，这就是所谓的多帧参考技术。例如2帧或3帧刚刚编码好的参考帧，编码器将选择对每个目标宏块能给出更好的预测帧，并为每一宏块指示是哪一帧被用于预测。3).面向IP和无线环境H.264 草案中包含了用于差错消除的工具，便于压缩视频在误码,丢包多发环境中传输，如移动信道或IP信道中传输的健壮性。Company LogoH.264 的技术亮点4）统一的VLCH.264中熵编

17、码有两种方法，一种是对所有的待编码的符号采用统一的VLC（UVLC ：Universal VLC），另一种是采用内容自适应的二进制算术编码（CABAC）。CABAC是可选项，其编码性能比UVLC稍好，但计算复杂度也高。UVLC使用一个长度无限的码字集，设计结构非常有规则，用相同的码表可以对不同的对象进行编码。这种方法很容易产生一个码字，而解码器也很容易地识别码字的前缀，UVLC在发生比特错误时能快速获得重同步。Company LogoH.264 的技术亮点5）帧内预测在先前的H.26x系列和MPEG-x系列标准中，都是采用的帧间预测的方式。在H.264中，当编码Intra图像时可用帧内预测。对于每个44块（除了边缘块特别处置以外），每个像素都可用17个最接近的先前已编码的像素的不同加权和（有的权值可为0）来预测，即此像素所在块的左上角的17个像素。显然，这种帧内预测不是在时间上，而是在空间域上进行的预测编码算法，可以除去相邻块之间的空间冗余度，取得更为有效的压缩。Company Logo