数字视频处理课件 2.32.5

1、2.3 模拟视频信号电视信号是视频处理的重要信息源电视信号的标准也称为电视的制式目前各国的电视制式不尽相同，不同制式之间的主要区别在于不同的刷新频率、彩色编码系统和传送频率等等目前世界上常用的电视制式有中国大陆、欧洲等地使用的PAL制式以及美国、日本等地使用的NTSC制式等电视信号电视摄像机的作用就是将视频图像转换为电信号任何时刻，电信号只有1个值，即是一维的但视频图像通常是二维的，将二维视频图像转换为一维电信号是通过光栅扫描实现的（指在一定的时间间隔内电子束以从左到右、从上到下的方式扫描荧光屏）隔行扫描(Interlaced Scan)在隔行扫描方式中，电子束扫完第1行后从第3行开始扫，接着

2、扫第5行，7行，一直扫到最后一行奇数行扫完后以同样的方式扫描偶数行，这样就完成了一帧的扫描在隔行扫描中，无论是摄像机还是显示器，获取或显示一幅图像都要扫描两遍才得到一帧完整的图像隔行扫描场（Field）每一遍隔行扫描行的集合称为场，因此，一帧（Frame）由两个场组成，顶场（奇数行）信号和底场（偶数行）信号隔行扫描的由来众所周知，帧率只要高于一定标准，就达到流畅考虑到交流电频率50或60Hz，电视标准制订者确定了25或30fps的帧率如果电视机采用逐行扫描，每秒扫描25或30帧行不行呢？理论上可以，但实际不行隔行扫描的由来原因在于，在电子束的照射下，CRT的荧光粉会立即发光，但只要电子束一离开

3、，几乎瞬间就会暗下来人眼虽然看不到这么明显的变化，但仍然会有亮度衰减的感觉可以想象，如果采用30fps扫描方式显示，当电子束从屏幕的上半部分移到下半部时，屏幕上半部分的亮度就有了可以观察到的衰减，于是画面下半部分显得更亮隔行扫描的由来为了解决这个问题，最佳的办法是加倍刷新率，改成60fps扫描，因为在60分之一秒内，人眼能感觉到的亮度衰减就很小了可是这样做，单位时间内扫描的总行数会加倍，那么水平扫描的速度就要加快。如此一来技术要求就会过高，以当时的条件做不到隔行扫描的由来于是标准制订者想到了一个折衷的办法，先花60分之一秒扫描奇数行(顶场)，然后再用后60分之一秒扫描偶数行(底场)，两者互补成

4、完整的画面虽然扫描底场时，顶场的亮度衰减了，但是由于亮暗的部分交织在一起，反而不易察觉Interlace artifacts（交错缺陷）An interlaced camera captures 60 (or 50) unique fields per second. If a scene contains an object in motion with respect to the camera, each field carries half the objects spatial information, but information in the second field will

5、 be displaced according to the objects motion.Interlace artifactsConsider the test scene sketched in the figure, comprising a black background partially occluded by a white disk that is in motion with respect to the camera.Interlace artifactsThe first and second fields imaged from this scene are ill

6、ustrated respectively. (The example neglects capture blur owing to motion during the exposure.) The image in the second field is delayed with respect to the first by half the frame time (that is, by 160 s or 150 s); by the time the second field is imaged, the object has moved.Interlace artifactsUpon

7、 interlaced display, the time sequence of interlaced fields is maintained: No temporal or spatial artifacts are introduced. However, in the presence of motion, simply stitching two fields into a single frame produces spatial artifacts such as that sketched in the figure. Techniques to avoid such art

8、ifacts is deinterlacing.逐行扫描(Progressive Scan)发展到液晶、等离子等显示设备后，因为所的点都是同时发光，且光度始终固定，不存在CRT遇到的相关问题，所以逐行扫描开始大范围应用逐行扫描在逐行扫描方式中，电子束从显示屏的左上角一行接一行地扫到右下角，在显示屏上扫一遍就显示一幅完整的图像液晶和等离子电视、电脑显示器扫描方式对比逐行扫描优点：图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换，能改善视频压缩效率等；其缺点是：数码率高，行扫描频率增高，硬件难度加大隔行扫描能节省带宽，且硬件实现简单NTSC制式NTSC(National Televisi

9、on Standard Committe)是美国国家电视系统委员会在1953年制定的一种彩色电视制式，是目前常用的电视制式，在美国、日本等地广为使用它定义了彩色电视机对于所接受的电视信号的接收方式、彩色的处理方式、屏幕的扫描频率等等NTSC制式指标：525行/帧，30帧/秒(fps)在每场的开始部分保留20条扫描线作为控制信息，因此只有485条线的可视数据PAL制式PAL(Phase Alternate Lock)是联邦德国1962年制定的一种彩色电视制式，我国大陆和大部分西欧国家都使用这种制式625行/帧，25帧/秒每帧有575行有图像显示电视制式兼容性NTSC制和PAL制是互不兼容的电视制

10、式NTSC制和PAL制都是彩色和黑白兼容的制式，这里的“兼容”有两层意思：一是指黑白电视机能接收彩色电视信号，显示的是黑白图像另一层意思是彩色电视机能接收黑白电视信号，显示的也是黑白图像，这叫逆兼容性彩色与黑白电视的兼容性必需采用相同的一些基本参数，如扫描方式、扫描行频、场频、帧频、同步信号、图像载频、伴音载频等等需要将摄像机输出的三基色信号转换成一个亮度信号，以及代表色度的两个色度信号，并将它们组合成一个彩色全电视信号进行传送在接收端，彩色电视机将彩色全电视信号重新转换成三个基色信号，在显像管上重现发送端的彩色图像，黑白电视机只显示亮度信号电视制式兼容性也有全制式的电视机，这为处理和转换不同

11、制式的电视信号提供了极大的方便全制式电视机可在各国各地区使用模拟视频信号类型（传输、接口）复合视频信号S-Video视频信号分量视频信号复合视频信号(Composite Video)定义为包括亮度和色度的单路模拟信号，即从彩色全电视信号中分离出伴音后的视频信号，此时色度信号与亮度信号混合在一起由于复合视频信号的传输仍然是一种亮度色度混合的视频信号，仍然需要显示设备对其进行亮/色分离和色度分离才能成像，这种先混合再分离的过程会造成彩色信号的损失，色度信号和亮度信号也会有很大的机会相互干扰从而影响最终输出的视频复合视频信号接口又称为AV端子或Video端子S-Video分离视频信号S-Video(

12、Separated Video)是亮度和色度分离的一种视频信号，用两路导线分别传输，并可以分别记录在模拟磁带的两路磁轨上这种信号不仅其亮度和色度都具有较宽的带宽，而且由于亮度和色度分开传输，可以减少其互相干扰与复合视频信号相比，S-Video可以更好地重现色彩S-VideoS-Video信号使用单独的两条信号电缆线，一条用于亮度信号，另一条用于色度信号，这两个信号称为Y/C信号S-Video使用4针连接器 S-Video分量视频信号分量视频信号(component video signal)是指每个分量（Y、U、V或Y、Cb、Cr）作为独立的视频信号使用分量视频信号是表示彩色的最好方法，但需要

13、比较宽的带宽和同步信号分量信号实际上也是亮色分离的信号，与S-Video不同的是两个色度信号不用分离分量视频信号2.4 视频数字化要让计算机处理视频信息，首先要解决的是视频数字化的问题视频数字化是将模拟视频信号经模数转换转为计算机可处理的数字信号，计算机要对输入的模拟视频信息进行采样与量化，并经编码使其变成数字化视频数字化常用的方法1. 从复合彩色电视中分离出各个分量信号，然后数字化，如录像带、摄像机等的电视信号对这类信号的数字化，通常的做法是首先把模拟的彩色电视信号分离成YCbCr等彩色空间中的分量信号，然后用三个A/D转换器分别对它们数字化 数字化常用的方法2.首先用一个高速A/D转换器对

14、彩色电视信号进行数字化，然后在数字域中进行分离，以获得所希望的YCbCr等分量数据视频采样频率按照ITU-R BT.601标准，亮度信号的采样频率为13.5MHz对PAL制，亮度采样频率62525N=15625N=13.5 MHz N=864，为每一扫描行上的采样数目对NTSC制，亮度采样频率52529.97N=15734N=13.5 MHz, N=858有效采样样本对PAL制的亮度信号，每一条扫描行采样864个样本对NTSC制的亮度信号，每一条扫描行采样858个样本对所有的制式，每一扫描行的有效样本数均为720个有效采样样本采样格式两种采样方法：一种是使用相同的采样频率对图像的亮度信号和色度

15、信号进行采样另一种是对亮度信号和色度信号分别采用不同的采样频率进行采样如果对色度信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为子采样(Subsampling) 子采样的压缩特性人眼对色度信号的敏感程度比对亮度信号的敏感程度低，利用这个特性可以把图像中表达色度的信号去掉一些而使人不察觉所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量子采样也就是利用人的视觉系统这个特性来达到压缩彩色电视信号的目的采样格式4:4:4 这种采样格式不是子采样格式，它是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、4个Cr色度样本和4个Cb色度样本，这就相当于每个像素用3个

16、样本表示子采样格式4:2:2 这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、2个Cr色度样本和2个Cb色度样本，平均每个像素用2个样本表示子采样格式4:1:1 这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、1个Cr色度样本和1个Cb色度样本，平均每个像素用1.5个样本表示 子采样格式4:2:0 这种子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本、1个Cr色度样本和1个Cb色度样本，平均每个像素用1.5个样本表示子采样格式ITU-R BT.601标准使用了4:2:2采样结构亮度信号的采样频率为13.5MHz ，色度信号为6.75M

17、Hz不同采样格式与频率标准化分辨率格式公用中分辨率格式CIF（Common Intermediate Format）格式具有如下特性：分辨率352288使用非隔行扫描(non-interlaced scan)使用1/2的PAL水平分辨率，即288线1/4公用中分辨率格式QCIF（Quarter-CIF）和SQCIF格式（Sub-Quarter Common Intermediate Format）标准化分辨率格式（4:2:0）标准化分辨率格式类似的格式定义还有4CIF（4CIF，704576或720576），都是以CIF格式为基准进行定义如果是NTSC制，则各种格式的288的倍数相应改为240

18、的倍数标准化分辨率格式The choice of frame resolution depends on the application and available storage or transmission capacity. For example, 4CIF is appropriate for standard-definition television and DVD-video; CIF and QCIF are popular for videoconferencing applications; QCIF or SQCIF are appropriate for mobil

19、e multimedia applications where the display resolution and the bitrate are limited.标准化分辨率格式宽高比(Aspect ratio)指视频图像的宽度和高度之间的比例传统影视的宽高比是 4:3，宽屏幕电影的宽高比是 1.85:1，高清晰度电视是 16:9，全景式电影是 2.35:14:3 (12:9)16:9高清电视高清晰度电视(High Definition Television)是具有正常视力的观众可得到与观看原始景物时的感受几乎相同的数字电视HDTV屏幕的宽高比均为16：9电视画面可用19201080像素和

20、1280720像素两种尺寸扫描方式为逐行扫描或隔行扫描HDTV格式720p格式：1280720，水平720线，逐行扫描，720p30fps， 720p60fps1080i格式：19201080，水平1080线，隔行扫描， 1080i60fps (每秒60场)1080p格式：19201080，水平1080线，逐行扫描， 1080p30fps， 1080p60fps超高清电视UHDTVUltra-high-Definition Television超高清电视UHDTV标清电视标准清晰度电视（Standard Definition Television，SDTV）是指电视图像的质量比HDTV制数字电

21、视质量低的电视，分辨率相当于PAL制或NTSC制模拟电视的最好分辨率720576720480标准化分辨率格式（计算机）VGA=Video Graphics Array 640*480SVGA=Super Video Graphics Array 800*600XGA=Extended Graphics Array 1024*768SXGA=Super Extended Graphics Array 1280*1024SXGA+ = 1400*1050UXGA=Ultra Extended Graphics Array 1600*1200信号量化采样后所得到的模拟信号在时间-空间上是离散的，但在

22、幅度上仍然是连续的量化：将无限级的信号幅度变换成有限级的数码表示量化器：按照一定规则对采样信号的幅度值作近似表示，变成有限离散值均匀量化对于均匀量化一般量化值都用二进制来表示，如果用B个二进制表示量化值，即量化字长，那么一般将幅度值划分为2B个等分区间111-4 -3 -2 -100101110011010001000-1/2 -3/2 -5/2 -7/2 7/2 5/2 3/2 1/2 2 3 4信号量化在时间轴的任意一点上量化后的信号电平与原模拟信号电平之间在大多数情况下总是存在有一定的误差，量化所引入的误差是不可避免的同时也是不可逆的由于信号的随机性这种误差大小也是随机的，这种表现类似于

23、随机噪声效果，具有相当宽度的频谱，因此我们又把量化误差称为量化噪声信号量化如果视频信号量化比特率为8比特，信号就有256个量化值若最大信号正好用足8比特的话，小于1/256最大值的信号就只能当0处理了而且每两个相邻数字的差距也必需大于1/256最大值才能分得开，当两个原来不同的数值用同一个二进制值来表示时，实际数值与记录数值之差就成为量化噪声信号量化所以，量化比特率已决定了整个系统的理想状态下的最小噪声、动态范围和信噪比，模拟信号在理想状态是没有这种限制的非均匀量化基于人的视觉特性，对于人眼不敏感的部分不需要进行过细的分层，只需进行粗量 化而对人眼敏感的部分，就需要进行较细的分层，即需进行细量

24、化2.5 数字视频的采集2.5.1 视频采集卡2.5.2 数字摄像机2.5.3 摄像头2.5.1 视频采集卡系统从模拟设备中获取数字视频：首先是提供模拟视频输出的设备；然后是可以对模拟视频信号进行采集的设备；最后，是接收和记录编码后的数字视频数据的设备视频采集卡系统提供模拟视频输出的设备有录像机、摄像机、电视机等对模拟视频信号进行采集、量化和编码的设备由视频采集卡来完成最后，由计算机接收和记录编码后的数字视频数据视频采集卡(Video capture card)在这一过程中起主要作用的是视频采集卡，它不仅提供接口以连接模拟视频设备和计算机，而且具有把模拟信号转换成数字信号的功能视频采集卡视频采

25、集卡是安装在计算机扩展槽上的一个板卡它可以汇集多种视频源的信息，对被捕捉和采集到的模拟视频进行数字化、冻结、存储、输出及其他处理操作，如编辑、修整、裁剪、按比例绘制、像素显示调整、缩放、压缩等视频采集卡工作原理图视频采集卡的接口视频采集卡的接口包括与模拟视频设备的接口、与PC的接口可接收来自摄像机、录像机、VCD机等多种视频信号，通过软件可选择所需的视频源目前PC视频采集卡通常采用32位的PCI总线接口，插到PC主板的扩展槽中，以实现采集卡与PC的通信与数据传输视频采集卡的接口视频采集卡至少要具有一个复合视频接口（Video In），以便与模拟视频设备相连高性能的采集卡一般具有一个复合视频接口

26、和一个S-Video接口；一般的采集卡都支持PAL和NTSC两种电视制式视频采集卡的实时采集处理由于模拟视频输入端可以提供不间断的信息源，视频采集卡要采集模拟视频序列中的每帧图像，并在采集下一帧图像之前把这些数据传入PC系统因此，实现实时采集的关键是每一帧需要多少处理时间如果每帧视频图像的处理时间超过相邻两帧之间的相隔时间，则会出现数据的丢失，即丢帧现象视频采集卡的压缩功能视频采集卡可以把获取的视频序列进行压缩处理也就是说，视频序列的获取和压缩是在一起完成的，免除了再次进行压缩处理的不便不同档次的采集卡具有不同质量的采集压缩性能视频采集卡的驱动和应用程序视频采集卡一般都配有硬件驱动程序以实现P

27、C对视频采集卡的控制和数据通信根据不同的视频采集卡所要求的操作系统环境，各有不同的驱动程序只有把采集卡插入了PC的主板扩展槽并正确安装了驱动程序以后才能正常工作外置式与内置式外置式的USB接口视频采集卡和内置式的PCI接口视频采集卡内置式的优势：首先，价格要比外置的便宜很多其次，它不会占用外部的桌面空间，现在在电脑桌上有太多的外设，如果摆放的过多也是件比较烦人的事情外置式与内置式其三，内置视频卡不需外接电源，不仅省去了一个电源插头的位置，也减少了电源连接线过多而显得十分杂乱的情况，而且还可以避免因市电电压不稳而带来的视频质量下降的情况发生外置式与内置式内置式视频卡弱点： 易受到电脑内部元器件的

28、电磁干扰，引起其播放质量下降在板卡安装时要比外置的麻烦一些，必须要拆开机箱才可以进行安装在安装驱动或软件时也容易和其他电脑设备发生冲突2.5.2 数字摄像机数字摄像机就是DV、Digital Video数码摄像机进行工作的基本原理简单说就是光-电-数字信号的转变与传输通过感光元件将光信号转变成电流，再将模拟电信号转变成数字信号，并由专门的芯片进行处理和过滤后得到的视频信息数字摄像机数字摄像机的图像传感器件能把光线转变成电荷，通过模数转换器（ADC）芯片转换成数字信号，主要有两种：一种是广泛使用的CCD（Charge-coupled Device，电荷藕合器件）；另一种是CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）按使用用途可分为：广播级机型、专业级机型、消费级机型；按存储介质可分为：光盘式、硬盘式、存储卡式按照使用用途分类 1、广播级机型 2、专业级机型 3、消费级机型 1、光盘式 2、硬盘式 3、存储卡式 按照存储介质分类图像传感器件CCD电荷耦合器件、 CMOS互补金属氧化物半导体 CCD的优点是灵敏度高，噪音小，信噪比大，但是生产工艺复杂、成本高、功耗高CMOS的优点