数字视频处理2325

1、会计学1数字视频处理数字视频处理2325n 在隔行扫描方式中，电子束扫完第1行后从第3行开始扫，接着扫第5行，7行，一直扫到最后一行n 奇数行扫完后以同样的方式扫描偶数行，这样就完成了一帧的扫描n 在隔行扫描中，无论是摄像机还是显示器，获取或显示一幅图像都要扫描两遍才得到一帧完整的图像n 每一遍隔行扫描行的集合称为场，因此，一帧（Frame）由两个场组成，顶场（奇数行）信号和底场（偶数行）信号n 众所周知，帧率只要高于一定标准，就达到流畅n 考虑到交流电频率50或60Hz，电视标准制订者确定了25或30fps的帧率n 如果电视机采用逐行扫描，每秒扫描25或30帧行不行呢？n 理论上可以，但实际

2、不行n 原因在于，在电子束的照射下，CRT的荧光粉会立即发光，但只要电子束一离开，几乎瞬间就会暗下来n 人眼虽然看不到这么明显的变化，但仍然会有亮度衰减的感觉n 可以想象，如果采用30fps扫描方式显示，当电子束从屏幕的上半部分移到下半部时，屏幕上半部分的亮度就有了可以观察到的衰减，于是画面下半部分显得更亮n 为了解决这个问题，最佳的办法是加倍刷新率，改成60fps扫描，因为在60分之一秒内，人眼能感觉到的亮度衰减就很小了n 可是这样做，单位时间内扫描的总行数会加倍，那么水平扫描的速度就要加快。如此一来技术要求就会过高，以当时的条件做不到n 于是标准制订者想到了一个折衷的办法，先花60分之一秒

3、扫描奇数行(顶场)，然后再用后60分之一秒扫描偶数行(底场)，两者互补成完整的画面n 虽然扫描底场时，顶场的亮度衰减了，但是由于亮暗的部分交织在一起，反而不易察觉n An interlaced camera captures 60 (or 50) unique fields per second. If a scene contains an object in motion with respect to the camera, each field carries half the objects spatial information, but information in the se

4、cond field will be displaced according to the objects motion.n Consider the test scene sketched in the figure, comprising a black background partially occluded by a white disk that is in motion with respect to the camera.n The first and second fields imaged from this scene are illustrated respective

5、ly. (The example neglects capture blur owing to motion during the exposure.) The image in the second field is delayed with respect to the first by half the frame time (that is, by 160 s or 150 s); by the time the second field is imaged, the object has moved.n Upon interlaced display, the time sequen

6、ce of interlaced fields is maintained: No temporal or spatial artifacts are introduced. However, in the presence of motion, simply stitching two fields into a single frame produces spatial artifacts such as that sketched in the figure. Techniques to avoid such artifacts is deinterlacing.n 发展到液晶、等离子等

7、显示设备后，因为所的点都是同时发光，且光度始终固定，不存在CRT遇到的相关问题，所以逐行扫描开始大范围应用n 在逐行扫描方式中，电子束从显示屏的左上角一行接一行地扫到右下角，在显示屏上扫一遍就显示一幅完整的图像n 液晶和等离子电视、电脑显示器n 逐行扫描优点：图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换，能改善视频压缩效率等；其缺点是：数码率高，行扫描频率增高，硬件难度加大n 隔行扫描能节省带宽，且硬件实现简单n NTSC(National Television Standard Committe)是美国国家电视系统委员会在1953年制定的一种彩色电视制式，是目前常用的电视制式，

8、在美国、日本等地广为使用n 它定义了彩色电视机对于所接受的电视信号的接收方式、彩色的处理方式、屏幕的扫描频率等等n 指标：525行/帧，30帧/秒(fps)n 在每场的开始部分保留20条扫描线作为控制信息，因此只有485条线的可视数据n PAL(Phase Alternate Lock)是联邦德国1962年制定的一种彩色电视制式，我国大陆和大部分西欧国家都使用这种制式n 625行/帧，25帧/秒n 每帧有575行有图像显示n NTSC制和PAL制是互不兼容的电视制式n NTSC制和PAL制都是彩色和黑白兼容的制式，这里的“兼容”有两层意思： 一是指黑白电视机能接收彩色电视信号，显示的是黑白图像

9、 另一层意思是彩色电视机能接收黑白电视信号，显示的也是黑白图像，这叫逆兼容性n 必需采用相同的一些基本参数，如扫描方式、扫描行频、场频、帧频、同步信号、图像载频、伴音载频等等n 需要将摄像机输出的三基色信号转换成一个亮度信号，以及代表色度的两个色度信号，并将它们组合成一个彩色全电视信号进行传送n 在接收端，彩色电视机将彩色全电视信号重新转换成三个基色信号，在显像管上重现发送端的彩色图像，黑白电视机只显示亮度信号n 也有全制式的电视机，这为处理和转换不同制式的电视信号提供了极大的方便n 全制式电视机可在各国各地区使用n 复合视频信号n S-Video视频信号n 分量视频信号n 定义为包括亮度和色

10、度的单路模拟信号，即从彩色全电视信号中分离出伴音后的视频信号，此时色度信号与亮度信号混合在一起n 由于复合视频信号的传输仍然是一种亮度色度混合的视频信号，仍然需要显示设备对其进行亮/色分离和色度分离才能成像，这种先混合再分离的过程会造成彩色信号的损失，色度信号和亮度信号也会有很大的机会相互干扰从而影响最终输出的视频n 又称为AV端子或Video端子n 分离视频信号S-Video(Separated Video)是亮度和色度分离的一种视频信号，用两路导线分别传输，并可以分别记录在模拟磁带的两路磁轨上n 这种信号不仅其亮度和色度都具有较宽的带宽，而且由于亮度和色度分开传输，可以减少其互相干扰n 与

11、复合视频信号相比，S-Video可以更好地重现色彩n S-Video信号使用单独的两条信号电缆线，一条用于亮度信号，另一条用于色度信号，这两个信号称为Y/C信号n S-Video使用4针连接器 n 分量视频信号(component video signal)是指每个分量（Y、U、V或Y、Cb、Cr）作为独立的视频信号n 使用分量视频信号是表示彩色的最好方法，但需要比较宽的带宽和同步信号n 分量信号实际上也是亮色分离的信号，与S-Video不同的是两个色度信号不用分离n 要让计算机处理视频信息，首先要解决的是视频数字化的问题n 视频数字化是将模拟视频信号经模数转换转为计算机可处理的数字信号，计算

12、机要对输入的模拟视频信息进行采样与量化，并经编码使其变成数字化视频n 1. 从复合彩色电视中分离出各个分量信号，然后数字化，如录像带、摄像机等的电视信号n 对这类信号的数字化，通常的做法是首先把模拟的彩色电视信号分离成YCbCr等彩色空间中的分量信号，然后用三个A/D转换器分别对它们数字化 n 2.首先用一个高速A/D转换器对彩色电视信号进行数字化，然后在数字域中进行分离，以获得所希望的YCbCr等分量数据n 按照ITU-R BT.601标准，亮度信号的采样频率为13.5MHzn 对PAL制，亮度采样频率62525N=15625N=13.5 MHz N=864，为每一扫描行上的采样数目n 对N

13、TSC制，亮度采样频率52529.97N=15734N=13.5 MHz, N=858n 对PAL制的亮度信号，每一条扫描行采样864个样本n 对NTSC制的亮度信号，每一条扫描行采样858个样本n 对所有的制式，每一扫描行的有效样本数均为720个n 两种采样方法： 一种是使用相同的采样频率对图像的亮度信号和色度信号进行采样 另一种是对亮度信号和色度信号分别采用不同的采样频率进行采样n 如果对色度信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为子采样(Subsampling) n 人眼对色度信号的敏感程度比对亮度信号的敏感程度低，利用这个特性可以把图像中表达色度的信号去掉一些而使

14、人不察觉n 所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量n 子采样也就是利用人的视觉系统这个特性来达到压缩彩色电视信号的目的n 4:4:4 这种采样格式不是子采样格式，它是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、4个Cr色度样本和4个Cb色度样本，这就相当于每个像素用3个样本表示n 4:2:2 这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、2个Cr色度样本和2个Cb色度样本，平均每个像素用2个样本表示n 4:1:1 这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、1个Cr色度样本和1个Cb色度样本，平均每个像素用

15、1.5个样本表示 n 4:2:0 这种子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本、1个Cr色度样本和1个Cb色度样本，平均每个像素用1.5个样本表示n ITU-R BT.601标准使用了4:2:2采样结构n 亮度信号的采样频率为13.5MHz ，色度信号为6.75MHz采样格式采样格式信号形式信号形式采样频率采样频率样本数样本数/ /扫描行扫描行(MHz)NTSCPAL4:2:2Y13.5858(720)864(720)Cr6.75429(360)432(360)Cb6.75429(360)432(360)4:4:4Y13.5858(720)864(720)Cr13.

16、5858(720)864(720)Cb13.5858(720)864(720)n 公用中分辨率格式CIF（Common Intermediate Format）格式具有如下特性： 分辨率352288 使用非隔行扫描(non-interlaced scan) 使用1/2的PAL水平分辨率，即288线n 1/4公用中分辨率格式QCIF（Quarter-CIF）和SQCIF格式（Sub-Quarter Common Intermediate Format）CIF CIF QCIFQCIFSQCIFSQCIF行数行数/ /帧帧像素像素/ /行行行数行数/ /帧帧像素像素/ /行行行数行数/ /帧帧像素

17、像素/ /行行亮度亮度(Y)(Y)2882883523521441441761769696128128色度色度(Cb)(Cb)1441441761767272888848486464色度色度(Cr)(Cr)1441441761767272888848486464n 类似的格式定义还有4CIF（4CIF，704576或720576），都是以CIF格式为基准进行定义n 如果是NTSC制，则各种格式的288的倍数相应改为240的倍数n The choice of frame resolution depends on the application and available storage or

18、transmission capacity. For example, 4CIF is appropriate for standard-definition television and DVD-video; CIF and QCIF are popular for videoconferencing applications; QCIF or SQCIF are appropriate for mobile multimedia applications where the display resolution and the bitrate are limited.n 指视频图像的宽度和

19、高度之间的比例n 传统影视的宽高比是 4:3，宽屏幕电影的宽高比是 1.85:1，高清晰度电视是 16:9，全景式电影是 2.35:1n 高清晰度电视(High Definition Television)是具有正常视力的观众可得到与观看原始景物时的感受几乎相同的数字电视n HDTV屏幕的宽高比均为16：9n 电视画面可用19201080像素和1280720像素两种尺寸n 扫描方式为逐行扫描或隔行扫描n 720p格式：1280720，水平720线，逐行扫描，720p30fps， 720p60fpsn 1080i格式：19201080，水平1080线，隔行扫描， 1080i60fps (每秒60

20、场)n 1080p格式：19201080，水平1080线，逐行扫描， 1080p30fps， 1080p60fpsn Ultra-high-Definition Televisionn 标准清晰度电视（Standard Definition Television，SDTV）是指电视图像的质量比HDTV制数字电视质量低的电视，分辨率相当于PAL制或NTSC制模拟电视的最好分辨率n 720576n 720480n VGA=Video Graphics Array 640*480n SVGA=Super Video Graphics Array 800*600n XGA=Extended Graph

21、ics Array 1024*768n SXGA=Super Extended Graphics Array 1280*1024n SXGA+ = 1400*1050n UXGA=Ultra Extended Graphics Array 1600*1200n 采样后所得到的模拟信号在时间-空间上是离散的，但在幅度上仍然是连续的n 量化：将无限级的信号幅度变换成有限级的数码表示n 量化器：按照一定规则对采样信号的幅度值作近似表示，变成有限离散值n 对于均匀量化一般量化值都用二进制来表示，如果用B个二进制表示量化值，即量化字长，那么一般将幅度值划分为2B个等分区间111-4-4 -3 -3 -2

22、 -2 - -100101110011010001000-1/2 -1/2 -3/2 -3/2 -5/2 -5/2 -7/2 -7/2 7/2 7/2 5/2 5/2 3/2 3/2 1/2 1/2 2 2 3 3 4 4n 在时间轴的任意一点上量化后的信号电平与原模拟信号电平之间在大多数情况下总是存在有一定的误差，量化所引入的误差是不可避免的同时也是不可逆的n 由于信号的随机性这种误差大小也是随机的，这种表现类似于随机噪声效果，具有相当宽度的频谱，因此我们又把量化误差称为量化噪声n 如果视频信号量化比特率为8比特，信号就有256个量化值n 若最大信号正好用足8比特的话，小于1/256最大值的

23、信号就只能当0处理了n 而且每两个相邻数字的差距也必需大于1/256最大值才能分得开，当两个原来不同的数值用同一个二进制值来表示时，实际数值与记录数值之差就成为量化噪声n 所以，量化比特率已决定了整个系统的理想状态下的最小噪声、动态范围和信噪比，模拟信号在理想状态是没有这种限制的n 基于人的视觉特性，对于人眼不敏感的部分不需要进行过细的分层，只需进行粗量 化n 而对人眼敏感的部分，就需要进行较细的分层，即需进行细量化n 2.5.1 视频采集卡n 2.5.2 数字摄像机n 2.5.3 摄像头n 从模拟设备中获取数字视频：首先是提供模拟视频输出的设备；然后是可以对模拟视频信号进行采集的设备；最后，

24、是接收和记录编码后的数字视频数据的设备n 提供模拟视频输出的设备有录像机、摄像机、电视机等n 对模拟视频信号进行采集、量化和编码的设备由视频采集卡来完成n 最后，由计算机接收和记录编码后的数字视频数据n 在这一过程中起主要作用的是视频采集卡，它不仅提供接口以连接模拟视频设备和计算机，而且具有把模拟信号转换成数字信号的功能n 视频采集卡是安装在计算机扩展槽上的一个板卡n 它可以汇集多种视频源的信息，对被捕捉和采集到的模拟视频进行数字化、冻结、存储、输出及其他处理操作，如编辑、修整、裁剪、按比例绘制、像素显示调整、缩放、压缩等n 视频采集卡的接口包括与模拟视频设备的接口、与PC的接口n 可接收来自

25、摄像机、录像机、VCD机等多种视频信号，通过软件可选择所需的视频源n 目前PC视频采集卡通常采用32位的PCI总线接口，插到PC主板的扩展槽中，以实现采集卡与PC的通信与数据传输n 视频采集卡至少要具有一个复合视频接口（Video In），以便与模拟视频设备相连n 高性能的采集卡一般具有一个复合视频接口和一个S-Video接口；一般的采集卡都支持PAL和NTSC两种电视制式n 由于模拟视频输入端可以提供不间断的信息源，视频采集卡要采集模拟视频序列中的每帧图像，并在采集下一帧图像之前把这些数据传入PC系统n 因此，实现实时采集的关键是每一帧需要多少处理时间n 如果每帧视频图像的处理时间超过相邻两

26、帧之间的相隔时间，则会出现数据的丢失，即丢帧现象n 视频采集卡可以把获取的视频序列进行压缩处理n 也就是说，视频序列的获取和压缩是在一起完成的，免除了再次进行压缩处理的不便n 不同档次的采集卡具有不同质量的采集压缩性能n 视频采集卡一般都配有硬件驱动程序以实现PC对视频采集卡的控制和数据通信n 根据不同的视频采集卡所要求的操作系统环境，各有不同的驱动程序n 只有把采集卡插入了PC的主板扩展槽并正确安装了驱动程序以后才能正常工作n 外置式的USB接口视频采集卡和内置式的PCI接口视频采集卡n 内置式的优势： 首先，价格要比外置的便宜很多 其次，它不会占用外部的桌面空间，现在在电脑桌上有太多的外设

27、，如果摆放的过多也是件比较烦人的事情 其三，内置视频卡不需外接电源，不仅省去了一个电源插头的位置，也减少了电源连接线过多而显得十分杂乱的情况，而且还可以避免因市电电压不稳而带来的视频质量下降的情况发生n 内置式视频卡弱点： 易受到电脑内部元器件的电磁干扰，引起其播放质量下降 在板卡安装时要比外置的麻烦一些，必须要拆开机箱才可以进行安装 在安装驱动或软件时也容易和其他电脑设备发生冲突n 数字摄像机就是DV、Digital Videon 数码摄像机进行工作的基本原理简单说就是光-电-数字信号的转变与传输n 通过感光元件将光信号转变成电流，再将模拟电信号转变成数字信号，并由专门的芯片进行处理和过滤后

28、得到的视频信息n 数字摄像机的图像传感器件能把光线转变成电荷，通过模数转换器（ADC）芯片转换成数字信号，主要有两种：一种是广泛使用的CCD（Charge-coupled Device，电荷藕合器件）；另一种是CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）n 按使用用途可分为：广播级机型、专业级机型、消费级机型；按存储介质可分为：光盘式、硬盘式、存储卡式 1、光盘式 2、硬盘式 3、存储卡式 n CCD电荷耦合器件、 CMOS互补金属氧化物半导体 n CCD的优点是灵敏度高，噪音小，信噪比大，但是生产工艺复杂、成本高、功耗高n

29、CMOS的优点是集成度高、功耗低（不到CCD的1/3）、成本低，但是噪音比较大、灵敏度较低、对光源要求高n 在相同像素下CCD的成像往往通透性、明锐度都很好，色彩还原、曝光可以保证基本准确n 数字摄像机不仅能拍出不同效果的片段，还可以代替照相机拍照n 可以根据自己想要的拍摄效果场景模式，还有很多滤镜效果n 清晰度高：模拟摄像机记录模拟信号，所以视频分辨率不高n 无损复制：DV上记录的信号可以无数次地转录，视频质量丝毫也不会下降，这一点也是模拟摄像机所望尘莫及的n 体积小、重量轻：和模拟摄像机相比，DV机的体积大为减小，重量也大为减轻n 在摄像时，使用者通过DV的液晶显示屏观看要拍摄的视频，拍摄后可以马上看到拍好的视频n DV可以与计算机连接，以读取DV中的内容，继而对这些内容进行后期处理，如编辑等，还可以刻成VCD或DVD保存起来n DV还可以与电视机连接，不仅能在电视机上读取DV带中的内容，还能录制电视节目n 数字摄像机以数字形式记录的视频信号，如能通过接口卡与PC相连接，将信号输入计算机硬盘，就可方便地进行摄像后编辑和多种特技处理n 摄像头（Camera）利用光电技术采集影像，然后通过内部电路转换成能够被计算机所处理的数字信号，它作为一种视频输入设备，被广泛的运用于视频会议、远程医疗及实时监控等方