数字视频处理DigitalVideoProcessing课件

课程要求36学时10-18周Attendence:10%Discussion:10%Presentation:30%ThemePapers:50%FreeTalk&DiscussWhatisVideo?Whatcanwedowithvideos?

参考书教材：《视频处理与通信》，YaoWang等，电子工业出版社。英文版：VideoProcessingandCommunications.其他参考书：《通信中的视频信号处理》，郑宝龙等，电子工业出版社。《数字视频处理》，黎洪松，北京邮电大学出版社。《压缩视频通信》，A.H.萨达卡课程内容视频技术概述第1章：视频的形成、感觉和表示第2章：视频信号的傅立叶分析和人类视觉系统的频率响应第5章：视频模型第6章：二维运动估计视频编码第8章：视频编码基础第9章：基于波形的视频编码第10章：基于内容的视频编码第11章：可分级视频编码视频通信第13章：视频压缩标准第14章：视频通信中的差错控制我们目前的工作小波编码(图像&视频)多描述视频编码精细可分级（细粒度可分级）视频编码拥塞检测与拥塞控制Internet流视频的信源——信道联合编码基于对象的视频编码人脸检测、人脸识别视频监控等第1章视频形成，感知和表示

1.1彩色感觉和规定•光和彩色•人的彩色感觉•三基色彩色混合理论三基色表示亮度和色度表示•彩色坐标变换光是一种电磁波光的能量：用光通量测量，单位：瓦特，是能量发射的速率光的亮度：瓦特/立体角。照明与反射光源照明光源:发光(如：太阳，灯泡，电视屏)可见的颜色取决于发射频率服从相加规律R+G+B=White反射光源:反射入射光(例：染料，衣服)可见的颜色取决于反射频率

(emittedfreq=notabsorbedfreq.)服从相减规律R+G+B=Black眼睛生理解剖虹膜瞳孔巩膜巩膜虹膜角膜瞳孔透镜结膜玻璃体脉络膜视神经视网膜中区视网膜照相机与人眼睛的比较照相机眼睛透镜角膜快门虹膜，瞳孔底片、CCD视网膜传输电缆视神经巩膜虹膜角膜瞳孔透镜结膜玻璃体脉络膜视神经视网膜中区视网膜1.1.2人类的彩色感觉视网膜的感光细胞锥状细胞(Cones)：亮光下(白天)：可感受彩色色调分为3个主要的感觉类别：红绿蓝。65%红，33%绿，2%蓝（但蓝锥状细胞对蓝光更敏感）不同的锥状细胞有不同的频率响应特性人类的彩色感觉的三感光原理杆状细胞(Rods)：弱光下(夜晚)：只能感受到亮度人眼的彩色感觉属性：亮度(Luminance/brightness)色度(Chrominance)：由光的波长成分决定色调(Hue/colortone)：色度饱和度(Saturation/colorpurity)：纯度锥状细胞的频率响应特性

三种类型的感光细胞组合cr,cg,cb，可使人类感知任何彩色。锥状细胞的频率响应和亮度效率特性

同样大小的能量在不同波长会产生不同的亮度感觉。绿色波长对亮度感觉贡献最大。色调表示（色轮）1.1.3彩色混合的三基色原理发光源的三基色：红绿蓝(Red,Green,Blue/RGB)彩色监视器通过不同的电子枪轰击红绿兰磷光粉发出三种光反射光源的三基色：青紫黄彩色打印机采用青紫黄黑四种油墨彩色混合的三基色原理任意颜色可通过三种基本颜色按适当比例混合产生RGBvsCMY彩色表示方法给出三色激励值以及相应的三基色系统RGBCMY给出亮度与色度HSI(Hue,saturation,intensity)YIQ(用于NTSC彩色电视系统)YCbCr（YUV）(用于PAL彩色电视系统)给出各象素点的值:每种彩色分量8位，一个象素点24位可表示16000000种颜色存储1幅1Kx1KRGB彩色图片需要约3MB内存HSI表示法彩色坐标变换两种三基色系统间的坐标变换是线性的

(变换矩阵为3x3矩阵)基色系统与YIQ/YUV彩色系统间的坐标变换也是线性的Y

=

0.299*R+0.587*G+0.114*B

Cb=-0.169*R-0.331*G+0.500*B

Cr=

0.500*R-0.419*G-0.081*B基色系统与HSI/Lab间的变换是非线性的（a:正红，负绿，b:正黄，负蓝）多种彩色空间（Search）1.2视频的捕捉与显示1.2.1彩色视频成像原理对自然图像，需要有一个光源，设波长为单点入设光强：E(x,y,z,)其中(x,y,z）为该点的世界坐标反射函数r(x,y,z,)从一点反射到照相机到光：c(x,y,z,)=E(x,y,z,)

r(x,y,z,)1.2.1彩色视频成像原理（cnt.）照相机接收到的光强：必须考虑照相机的吸收系数ac()——相当于人类的相对亮度效率函数

可视为从3D到2D的投影：这种投影是非线性的，通常有两种形式：–透视投影(Perspectiveprojection)–平行投影(Parallelprojection)透视投影模型倒立实像1.2.2视频捕捉要有3个传感器高档的数字相机通常含有复杂的数字信号处理1.2.3视频显示两类显示设备：CRT（阴极射线管）：电子枪向屏幕发射电子束以激励荧光粉，其强度正比于在相应位置的视频信号强度。LCD（液晶显示器）：通过施加电场改变光学特性进而改变液晶的亮度或彩色。都是RGB发光器件1.2.4复合视频和分量视频分量视频：三种颜色分量分别存储和传输运用RGB或YIQ(YUV)彩色坐标新的数字视频格式(YCrCb)Betacam(专业的磁带录音机)运用的就是这种格式合成视频将RGB转换成YIQ(YUV)

将YIQ多路复用到单一信号中运用于大多数的模拟视频设备S-video（二分量视频）分别存储Y和C(QAMofIandQ)分量运用于专业视频设备高端显示器可以获得以上三种视频1.2.5伽玛校正摄像机摄取的视频反映了成像景物的彩色值。事实上，多数摄像机输出的信号与实际的彩色值成非线性关系，用伽玛系数来表示。为了呈现真实的彩色，要分别在摄像机输出和显示器输入端进行“伽玛校正”。1.3模拟视频视频光栅逐行与隔行扫描模拟电视系统扫描光栅现实世界的场景都是连续的3-D信号(时间，水平和垂直位置)模拟视频模拟视频存放方式：光栅。形成：时间采样产生一个连续的图象序列为了较好地描述运动，要求：帧速

>=30帧/s垂直扫描形成光栅：用一序列扫描线表示一帧图象扫描线数取决于最大垂直频率和观察距离。NTSC系统的扫描线数为525线模拟视频光栅=用连续帧的扫描线产生的1-D信号两种扫描方式：逐行扫描与隔行扫描

逐行扫描

隔行扫描

水平回扫 第1场 第2场

垂直回扫

隔行扫描的作用：在给定的数据传输速率的条件下，对时间与垂直分辨率进行平衡。牺牲垂直分辨率来提高时间分辨率。1.4模拟彩色电视系统彩色电视广播与接收为什么不直接用RGB进行传输?R,G,B分量有相关性，直接传送R,G,B分量冗余度大，不能有效利用带宽RGB变换到YC1C2的好处去相关:Y,C1,C2是非相关的C1与C2需要较窄的带宽Y(亮度)分量可作为黑白电视广播NTSC的YIQI:橙(orange)到青(cyan)Q:绿(green)到紫(purple)人眼对Q分量较不敏感，可以进一步压缩带宽相位=Arctan(Q/I)=色调,幅度=(I2+Q2)=饱和度色调比饱和度有更高的精度RGB与YIQ间的变换亮度信号与色度信号的合成色度信号比亮度信号频带宽度窄，而且人眼对频率较高的颜色较不敏感

I与Q分量用QAM调制到同一个子(彩色)载波上调制后的色度谱位于亮度谱的高端色度谱的峰值与亮度谱的峰值相间

fc=455fl/2亮度、色度和伴音的合成频谱正交幅度调制(QAM)把两路信号调制到两个同频率、相位差为90o

度的载波上为了正确解调，要求有载波同步信号。措施：增加色同步脉冲增加色同步脉冲复合视频的合成亮度/色度分离低档电视接收机通常采用截止频率为3MHz的低通滤波器分离亮度和色度信号。缺点：I分量的高频成分

(2to3Mhz)还存在亮度信号中。提取的色度分量包含亮度的高频分量

(fc附近的亮度能量不可忽略)结果：彩色失真措施：利用两个信号中谐波频率交错的优点，采用梳状滤波器滤除色度分量的相应谐波以提高图象质量电视接收机的亮度、色度分量电路的典型框图黑白电视机能看到什么黑白电视接收机采用截止频率为4.2MHz的LPF抽取复合视频信号(亮度＋调制到fc

=3.58MHz的I、Q信号)相对人眼来说，调制的色度信号频率很高(227.5周/行)，因此多数彩色信号会被眼睛滤除，但还可能产生失真实际黑白电视接收机的LPF过渡带较宽，在fc

处已有较大的衰减，输出很小，因此彩色信号引起的失真不大。彩色电视广播与接收3种不同的彩色电视制式比较电视制式 NTSCPAL SECAM场率(Hz) 59.95(60)50 50每帧行数

525 625 625行速率

(Line/s) 15,750 15,625 15,625采用的彩色坐标 YIQ YUV YDbDr亮度带宽

(MHz) 4.2 5.0/5.5 6.0色度带宽

(MHz) 1.5(I)/0.5(Q)1.3(U,V) 1.0(U,V)色副载波

(MHz) 3.58 4.434.25(Db),4.41(Dr)色度调制方式 QAM QAM FM语音载波

4.5 5.5/6.0 6.5总带宽

(MHz) 6.0 7.0/8.0 8.0

三种制式使用分布1.5数字视频1.对模拟视频光栅进行采样/量化即可获得数字视频

BT.601视频格式2.其他数字视频格式及其应用1.5.1符号帧率行数每行的样点数时间采样间隔（帧间隔）垂直采样间隔水平采样间隔一个像素值的比特数数字视频的码率（比特/秒bps）色度亚采样格式1.5.3数字视频格式VideoFormat Y尺寸 彩色采样 帧率 原码率(Mbps)地面、有线及卫星HDTV,MPEG2视频,20-45MbpsSMPTE296M 1280x7204:2:0 24P/30P/60P 265/332/664SMPTE295M 1920x10804:2:0 24P/30P/60I 597/746/746视频制作,MPEG2,15-50MbpsBT.601 720x480/5764:4:4 60I/50I 249BT.601 720x480/5764:2:2 60I/50I 166高质量视频(DVD,SDTV),MPEG2,4-10MbpsBT.601 720x480/5764:2:0 60I/50I 124中质量视频MPEG1,1.5MbpsSIF 352x240/2884:2:0 30P/25P 30ISDN/Internet视频会议,H.261/H.263,128-384KbpsCIF 352x2884:2:0 30P