多媒体课程讲学之多媒体硬件环境(9).ppt

第5章数字视频基础 学习目标掌握视频的基本信号类型掌握电视图像数字化的基本方法掌握图像子采样的基本概念掌握电视图像的数据率计算方法了解数字视频压缩的算法了解常见的视频编辑软件 视频 Video 其内容随时间变化的一组动态图像 所以又叫运动图像或活动图像 它是一种信息量最丰富 直观 生动 具体的承载信息的媒体 视频与图像既有联系又有区别 静止的图片称为图像 Image 运动的图像称为视频 Video 视频信号具有以下特点 1 内容随时间的变化而变化 2 伴随有与画面同步的声音 视频定义 模拟视频 AnalogVideo 一种用于传输图像和声音的随时间连续变化的电信号 模拟视频信号的缺点是 视频信号随存储时间 拷贝次数和传输距离的增加衰减较大 产生信号的损失 不适合网络传输 也不便于分类 检索和编辑 数字视频 DigitalVideo DV 要使计算机能够对视频进行处理 必须把模拟视频信号进行数字化 形成数字视频信号 视频信号数字化以后 有着模拟信号无可比拟的优点 再现性好 便于编辑处理 适合于网络应用 模拟视频与数字视频 电视扫描 电视视频信号是由视频图像转换成的电信号 任何时刻 电信号只有1个值 是一维的 而视频图像是二维的 将二维视频图像转换为一维电信号是通过光栅扫描实现的 而视频的显示则是通过在监视器上水平和垂直方向的扫描来实现扫描方式 逐行扫描 每一帧画面一次扫描完成 隔行扫描 每一帧画面由两次扫描完成 每次扫描组成一个场 即一帧由两个场组成 5 1电视制式及视频信号类型5 1 1电视制式 逐行扫描 隔行扫描 隔行扫描的一帧图像由两部分组成 一部分是由奇数行组成 称奇数场 另一部分是由偶数行组成 称为偶数场 两场合起来组成一帧 电视扫描参数 行频fH 每秒钟扫描的行数场频ff 每秒钟扫描的场数帧频fF 每秒扫描的帧数 常用电视制式 彩色电视制式 即彩色电视的视频信号标准 定义了彩色电视机对于所接受的电视信号的解码方式 色彩处理方式和屏幕的扫描频率 世界上现行的彩色电视制式有三种 NTSC制 正交平衡调幅制 美国 加拿大等大部分西半球国家 以及日本 韩国等国采用PAL制 逐行倒相正交平衡调幅制 德国 英国等一些西欧国家 以及中国 朝鲜等国家采用SECAM制 顺序传送彩色与存储制 法国 苏联及东欧国家采用这种制式 PAL电视制式的特性 625行 扫描线 帧 25帧 秒 40ms 帧 高宽比 aspectratio 4 3隔行扫描 2场 帧 312 5行 场颜色模型 YUV NTSC制的扫描特性 525行 帧 30帧 秒 29 97fps 33 37ms frame 高宽比 电视画面的长宽比 电视为4 3 电影为3 2 高清晰度电视为16 9 隔行扫描 一帧分成2场 field 262 5线 场在每场的开始部分保留20条扫描线作为控制信息 因此只有485条线的可视数据 Laserdisc约 420线 S VHS约 320线每行63 5微秒 水平回扫时间10微秒 包含5微秒的水平同步脉冲 所以显示时间是53 5微秒颜色模型 YIQ SECAM制的扫描特性 与PAL制类似625行 帧 25帧 秒高宽比 4 3隔行扫描 2场 帧 312 5行 场颜色模型 YUV与PAL制的区别色度信号为频率调制 FM 色差信号 红色差 R Y 和蓝色差 B Y 信号按行的顺序传送 5 1 2视频信号类型 复合视频 将亮度和色度信号采用频谱间置方法复合在一起 主要缺点 容易导致亮色串扰 清晰度降低等问题 接口特性 传输介质 单根带屏蔽的同轴电缆传输阻抗 75欧姆常用接头 BNC接头 莲花 RCA 接头接线标准 插针 同轴信号线 外壳公共地 屏蔽网线 1 复合视频信号 分量电视信号 componentvideosignal 是指每个基色分量作为独立的电视信号 每个基色既可以分别用R G和B表示 也可以用亮度 色差表示 如Y I和Q Y U和V 使用分量电视信号是表示颜色的最好方法 但需要比较宽的带宽和同步信号 2 分量视频信号 S Video Separatedvideo VHS 是亮度和色差分离的一种电视信号 是分量模拟电视信号和复合模拟电视信号的一种折中方案 单独两条信号电缆线 一条用于亮度信号 另一条用于色差信号 这两个信号称为Y C信号 主要优点 减少亮度信号和色差信号之间的交叉干扰 不需使用梳状滤波器来分离亮度信号和色差信号 这样可提高亮度信号的带宽 3 S Video信号 S端子视频信号 S video连接器 5 2电视图像数字化5 2 1数字化方法 在大多数情况下 数字电视系统都希望用彩色分量来表示图像数据 如用YCbCr YUV YIQ或RGB彩色分量 因此 电视图像数字化常用 分量数字化 表示对彩色空间的每一个分量进行数字化 电视图像数字化常用的方法有两种 先从复合彩色电视图像中分离出彩色分量 然后数字化 如录象带 激光视盘 摄象机等的电视信号 即首先把模拟的全彩色电视信号分离成YCbCr YUV YIQ或RGB彩色空间中的分量信号 然后用三个A D转换器分别对它们数字化 首先用一个高速A D转换器对彩色全电视信号进行数字化 然后在数字域中进行分离 以获得所希望的YCbCr YUV YIQ或RGB分量数据 5 2 2数字化标准 20世纪80年代初 国际无线电咨询委员会制定了彩色电视图像数字化标准 称为CCIR601标准 ITU RBT 601标准 标准规定了彩色电视图像转换成数字图像时使用的采样频率 RGB和YCbCr 或者写成YCBCR 两个彩色空间之间的转换关系等 彩色空间之间的转换Y 0 299R 0 587G 0 114BCr 0 500R 0 4187G 0 0813B 128Cb 0 1687R 0 3313G 0 500B 采样频率 CCIR为NTSC制 PAL制和SECAM制规定了共同的电视图像采样频率 这个采样频率也用于远程图像通信网络中的电视图像信号采样 对PAL制 SECAM制 采样频率fs为 fs 625 25 N 15625 N 13 5MHz N 864其中 N为每一扫描行上的采样数目 对NTSC制 采样频率fs为fs 525 29 97 N 15734 N 13 5MHz N 858其中 N为每一扫描行上的采样数目 彩色电视数字化参数 CIF QCIF和SQCIF标准格式 标准化格式CCITT规定了称为公用中分辨率格式CIF 1 4公用中分辨率格式QCIF和SQCIF格式CIF格式具有如下特性 电视图像的空间分辨率为家用录像系统 VideoHomeSystem VHS 的分辨率 即352 288 使用非隔行扫描 non interlacedscan 使用NTSC帧速率 电视图像的最大帧速率为30000 1001 29 97幅 秒 使用1 2的PAL水平分辨率 即288线 CIF和QCIF相关格式的参数 5 2 3图像子采样 两种采样方法 一种是使用相同的采样频率对图像的亮度信号和色差信号进行采样另一种是对亮度信号和色差信号分别采用不同的采样频率进行采样如果对色差信号使用的采样频率比对亮度信号使用的采样频率低 这种采样就称为图像子采样 subsampling 图象子采样的压缩特性 一是人眼对色度信号的敏感程度比对亮度信号的敏感程度低 利用这个特性可以把图像中表达颜色的信号去掉一些而使人不察觉二是人眼对图像细节的分辨能力有一定的限度 利用这个特性可以把图像中的高频信号去掉而使人不易察觉 子采样也就是利用人的视觉系统这两个特性来达到压缩彩色电视信号 子采样的格式 4 4 4这种采样格式不是子采样格式 它是指在每条扫描线上每4个连续的采样点取4个亮度Y样本 4个红色差Cr样本和4个蓝色差Cb样本 这就相当于每个像素用3个样本表示 4 2 2这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本 2个红色差Cr样本和2个蓝色差Cb样本 平均每个像素用2个样本表示 4 1 1这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本 1个红色差Cr样本和1个蓝色差Cb样本 平均每个像素用1 5个样本表示 4 2 0这种子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本 1个红色差Cr样本和1个蓝色差Cb样本 平均每个像素用1 5个样本表示 彩色图象YCrCb样本空间位置 4 4 4子采样格式 4 4 4这种采样格式不是子采样格式 它是指在每条扫描线上每4个连续的采样点取4个亮度Y样本 4个红色差Cr样本和4个蓝色差Cb样本 这就相当于每个像素用3个样本表示 4 2 2子采样格式 4 2 2这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本 2个红色差Cr样本和2个蓝色差Cb样本 平均每个像素用2个样本表示 4 1 1子采样 4 1 1这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本 1个红色差Cr样本和1个蓝色差Cb样本 平均每个像素用1 5个样本表示 4 2 0子采样 4 2 0这种子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本 1个红色差Cr样本和1个蓝色差Cb样本 平均每个像素用1 5个样本表示 MPEG 1标准 4 2 0子采样 续 MPEG 2标准 5 2 4电视图象数据率 ITU RBT 601标准数据率在PAL NTSC和SECAM彩色电视制之间确定一个共同的数字化参数使用4 2 2的采样格式 亮度信号Y的采样频率选择为13 5MHz s 而色差信号Cr和Cb的采样频率选择为6 75MHz s 亮度 Y 858样本 行 525行 帧 30帧 秒 10比特 样本 135兆比特 秒 NTSC 864样本 行 625行 帧 25帧 秒 10比特 样本 135兆比特 秒 PAL Cr R Y 429样本 行 525行 帧 30帧 秒 10比特 样本 68兆比特 秒 NTSC 432样本 行 625行 帧 25帧 秒 10比特 样本 68兆比特 秒 PAL Cb B Y 429样本 行 525行 帧 30帧 秒 10比特 样本 68兆比特 秒 NTSC 432样本 行 625行 帧 25帧 秒 10比特 样本 68兆比特 秒 PAL 总计 27兆样本 秒 10比特 样本 270兆比特 秒 数字电视信号数据率 如屏幕分辨率为720 x480 子采样是4 2 2则亮度 Y 720 480 30 10 104Mb s NTSC 720 576 25 10 104Mb s PAL 色差 Cr Cb 2 360 480 30 10 104Mb s NTSC 2 360 576 25 10 104Mb s PAL 总计 207Mb s如果每个样本的采样精度由10比特降为8比特 彩色数字电视信号的数据传输率就降为166Mb s 有效数字电视信号数据率 VCD数据率估算 Video CD存储器来存储数字电视 数据传输率可达到1 4112Mb s 其中电视信号的数据传输率为1 15Mb s如果存储166Mb s的数字电视信号就需要对它进行高度压缩 压缩比高达166 1 15 144 1把NTSC和PAL数字电视转换成公用中分辨率格式CIF的数字电视 采用4 2 0 相当于VHS VideoHomeSystem 的质量 352 240 30 8 1 5 30Mb s NTSC 352 288 25 8 1 5 30Mb s PAL 彩色电视信号存储到CD盘上所需要的压缩比为 30 1 15 26 1 是MPEG 1技术所能获得的压缩比 DVD数据率估算 电视图像的数据率压缩成平均为3 5Mb s 4 7Mb s时非专家难于区分电视图像在压缩前后之间的差别 按照数字电视信号的平均数据传输率为4 1Mb s来计算 压缩比要达到 166 4 10 40 1若采用子采样格式4 2 0 每个样本精度为8bit时 数字电视信号的平均数据传输率减小为124Mb s 压缩比要达到 124 4 10 30 1 5 3数字视频压缩算法 电视图像的冗余信息 视频压缩基本方法 在空间方向上 图像数据压缩采用JPEG JointPhotographicExpertsGroup 压缩算法来去掉冗余信息 在时间方向上 图像数据压缩采用运动补偿 motioncompensation 算法来去掉冗余信息 图象分类 帧内图像I预测图像P双向预测图像B 5 5 1帧内图象压缩 I帧图象压缩基本过程 如果电视图像是用RGB空间表示的 则首先把它转换成YCrCb空间表示的图像 每个图像平面分成8 8的图块 对每个图块进行离散余弦变换DCT discreteCosineTransform DCT变换后经过量化的交流分量系数按照Zig zag的形状排序 然后再使用无损压缩技术进行编码 DCT变换后经过量化的直流分量系数用差分脉冲编码DPCM DifferentialPulseCodeModulation 交流分量系数用行程长度编码RLE run lengthencoding 然后再用霍夫曼 Huffman 编码或者用算术编码 5 5 2预测图像P的压缩编码算法 预测图像的编码 以图像宏块MB macroblock 为基本编码单元 一个宏块定义为I J像素的图像块 一般取16 16 预测图像P使用两种类型的参数来表示 当前要编码的图像宏块与参考图像的宏块之间的差值宏块的运动矢量 MotionVector 预测图象P 参考图像 当前图像 当前编码宏块 参考宏块 预测图象编码 宏块差值 假设编码图像宏块MPI是参考图像宏块MRJ的最佳匹配块 它们的差值就是这两个宏块中相应像素值之差 然后仿照