数字视频处理 1

1、第一章 绪论1.1 数字视频基本概念图像(Picture/Image)当光辐射能量照在物体上，经过它的反射或投射，或由发光物体本身发出的光能量在人眼中所重现出的物体的视觉信息图像分类：按色调分按所占空间维度分按产生机制或捕捉方法分 视频(Video) 视频是一组图像序列按时间顺序的连续展示，是利用人类视觉暂留（视觉惰性）的原理，通过播放一系列的图像，使人眼产生运动的感觉序列(Sequence)帧(Frame)像素(Pixel) 像素“像素”（Pixel） 是由 Picture(图像) 和 Element(元素)这两个单词的字母所组成的一个像素通常被视为图像的最小的完整采样 视频其内容随时间变化

2、的一组动态图像，所以又叫运动图像或活动图像(motion picture)它是一种信息量最丰富、直观、生动、具体的承载信息的媒体 图像分辨率(Picture Resolution)图像分辨率是指组成一幅图像的像素密度的度量方法，一般用图像水平和垂直的像素数目表示A B对同样大小的一幅图像，如果组成该图像的像素数目越多，则说明图像的分辨率越高，看起来越逼真；相反，图像显得越粗糙 显示分辨率(Display Resolution)显示分辨率是指显示屏上能够显示出的像素数目。屏幕能够显示的像素越多，说明显示设备的分辨率越高图像分辨率与显示分辨率是两个不同的概念。图像分辨率是确定组成一幅图像的像素数目

3、，而显示分辨率表示显示屏上可用于显示图像的像素的数量 640X480 320X240 160X120 80X60 分辨率640X480 分辨率320X240 分辨率160X120 分辨率80X60 视频按照视频的存储与处理方式不同，可分为模拟视频和数字视频两种模拟视频(Analog Video)一种用于传输视频图像的随时间连续变化的电信号普通广播电视信号是一种典型的模拟视频信号电视摄像机通过电子扫描将所描述的景物进行光电转换后，得到电信号，即用一个电信号来表征景物，这种电视信号称为模拟电视信号 模拟视频(Analog Video)电视接收机通过显示器进行电光转换，产生为人眼所接受的“模拟”信号

4、的光图像模拟视频指的是视频的记录、存储和传输以模拟的形式进行，通常在普通电视上看到的、摄像机录制的、录像机播放的信号都是模拟视频信号模拟视频图像可由摄影用电子摄像机获得，并记录在录像带上；也可用电影摄像机采集，并存入电影胶片中模拟视频特点以连续的模拟信号形式记录视频信息 模拟设备编辑处理 用模拟调幅的手段在空间传播在磁带或胶片中存放视频信号随存储时间、拷贝次数和传输距离的增加衰减较大，产生信号的损失，不适合网络传输，也不便于分类、检索编辑模拟信号处理设备数字视频(Digital Video)要使计算机能够对视频进行处理，必须把模拟视频信号进行数字化，形成数字视频信号数字视频是以离散的数字信号方

5、式表示、存储、处理和传输的视频信息，所用的存储介质、处理设备以及传输网络都是数字化的 数字视频特点以离散的数字信号形式记录视频信息用数字化设备编辑处理通过数字化宽带网络传播存储在数字存储媒体上数字视频优点视频信号数字化以后，有着模拟信号无可比拟的优点：再现性好便于编辑处理适合于网络应用1.2 数字视频的典型应用1.2.1 视频压缩（视频编码）视频压缩的必要性未经过压缩的原始视频的码率标清电视7205762581.5 720p高清电视12807203081.5 1080p高清电视192010806082 视频压缩的必要性有限的信道带宽ADSL2+上行带宽2Mbps，下行带宽24Mbps在不经过数

6、据压缩情况下，CD（ 最大700MB ）视频播放机根本无法达到实用目的视频压缩结论：要使数字视频信号适合于实际存储和传输，必须压缩数据量，降低传输数据码率前提：压缩后图像质量要满足视觉要求数据与信息的区别数据用来记录和传送信息，是信息的载体；数据的处理的结果是信息压缩的对象是数据，而不是“信息”压缩的目的是在传送和处理信息时，尽量减小数据量数据量与信息量的关系：数据量=信息量+冗余数据量无损/有损压缩从信息在压缩过程中有否丢失来区分无损压缩压缩前和压缩后还原的数据完全一致多采用概率统计编码如winrar文档压缩无损/有损压缩有损压缩压缩过程中会丢失视频中的一些信息压缩比例比较大如现有的绝大多数

7、视频压缩标准视频压缩标准Video Encoding/Decoding国际电信联盟ITU国际电信联盟ITU（International Telecommunication Union）ITU的历史可以追溯到1865年。为了顺利实现国际电报通信，1865年5月17日，法、德、俄、意、奥等20个欧洲国家的代表在巴黎签订了国际电报公约，国际电报联盟（International Telegraph Union ，ITU）也宣告成立国际电信联盟ITU随着电话与无线电的应用与发展，ITU的职权不断扩大。1906年，德、英、法、美、日等27个国家的代表在柏林签订了国际无线电报公约1932年，70多个国家的代

8、表在西班牙马德里召开会议，将国际电报公约与国际无线电报公约合并， 制定国际电信公约，并决定自1934年1月1日起正式改称为“国际电信联盟”国际电报电话咨询委员会CCITTCCITT是国际电报电话咨询委员会的简称，它是国际电信联盟（ITU）的常设机构之一。主要职责是研究电信的新技术、新业务和资费等问题，并对这类问题通过建议使全世界的电信标准化 从1993年3月1日起，国际电报电话咨询委员会（CCITT）改组为国际电信联盟（ITU）电信标准化部门，简称ITU-TMPEG专家组 MPEG（Moving Picture Expert Group）诞生于1991年,由国际标准化组织(Internatio

9、nal Organization for Standardization，ISO)和国际电工委员会(International Electrotechnical Commission，IEC)联合成立的专家组，负责开发影视图象、声音的处理、压缩、解压缩、编码和它们的组合标准。这个专家组开发标准称为MPEG标准由ITU提出针对ISDN网络上的视频应用，目标码率为n64kbps (64-2048 kbps)，典型为 128kpbs首次提出变换编码预测编码的混合编码架构，并一直被后续编码标准采用支持较小的分辨率图像H.261由ISO/IEC 提出针对视频存储应用，如CD-ROM存储，最大目标码率1.

10、86Mbps(1.2Mbps-1.5Mbps)典型应用：VCD、MP3(MPEG Audio Layer III)MPEG-1由ITU和ISO/IEC联合提出采用更高的目标码率（ 4Mbps-15Mbps，最大80Mbps,），更高的图像分辨率（最大1920 x1152），以获得更好的图像质量典型应用：DVD，有线电视网、电缆网络以及卫星直播提供的广播级的数字视频MPEG-2/H.262由ITU提出针对低带宽条件下的视频通信应用以附录的形式引入编码工具，增加灵活性典型应用：可视电话H.263由ITU提出进一步提高视频压缩率，同时针对网络传输应用，提高错误鲁棒性以附录的形式引入编码工具过多的附录

11、选项阻碍了H.263+/H.263+的应用H.263+/H.263+由ISO/IEC提出不仅是针对一定码率(564 Kbps)下的编码，更加注重多媒体系统的交互性和灵活性面向对象的编码概念（并没有实质应用）典型应用：视频监控，把DVD里面的文件转换为数据量更小的文件MPEG-4由ITU和ISO/IEC的JVT(联合视频组)提出与其它现有的视频编码标准相比，在相同的带宽下提供更加优秀的图像质量典型应用：视频会议，视频监控等编码效率是MPEG-4/H.263的两倍以上H.264/MPEG-4 Part10/AVC由中国的音视频编码专家组提出，有关政府部门认可的我国具备自主知识产权的编码标准，节省音

12、视频标准专利费在节省很大计算资源的情况下取得与H.264相近的编码效果典型应用：视频会议、视频监控等AVS以召开多方会议为目的，采用数字化、编码压缩技术，同时双向多方传输图像和声音，能够满足人们开会需求的新型高科技通信系统1.2.2 视频会议长距离传输多方同时召开实时交流多种媒体结合使用经济的网络和带宽视频会议视频会议给用户带来的好处 降低商用费用更加方便的沟通和信息共享提升整体办公效率，增加竞争力低高 交流程度反应时间高低WebOffice简称为VOD（Video On Demand），泛指一类可以按照用户需要点播节目的交互式多媒体视频业务用户可以根据自己的需要在任何时刻收看任意一个视频节目

13、，而且不需要受到节目提供者在时间和内容安排上的约束1.2.3 视频点播系统作为一种新型多媒体通信系统，VOD利用网络和视频技术的优势，彻底改变了过去收看节目的被动方式，实现了节目的按需收看和任意播放VOD的本质是信息的使用者根据自己的需求主动获得多媒体信息，它区别于信息发布的最大不同就是主动性和选择性视频点播系统视频点播系统组成数字视频水印技术是近十几年兴起的一种新兴技术，它横跨信号处理、数字通信、密码学、计算机网络技术等多门学科。数字水印技术主要用于多媒体版权保护等领域1.2.4 数字视频水印人们对“水印”一词并不陌生，纸张中的水印可以跟踪纸张的来源以及对纸张的式样、质量和价格进行鉴定，纸币

14、中的水印可以起到标识和防伪的作用数字水印与纸张水印的基本思想相似，即数字作品中的水印，可以起到标识和防伪的作用水印顾名思义，数字视频水印就是加载在数字视频上的数字水印把表征版权的水印信息嵌入到数字视频内容中，以此作为版权保护的依据和凭证，从而既不影响视频质量，又能达到版权保护的目的数字视频水印定义嵌入原始艺术品水印抽取可疑艺术品“攻击”?发布不可见地隐藏其中!含水印艺术品检测的水印根据嵌入水印的可见性，视频水印可分为可见水印和不可见水印 根据嵌入的数据域不同，视频水印可分为时空域水印和变换域水印 数字视频水印分类根据被嵌入视频载体是否压缩，视频水印可分为压缩域水印和非压缩域水印 根据水印是否与内容相关，可分为基于内容的水印和与内容无关的水印 数字视频水印分类可见水印不可见水印视频信息检索是指根据用户的查询从视频数据库中提取相关的视频信息的技术直接根据描述媒体对象内容的各种特征进行检索，它能从数据库中查找到具有指定特征或含有特定内容的视频片断1.2.5 视频信息