数字视频复习题

数字媒体处理复习题数字媒体信号包括哪些信号？各有什么特征？答：视频、语音、图像。特征：直观性、确定性、高效性、广泛性、高带宽性。举例说明人类视觉的特点，为什么在视频技术中要研究人类视觉特性？答：人类视觉特性：亮度适应性、人眼觉察亮度变化的能力、色调对比效应、饱和度对比效应、面积对比效应、马赫效应、视觉惰性、闪烁感觉、视野与视觉、人眼的分辨力、人眼的彩色分辨力。图像和视频信息的最终接受者是人，而现今的图像和视频压缩大都是基于像素间的统计冗余的，忽视了知觉上的冗余信息。如果能在压缩系统中采用某种视觉技术来达到获取较低码率和较高视觉质量的目的，是很有意义的。为此在视频技术中要研究人类视觉特性（网上找的）或者：人眼的视觉特性是电视技术发展的重要依据（看别人的）什么是信息检索,什么是基于内容的图像检索？基于内容的图像检索系统包括哪些技术环节？答：信息检索是指信息按一定的方式组织起来，并根据信息用户的需要找有关的信息的过程和技术。什么是视频编码，为什么要进行视频编码视频编码是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式目的：一方面，确保视频质量的前提下，尽可能地减少视频序列的数据量，以便更经济地在给定的信道上实时传输实时视频信息或在给定的存储容量中存放更多的视频图像；另一方面原始视频数据表示存在大量的冗余，这样就可以通过特定的编码方法去除冗余信息达到压缩视频数据量的目的为什么？（1）数字视频的数据量很大，如果不进行压缩，要进行传输和存储基本是不可能的（2）原始视频数据存在大量冗余，这样就可以通过特定的编码方法去除冗余信息达到压缩视频数据量的目的。人类怎样感知深度信息？3D视频如何获取？3D视频的特征有什么？人们用两只眼睛观察物体，左眼在左视网膜上成像，右眼在右视网膜上成像考虑到注视点策成像于视网膜中心，在左右视网膜上分别建立以视网膜中心为原点的坐标，称为左右坐标系Cl和Cr，坐标分别为Pl（Xl，Yl）和Pr（Xr，Yr）则P的视差矢量定义为d=（Xl-Xr，Yl-Yr）。在眼睛聚焦不变的情况下，距离眼睛越近的点视差绝对值越大，距离越远的点视差绝对值越小。眼睛聚焦发生变化时，各点视差绝对值随之变化，但是彼此相对大小不变，人类视觉系统利用这种相对大小感觉现实世界的深度信息。获取：三维视频图像采集和显示系统是模拟人眼设计的。采集时，用两台位置稍微不同的摄像机同时摄取同一个视频场景；显示时，把两台摄像机摄取的场景分别呈现给两只眼睛。1）当人们观察某一景物时，由于两眼相距一定的距离，使得同一物体在左右眼视网膜上的成像存在着一定的差异这种差异形成了人眼对高宽深的立体视觉。2）三维视频图像采集和显示系统是模拟人眼设计的。采集时，用两台位置稍微不同的摄像机同时摄取同一个视频场景；显示时，把两台摄像机摄取的场景分别呈现给两只眼睛。什么是信息隐藏技术？简述信息隐藏技术的分类，简述信息隐藏系统的系统特性？定义：指在一些载体信息中将需要保密传递的信息隐藏进去，而载体本身并没有太大的变化，不会引起怀疑，由此达到信息隐藏的目的。分类：1无密钥信息隐藏：不需要预约密钥，其系统的安全性完全依赖隐藏和提取算法的保密性2私钥信息隐藏：伪装密钥由发送者和接受者共同拥有。接受者利用伪装密钥来提取私密信息，而不知晓密钥的任何人都不能得到私密信息3公钥信息隐藏：需要使用两个密钥，一个公开密钥和一个秘密密钥。公开密钥用于私密信息的嵌入过程，秘密密钥用于秘密信息的提取过程系统特性：透明性或不可感知性，稳健性，安全性，不可检测性，自恢复性，嵌入强度（隐藏容量）试述在视频信号的数字化过程中，采样点数和量化级数对图像质量的影响。采样点数越多、量化级数越高，图像质量越好8.视频的二维运动估计的实现方法有哪些？举一列说明运动估计的实现方法？答：基于光流的运动估计、基于像素的运动估计、基于贝叶斯准则的方法、基于网格的运动估计、基于区域的运动估计、全局运动估计、多分辨率运动估计2例如，估计每一个像素的运动矢量。主要有基于光流，基于像素，基于随机场的方法。简述视频编码的基本过程，画出基本原理框图视频编码器可以看作是一个通过对视频信源模型参数编码来描述视频信源的系统，编码过程可分为：1、把原始视频数据变成视频信源模型的参数2、把码字分配给这些参数预测编码如何实现？预测编码能降低码率的原因是什么？视频预测残差图像是指什么？预测残差图像有何特性？答：1不直接对当前符号进行编码，而是利用相邻符号预测当前符号，然后对预测误差进行编码2霍夫曼编码和算术编码只是消除了信源概率分布不均所带来的冗余，并没有消除符号序列前后相关性所带来的冗余，预测编码可用来消除符号间的相关性，因此预测编码能降低码率。11.图像的一维帧内预测如何实现？二维预测如何实现？12.将一副真彩色图像取样M×N个，采用256级量化，则量化后的数据量有多少比特？解：Nb=log2^256=8bit数据量为M*N*8bit13.4K超高清视频的分辨率为4096*2160，对其进行16*16的分块运动估计，采用全搜索法，运动估计水平、垂直方向的搜索范围都是d=[-5，+5]，计算其对一帧图像进行运动估计的计算复杂度，其中匹配策略采用公式，假设其中减法、加法以及绝对值的计算量都为1.答：解：(4096/16)*(2160/16)*(2*5+1)*(2*5+1)*3*16*16=3*4096*2160*11*11，分析：公式为3MN(2s+1)^21）每次匹配中，对应像素做1次减法、1次加法，1次绝对值求和，每块16*16个像素，因此，每块计算量为3*16*16;2）每块搜索次数：（2*5+1）（2*5+1）次；3）共有(4096/16)*(2160/16)块14.下图为菱形搜索法示意图，用其进行块运动估计时，描述其运动估计的过程，并计算每块的搜索次数（10）2415.两个二维数字图像信号矩阵为：和，求这两个信号的DCT，并从变换结果分析DCT变换的特点及应用领域。其中DCT变换阵为：（20）16.视频处理中为何要进行运动估计，举例说明运动矢量在不同视频处理中的应用。因为运动分析与估计广泛应用于计算机视觉，目标跟踪，工业监视和视频压缩等场所，且视觉运动涵盖对视频图像序列的分析和处理，运动分析与估计是数字视频处理的基本内容，也是视频处理研究的难点和重点。17.分级视频编码具有什么应用意义？画图说明一种可分级视频编码的实现原理。应用意义：在因特网上如果一个视频流是采用分级编码得到的，则带宽足够的用户可以下载所有的数据以获得高质量的视频，带宽较窄的用户则可以下载视频流的一个子集而获得一个编码视频的低级质量版本。还能对数据采用不同的误码保护措施，是码流更加有效的适应信道特征。视频编码标准H.264中为什么要使用分数级像素运动搜索?如何实现？为什么要使用多帧运动估计？如何实现多帧运动估计？原因：为了适应视频的高压缩比、高图片质量以及良好的网络适应性等采用分数级像素运动搜索技术。实现方法：在H.264的运动搜索中，首先采用整像素运动搜索，得到最佳整像素运动矢量，然后以点为中心，搜索周围的8个1/2像素点，得到最佳1/2像素运动矢量，在搜索最佳1/2像素点周围的8个1/4像素点，得到最佳分数像素运动矢量使用原因：引用多参考帧运动补偿来提高视频运动编码性能实现方法：使用多个以前编码的帧作为参考帧，即帧存器中存储了多个参考帧来对当前的帧进行预测。多参考帧估计在周期运动序列中特别有效。3因为相比于其他标准中，P帧只采用前一帧进行预测，B帧只采用相邻的两帧进行预测。而多帧运动估计，使用多个以前编码的帧作为编码的帧作为参考帧，用来对当前帧进行预测，更加有效，因此~~4用帧存器储存多个参考帧（最多5帧）来对当前帧进行预测。19.霍夫曼编码的原理是什么？如何进行霍夫曼编码？其应用有哪些？1）原理：对那些出现概率较大的信源符号编以较短的码字，而对那些出现概率较小的符号则编以较长的码字。2）①将信源符号概率按递减顺序排列;②将两个最小的概率进行相加，并继续这一步骤，直到概率达到1.0为止;③在每对组合中的上部指定为1(或0),下部指定为0(或1);④画出每个信源符号概率到1.0处的路径,记下沿路径的1和0;⑤对于每个信源符号都写出1、0序列，则从右到左就得到霍夫曼编码。3）霍夫曼编码1适用于文本文件压缩2经过符号合并用于二进制文件压缩20.算术编码的原理是什么？为什么能起到数据压缩的作用？原理：将整个信源输出的符号序列对应于实数轴上[0,1）中的一个小区间，该小区间的长度等于序列出现的概率。2算术编码是一种无失真的编码方法，能有效地压缩信源冗余度，使编成的码率趋于信源的熵，它是无损压缩的一种。21.下图为三步搜索法的示意图，描述其运动估计的过程，并计算用其进行块运动估计时，每块的搜索次数。22.两个二维数字图像信号矩阵为：和，求这两个信号的DCT，并从变换结果分析DCT变换的特点及应用领域。其中DCT变换和矩阵为：23.立体成像中，平行配置摄像机时，视差和深度关系如何表示？视差矢量为：在世界坐标系内坐标为：24.3D视频中，为何要进行视差估计？如何要进行视差估计？视差有何应用？2、视差估计主要有基于块和基于网格的方法，二者既可以用于基于变换的三维视频编码，加以处理也可用于基于对象的三维视频编码3、应用：视差估计的快速算法，视差估计残差图像的编码25.目前的立体显示技术有哪些？借助辅助工具的立体显示技术（分色式，偏光式，快门式），自由立体显示技术（视差栅格技术，