视频处理与宽带通信3课件

视频获取与表示清华大学自动化系季向阳......视频获取与表示清华大学自动化系..提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五......提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模概论把连续的视频信号转化为数字视频信号一般包括两步：采样量化这一讲我们只讨论采样的问题，量化留到以后解决......概论把连续的视频信号转化为数字视频信号一般包括两步采样与失真模拟信号数字化奈奎斯特采样定律......采样与失真模拟信号数字化..视频信号的获取大多数TV摄像机是通过在时间和垂直方向进行采样来摄取视频序列的。产生的信号存储在一个一维光栅扫描中不同的采样方案对应不同的采样点阵。在设计数字视频采样系统时，必须回答的两个问题：所需的视频采样率是多少？在给定总的采样率时，哪一种采样点阵最有效？......视频信号的获取大多数TV摄像机是通过在时间和垂直方向进行采样采样率的选择在设计视频采样系统时，无论一维、二维、还是三维，一个必须回答的基本问题时，空间和时间采样的分辨率应该是多少？采样率一般和以下几个因素有关：待采样信号的频率成分在空间和时间截止频率方面的视觉阈值摄取和显示设备的特性可以承受的处理、存储和传输成本......采样率的选择在设计视频采样系统时，无论一维、二维、还是三维，基于采样定理，如果采用立方体点阵，每维上的采样率至少应为该方向上最高频率的两倍人眼不能分辨超过一定高的频率的空间和时间变化。所以视觉截止频率，即可以被HVS观察到空间和时间的最高频率，是确定视频采样率的决定因素视觉敏感度依赖于显示器的平均亮度。对于很亮的TV信号，视觉阈值要求帧率大于70Hz，而空间分辨率至少是30cpd。在屏幕高度三倍的正常观测距离上，25cpd的空间频率换算维大约500行/帧（lpf）采样率的选择(续）......基于采样定理，如果采用立方体点阵，每维上的采样率至少应为该

现在来从采样率的角度来讨论隔行扫描

在模拟TV系统被开发出来的时候，视觉截止频率所要求的这些采样率超过了当时的技术水平。为了降低码率进而降低视频摄取、传输和显示的成本，隔行扫描被提出来了，对于给定的总码率（帧率和行率的乘积），它靠牺牲垂直分辨率来提高时间分辨率。

采样率的选择(续）......现在来从采样率的角度来讨论隔行扫描在NTSCTV系统中，每秒摄取60个场，但每场只包含所期望行数的一般（240有效行/场）。与采用30fps和480lps的逐行扫描的总码率是相同的隔行扫描和逐行扫描处理静止图象和运动图象的不同点如果景物是静止，通过每一场扫描线的交错，它能够产生与采用60fps和480lps逐行扫描一样的质量对于具有特殊图案（垂直线图案）的高速运动场景，它会导致所谓的“隔行效应”对于运动图片，由于电影院环境亮度很低，降低了视觉敏感性，24fps的帧率（逐行）就可以。尽管原始图象在24fps帧率下摄取的，但在回放时，在投射镜头前放置一个每帧旋转3次的叶片，使得有效回放速率为72fps。抑止可能会被一些敏感的观众感受到的闪烁效应采样率的选择(续）......在NTSCTV系统中，每秒摄取60个场，但每场只包含所期望

对于计算机显示，需要高得多的空间和时间采样率。例如，SVGA显示的帧率为72fps（逐行），空间分辨率为像素。这是为了适应很近的观察距离（通常为图片高度的一到两倍）和显示资料的高频成分（线图形和文本）。采样率的选择(续）......对于计算机显示，需要高得多的空间和时间采样率。例如，SVG定义实K维空间中的点阵，它可以表示为K个线性独立的基矢量，的整数加权组合的所有可能矢量的集合。即：

矩阵称为采样矩阵。

点阵理论......定义实K维空间中的点阵，它可以表示为K个线性独立的基举例这两个采样矩阵生成的采样点阵点阵理论......举例点阵理论...

空间可由选定的单位晶格及其平移表示成一个花砖面：点阵理论......空间可由选定的单位晶格及其平移表示成一个花砖面：平行四边形和沃罗纳晶格定义具有基矢量的一个点阵的基本平行四边形是由相应于基矢量的矢量包围起来的多边形。定义为：定义

一个点阵的沃罗纳晶格（Voronoi)是一个点的集合，这个集合中的点符合下面的条件：每个点到原点的距离总是要大于或等于这个点到其它阵点的距离。......平行四边形和沃罗纳晶格定义具有基矢量的一个点阵

沃罗纳晶格及其向所有阵点的平移形成了对空间的一种分割

沃罗纳晶格......沃罗纳晶格及其向所有阵点的平移形成了对空间的一种分采样密度单位晶格的容积在视频信号处理中，定义采样密度两个点阵，采样密度分别为

......采样密度单位晶格的容积...定义给定一个采样矩阵为的点阵，它的反商点阵可定义为具有如下采样矩阵的点阵：

或正交，采样密度互为倒数采样密度......定义给定一个采样矩阵为的点阵，它的反商点阵可定义为具有如

对于一个固定的采样点阵，为了避免混叠，原始连续信号应该用预滤波器进行带限：原始信号：采样后的信号：反商点阵：

采样密度......对于一个固定的采样点阵，为了避免混叠，原始连续信号应该用

预滤波信号:预滤波后的采样信号:铺在六边形分割上的原始信号：使用六边形点阵的采样信号：采样密度......预滤波信号:预滤波后忽略水平方向，并且把视频信号看做是在时间和垂直方向生成的空间中的二维信号令表示场间隔，而表示行间隔。逐行和隔行扫描的采样点阵二维视频采样：逐行和隔行扫描......忽略水平方向，并且把视频信号看做是在时间和垂直方向生成的空间

逐行反商阵隔行反商阵二维视频采样：逐行和隔行扫描......逐行反商阵隔行反商阵二维视频采样矩阵和反商矩阵逐行扫描：隔行扫描：二维视频采样：逐行和隔行扫描......采样矩阵和反商矩阵二维视频采样：逐行和隔行扫描..在反商点阵图形中平面第一象限内离原点最近的3个点（实心圆圈）。这几点是最接近原始信号频谱的混叠分量的中心，也是可觉察失真的主要原因画点阵时，改变了空间和时间维的比例，使得等于垂直采样率的空间频率与等于场率的时间频率具有相同的长度理想情况下，通过给定空间和时间截止频率分配相同地长度，将基于视觉敏感度地时间和空间频率等同对待。因为空间和时间采样频率通常是基于各自地截止频率选取的，使不同方向上的采样频率相等一般来说是合适的二维视频采样：逐行和隔行扫描......在反商点阵图形中平面第一象限内离原点最近的3个点（实心圆圈）比较两种扫描它们具有相同的采样密度，即沿垂直频率轴，它们在，具有相同的最近的混叠。这意味着在没有运动时，两种采样点阵有相同的分辨率。然而，当景物存在运动时，隔行扫描的垂直分辨率要低于逐行扫描的垂直分辨率沿时间频率轴它们具有不同的最近混叠。对于逐行扫描，第一个混叠出现在处，而隔行扫描出现在处它们具有不同的混合混叠。混合混叠定义为最近的偏离轴的混叠分量。接近混合混叠的频率分量引起行间闪烁和爬行。因为隔行扫描的混合混叠更靠近原点，行间闪烁和爬行在隔行扫描中更容易觉察――这就是所谓的隔行效应二维视频采样：逐行和隔行扫描......比较两种扫描二维视频采样：逐行和隔行扫描..提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五......提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模摄像机模型针孔模型（PinholeModel）

－反向投影

－同向投影

－平行投影CAHV模型摄像机运动......摄像机模型针孔模型（PinholeModel）

－反向投影针孔模型之一：反向投影特点：

－成像物体与成像平面位于摄像机中心两端

－成像的位置与成像物体的位置是相反的

－成像平面位于焦点之后......针孔模型之一：反向投影特点：

－成像物体与成像平面位于摄像机针孔模型之一：反向投影......针孔模型之一：反向投影...针孔模型之二：同向投影特点－成像物体与成像平面位于摄像机中心同侧

－成像的位置与成像物体的位置是相同的

－成像平面位于焦点之前......针孔模型之二：同向投影特点..针孔模型之二：同向投影......针孔模型之二：同向投影...针孔模型之二：同向投影透视成像关系式：

或可见，x和y与Z成反比齐次坐标系表示：......针孔模型之二：同向投影透视成像关系式：..针孔模型之二：同向投影当图像平面的坐标原点不在主点上时：由此可以定义摄像机标定矩阵为：......针孔模型之二：同向投影当图像平面的坐标原点不在主点上时：.摄像机运动升/降——上吊，下吊左/右——左跟，右跟推/拉——前推，后拉竖扫——上倾，下倾平扫——左摇，右摇旋转——滚缩放——变焦......摄像机运动升/降——上吊，下吊左/右——左跟，右跟推/拉——摄像机运动若世界坐标和摄像机坐标架子之间存在欧式变换时：......摄像机运动若世界坐标和摄像机坐标架子之间存在欧式变换时：.由此可知从世界坐标系中一点X与像素x之间的对应关系为：通常我们称与相关的参数为摄像机内部参数\内部校准，包含在中的参数称之为外部参数\外部校准摄像机运动......由此可知从世界坐标系中一点X与像素x之间的对应关系为：摄像机针孔模型之三：平行投影条件

－成像物体距离成像平面很远

－成为平行投影（正交投影）

－满足关系式......针孔模型之三：平行投影条件

－成像物体距离成像平面很远

多对一映射—使得基于二维图像估计物体的三维结构和运动具有极大挑战针孔模型之三：平行投影......多对一映射—使得基于二维图像估计物体的三维结构和运动针孔模型小结将三维的实体对象转化为二维的平面图形多对一的关系

在同一视线（lineofsight）上遇到的第一个点起决定的作用，其他点将被忽视优点：简单缺点：

－难以估计实物对象的结构

－根据投影图像难以对实物对象进行运动估计没有考虑摄像机轴与图像中心对不准、真实镜头有限孔径的低通滤波作用、曝光失真......针孔模型小结将三维的实体对象转化为二维的平面图形..CAHV模型特点

－考虑了摄像机本身的运动

－采用四个矢量进行模型的描述

－公式

C世界坐标系统到摄像机中心的矢量光轴方向的单位矢量投影平面水平方向单位矢量投影平面垂直方向单位矢量希望校准摄像机以补偿针孔摄像机模型与真实摄像机之间的几何误差......CAHV模型特点

－考虑了摄像机本身的运动

－采用四个矢量进CAHV模型投影示意图透视中心pPFXcZc成像平面x成像平面yC世界坐标系摄像机坐标系视线SoPAVoHoxpFβ......CAHV模型投影示意图透视中心pPFXcZc成像平面x成像平说明非固有参数C,A,以及固有参数,和F可以表征实际的摄像机系统能够描述一个偏离摄像机轴的成像平面，也可以描述某些失真可以用摄像机校准算法估计这些参数......说明非固有参数C,A,以及固有参数,和F可以提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五......提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模照明模型入射光如何影响反射光的分布（几何模型和光谱模型）(局部和全局照明模型)几何模型描述入射光的幅度和方向分布适用于环境和点光源描述主要由真实世界的照明变化引起的视频序列时间上的变化漫反射与镜面反射模型之一：不同照明和反射条件下的光强分布 －模型及图示 －几种简化模型模型之二：物体运动引起的图像函数的变化......照明模型入射光如何影响反射光的分布（几何模型和光谱模型）(局漫反射与镜面反射反射漫反射（所有方向能量分布相同）镜面反射（镜向上强度最大）★朗伯表面－－钝的，无光泽的表面：木头，水泥墙等★在所有方向上具有相等的能量分布★决定物体表面的颜色★在入射光的镜向上强度最大★不能显示物体的颜色，只能显示入射光的颜色......漫反射与镜面反射反射漫反射（所有方向能量分布相同）镜面反射（光强分布—能量对于一个物体表面光源的相互作用，涉及三种能量：入射光的通量 －指从光源发射出的能量的速率，单位：瓦特（W）入射辐照度E

－指物体上每单位面积的入射光通量，单位：辐照度取决于入射光与表面在该点的法线之间夹角反射辐射强度C

－指从物体表面反射的光的能量......光强分布—能量对于一个物体表面光源的相互作用，涉及三种能量：光强分布—模型反射辐射强度入射光辐照度反射系数函数反射光强度与入射光强度之间的比值取决于入射光表面几何形状照明方向物体表面的位置在位置X处的表面法线矢量连接X与摄像机焦点观测方向光的波长都是X和t的函数C的分布取决于E和反射系数r......光强分布—模型反射辐射强度入射光辐照度反射系数函数照明方向物从方向L被一个具有无限小区域的点光源照射的一个小块表面（具有法线矢量N）。这个小块是从方向V观测的光强分布—模型图示......从方向L被一个具有无限小区域的点光源照射的一光强分布—简化假设模型物体表面不透明，照明（及观测）方向时不变简化假设之一：说明： 尽管照明和观测方向（V和L）是固定的，然而由于物体是运动的，所以入射光辐照度仍然是随时间变化的......光强分布—简化假设模型物体表面不透明，照明（及观测）方向时不光强分布—简化假设模型入射光是环境光源，物体表面是漫反射的简化假设之二：时刻t时环境光的强度反射系数函数r不依赖于表面法线N

不依赖于表面位置X或表面法线N......光强分布—简化假设模型入射光是环境光源，物体表面是漫反射的简光源的最大辐照度，是当光垂直于表面时的辐照强度简化假设之三：点光源引起的反射辐照强度L与N之间的夹角其中光强分布—简化假设模型......光源的最大辐照度，是当光垂直于表面时的辐照强度简化假设之三：

点光源的漫反射在各个方向上是一个常数。强度取决于表面法线N与到光源的方向L之间的夹角光强分布—点光源模型......点光源的漫反射在各个方向上是一个常数。强度取决于表面法光强分布—简化假设模型点光源远离物体表面，可以把入射光近似为平行光简化假设之四：......光强分布—简化假设模型点光源远离物体表面，可以把入射光近似为光强分布—简化假设模型假定物体具有各向同性的表面，则反射反射强度就变为：简化假设之五：......光强分布—简化假设模型假定物体具有各向同性的表面，则反射反射物体运动引起的图像函数变化模型之一：在二维图像平面中，假设在t时刻象素x的亮度正比于对应于x的三维点X处的发射辐射强度，有从时间到，从运动到（对应于表面法线变化是从到）的一个点的亮度强度变化

......物体运动引起的图像函数变化模型之一：在二维图像平面中，假设在物体运动引起的图像函数变化假设图像信号依赖于照度和反射系数函数模型之二：环境照明、漫反射表面、正交投影在图像平面中，从运动到的一点的信号变化......物体运动引起的图像函数变化假设图像信号依赖于物体运动引起的图像函数变化当为常数时，称为恒亮度假设，有：模型之二（续）：适用条件：空间和时间不变的环境照明和漫反射表面，因为，在这种条件下，没有运动的阴影，也没有光滑表面引起的反射......物体运动引起的图像函数变化当为常数时，称示例－线光源照明模型（1）面光源引起的漫反射几何方向长方形光源的反射几何......示例－线光源照明模型（1）面光源引起的漫反射几何方向长方形光示例－线光源照明模型（2）线光源照明模型生成场景示意（有两个线光源照明）......示例－线光源照明模型（2）线光源照明模型生成场景示意（有两个示例－山体照明模型12341、无大汽影响2、薄雾天气3、阴雨浓雾天气4、雨后天气......示例－山体照明模型12341、无大汽影响2、薄雾天气3、阴雨物体模型物体用纹理、形状和运动模型描述纹理模型----描述物体的表面特性假设物体m的纹理用彩色参数Sm来描述，Sm即包含亮度反射系数也包含色度反射系数这些彩色参数对应于图像信号Ψ(x)......物体模型物体用纹理、形状和运动模型描述..提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五......提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模物体模型

形状模型用体素描述用线框描述运动模型刚性物体运动柔性物体运动平移旋转分解法叠加法B样条曲线描述......物体模型形状模型用体素描述用线框描述运动模型刚性物体运动柔形状模型－概述用体素来描述三维物体

－效率不高：我们对物体的内部不感兴趣用三角形网格（即线框）来描述三维物体表面

－控制点表 －索引面集表 用B样条曲线构造几何物体模型

......形状模型－概述用体素来描述三维物体..形状模型－体素（a）体积元素（b）在一个三维点阵中用体素表示形状......形状模型－体素（a）体积元素（b）在一个形状模型－线框（1）（a）表示物体表面的三角形网格；（b）三角形网格表示为一个控制点表；（c）一组关联控制点表的三角形表......形状模型－线框（1）（a）表示物体表面的三角形网格；（b）三形状模型－线框（2）线框的控制点位于物体的表面控制点的数目和位置由物体的形状及线框模型对物体形状描述的精度决定。刚性物体：控制点不能被独立的移动，不能改变它的形状柔性物体：控制点能被独立的移动，能改变它的形状......形状模型－线框（2）线框的控制点位于物体的表面..形状模型－线框（3）人体头部的形状模型三个图分别采用了不同数目的控制三角形（从左向右，依次递减）图示......形状模型－线框（3）人体头部的形状模型三个图分别采用了不同形状模型－B样条曲线用B样条曲线构造的几何物体模型......形状模型－B样条曲线用B样条曲线构造的几何物体模型..运动模型刚性物体的运动柔性物体的运动运动模型平移运动＋旋转运动分解法叠加法......运动模型刚性物体的运动柔性物体的运动运动模型平移运动刚性物体运动－平移平移用平移矢量描述一个点从X到X’的位移：......刚性物体运动－平移平移用平移矢量刚性物体运动－旋转（1）假定物体绕三维空间的原点旋转点运动用旋转矩阵描述：......刚性物体运动－旋转（1）假定物体绕三维空间的原点旋转..刚性物体运动－旋转（2）......刚性物体运动－旋转（2）..刚性物体运动－旋转（3）旋转矩阵是一个标准正交矩阵：当旋转角很小的时候，有：......刚性物体运动－旋转（3）旋转矩阵是一个标准正交矩阵：当刚性物体运动－综合（1）（一）物体表面上的点从X到X’的运动（物体绕世界坐标系统中心旋转）

（二）物体远离世界坐标系统中心，且只绕自身的中心旋转时......刚性物体运动－综合（1）（一）物体表面上的点从X到X’的运动刚性物体运动－综合（2）......刚性物体运动－综合（2）..柔性物体运动－分解法将柔性物体分解成两个以上刚性组元，每个组元由它的控制点定义一个包括两个组元的模型物体......柔性物体运动－分解法将柔性物体分解成两个以上刚性组元，每个组柔性物体运动－叠加法将小的局部运动叠加到大的刚性运动参数上例子：

有一个带旗子航行的船，可以用一系列刚性参数描述整个船的运动，并且用局部运动对风中旗子的运动建模；然后叠加......柔性物体运动－叠加法将小的局部运动叠加到大的刚性运动参数上例提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五......提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模场景模型场景模型（光源、物体、摄像机）三维场景模型－－较复杂的场景模型运动物体场景模型－－将变化的区域分为运动物体、未覆盖背景和即将被覆盖的背景分层二维物体场景－－使用平行投影不分层二维物体场景－－最为简单的一种模型......场景模型场景模型（光源、物体、摄像机）..三维场景模型（1）★特点由透视投影的摄像机模型得到用来描述物体的运动和物体的遮挡以及投射阴影如果物体是运动的，图像可分为四个区域：静止背景、运动物体、未覆盖背景和新近覆盖的背景......三维场景模型（1）★特点..三维场景模型（2）一个较为复杂模型场景......三维场景模型（2）一个较为复杂模型场景..运动物体场景模型（1）★特点在运动物体的两个图像帧之间比较未变化区域既是两幅图像中静止的背景将变化的区域分成运动物体、未覆盖背景和即将被覆盖背景覆盖延伸......运动物体场景模型（1）★特点..运动物体场景模型（2）......运动物体场景模型（2）...分层二维物体运动场景（1）摄像机模型采用正交投影而不是透视投影－－故深度对场景的图像没有影响，覆盖不延伸此场景不能描述三维运动效果通常称为2.5-D场景模型MPEG-4视频编码支持2.5-D场景模型......分层二维物体运动场景（1）摄像机模型采用正交投影而不是透视投分层二维物体运动场景（2）......分层二维物体运动场景（2）..不分层二维物体运动场景（1）是一种最简单最有用的场景模型假设所有的物体都是平坦的，并且都在相同的平面上二维物体被限制在一个二维平面运行不支持物体分层的概念被用于视频编码标准H.261，H.263，MPEG-1和MPEG-2......不分层二维物体运动场景（1）是一种最简单最有用的场景模型.不分层二维物体运动场景（2）......不分层二维物体运动场景（2）..场景模型小结场景模型描述运动物体和一个三维场景的摄像机是如何互相定位的在视频编码中，通常使用二维场景模型，假设二维物体与摄像机的成像平面平行运动稍为复杂一些的2.5维场景模型可以用来处理物体的遮挡三维场景模型可以逼真的描述真实世界......场景模型小结场景模型描述运动物体和一个三维场景的摄像机是如何谢谢！......谢谢！...信心是成功的开始恒心是成功的方法谢谢您的关注！信心是成功的开始视频获取与表示清华大学自动化系季向阳......视频获取与表示清华大学自动化系..提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五......提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模概论把连续的视频信号转化为数字视频信号一般包括两步：采样量化这一讲我们只讨论采样的问题，量化留到以后解决......概论把连续的视频信号转化为数字视频信号一般包括两步采样与失真模拟信号数字化奈奎斯特采样定律......采样与失真模拟信号数字化..视频信号的获取大多数TV摄像机是通过在时间和垂直方向进行采样来摄取视频序列的。产生的信号存储在一个一维光栅扫描中不同的采样方案对应不同的采样点阵。在设计数字视频采样系统时，必须回答的两个问题：所需的视频采样率是多少？在给定总的采样率时，哪一种采样点阵最有效？......视频信号的获取大多数TV摄像机是通过在时间和垂直方向进行采样采样率的选择在设计视频采样系统时，无论一维、二维、还是三维，一个必须回答的基本问题时，空间和时间采样的分辨率应该是多少？采样率一般和以下几个因素有关：待采样信号的频率成分在空间和时间截止频率方面的视觉阈值摄取和显示设备的特性可以承受的处理、存储和传输成本......采样率的选择在设计视频采样系统时，无论一维、二维、还是三维，基于采样定理，如果采用立方体点阵，每维上的采样率至少应为该方向上最高频率的两倍人眼不能分辨超过一定高的频率的空间和时间变化。所以视觉截止频率，即可以被HVS观察到空间和时间的最高频率，是确定视频采样率的决定因素视觉敏感度依赖于显示器的平均亮度。对于很亮的TV信号，视觉阈值要求帧率大于70Hz，而空间分辨率至少是30cpd。在屏幕高度三倍的正常观测距离上，25cpd的空间频率换算维大约500行/帧（lpf）采样率的选择(续）......基于采样定理，如果采用立方体点阵，每维上的采样率至少应为该

现在来从采样率的角度来讨论隔行扫描

在模拟TV系统被开发出来的时候，视觉截止频率所要求的这些采样率超过了当时的技术水平。为了降低码率进而降低视频摄取、传输和显示的成本，隔行扫描被提出来了，对于给定的总码率（帧率和行率的乘积），它靠牺牲垂直分辨率来提高时间分辨率。

采样率的选择(续）......现在来从采样率的角度来讨论隔行扫描在NTSCTV系统中，每秒摄取60个场，但每场只包含所期望行数的一般（240有效行/场）。与采用30fps和480lps的逐行扫描的总码率是相同的隔行扫描和逐行扫描处理静止图象和运动图象的不同点如果景物是静止，通过每一场扫描线的交错，它能够产生与采用60fps和480lps逐行扫描一样的质量对于具有特殊图案（垂直线图案）的高速运动场景，它会导致所谓的“隔行效应”对于运动图片，由于电影院环境亮度很低，降低了视觉敏感性，24fps的帧率（逐行）就可以。尽管原始图象在24fps帧率下摄取的，但在回放时，在投射镜头前放置一个每帧旋转3次的叶片，使得有效回放速率为72fps。抑止可能会被一些敏感的观众感受到的闪烁效应采样率的选择(续）......在NTSCTV系统中，每秒摄取60个场，但每场只包含所期望

对于计算机显示，需要高得多的空间和时间采样率。例如，SVGA显示的帧率为72fps（逐行），空间分辨率为像素。这是为了适应很近的观察距离（通常为图片高度的一到两倍）和显示资料的高频成分（线图形和文本）。采样率的选择(续）......对于计算机显示，需要高得多的空间和时间采样率。例如，SVG定义实K维空间中的点阵，它可以表示为K个线性独立的基矢量，的整数加权组合的所有可能矢量的集合。即：

矩阵称为采样矩阵。

点阵理论......定义实K维空间中的点阵，它可以表示为K个线性独立的基举例这两个采样矩阵生成的采样点阵点阵理论......举例点阵理论...

空间可由选定的单位晶格及其平移表示成一个花砖面：点阵理论......空间可由选定的单位晶格及其平移表示成一个花砖面：平行四边形和沃罗纳晶格定义具有基矢量的一个点阵的基本平行四边形是由相应于基矢量的矢量包围起来的多边形。定义为：定义

一个点阵的沃罗纳晶格（Voronoi)是一个点的集合，这个集合中的点符合下面的条件：每个点到原点的距离总是要大于或等于这个点到其它阵点的距离。......平行四边形和沃罗纳晶格定义具有基矢量的一个点阵

沃罗纳晶格及其向所有阵点的平移形成了对空间的一种分割

沃罗纳晶格......沃罗纳晶格及其向所有阵点的平移形成了对空间的一种分采样密度单位晶格的容积在视频信号处理中，定义采样密度两个点阵，采样密度分别为

......采样密度单位晶格的容积...定义给定一个采样矩阵为的点阵，它的反商点阵可定义为具有如下采样矩阵的点阵：

或正交，采样密度互为倒数采样密度......定义给定一个采样矩阵为的点阵，它的反商点阵可定义为具有如

对于一个固定的采样点阵，为了避免混叠，原始连续信号应该用预滤波器进行带限：原始信号：采样后的信号：反商点阵：

采样密度......对于一个固定的采样点阵，为了避免混叠，原始连续信号应该用

预滤波信号:预滤波后的采样信号:铺在六边形分割上的原始信号：使用六边形点阵的采样信号：采样密度......预滤波信号:预滤波后忽略水平方向，并且把视频信号看做是在时间和垂直方向生成的空间中的二维信号令表示场间隔，而表示行间隔。逐行和隔行扫描的采样点阵二维视频采样：逐行和隔行扫描......忽略水平方向，并且把视频信号看做是在时间和垂直方向生成的空间

逐行反商阵隔行反商阵二维视频采样：逐行和隔行扫描......逐行反商阵隔行反商阵二维视频采样矩阵和反商矩阵逐行扫描：隔行扫描：二维视频采样：逐行和隔行扫描......采样矩阵和反商矩阵二维视频采样：逐行和隔行扫描..在反商点阵图形中平面第一象限内离原点最近的3个点（实心圆圈）。这几点是最接近原始信号频谱的混叠分量的中心，也是可觉察失真的主要原因画点阵时，改变了空间和时间维的比例，使得等于垂直采样率的空间频率与等于场率的时间频率具有相同的长度理想情况下，通过给定空间和时间截止频率分配相同地长度，将基于视觉敏感度地时间和空间频率等同对待。因为空间和时间采样频率通常是基于各自地截止频率选取的，使不同方向上的采样频率相等一般来说是合适的二维视频采样：逐行和隔行扫描......在反商点阵图形中平面第一象限内离原点最近的3个点（实心圆圈）比较两种扫描它们具有相同的采样密度，即沿垂直频率轴，它们在，具有相同的最近的混叠。这意味着在没有运动时，两种采样点阵有相同的分辨率。然而，当景物存在运动时，隔行扫描的垂直分辨率要低于逐行扫描的垂直分辨率沿时间频率轴它们具有不同的最近混叠。对于逐行扫描，第一个混叠出现在处，而隔行扫描出现在处它们具有不同的混合混叠。混合混叠定义为最近的偏离轴的混叠分量。接近混合混叠的频率分量引起行间闪烁和爬行。因为隔行扫描的混合混叠更靠近原点，行间闪烁和爬行在隔行扫描中更容易觉察――这就是所谓的隔行效应二维视频采样：逐行和隔行扫描......比较两种扫描二维视频采样：逐行和隔行扫描..提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五......提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模摄像机模型针孔模型（PinholeModel）

－反向投影

－同向投影

－平行投影CAHV模型摄像机运动......摄像机模型针孔模型（PinholeModel）

－反向投影针孔模型之一：反向投影特点：

－成像物体与成像平面位于摄像机中心两端

－成像的位置与成像物体的位置是相反的

－成像平面位于焦点之后......针孔模型之一：反向投影特点：

－成像物体与成像平面位于摄像机针孔模型之一：反向投影......针孔模型之一：反向投影...针孔模型之二：同向投影特点－成像物体与成像平面位于摄像机中心同侧

－成像的位置与成像物体的位置是相同的

－成像平面位于焦点之前......针孔模型之二：同向投影特点..针孔模型之二：同向投影......针孔模型之二：同向投影...针孔模型之二：同向投影透视成像关系式：

或可见，x和y与Z成反比齐次坐标系表示：......针孔模型之二：同向投影透视成像关系式：..针孔模型之二：同向投影当图像平面的坐标原点不在主点上时：由此可以定义摄像机标定矩阵为：......针孔模型之二：同向投影当图像平面的坐标原点不在主点上时：.摄像机运动升/降——上吊，下吊左/右——左跟，右跟推/拉——前推，后拉竖扫——上倾，下倾平扫——左摇，右摇旋转——滚缩放——变焦......摄像机运动升/降——上吊，下吊左/右——左跟，右跟推/拉——摄像机运动若世界坐标和摄像机坐标架子之间存在欧式变换时：......摄像机运动若世界坐标和摄像机坐标架子之间存在欧式变换时：.由此可知从世界坐标系中一点X与像素x之间的对应关系为：通常我们称与相关的参数为摄像机内部参数\内部校准，包含在中的参数称之为外部参数\外部校准摄像机运动......由此可知从世界坐标系中一点X与像素x之间的对应关系为：摄像机针孔模型之三：平行投影条件

－成像物体距离成像平面很远

－成为平行投影（正交投影）

－满足关系式......针孔模型之三：平行投影条件

－成像物体距离成像平面很远

多对一映射—使得基于二维图像估计物体的三维结构和运动具有极大挑战针孔模型之三：平行投影......多对一映射—使得基于二维图像估计物体的三维结构和运动针孔模型小结将三维的实体对象转化为二维的平面图形多对一的关系

在同一视线（lineofsight）上遇到的第一个点起决定的作用，其他点将被忽视优点：简单缺点：

－难以估计实物对象的结构

－根据投影图像难以对实物对象进行运动估计没有考虑摄像机轴与图像中心对不准、真实镜头有限孔径的低通滤波作用、曝光失真......针孔模型小结将三维的实体对象转化为二维的平面图形..CAHV模型特点

－考虑了摄像机本身的运动

－采用四个矢量进行模型的描述

－公式

C世界坐标系统到摄像机中心的矢量光轴方向的单位矢量投影平面水平方向单位矢量投影平面垂直方向单位矢量希望校准摄像机以补偿针孔摄像机模型与真实摄像机之间的几何误差......CAHV模型特点

－考虑了摄像机本身的运动

－采用四个矢量进CAHV模型投影示意图透视中心pPFXcZc成像平面x成像平面yC世界坐标系摄像机坐标系视线SoPAVoHoxpFβ......CAHV模型投影示意图透视中心pPFXcZc成像平面x成像平说明非固有参数C,A,以及固有参数,和F可以表征实际的摄像机系统能够描述一个偏离摄像机轴的成像平面，也可以描述某些失真可以用摄像机校准算法估计这些参数......说明非固有参数C,A,以及固有参数,和F可以提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模型五......提纲视频信号的获取一摄像机模型二照明模型三物体模型四场景模照明模型入射光如何影响反射光的分布（几何模型和光谱模型）(局部和全局照明模型)几何模型描述入射光的幅度和方向分布适用于环境和点光源描述主要由真实世界的照明变化引起的视频序列时间上的变化漫反射与镜面反射模型之一：不同照明和反射条件下的光强分布 －模型及图示 －几种简化模型模型之二：物体运动引起的图像函数的变化......照明模型入射光如何影响反射光的分布（几何模型和光谱模型）(局漫反射与镜面反射反射漫反射（所有方向能量分布相同）镜面反射（镜向上强度最大）★朗伯表面－－钝的，无光泽的表面：木头，水泥墙等★在所有方向上具有相等的能量分布★决定物体表面的颜色★在入射光的镜向上强度最大★不能显示物体的颜色，只能显示入射光的颜色......漫反射与镜面反射反射漫反射（所有方向能量分布相同）镜面反射（光强分布—能量对于一个物体表面光源的相互作用，涉及三种能量：入射光的通量 －指从光源发射出的能量的速率，单位：瓦特（W）入射辐照度E

－指物体上每单位面积的入射光通量，单位：辐照度取决于入射光与表面在该点的法线之间夹角反射辐射强度C

－指从物体表面反射的光的能量......光强分布—能量对于一个物体表面光源的相互作用，涉及三种能量：光强分布—模型反射辐射强度入射光辐照度反射系数函数反射光强度与入射光强度之间的比值取决于入射光表面几何形状照明方向物体表面的位置在位置X处的表面法线矢量连接X与摄像机焦点观测方向光的波长都是X和t的函数C的分布取决于E和反射系数r......光强分布—模型反射辐射强度入射光辐照度反射系数函数照明方向物从方向L被一个具有无限小区域的点光源照射的一个小块表面（具有法线矢量N）。这个小块是从方向V观测的光强分布—模型图示......从方向L被一个具有无限小区域的点光源照射的一光强分布—简化假设模型物体表面不透明，照明（及观测）方向时不变简化假设之一：说明： 尽管照明和观测方向（V和L）是固定的，然而由于物体是运动的，所以入射光辐照度仍然是随时间变化的......光强分布—简化假设模型物体表面不透明，照明（及观测）方向时不光强分布—简化假设模型入射光是环境光源，物体表面是漫反射的简化假设之二：时刻t时环境光的强度反射系数函数r不依赖于表面法线N

不依赖于表面位置X或表面法线N......光强分布—简化假设模型入射光是环境光源，物体表面是漫反射的简光源的最大辐照度，是当光垂直于表面时的辐照强度简化假设之三：点光源引起的反射辐照强度L与N之间的夹角其中光强分布—简化假设模型......光源的最大辐照度，是当光垂直于表面时的辐照强度简化假设之三：

点光源的漫反射在各个方向上是一个常数。强度取决于表面法线N与到光源的方向L之间的夹角光强分布—点光源模型......点光源的漫反射在各个方向上是一个常数。强度取决于表面法光强分布—简化假设模型点光源远离物体表面，可以把入射光近似为平行光简化假设之四：......光强分布—简化假设模型点光源远离物体表面，可以把入射光近似为光强分布—简化假设模型假定物体具有各向同性的表面，则反射反射强度就变为：简化假设之五：......光强分布—简化假设模型假定物体具有各向同性的表面，则反射反射物体运动引起的图像函数变化模型之一：在二维图像平面中，假设在t时刻象素x的亮度正比于对应于x的三维点X处的发射辐射强度，有从时间到，从运动到（对应于表面法线变化是从到）的一个点的亮度强度变化

......物体运动引起的图像函数变化模型之一：在二维图像平面中，假设在物体运动引起的图像函数变化假设图像信号依赖于照度和反射系数函数模型之二：环境照明、漫反射表面、正交投影在图像平面中，从运动到的一点的信号变化......物体运动引起的图像函数变化假设图像信号依赖于物体运动引起的图像函数变化当为常数时，称为恒亮度假设，有：模型之二（续）：适用条件：空间和时间不变的环境照明和漫反射表面，因为，在这种条件下，没有运动的阴影，也没有光滑表面引起的反射......物体运动引起的图像函数变化当为常数时，称示例－线光源照明模型（1）面光源引起的漫反射几何方向长方形光源的反射几何......示例－线光源照明模型（1）面光源引起的漫反射几何方向长方形光示例－线光源照明模型（2）线光源照明模型生成场景示意（有两个线光源照明）......示例－线光源照明模型（2）线光源照明模型生成场景示意（有两个示例－山体照明模型12341、无大汽影响2、薄雾天气3、阴雨浓雾天气4、雨后天气......示例－山体照明模型12341、无大汽影响2、薄雾天气3、阴雨物体模型物体用纹理、形状和运动模型描述纹理模型----描述物体的表面特性假设物体m的纹理用彩色参数Sm来描述，Sm即包含亮度反射系数也包含色度反射系数这些彩色参数对应于图像信号Ψ(x)......物体模型物体用纹理、形状和运动模型描