视频的形成和计算机视觉概要改课件

Introductionto

ComputerVisionandvideoprocessing种衍文研究方向有视频处理与通信、计算机视觉和模式识别Videoprocessing,computervision(CV)refs:视频处理与通信，电子工业出版社，yaowang等著图像工程，清华大学出版社，章毓晋编著计算机视觉模式识别，武汉大学出版社，钟珞等编著matlab程序设计语言OpenCV上课安排：1.2-15周，每周三2：30-4：30考评方式及组成：课堂30%

作业30%

考试40%Overview(1)计算机视觉的几何学基础摄像机模型1、单摄像机(pinholemodel/perspectivetransformation)2、双摄像机(epipolargeometry:fundamentalmatrix/essentialmatrix)3、三摄像机及更多(multi-viewgeometry)运动估计1、对应点问题（correspondenceproblem）2、光流计算方法3、刚体运动参数估计（minimalprojectivereconstruction）2-view,7pointsincorrespondence;(Faugeras)3-view,6pointsincorrespondence;(QuanLong)3-view,8pointswithonemissinginoneofthethreeview.(QuanLong)几何重构（Geometryreconstruction）1、立体视觉(stereovision)2、ShapefromX(shading/motion/texture/contour/focus/de-focus/….)03April2023Overview(2)计算机视觉的物理学基础1、摄像机及其成像过程视点、光源、空间中光线、表面处的光线….明暗shading、阴影shadow2、光学/色彩light/color辐射学，辐照率…radiometry,3、物体表面特性漫反射表面（各向同性）LambertiansurfaceBDRF(bi-directionalreflectancedistributionfucntion)03April2023Overview(3)计算机视觉的图像模型基础1、摄像机模型及其校准内参数、外参数2、图像特征边缘、角点、轮廓、纹理、形状…3、图像序列特征(运动)对应点、光流03April2023Overview(5)计算机视觉的数学基础摄影几何、微分几何概率统计与随机过程数值计算与优化方法机器学习计算机视觉的基本的分析工具和数学模型Signalprocessingapproach:FFT,filtering,wavelets,…Subspaceapproach:PCA,LDA,ICA,…Bayesianinferenceapproach:EM,Condensation/SIS/…,MCMC,….Machinelearningapproach:SVM/Kernelmachine,Boosting/Adaboost,NN/Regression,…HMM,BN/DBN,…Gibbs,MRF,…03April2023Applications:-Manufacturingandinspection;QA-Robotnavigation-Autonomousvehicles-Guidingtoolsforblind-Securityandmonitoring-Object/facerecognition;OCR.-MedicalApplications-Visualization;NVS-Visualcommunication-Digitallibrariesandvideosearch-VideomanipulationandeditingHowisanimageformed?

(geometryandphotometry)Howisanimagerepresented?Whatkindofoperations

canweapplytoimages?Whatdoimagestellus

abouttheworld?

(analysis&interpretation)ImageSegmentation视频信号定义：从动态的三维景物投影到视频摄像机图象平面上的一个二维图象序列。一个视频帧中的任何一点的彩色值记录了在所观察的景物中一个特定的三维点所发出或反射的光。

三维：（x，y，t）视觉的光学基础光：由人眼可以感觉的、波长在380～780nm范围内的电磁波组成的。度量－辐射强度分布：光源通常能发射某一波长范围内的能量，并且其强度随时间和空间变化。光谱成分决定彩色感觉－具有非常窄的带宽的光称为谱色，白光被称为非彩色的。光源：照明光源和反射光源照明光源的彩色感觉取决于它所发射能量的波长范围。照明光源遵循相加规则——几个混合的照明光源的彩色感觉取决于所有光源光谱的总和。例如，红、绿和蓝光以合适的比例组合起来就能形成白色光。反射光源的彩色感觉取决于入射光的光谱成分和被吸收的波长范围。反射光源遵循相减规则——几种混合的反射光源的彩色感觉取决于剩余的、未被吸收的波长。补色：红－青、绿－品、蓝－黄。青色、品色和黄色燃料混合形成黑色，它吸收整个可视光谱。17

电磁辐射波谱18

电磁辐射波谱19彩色三要素亮度：是指光的作用强弱，它由光的辐射功率及人眼视敏度特性决定。色调：是指光的颜色，由作用到人眼的入射光波长成分决定。色饱和度：是指彩色的浓淡，与掺白光的多少有关。21(2)彩色分辨力特性

人眼对彩色细节的分辨力比对黑白亮度的分辨力要低。根据这一特性，彩色电视广播用0-6.0MHz宽带来传送亮度信号，用0-1.3MHz窄带来传送色度信号。另外，对于不同色调的彩色，人眼的细节分辨力又是不一样的。例如，人眼对于橙色与青色的彩色分辨力较强，对于紫色与黄绿色的彩色分辨力较弱。22（3）彩色视觉的非单值性

每种特定波长的光波都能引起一种特定的色调感觉，但是波长与色调之间并不存在着一一对应关系。人眼彩色视觉的非单值性——特定波长的光波能使人眼产生特定的色调，但却不能反过来根据人眼的色调感觉去判断光的波长。23三基色原理

三基色原理的主要内容是：自然界几乎所有的彩色，都可以用三种基色光按一定的比例混合产生；反之，自然界中的所有彩色，都可以分解为三种基色光。在彩色电视系统中，选用红、绿、蓝作为三基色。三基色与混合色的关系是：

a、三种基色的混合比例，决定混合色的色调与色饱和度。

b、混合色的亮度等于参与混合的各个基色的亮度之和。25背投电视机26（2）空间混色法

当三基色光点很小且距离很近时，由于人眼视觉分辨率有限，将呈现混合色的色调。彩色显像管采用此法29红基色图象绿基色图象蓝基色图象红基色信号绿基色信号蓝基色信号编码器图象分光系统光电转换系统（摄像机等）VRVGVB图像三基色分解FBAS通过彩色摄像机中的分色光学系统来完成图象三基色分解30彩色图像的复原在接收端，利用彩色显像管使三基色光像混合成原彩色图像彩色混合的三基色原理

原理：大多数彩色C可由适当选择的三种基色（C1、C2、C3）混合产生。（Maxwell）RGB基色——照明光源最流行的基色系（红、绿、蓝）CMY基色——反射光源最通常的基色系（青、品、黄）彩色坐标转换：我们能够把基于一种基色系的彩色值转换为基于另一种基色系的彩色值。人类的彩色感觉

人类彩色感觉的属性：亮度Y和色度C——彩色亮度指被感知的光的明亮度，与可视频带中的总能量成正比的。色度指被感知的光的颜色（色调）和深浅（饱和度），由光的波长成分决定的。三感光细胞原理（Young）：这三种类型的感光细胞的组合可使人类感知任何彩色，这意味着被感知的彩色只依赖于这三个数，而不是整个的光谱。HVS反彩色模型：HVS把锥状细胞获得的三个彩色值转换成一个与亮度成正比的值和另外两个响应于色度感觉的值。同样大小的能量在不同的波长会产生不同的亮度感觉，G>R>B.

Have

abreakEyeNeuralcircuitryoftheretinaReceptorsDensity-FoveaRetinaMosaicCenter-surroundReceptiveFieldsModifiedfromPSY280FVisualpathwayPhysiologicalRecordingfMRIMagnet彩色视频成像原理

视频记录了从一个观测系统（人眼或摄像机）所观测的场景中的物体发射或反射的光的强度

，当由摄像机观测场景时，只有摄像机敏感的那些波长是可见的。视频信号：

如果摄像机只有亮度传感器，那么表示投影光亮度的标量函数——灰度级。如果摄像机有三个分离的传感器，每一个接收一种所选的基色，那么信号就是一个在每个点包含三个彩色值的矢量函数。特殊传感器：感知人眼看不到的物体X光——红外线摄像机——测距摄像机——视频摄像机

采集机制：目前所有的模拟摄像机都是一帧一帧地捕捉视频，帧与帧之间有一定的时间间隔。它是通过扫描具有一定行间隔的相继的行来获得一帧。显示机制：所有显示设备都以相继的一系列的帧显示视频。

摄像机分类：基于光电管的摄像机（光导摄像管、氧化铅摄像管或正析摄像管）和固态传感器（CCD——电荷耦合器件）基于光电管的摄像机工作原理：摄像机镜头把场景中的图象聚焦到摄像机析像管的光敏表面，由它将光信号转换成电信号。析像管的光敏表面一般是用电子束或其它的电子方法一行一行地扫描（称为光栅扫描），然后每一帧中的扫描行被转换成用不同电压代表不同光强度的电子信号。因此不同的扫描行是以相继的方式在略微不同的时间上摄取的。固态传感器工作原理：对于CCD摄像机，光敏表面由二维传感器矩阵组成，每个传感器对应一个象素，到达每个传感器的光信号被转换成一个电信号。在每帧时间内摄取的传感器值首先存储在缓冲区中，然后一次一次地相继读出，以形成光栅信号。与基于光电管的摄像机不同，同一帧中所有读出的值是同时被摄取的。CCD摄像机

更小

更轻

便宜

普通消费者使用

光电管摄像机

较大

较重

昂贵

高分辨率、低环境光高敏感度视频显示

CRT阴极射线管：在CRT监视器中，电子枪一行一行地向屏幕发射电子束以激励荧光粉，其强度正比于在相应位置的视频信号的强度。为了显示彩色图象，三个电子枪发射三个电子束，在每个位置以期望的强度组合激励红色、绿色和蓝色荧光粉。CRT能产生很大动态范围的图象，因此显示的图象可以很亮，足以在白天或在远处观看。然而，为使电子到达屏幕的边界，CRT的深度需要大致与屏幕的宽度相当。这样CRT的厚度限制了它的应用，不适合应用在小型轻便的设备中。LCD液晶显示器：通过施加电场改变光学特性进而改变液晶的亮度或彩色。电场由一个晶体管阵列产生或刷新，从而使大屏幕显示器成为可能。等离子显示器

俗称PDP，也称电浆显示，是一种利用气体放电的显示技术。它采用了等离子管作为发光元件，屏幕以玻璃作为基板，基板间隔一定距离，四周密封形成一个放电空间，再充入氖、氙等混合惰性气体。当向玻璃板电极上加入电压，放电空间内的混合气体便发生等离子体放电现象，放电产生紫外线，紫外线激发荧光屏，荧光屏发射出可见光，经过适当的技术处理，呈现出彩色图像。认识复合视频、S-Video、分量视频

YUV主要用于优化彩色视频信号的传输，并向前兼容老式黑白电视。与RGB视频信号传输相比，它最大的优点在于只占用极少的带宽，而RGB要求三个独立的视频信号同时传输。在YUV中，“Y”代表明亮度（Luminance或Luma），也就是灰阶值;而“U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述图像色彩及饱和度，用于指定像素的颜色。“亮度”是通过RGB输入信号来创建的，方法是将RGB信号的特定部分叠加到一起。色度则定义了颜色的两个方面——色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异，此即所谓的色差信号，也就是我们常说的分量信号（Y、R-Y、B-Y）。将两个色差信号U、V合并形成一个彩色信号C，以Y/C格式进行记录，这种格式被称为彩色降频方式，这就是我们常说的S-Video信号。将亮度信号、彩色信号和同步信号合成一个信号就被称为复合信号。形成复合信号的处理过程被称为编码，彩色信号和亮度信号经过编码，很难再完全分开而又没有损失，结果造成色串亮和亮串色，这就是大家认为复合信号质量没有S-Video信号质量好的原因。模拟彩色电视系统

一、NTSC彩色电视制式：它是1952年由美国国家电视标准委员会指定的彩色电视广播标准，它采用正交平衡调幅的技术方式，故也称为正交平衡调幅制。美国、加拿大等大部分西半球国家以及中国的台湾、日本、韩国、菲律宾等。

二、PAL制式：它是西德在1962年指定的彩色电视广播标准，它采用逐行倒相正交平衡调幅的技术方法，克服了NTSC制相位敏感造成色彩失真的缺点。西德、英国等一些西欧国家，新加坡、中国大陆及香港，澳大利亚、新西兰等国家采用这种制式。PAL制式中根据不同的参数细节，又可以进一步划分为G、I、D等制式，其中PAL－D制是我国大陆采用的制式。

三、SECAM制式：SECAM是法文的缩写，意为顺序传送彩色信号与存储恢复彩色信号制，是由法国在1956年提出，1966年制定的一种新的彩色电视制式。它也克服了NTSC制式相位失真的缺点，但采用时间分隔法来传送两个色差信号。使用SECAM制的国家主要集中在法国、东欧和中东一带。

NTSC－MPAL－DSECAM

帧频（Hz）

302525

行/帧

525625625

亮度带宽（MHz）4.26.06.0

彩色副载波（MHz）3.584.434.25

声音载波（MHz）4.56.56.5ITU-RBT.601标准摘要采样格式信号形式采样频率样本数/扫描行数字信号取值

(MHz)NTSCPAL范围(A/D)

Y13.5858(720)864(720)220级(16～235)4:2:2Cr6.75429(360)432(360)225级(16～240)

Cb6.75429(360)432(360)(128±112)

Y13.5858(720)864(720)220级(16～235)4:4:4Cr13.5858(720)864(720)225级(16～240)

Cb13.5858(720)864(720)(128±112)

ITU-RBT.601用于对隔行扫描电视图像进行数字化，对NTSC和PAL制彩色电视的采样频率和有效显示分辨率都作了规定。下表给出了ITU-RBT.601推荐的采样格式、编码参数和采样频率。

ITU-RBT.601推荐使用4∶2∶2的彩色电视图像采样格式。使用这种采样格式时，Y用13.5MHz的采样频率，Cr，Cb用6.75MHz的采样频率。采样时，采样频率信号要与场同步和行同步信号同步。彩色图像YCbCr样本空间位置图像分辨率为了既可用625行的电视图像又可用525行的电视图像，CCITT规定了称为公用中分辨率格式CIF(CommonIntermediateFormat)，1/4公用中分辨率格式(Quarter-CIF，QCIF)和(Sub-QuarterCommonIntermediateFormat，SQCIF)格式，具体规格如表所示。

CIFQCIFSQCIF

行数/帧

像素/行行数/帧像素/行行数/帧像素/行亮度(Y)288360(352)144180(176)96128色度(Cb)144180(176)7290(88)4864色度(Cr)144180(176)7290(88)4864openCVOpenCV=Intel(c)OpenSourceComputerVisionLibraryMatlabMATLAB

是矩阵实验室（MatrixLaboratory）之意。除具备卓越的数值计算能力外，它还提供了专业水平的符号计算，文字处理，可视化建模仿真和实时控制等功能。Exercises

DUEDATE:Oct28,2011.

1、人类视觉中最基本的几个要素是什么？2、发光强度及亮度与照度各有什么不同？3、ObjectSegmetationCANSUBMITTHEEXERCISEINPAIRS(2people).

ReadthefollowingimagesandextractthecarsbyapplyingvariousobjectdetectionandsegmentationmethodsinMatlab:Instructions:

circleeverycarwitharectangle.

estimatethecalculationtime.

SubmittheMatlabcode.Haveabreak!Supplementarymaterials:

TheFourierTransformJeanBaptisteJosephFourier=3sin(x)A+1sin(3x)BA+B+0.8sin(5x)CA+B+C+0.4sin(7x)DA+B+C+DAsumofsinesandcosinessin(x)ATheContinuousFourierTransformComplexNumbers

RealImaginaryZ=(a,b)ab|Z|xThewavelengthis1/u.Thefrequencyisu.1The1DBasisFunctions1/uTheFourier

Transform1DContinuousFourierTransform:TheInverse

Fourier

TransformTheContinuousFourierTransform2DContinuousFourierTransform:TheInverseTransformTheTransformThewavelengthis.Thedirectionisu/v.The2DBasisFunctionsu=0,v=0u=1,v=0u=2,v=0u=-2,v=0u=-1,v=0u=0,v=1u=1,v=1u=2,v=1u=-2,v=1u=-1,v=1u=0,v=2u=1,v=2u=2,v=2u=-2,v=2u=-1,v=2u=0,v=-1u=1,v=-1u=2,v=-1u=-2,v=-1u=-1,v=-1u=0,v=-2u=1,v=-2u=2,v=-2u=-2,v=-2u=-1,v=-2UVDiscreteFunctions0123...N-1f(x)f(x0)f(x0+Dx)f(x0+2Dx)f(x0+3Dx)f(n)=f(x0+nDx)x0x0+Dxx0+2Dxx0+3DxThediscretefunctionf:{f(0),f(1),f(2),…,f(N-1)}(u