计算机视觉01课件

1、计算机视觉 computer vision中国科学技术大学 自动化系主讲： 曹洋 博士办公室：科技楼西楼303电话：63601595(Office)Mobile)助教： 李贤实验室：科技楼西楼316电话：63600634(Lab) 课程设置课程设置：计算机视觉视觉基础底层处理中层处理高层处理视觉基础理论： 神经生理学、认知科学； 色度学、光学； 射影几何、矩阵理论。图像处理： 空域图像处理； 频域图像处理； 图像特征提取。 图像分割； 相机标定； 深度估计； 运动估计。 三维重建； 目标识别。 Schedule3.20 (3 lectures)引言3.22 (2 le

2、ctures)视觉基本特性I生物特性3.27 (3 lectures)视觉基本特性II物理特性3.29 (2 lectures)视觉基本特性III几何特性4.3 (3 lectures)图像处理基础I空域处理4.5 (2 lectures)图像处理基础II频域处理4.10 (3 lectures)特征提取I点特征4.12 (2 lectures)特征提取II边缘及线特征4.17(3 lectures)图像分割I主动轮廓线4.19 (2 lectures)图像分割IIMean shift4.24(3 lectures)图像对准4.26(2 lectures)摄像机标定5.1(3 lectures

3、)劳动节放假5.3(2 lectures)运动估计深度I5.8(3 lectures)运动估计深度 II5.10(2 lectures)稠密运动估计光流Schedule考核方式阅读报告：两人一组，从30篇计算机视觉的经典文献中挑选一篇阅读，并提交一份阅读报告。项目报告：2-4人一组，从三个候选项目中任选一个，实现并提交项目报告，PPT以及源代码。视觉计算机2.视觉的过程2.视觉的过程2.视觉的过程2.视觉的过程2.视觉的过程计算机视觉过程分为三个阶段 特征提取和区域分割基于轮廓,纹理,颜色建模与模式表达基于各种物体的抽象化模型描述和理解基于景物的结构知识2.视觉的过程底层处理中层处理高层处理知

4、识少多恢复场景的深度、表面法线方向、轮廓等有关场景的2.5维信息,并在此基础上恢复物体的完整三维图，建立物体三维描述. 根据机器预先存贮的模型知识以及形状、色彩等特征,对于图像中各种物体进行识别,确定它们用于哪一类物体.建立各个图像中物体的拓扑关系图,给出图像所反映景物的结构描述.体系结构（system architecture）,涉及一系列相关的课题,并行结构、分层结构、信息流结构、拓扑结构以及从设计到实现的途径3.计算机视觉的研究内容图像多义性： 三维场景被投影为二维图像，深度和不可见部分的信息被丢失，因而会出现不同形状的三维物体投影在图像平面上产生相同图像的问题另外，在不同角度获取同一物

5、体的图像会有很大的差异环境因素影响：场景中的诸多因素，包括照明、物体形状、表面颜色、摄像机以及空间关系变化都会对成像有影响.知识导引： 同样的图像在不同的知识导引下，将会产生不同的识别结果大量数据： 灰度图像，彩色图像，深度图像的信息量十分巨大，巨大的数据量需要很大的存贮空间，同时不易实现快速处理4.视觉面临的困难上世纪50年代，从统计模式识别开始，主要集中在二维图像分析与识别，主要应用包括字符识别、工件表面检测等等。上世纪60年代，拓展到三维结构，对物体的形状，物体的空间关系进行描述。通过对积木世界的研究，引出了边缘、角点等特征提取，图像明暗、纹理、运动以及成像几何等研究工作。上世纪70年代

6、，Marr计算视觉理论，建立一个十分重要的理论框架。5.计算机视觉的发展（before1970s）5.计算机视觉的发展（after1970s）5.计算机视觉的发展（1970s）(a) line labeling(Nalwa 1993), (b) pictorial structures (Fischler and Elschlager1973) (c) articulated body model (Marr 1982) (d) intrinsic images Barrow and Tenenbaum 1981) (e) stereo correspondence (Marr 1982 (f

7、) optical flow (Nagel and Enkelmann 1986)5.计算机视觉的发展（1980s）(a) pyramid blending (Burt and Adelson 1983) (b) shape from shading (Freeman and Adelson1991) (c) edge detection (Freeman and Adelson 1991) (d)physically based models (Terzopoulos and Witkin 1988) (e) regularization basedsurface reconstructio

8、n (Terzopoulos 1988) (f) range data acquisitionand merging (Banno, Masuda, Oishi et al. 2008Marr视觉计算理论三种层次计算理论，主要解决视觉系统的计算目的和策略是什么？输入输出是什么？用什么策略根据系统的输入求出输出？该层次的任务就是研究如何建立输入输出之间的约束和关系。 表示和算法，解决输入输出信息如何来表示？如何实现计算理论所对应的功能的算法？以及如何由一种表示转换成另一种表示？硬件实现，就是具体的计算装置和一些细节配置5.计算机视觉的发展（1982）5.计算机视觉的发展（1990s）(a) fa

9、ctorization-based structure from motion (Tomasi and Kanade 1992), (b) dense stereo matching (Boykov, Veksler, and Zabih 2001), (c) multi-view reconstruction (Seitz and Dyer 1999) (d) face tracking (Matthews, Xiao, and Baker 2007), (e) image segmentation (Belongie, Fowlkes, Chung et al. 2002) (f) fac

10、e recognition (Turk and Pentland 1991a).5.计算机视觉的发展（2000s）(a) image stitching: merging different views (Szeliski and Shum 1997) (b) exposure bracketing: merging different exposures; (c) morphing: blending between two photographs (Gomes, Darsa, Costa et al. 1999 (d) turning a collection of photographs

11、 into a 3D model (Sinha, Steedly, Szeliski et al. 2008)图像处理：图像处理通常是把一幅图像变换成另外一幅图像，也就是说，图像处理系统的输入是图像，输出仍然是图像，信息恢复任务则留给人来完成计算机图形学：通过几何基元，如线、圆和自由曲面，来生成图像，它在可视化（Visualization）和虚拟现实(Virtual Reality）中起着很重要的作用计算机视觉正好是解决相反的问题，即从图像中估计几何基元和其它特征因此，计算机图形学属于图像综合，计算机视觉属于图像分析模式识别：模式一般指一类事物区别于其它事物所具有的共同特征。6.计算机视觉与其它学科领域的关系人工智能（AI）：涉及到智能系统的设计和智能计算的研究在经过图像处理和图像特征提取过程后，接下来要用人工智能方法对场景特征进行表示，并分析和理解场景人工智能有三个过程：感知、认知和行动神经生理学与认知科学：将人类视觉作为主要的研究对象计算机视觉中已有的许多方法与人类视觉极为相似许多计算机视觉研究者对研究人类视觉计算模型比研究计算机视觉系统更感兴趣，希望计算机视觉更加自然化，更加接近生物视觉计算机视觉与其它学科领域的关系 零件识别与定位 产品检验 移动机器人导航 遥感图像分析 医学图像分析 安全鉴别、监视与跟踪