教材和主要参考书

1、教材和主要参考书 图象工程（第2版） 上册：图象处理 中册：图象分析 下册：图象理解第1章 绪论1.1图象工程的发展1.2图象理解概述1.3主要内容和安排 图象：用各种观测系统以不同形式和手段观测客观世界而获得的，可以直接或间接作用于人眼并进而产生视知觉的实体图象（广义/抽象） 图像（狭义/具体）图象技术：图象技术在广义上是各种与图象有关的技术的总称1.1图象工程的发展1.1图象工程的发展图象工程图象工程学科是将数学、光学等基础科学的原理，结合在图象应用中积累的技术经验而发展起来的。一个对整个图象领域进行研究应用的新学科 一个对各种图象技术进行综合集成的研究和应用的整体框架 1.1图象工程的发

2、展图象工程三层次框图 1.1图象工程的发展图象工程整体框架 一个图象技术综述：1.1图象工程的发展序号综述论文题目刊登综述论文的刊物发表年1Picture Processing by ComputerACM Computing Surveys19692Progress in Picture Processing: 69-711972312Picture Processing: 19xx (72-81)Computer Graphicsand Image Processing (CGIP)197319821317Picture Processing: 19xx (82-86)Computer V

3、ision, Graphicsand Image Processing (CVGIP)198319871820Image Analysis and Computer Vision:19xx (87-89)Computer Vision, Graphicsand Image Processing (CVGIP)198819902124Image Analysis and Computer Vision:19xx (90-93)CVGIP: Image Understanding199119942530Image Analysis and Computer Vision: 19xx (94-99)

4、Computer Vision and Image Understanding (CVIU)19952000图象工程文献综述：文献综述系列每年中国图象图形学报5月那一期已历时 10 年，涉及 15 种刊物，4032（18819）篇论文主要目的(1)概括我国图象工程发展现状(2)帮助查阅有关文献(3)对期刊编者和论文作者提供参考1.1图象工程的发展1.1 图象工程的发展1.2图象理解概述1.2.1图象理解1.2.2计算机视觉1.2.3其他相关学科 1.2.4图象理解的应用领域 1.2.1 图象理解 图象工程高层 目前研究成果和应用实例相对比较少 在图象分析的基础上，结合人工智能和认知理论，进一步

5、研究图象中各目标的性质和它们之间的相互联系，并理解图象内容的含义以及解释原来的客观场景，从而指导和规划行动 限于目前计算机系统的能力和图象理解技术的水平“系统”完成较低层的工作，而人需要接着系统完成剩下的较高层的工作1.2.1 图象理解1.2.2 计算机视觉 人类视觉过程：一个复杂的从感觉（感受到的是对3-D世界之2-D投影得到的图象）到知觉 （由2-D图象认知3-D世界内容和含义）的过程计算机视觉是指用计算机实现人的视觉功能仿生学的方法：参照人类视觉系统的结构原理建立相应的处理模块完成类似的功能和工作 工程的方法：从分析人类视觉过程的功能着手，并不去刻意模拟人类视觉系统内部结构，而仅考虑系统

6、的输入和输出，并采用任何现有的可行的手段实现系统功能1.2.2 计算机视觉 图象是表达视觉信息的一种物理形式，图象理解必须借助计算机，基于对视觉信息的处理和分析来进行 计算机视觉作为一门学科，与许多以图象作为主要研究对象的学科，特别是图象理解有着非常密切的联系和不同程度的交叉 在许多场合和情况下，将它们看作是专业和背景不同的人习惯使用的不同术语更为恰当1.2.3 其他相关学科 模式识别 人工智能视觉功能是人类智能的一种体现人工智能指由人类用计算机模拟、执行或再生某些与人类智能有关功能的能力和技术 机器视觉更关注图象的获取，系统的构造和算法的实现 计算机图形学 1.2.4 图象理解的应用领域 (

7、1)工业视觉 (2)人机交互 应用领域和实例 (3)视觉导航 (4)虚拟现实 (5)图象自动解释 (6)对人类视觉系统和机理、人脑心理和生理的研究等 1.3主要内容和安排 第1章绪论第2章视感觉和视知觉第3章高维图象采集 第4章3-D目标表达 第5章立体视觉：双目第6章立体视觉：多目1.3主要内容和安排 第7章景物恢复：多图象第8章景物恢复：单图象 第9章知识和表达 第10章广义匹配 第11章图象模式识别 第12章图象理解理论和系统1.3主要内容和安排 附录A多传感器图象信息融合 附录B人脸和表情识别 附录C基于内容的图象和视频检索 第2章 视感觉和视知觉 2.1从感觉到知觉2.2视觉特性2.

8、3形状知觉2.4空间知觉2.5运动知觉 2.1从感觉到知觉1. 视感觉和视知觉人的视觉、听觉、嗅觉、味觉、触觉和热觉等功能都可分为感觉和知觉两个层次感觉是较低层次的，它主要接收外部刺激。知觉则处于较高层次，它要将外部刺激转化为有意义的内容视知觉的任务是确定“什么东西在什么地方”（What is where） P.172.1从感觉到知觉2.视知觉的复杂性 视知觉是一个复杂的过程，在很多情况下只依靠光投射到视网膜上形成的视网膜图像和人们已知的眼或神经系统的机制还难以把全部知觉过程解释清楚(1) 视觉边缘：随视点而变化P.18(2) 亮度对比：两个可视表面仅在它们被看作处在同一个视觉平面上时可比较亮

9、度。如果将它们看作与眼有不同的距离，要比较它们相对的亮度就很困难 2.1从感觉到知觉3.图象的双重感知真实性 人们在观察图象时会同时将图象感知为一个平面的一部分和一个3-D空间的一部分。这个基本的心理现象可称为图象的双重感知真实性（double perceptual reality of images） P.18 (1) 有关图象2-D真实性的信息 (2) 有关图象3-D真实性的信息(3) 视点假设 (4) 双重真实性和学习 2.2视觉特性用空间以及时间的语言来描述感知2.2.1视觉的时间特性2.2.2视觉的空间特性 2.2.1 视觉的时间特性视觉首先并主要是一个空间的感受，但时间因素也是视觉

10、感知中的一个基本因素。这可从三方面解释：(1)大多数视觉刺激是随时间变化的，或者是顺序产生的(2)眼睛一般是在不停运动的，这使得由大脑获取的信息是不断变化的(3)感知本身并不是一个瞬间的过程，尽管有些感知步骤很快，但总有一些步骤会较慢，因为信息处理总是需要时间的 2.2.1 视觉的时间特性1. 随时间变化的视觉现象(1) 亮度适应当眼睛遇到亮度的突然变化时，眼睛会暂时看 不见一会儿以尽快适应新的亮度 对亮光的适应比对暗光的适应要快 (2)眼睛的时间分辨率60-80微秒区分两种不同步的亮度现象20-40微秒以确定哪个亮度现象先出现 2.2.1 视觉的时间特性2.感知中的时间因素 （快响应）(1)

11、闪烁当入射光的强度变化频率不太快时，视觉系统能感知到入射光强的变化，当光的频率增加且超过一个临界（critical）频率（其值依赖于光的强度）后，这种效果就消失了(2)视觉屏蔽一个接一个快速到来的光刺激有可能互相影响 2.2.1 视觉的时间特性3.视觉在时间上的累积效应当对一般亮度（光刺激不太大）的物体进行观察时，接收光的总能量E与物体可见面积A、表面亮度L和时距（观察时间长度）T成正比，如令Ec为以50%的概率觉察到所需的临界光能量（即在多次试验中，每两次中有一次观察到光刺激时的光能量），则有成立的条件是T Tc，Tc为临界时距 2.2.2 视觉的空间特性1.视觉在空间上的累积效应光面积和强

12、度的反比定律其中Ec为50%觉察概率所需的临界光能量，即视觉的绝对阈值，A为累积面积，L为亮度，k是一个常数，它与Ec，A，L所用的单位有关当小而弱的光点单独呈现时可能看不见，但是当多个这样的光点连在一起作为一个大光点同时呈现时便能看见了 2.2.2 视觉的空间特性2.视敏度反映对细节的分辨能力 对应观察者所能看见的最小测试物体的尺寸 视敏度为1：表示对应视角为1度（1）时的 分辨能力（视敏度为2对应视角为0.5度） P.222.3形状知觉形状知觉是对视野中各种空间关系的知觉 2.3.1形状的感知2.3.2轮廓 2.3.3图形和背景 2.3.4几何图形视错觉 2.3.1 形状的感知与形状密切相

13、关的概念 P.23 (1)视觉边缘和目标 (2)前景和背景的分离 (3)形状构造的规律接近，相似，连续，封闭(4)形状和信息 2.3.2 轮廓人在知觉一个形状以前一定先看到轮廓轮廓的构成用数学语言来说：轮廓对应亮度的二阶导数亮度变化不产生轮廓，需要亮度的加速变化 轮廓不等于形状 P.252.3.2 轮廓主观轮廓 在没有直接刺激作用下而产生的轮廓知觉 在一定感觉信息的基础上进行知觉假设的结果2.3.3 图形和背景形成图形和背景的决定因素 1. 视野中的距离（接近程度）2. 相同或相似（颜色和亮度）P.262.3.3 图形和背景形成图形和背景的决定因素 3.良好图形P.28刺激性因素 (1)封闭；

14、(2)连续；(3)对称 2.3.3 图形和背景形成图形和背景的决定因素 非刺激性因素 (1)定势（心向） (2)先验知识 对图形“良好性”的客观测量：(1)图形的“良好性”可借助信息论进行判定；(2)图形的“良好性”也可由它能变换出来的图形数量来定量地说明 P.30 2.3.4 几何图形视错觉 当观察线条图形而把注意力只集中于它的某一特征如它的长度、面积或方向时，由于各种主客观因素的影响，有时感知到的结果与实际的刺激模式不相对应 (1) 数量（尺寸）上的视错觉，包括在大小、长短方面引起的视错觉 P.30 (2) 方向上的视错觉，指直线或曲线在方向上变化引起的视错觉 P.312.3.4 几何图形

15、视错觉2.4空间知觉 人能从只有高和宽的2-D空间（视网膜） 上形成的视象感知得到一个3-D视觉空间 空间知觉本质上是一个深度感知问题2.4.1非视觉性深度线索 2.4.2双目深度线索 2.4.3单目深度线索2.4.1 非视觉性深度线索(1) 眼睛聚焦调节(2) 双眼视轴的幅合（有生理基础）原来平行的视轴向P点幅合时左眼向内侧转动的角度为q L，右眼向内侧转动的角度为q R，且有 q = q L + q R知道转角q 就可以算出物距D 2.4.2 双目深度线索 双目视觉中，每只眼睛的视网膜上先各形成一个独立的视像。它们不完全相同，导致双眼视差（横向象差） 双眼视像传到大脑皮层后结合起来，产生一

16、个单一的具有深度感的视像对应点：双眼视场中许多点被感知为一个点，这些点的左右视网膜图像组成对应点对（双眼单视）2.4.2 双目深度线索 中央眼：从主观感觉上单一的器官理论上假想的，处于两眼正中 主观方向： P.36 随机立体图 轮廓知觉并不是立体视觉的先决条件中央眼2.4.3 单目深度线索刺激物本身的一些物理条件(1) 大小和距离s = S/D （欧几里德定律）(2) 照明的变化1) 光亮与阴影的分布； 2) 颜色分布 3) 空气透视(3) 线性透视(4) 纹理梯度 (5) 物体的遮挡(6) 运动视差方向运动视差2.4.3 单目深度线索知觉恒常性 物理尺寸（场景中物体的实际大小） 视像象尺寸（

17、对应视网膜上视角的大小） 知觉尺寸（人最终所知觉的大小）知觉恒常性指实际中人能比较正确地知觉不同距离外物体的物理大小，不完全因视角大小的变化而变化视像尺寸 知觉尺寸 物理尺寸2.5运动知觉 1.运动感知的条件运动只能在一定条件或限度内被感知到运动非常慢：将不会被认为是运动的运动非常快：它将被认为是模糊的(1)物体的尺寸：大尺寸的物体需要多运动些才能被看作是运动的(2)亮度和反差：越大运动越感知得明显(3)环境：运动的感知有一定的相对性，如果有固定的参考点运动就容易感知到2.5运动知觉 2.真实运动和表观运动表观运动（apparent movement）实际中没有景物运动，但感知到运动时间差很小时间差很大时间差恰当2.5运动知觉 3.眼睛的运动 眼睛总是处在运动之中，有若干种： (1)突然的且非常快的急速运动（ 1/10秒）：这可能是有意的（如阅读换行时）或无意的（如为了感知视网膜周边的刺激）(2)跟踪运动：即追寻运动目标的眼