图像工程第上册图像处理章毓晋

1、第1 1章 绪论 1.1 图象基本概念 1.2 图象工程简介 1.3 图象处理系统 1.4 主要内容和安排 1.1 图象基本概念 1.1.1图象和数字图象 1.1.2图象的表达 1.1.1 图象和数字图象 图象：图象： 用各种观测系统以不同形式和手段观测客观 世界而获得的，可以直接或间接作用于人眼并进 而产生视知觉的实体 图象（广义/抽象） 图像（狭义/具体） 图象和信息：图象和信息： 人类从外界（客观世界）获得的信息约有 75%来自视觉系统 1.1.1 图象和数字图象 图象类型图象类型 广义 图片，动画，绘图，文字/档，. 狭义 单幅 序列图象，. 静止 运动图象（视频），. 2-D 3-D

2、，彩色，立体对， 多光谱,多视场图象，. 灰度 深度，纹理图象，. 1.1.2 图象的表达 图象表示图象表示 2-D数组f (x, y) x ， y：2-D空间XY中坐标点的位置 f：代表图象在(x, y)的性质F 的数值 f，x，y 的值可以是任意实数 性质F : 可对应不同物理量 灰度图象里用灰度表示 1.1.2 图象的表达 图象表示图象表示 矩阵矩阵 矢量 MNMM N N fff fff fff 21 22221 11211 F N fffF 21 Nifff Miiii , 2, 1, T 21 f 1.1.2 图象的表达 1.2 图象工程简介 1.2.1图象技术和图象工程 1.2.

3、2图象工程的三个层次 1.2.3图象工程相关学科和领域 1.2.4图象工程的技术应用 1.2.5图象工程文献统计分类 1.2.1 图象技术和图象工程 图象技术图象技术 图象技术在广义上是各种与图象有关的技术 的总称 主要功能/作用包括： 对图象的各种加工（见下） 基于加工结果的判断决策和行为规划 为此进行的硬件设计及制作 1.2.2 图象工程的三个层次 图象工程：图象工程： 不同层次图象技术的有机结合及应用 图象工程三层次：图象工程三层次： 图象处理（图象 图象） 图象分析（图象 数据） 图象理解（图象 解释） 1.2.2 图象工程的三个层次 1.2.3 图象工程相关学科和领域 1.2.3 图

4、象工程相关学科和领域 主要相关学科：主要相关学科： 图形学：图形学：原指用图形、图表、绘图等形式表 达数据信息的科学，而计算机图形学 研究的就是如何利用计算机技术来产 生这些形式 图象模式识别：模式识别：试图把图象分解成可用符号 较抽象地描述的类别 计算机视觉：计算机视觉：主要强调用计算机实现人的视 觉功能，目前的研究内容主要与图象 理解相结合 1.2.4 图象工程的技术应用 应用领域示例应用领域示例 (1)视频通信：可视电话，电视会议，按需电视，远程教育； (2)文字档案：文字识别，过期档案复原，邮件分捡，支票，签名 辫伪，办公自动化； (3)生物医学：红白学球计数，染色体分析、X光、CT、

5、MRI、 PET图象分析，医学手术模拟规划，远程医疗； (4)遥感测绘：巡航导弹制导，无人驾驶飞机飞行，精确制导，矿 藏勘探，资源探测，气象预报，自然灾害监测； (5)工业生产：工业检测，工业探伤，自动生产流水线监控，移动 机器人，无损探测，金相分析，印刷板质量检验， 精细印刷品缺陷检测； (6)军事公安：雷达图象分析、巡航导弹路径规划 / 制导，罪犯脸 形合成、识别，指纹、印章的鉴定识别； (7)交通管理：太空探测、航天飞行、公路交通管理。 1.2.5 图象工程文献统计分类 中国图象工程综述中国图象工程综述 （中国图象图形学报, 5月期） 1996-2005文献统计分类文献统计分类 共统计1

6、515种刊物 已进行已进行1010年（1996-2005） 涉及到涉及到1 188198819篇论文 选取了选取了40324032篇论文 1.2.5 图象工程文献统计分类 图象工程期刊图象工程期刊 （1 1） CTCT： CTCT理论与应用研究理论与应用研究 （2 2） CXCX： 测绘学报测绘学报 （3 3） DCDC： 电子测量与仪器学报电子测量与仪器学报 （4 4） DKDK： 电子科学学刊电子科学学刊 （5 5） DXDX： 电子学报电子学报 （6 6） JXJX： 计算机学报计算机学报 （7 7） MRMR： 模式识别与人工智能模式识别与人工智能 （8 8） SCSC： 数据采集与处

7、理数据采集与处理 （9 9） TXTX： 通信学报通信学报 （1010） XCXC： 信号处理信号处理 （1111） YXYX： 遥感学报遥感学报 （1212） ZSZS： 中国生物医学工程学报中国生物医学工程学报 （1313） ZtiZti：中国体视学和图象分析中国体视学和图象分析 （1414） ZtuZtu：中国图象图形学报中国图象图形学报 （1515） ZXZX： 自动化学报自动化学报 1.2.5 图象工程文献统计分类 1.2.5 图象工程文献统计分类 1.3 图象处理系统 1.3.1系统构成框图 1.3.2图象采集 1.3.3图象显示打印 1.3.4图象存储 1.3.5图象处理 1.3

8、.1 系统构成框图 1.3.2 图象采集 图象采集图象采集装置装置 为采集数字图象，需要两种装置（器件）： (1)对某个电磁能量谱波段（如X射线、紫 外线、可见光、红外线等）敏感的物 理器件，它能产生与所接受到的电磁 能量成正比的（模拟）电信号； (2)数字化器，它能将上述（模拟）电信 号转化为数字（离散）的形式。 1.3.3 图象显示打印 图象显示图象显示 图象处理的结果多是供观察的 图象数据 亮度模式显示 显示设备 电视显示器，液晶显示器 阴极射线管（CRT) 打印设备 转换到幻灯片、照片或透明胶片上 1.3.3 图象显示打印 半调半调（halptone）输出输出 多数打印设备仅能直接显示

9、输出二值图 半调技术：利用人眼的集成特性，通过控制 二值点模式的形式（包括数量，尺寸，形状等） 来获得视觉上不同的灰度感觉 一种将灰度图象转化为二值图象的技术 输出二值图象，看到灰度图象 1.3.3 图象显示打印 幅度调制（幅度调制（AM） 通过调整输出黑点的尺寸来显示不同的灰度 例如，早期报纸上的图片 在每个空间位置打印一个其尺寸反比于该处 灰度的黑圆点 二值点是规则的排成网格的点 点的形状并不是决定性的因素 1.3.3 图象显示打印 频率调制（频率调制（FM） 输出黑点的尺寸是固定的 其在空间的分布（点间的间隔或一定区域内 点出现的频率）取决于所需表示的灰度 缺点：点增益（打印单元尺寸相对

10、于原始单 元尺寸的增加量）增加导致打印图灰度范围的减 少或压缩 1.3.3 图象显示打印 调制模板调制模板 每个输出单元内包含若干个基本二值点 每个模板对应一个输出单元 2 2 5 种灰度种灰度 1.3.3 图象显示打印 调制模板调制模板 3 3 10 种灰度种灰度 1.3.3 图象显示打印 抖动（抖动（dithering）输出技术输出技术 利用随机变化 -2(6-b) -2(5-b) f (x, y) + 0 2(5-b) 2(6-b) 半调技术 牺牲图象的空 间点数而增加图象 的灰度级数 要保持细节， 灰度级数就有限 1.3.4 图象存储 图象存储图象存储 数据量度单位 比特比特（bit）

11、，），字节字节（byte = 8 bit） 千字节（ K byte） 兆（10 6）字节（M byte） 吉（10 9）字节（G byte） 太（10 12）字节（T byte） 1.3.4 图象存储 图象存储器图象存储器 (1) 处理过程中使用的快速存储器 计算机内存，帧缓存 (2) 较快重新调用的在线或联机存储器 磁盘，磁光盘 (3) 不经常使用的数据库（档案库）存储器 磁带，光盘，光盘塔 1.3.4 图象存储 格式（表示格式和文件格式）格式（表示格式和文件格式） (1) 矢量格式 用线段或线段的组合体来表示图象 (2) 光栅格式 用许多图象点的集合来表示图象 BMP格式，GIF格式，TI

12、FF格式，JPEG 格式 1.3.5 图象处理 图象处理图象处理 对图象的增强以改善图象视觉质量 对退化图象的恢复以消除各种干扰的影响 根据对场景的多个投影来重建场景的图象 对图象进行编码以减少表达图象的数据量， 从而有利于存储和传输 给图象加入数字水印以保护图象的所有权 课 程 介 绍 授课进度和安排 小测验 小测验 课 程 介 绍 总结和复习 1. 各节小结和文献介绍 每节主要内容的概况 进一步深入学习的参考（近200篇文献） 2. 思考题和练习题 共260个，对其中137个提供了参考答案 第2 2章 图象采集 2.1视觉过程 2.2成象中的空间关系 2.3光度学和亮度视觉 2.4 采样和

13、量化 2.1 视觉过程 1光学过程 15 / 100 = 2.55 / 17 2.1 视觉过程 2 化学过程 锥细胞和柱细胞：锥细胞和柱细胞： 锥细胞：数量少，对颜色很敏感 锥细胞视觉：明视觉或亮光视觉 柱细胞：数量多，分辨率比较低 不感受颜色并对低照度较敏感 柱细胞视觉：暗视觉或微光视觉 2.1 视觉过程 3 神经处理过程 每个视网膜接收单元都与一个神经元细胞借助突触 （synapse）相连 每个神经元细胞借助其它的突触与其它细胞连接， 从而构成光神经（optical nerve）网络 光神经进一步与大脑中的侧区域（side region of the brain）连接，并到达大脑中的纹状皮

14、层（striated cortex） 对光刺激产生的响应经过一系列处理最终形成关于 场景的表象，从而将对光的感觉转化为对景物的知觉 2.1 视觉过程 整体视觉过程 视觉 “视” “觉” 2.2 成象中的空间关系 2.2.1成象几何 2.2.2观察距离和角度 2.2.3景深 2.2.1 成象几何 1、投影变换 将3-D客观场景投影到2-D图象平面 成象过程 三个坐标系统： 世界坐标系统 XYZ 摄象机坐标系统 xyz 图象平面 xy 从 XYZ 到 xyz，从 xyz 到 xy 2.2.1 成象几何 三个坐标系统 2.2.1 成象几何 透视变换 3-D点投影后的图象平面坐标 非线性投影等式（分母

15、含变量Z） Z X x Z Y y 2.2.1 成象几何 2、齐次坐标 可用来将前述非线性（分母中含变量Z）等 式表示成线性矩阵形式 例： 直线方程ax + by + c = 0 一条直线也可用矢量l = a, b, cT来表示 当k不为零时，矢量a, b, cT和矢量ka, b, cT 表示同一条直线 2.2.1 成象几何 齐次坐标 笛卡尔坐标： 齐次坐标： k 为任意非零常数 齐次坐标 笛卡尔坐标： 用第4个坐标量去除前3个坐标量 T ZYXw T h kkZkYkXw 2.2.1 成象几何 齐次坐标 用第4项分别去除前3个项 kkZ kZ kY kX k kZ kY kX 1100 01

16、00 0010 0001 hh Pwc T T Z Z Z Y Z X zyx c 逆投影变换点(x, y, 0) h 1 h cPw 1100 0100 0010 0001 1 P T h 0kkykxc T h 0kkykxw T T 0yxZYXw Z = 0：图象平面上一点对应连线上所有共线3-D点的集合 2.2.1 成象几何 2.2.1 成象几何 逆投影变换 要将1个3-D点的坐标从它的图象中完全恢复过来， 需要对产生图象点的3-D空间点有一些先验知识 （如知道它的Z坐标） Z X x Z Y y )(Z x X )(Z y Y 2.2.2 观察距离和角度 正常人视力的角区分能力约为

17、一分 在观察感兴趣场景时，需要使其中最小的细 节在眼睛的视场中对应一个约一分的弧所对 应的角 如果一个点在眼睛的视场中对应不到一分的 弧所对应的角，则人观察不到这个点 如果两个相邻点与眼睛间连线的夹角不到一 分，则人分辨不出这两个点 2.2.2 观察距离和角度 给定点尺寸：最远观察距离 给定观察距离：能看见的最小点 最佳观察距离 = 3400 * 图象高度 / 显示线数 2.2.3 景深 一定距离内目标清晰成象的范围 io 111 ddf Zdd oo zdd ii 2.2.3 景深 引入 f-因数（焦距 f 与光圈直径 2r 的比） 景深 Z 作为 D（可允许的不清晰半径）的函数 景深 Z

18、与镜头的 f-因数成正比，而nf 的极限 对应具有无穷景深的小孔相机 r f n 2 f D fd dn D f fddn Z i 2 of 2 oof 2)(2 2.2.3 景深 特殊情况特殊情况 拍照：拍照：目标距离很远，do f di f 景深与焦距的平方成反比 结果是小的焦距导致大的景深 2 2 o f 2 f d DnZ 2.2.3 景深 特殊情况特殊情况 复制：复制：目标-图象尺寸为1 : 1，do di 2f 景深现在不依赖于焦距，且与可允许的不清 晰半径D有相同的量级 只有很小的一个目标区可清晰成象 DnZ f 4 2.2.3 景深 特殊情况特殊情况 显微成象：显微成象：目标近

19、，焦距小，do f ， di f 目标被放大了很多，但景深更小了 例：当放大倍数为50，即di/do = 50且nf = 1， D为5 mm， 得到的景深只有0.2 mm i o f 2 d d DnZ 2.3 光度学和亮度视觉 2.3.1 光度学 2.3.2一个简单的成象模型 2.3.3视觉系统对光的感知特点 2.3.1 光度学 辐射度量学 研究各种电磁辐射强弱的学科 光是一种电磁辐射 光度学 研究光的强弱的学科 光通量的单位：lm（流明） 2.3.1 光度学 点光源 线度足够小，或距离观察者足够远 发光强度I：点光源沿某个方向上单位 立体角d内发出的光通量dF 单位：cd（坎） 1 cd

20、= 1 lm / sr rd 点光源 Q F d d I 2.3.1 光度学 点光源 立体角（solid angle） 是从一点（称为立体角的顶点）出发通过一条闭合 曲线上所有点的射线围成的空间部分，所以立体角表示由 顶点看闭合曲线时的视角。 可以取一立体角在以其顶点为球心所作的球面上截 出部分的面积与球面半径的平方之比作为对该立体角的度 量。立体角的单位是球面度，记为sr。一个球面度对应在 球面上所截取的面积等于以球半径为边长的正方形面积时 的立体角。 2.3.1 光度学 扩展光源 有一定发光面积的光源 光度学亮度B(单位：cd / m2) r d 扩展光源 (b) N S Sd d F c

21、os d d d cos d d d d S S I S I B 2.3.1 光度学 照度（illumination） 一个被光线照射的表面上的照度定义为照射 在单位面积上的光通量。设面元dS上的光通量为 dF，则此面元上的照度E为： 单位：lx（勒克斯），1 lx = 1 lm / m2 照度：是光源对物体辐射的一种量度 表2.3.2 亮度：观察者对物体表面光强的量度 表2.3.1 d d S E F 2.3.2 一个简单的成象模型 图象成象模型 2-D亮度函数：f (x, y) 亮度是能量的量度，一定不为零且为有限值 (1) 入射到可见场景上的光量 (2) 场景中目标对入射光反射的比率 照

22、度成分 i (x, y)和反射成分 r (x, y) ),(0yxf 2.3.2 一个简单的成象模型 图象成象模型 f (x, y)与 i (x, y)和 r (x, y)都成正比 i (x, y)的值是由光源决定的 r (x, y)的值是由场景中的目标特性所决定的 典型值：P.40 ),(),(),(yxryxiyxf ),(0yxi 1),(0yxr 2.3.3 视觉系统对光的感知特点 人眼适应的亮度范围人眼适应的亮度范围 （1）总体范围大：从暗视觉门限到眩目极限之 间的范围在1010量级 （2）具体范围小：一般范围在102量级 总体范围 具体范围 暗视觉门限 眩目极限 2.3 光度学和亮

23、度视觉 亮度变化的感知亮度变化的感知 人类视觉系统对亮度变化的感知比对亮度本 身要敏感 人类视觉系统对光强度的响应不是线性的， 而是对数形式的（对暗光时亮度的增加比对亮光 时亮度的增加更敏感） 2.4 采样和量化 2.4.1空间分辨率和幅度分辨率 2.4.2图象质量与采样和量化 2.4.3对采样和量化的讨论 2.4.1 空间分辨率和幅度分辨率 数字图象 图象（水平）尺寸 M： 图象（垂直）尺寸 N： 象素灰度级数 G (k-bit)： 图象所需的位数 b： m M2 n N2 k G2 kNkNMb 2 ) 1, 1() 1 , 1()0 , 1( ) 1, 1 () 1 , 1 ()0 ,

24、1 ( ) 1, 0() 1 , 0()0 , 0( ),( MNfNfNf Mfff Mfff yxf 2.4.1 空间分辨率和幅度分辨率 数字图象 存储1幅32 32，16个灰度级的图 需要 4,096 bit 存储1幅128 128，64个灰度级的图 需要 98,304 bit 存储1幅512 512，256个灰度级的图 需要 2,097,152 bit kNkNMb 2 2.4.2 图象质量与采样和量化 图象空间分辨率变化所产生的效果图象空间分辨率变化所产生的效果 2.4.2 图象质量与采样和量化 图象幅度分辨率变化所产生的效果图象幅度分辨率变化所产生的效果 2.4.2 图象质量与采样

25、和量化 空间和幅度分辨率同时变化所产生的效果空间和幅度分辨率同时变化所产生的效果 第3 3章 象素空间关系 3.1 象素间联系 3.2 基本坐标变换 3.3 形态变换 3.4 几何失真校正 3.1 象素间联系 空间排列规律 3.1.1 象素的邻域 3.1.2象素间的邻接， 连接和连通 3.1.3象素间的距离 3.1.1 象素的邻域 象素的邻域 4-邻域N4(p)： 对角邻域ND(p)： 8-邻域N8(p)： pr rs ss r s r p r r rr p s s s s 3.1.2 象素间的邻接，连接和连 通 连接和连通 （adjacency, 邻接）vs. (connectivity,

26、连接) 邻接仅考虑象素间的空间关系 两个象素是否连接： (1) 是否接触（邻接） (2) 灰度值是否满足某个特定的相似准 则（同在一个灰度值集合中取值） 3.1.2 象素间的邻接，连接和连 通 3 3种连接 (1) 4-连接： 2个象素 p 和 r 在V 中取值且 r 在N4(p)中 (2) 8-连接： 2个象素 p 和 r 在V 中取值且 r 在N8(p)中 0 1 1 1 0 0 0 0 0 0 1 1 1 0 0 0 0 0 3.1.2 象素间的邻接，连接和连 通 3 3种连接 (3) m-连接（混合连接）： 2个象素 p 和 r 在V 中取值 且满足下列条件之一 r 在N4(p)中 r

27、 在ND(p)中且集合N4(p)N4(r)是空集 （这个集合是由 p 和 r 的在V中取值 的 4-连接象素组成的）图3.1.2 3.1.2 象素间的邻接，连接和连 通 3 3种连接 混合连接的应用：消除8-连接可能产生的歧义性 原始图 8-连接 m-连接 3.1.2 象素间的邻接，连接和连 通 连通 连接是连通的一种特例 通路 由一系列依次连接的象素组成 从具有坐标(x, y)的象素p到具有坐标(s, t)的象素q的 一条通路由一系列具有坐标(x0, y0)，(x1, y1)，(xn, yn) 的独立象素组成。这里(x0, y0) = (x, y)，(xn, yn) = (s, t)，且 (

28、xi, yi)与(xi-1, yi-1)邻接，其中1 i n，n为通路长度 4-连通，8-连通 4-通路，8-通路 3.1.2 象素间的邻接，连接和连 通 象素集合的邻接和连通 对2个图象子集 S 和 T 来说，如果S中的一个或一些 象素与 T 中的一个或一些象素邻接，则可以说2个图象子 集S 和 T 是邻接的 完全在一个图象子集中的象素组成的通路上的象素 集合构成该图象子集中的一个连通组元 如果 S 中只有1个连通组元，即 S 中所有象素都互 相连通，则称 S 是一个连通集 3.1.3 象素间的距离 距离量度函数 3个象素p，q，r，坐标(x, y)，(s, t)，(u, v) (1) 两个

29、象素之间的距离总是正的 (2) 距离与起终点的选择无关 (3) 最短距离是沿直线的 )0),(qpqpD当且仅当 ),(),(pqDqpD ),(),(),(rqDqpDrpD 0),(qpD 3.1.3 象素间的距离 距离量度函数 (1) 欧氏（Euclidean）距离 (2) 城区（city-block）距离 (3) 棋盘（chessboard）距离 2/1 22 E )()(),(tysxqpD ),( 4 tysxqpD ) , ( max),( 8 tysxqpD 3.1.3 象素间的距离 距离量度函数 等距离轮廓图案 图3.1.4 D4距离D8距离 2 212 21012 212

30、2 22222 21112 21012 21112 22222 3.1.3 象素间的距离 距离量度函数 距离计算示例 DE = 5 D4 = 7 D8 = 4 3.1.3 象素间的距离 范数和距离 w w w dxxff /1 )( w ww w tysxqpD /1 ),( 3.1.3 象素间的距离 用距离定义邻域 考虑在空间点 (xp, yp)的象素 p 4-邻域N4(p) 8-邻域N8(p) 1),( )( 44 rpDrpN 1),( )( 88 rpDrpN 3.2 基本坐标变换 3.2.1图象坐标变换 3.2.2坐标变换讨论 3.2.1 图象坐标变换 坐标变换示例：平移变换 0 0

31、 0 ZZZ YYY XXX 1 100 010 001 0 0 0 Z Y X Z Y X Z Y X 1 1000 100 010 001 1 0 0 0 Z Y X Z Y X Z Y X 3.2.1 图象坐标变换 平移变换的矩阵表达 Avv T 1ZYXv T 1 ZYXv 1000 100 010 001 0 0 0 Z Y X T 3.2.1 图象坐标变换 旋转变换（绕X轴，Y轴，Z轴） 1000 0cossin0 0sincos0 0001 R 1000 0cos0sin 0010 0sin0cos R 1000 0100 00cossin 00sincos R 3.2.2 坐标

32、变换讨论 变换级连 对一个坐标为 v 的点的平移、放缩、绕 Z 轴 旋转变换可表示为： 用单个变换矩阵的方法可对点矩阵v 变换 这些矩阵的运算次序一般不可互换 AvTvSRv)( 3.2.2 坐标变换讨论 变换的推广 3-点映射变换：将一个三角形映射为另一个 三角形，而将一个矩形映射为一个平行四边形 拉伸（stretch）和剪切（shearing）变换 3.2.2 坐标变换讨论 坐标变换 反变换 100 10 01 0 0 1 y x T 100 010 001 1 y x S S S 100 0)cos()sin( 0)sin()cos( 1 R 3.3 形态变换 3.3.1变换体系 3.3

33、.2一般仿射变换 3.3.3特殊仿射变换 3.3.4变换的层次 3.3.5仿射变换的另一种描述方案 3.3.1 变换体系 形态变换 将平面区域映射到平面区域 (1)将一个组合区域映射为另一个组合区域 (2)将单个区域映射为一个组合区域 (3)将一个组合区域映射为单个区域 分层分类 图3.3.1 3.3.1 变换体系 投影变换 仿射（affine）变换常看作是一种特殊的投 影（projective）变换 q = Hp z y x z y x p p p hhh hhh hhh q q q 333231 232221 131211 3.3.1 变换体系 投影变换 通用的非奇异齐次线性变换 A是一个

34、22的非奇异矩阵，t是一个21的矢量， 而矢量v = v1, v2T 变换可用8个独立的参数表示 一个投影变换共有8个自由度（degrees of freedom， dof），可根据4组点的对应性来计算 p v tA pHq u T P 3.3.2 一般仿射变换 仿射变换 一个非奇异线性变换接上一个平移变换 一个平面上的仿射变换有6个自由度 11001 2221 1211 y x y x y x p p taa taa q q p 0 tA pHq 1 T A 3.3.2 一般仿射变换 仿射变换 线性分量A可考虑成两个基本变换的组合：旋转和 非各向同性放缩 ： )()()(DRRRA 2 1

35、0 0 D 3.3.2 一般仿射变换 仿射变换 性质： (1)仿射变换将有限点映射为有限点 (2)仿射变换将直线映射为直线 (3)仿射变换将平行直线映射为平行直线 (4)当区域P和Q是没有退化的三角形（即 面积不为零），那么存在一个唯一的仿射变换A可 将P映射为Q，即Q = A(P) 3.3.3 特殊仿射变换 1.相似变换 s ( 0)表示各向同性放缩，R是一个特殊的2 2正交 矩阵（RTR = RRT = I），对应这里的旋转。典型特例为纯 旋转（此时t = 0）和纯平移（此时R = I） 1100 cossin sincos 1 y x y x y x p p tss tss q q p

36、0 tR pHq 1 T S s 3.3.3 特殊仿射变换 1.相似变换 保形性（保持形状）或保角性 相似变换可以保持两条曲线在交点处的角度 平面上的相似变换 有4个自由度，所以可根 据2组点的对应性来计算 （没有非各向同性放缩 ） 01234-1-2-3-4-55 -5 -4 -3 -2 -1 0 1 2 3 4 5 3.3.3 特殊仿射变换 2.刚体变换 刚体变换T能保持区域中两个点间的所有距离 给定两个点p1, p2 P， 距离d1,2 = dist(p1, p2)，那么 必有distT(p1), T(p2) = d1,2 相似变换中的 s = 1 01234-1-2-3-4-55 -5

37、 -4 -3 -2 -1 0 1 2 3 4 5 3.3.3 特殊仿射变换 3.欧氏变换 欧氏变换可表达刚体的运动（平移和旋转的 组合）。一个欧氏运动是 先旋转（可看作特殊的正 交变换）后平移的组合 所有区域都可以认为是全等的 01234-1-2-3-4-55 -5 -4 -3 -2 -1 0 1 2 3 4 5 3.3.3 特殊仿射变换 4.等距变换 刚体变换和欧氏变换可集合在等距变换之下 等距（isometry）指在2-D空间保持欧氏距离 （iso表示相同，metric表示测度） e = 1，那么等距还能保持朝向且是欧氏变换。e = 1，将反 转朝向，即变换矩阵相当于一个镜像与一个欧氏变换

38、的组合 1100 cossin sincos 1 y x tee tee y x y x p 0 tR pq 1 T I H 3.3.4 变换的层次 平行的直线变平行的直线变 成会聚的直线成会聚的直线 圆环变成椭圆圆环变成椭圆 平行或垂直的平行或垂直的 直线仍具有相直线仍具有相 同的相对朝向同的相对朝向 圆环和正方形圆环和正方形 都不变化形状都不变化形状 仿射变换 相似变换 3.4 几何失真校正 3.4.1空间变换 对图象平面上的象素进行重新排列以 恢复原空间关系 3.4.2灰度插值 对空间变换后的象素赋予相应的灰度 值以恢复原位置的灰度值 模型模型 图象f (x, y)受几何形变的影响变成失

39、真图象 g(x, y ) 线性失真线性失真 （非线性）二次失真（非线性）二次失真 3.4.1 空间变换 ),(yxsx ),(yxty 321 ),(kykxkyxs 654 ),(kykxkyxt 2 65 2 4321 ),(ykxykxkykxkkyxs 2 1211 2 10987 ),(ykxykxkykxkkyxt 约束对应点方法约束对应点方法 在输入图（失真图）和输出图（校正图）上找一些 其位置确切知道的点，然后利用这些点建立两幅图间其它 点空间位置的对应关系 选取四边形顶点 四组对应点解八个系数 3.4.1 空间变换 4321 kxykykxkx 8765 kxykykxky

40、g(x, y) w用整数处的象素值来计算在非整数处的象素值 w(x, y)总是整数，但(x, y )值可能不是整数 最近邻插值最近邻插值 也常称为零阶插值 将离(x, y )点 最近的象素的灰 度值作为(x, y ) 点的灰度值赋给 原图(x, y)处象素 3.4.2 灰度插值 空间变换 灰度赋值 x, y x, y g 最近邻 () () ()x, y x, y() f 前向映射前向映射 一个失真图的象素映射到不失真图的四个象素之间 最后灰度是由许多失真图象素的贡献之和决定 3.4.2 灰度插值 前向映射 x, y x, y g() () ()x, y x, y() f (a) 后向映射后向

41、映射 实际失真图中四个象素之间的位置对应不失真图的 某个象素，则先根据插值算法计算出该位置的灰度，再将 其映射给不失真图的对应象素 3.4.2 灰度插值 后向映射 x, y x, y g() () ()x, y x, y() f (b) 双线性插值双线性插值 利用(x, y )点的四个 最近邻象素A、B、C、D， 灰度值分别为g(A)、g(B)、 g(C)、g(D) 3.4.2 灰度插值 AE C B DF X Y (a) x, y() )()()()()(AgAgBgixEg )()()()()(CgCgDgixFg )()()()(),(EgEgFgjyyxg 第4 4章 空域增强技术 4

42、.1 空域技术分类 4.2 象素间运算 4.3 直接灰度映射 4.4 直方图变换 4.5 线性滤波 4.6 非线性滤波 4.7 局部增强 图象增强图象增强 目标目标：改善图象质量/改善视觉效果 标准标准：相当主观，因人而异 没有完全通用的标准 可以有一些相对一致的准则 技术：技术：“好”，“有用”的含义不相同 具体增强技术也可以大不相同 第4章 空域增强技术 4.1 空域技术分类 空域：空域：指由象素组成的空间 空域增强：空域增强： 点操作点操作： 灰度点操作 几何操作 ),( ),( H yxfEyxg ),(),(yxfPyxg xy ),(),(yxMyx 4.1 空域技术分类 点操作点

43、操作： (1) 借助对一系列图象间的操作进行变换 (2) 将f ()中的每个象素按EH操作直接变换 以得到g()； (3) 借助f ()的直方图进行变换 模板操作模板操作： )( H sEt )( , H snsEt 4.2 图象间运算 图象间的运算指以图象为单位进行的操作， 运算的结果是一幅新图象 4.2.1 算术和逻辑运算 4.2.2 图象间运算的应用 4.2.1 算术和逻辑运算 1. 算术运算算术运算 (1) 加法：记为p + q (2) 减法：记为p q (3) 乘法：记为p q (4) 除法：记为pq 对整幅图象的算术和逻辑运算是逐象素进行 的，即在两幅图象的对应（位置）象素间进行

44、4.2.1 算术和逻辑运算 2. 逻辑运算逻辑运算 (1) 补（COMPLEMENT）：记为NOT q (2) 与（AND）：记为p AND q (3) 或（OR）：记为p OR q (4) 异或（XOR）：记为p XOR q 图4.2.1，图4.2.2 ),(),(),(yxeyxfyxg M i i yxg M yxg 1 ),( 1 ),( ),(),(yxfyxgE ),(),( /1 yxeyxg M 4.2.2 图象间运算的应用 1. 图象间加法的应用图象间加法的应用 模型 运算 均值 方差 4.3 直接灰度映射 将 f (x, y)中的每个象素灰度按EH 操作直接变换以得到g(x

45、, y) 4.3.1 灰度映射原理 4.3.2 典型灰度映射 4.3.1 灰度映射原理 直接灰度映射是一种点操作 1、图象求反2、 增强对比度 3、动态范围压缩4、灰度切分 4.3.2 典型灰度映射 4.4 直方图变换 直方图是图象的一种统计表达 直方图反映了图中灰度的分布情况 4.4.1 直方图均衡化 4.4.2 直方图规定化 灰度统计直方图 1-D的离散函数 提供了图象象素的灰度值分布情况 计算： 设置一个 有 L 个元素的数 组，对原图的灰 度值进行统计 4.4.1 直方图均衡化 nnkH k )( 直方图均衡化 借助直方图变换实现（归一的）灰度映射 均衡化（线性化）基本思想 变换原始图

46、象的直方图为均匀分布 = 大动态范围 使象素灰度值的动态范围最大 = 增强图象整体对比度（反差） 4.4.1 直方图均衡化 归一化直方图 增强函数 (1) EH(s)： 单值单增函数， 各灰度级在变换后仍保持排列次序 (2) 变换前后灰度值动态范围一致 10Ls 1)(0 H LsE 1 , , 1 , 0 10 )( Lk s nnsp k kks 4.4.1 直方图均衡化 （归一化）累积直方图 (1)tk 是 k 的单值单增函数 (2)灰度取值范围一致，0 tk 1 (3)将s的分布转换为t 的均匀分布 k i is k i i kk sp n n sEHt 00 )()( 4.4.1 直

47、方图均衡化 表4.4.1 4.4.1 直方图均衡化 借助直方图变换实现规定/特定的灰度映射 (1) 对原始直方图进行灰度均衡化 (2) 规定需要的直方图，计算能使规定直方 图均衡化的变换 (3) 将原始直方图对应映射到规定直方图 k i isisk spsEHt 0 )()( l j jujul upuEHv 0 )()( 4.4.2 直方图规定化 三个 步骤 两种映射/对应规则 (1) 单映射规则 (2) 组映射规则（I(l)：整数函数） 1 , , 1 , 0 1 , , 1 , 0 )()( 00 Nl Mk upsp l j ju k i is 1 , , 1 , 0)()( )( 0

48、0 Nlupsp lI i l j juis 4.4.2 直方图规定化 表4.4.2 4.4.2 直方图规定化 映射误差映射误差 对应映射间数值的差值（取绝对值）的和 单映射规则：最大误差 pu(uj) / 2 组映射规则：最大误差 ps(si) / 2 N M，ps(si) / 2 pu(uj) / 2 单映射规则：有偏的映射规则 组映射规则：统计无偏的映射规则 4.4.2 直方图规定化 直方图规定化 vs. 直方图均衡化 直方图均衡化： 自动增强 效果不易控制 总得到全图增强的结果 直方图规定化： 有选择地增强 须给定需要的直方图 可特定增强的结果 4.4.2 直方图规定化 4.5 线性滤

49、波 利用象素本身以及其邻域象素的灰度 关系进行增强的方法常称为滤波 4.5.1 技术分类和实现原理 模板卷积，邻域操作 4.5.2 线性平滑滤波器 减弱或消除图象中的噪声 4.5.1 技术分类和实现原理 功能 特点 线性非线性 平滑（低通）G1G2 锐化（高通）G3G4 在图象空间借助模板进行邻域操作 分类1： (1)线性：如邻域平均 (2)非线性：如中值滤波 分类2： (1)平滑：模糊，消除噪声 (2)锐化：增强被模糊的细节 s X Y x y X Y x y R 4 s 23 8 5 s s s sss s 76 10 4 k kk kkk 32 kk k 501 678 00 88110

50、0 skskskR 滤波器实现 邻域运算： 4.5.1 技术分类和实现原理 4 k kk kkk 32 kk k 501 678 111 111 111 1、邻域平均邻域平均 系数都是正的 保持灰度值范围（所有系数之和为1） 例：3 3 模板 1 0 1 M i iis k M z 4.5.2 线性平滑滤波器 图4.5.2 2、加权平均加权平均 中心系数大 周围系数小 4.5.2 线性平滑滤波器 )/2(exp)/2(exp 2 1 )( 2222 iiif 4.6 非线性滤波 逻辑的、几何的、代数的非线性滤波器 基于集合的、基于形状的、基于排序的 4.6.1 非线性平滑滤波器 4.6.2 非

51、线性锐化滤波器 4.6.1 非线性平滑滤波器 既消除噪声又保持细节（不模糊） 中值（中值（median）滤波器滤波器 (1) 将模板中心与象素位置重合 (2) 读取模板下各对应象素的灰度值 (3) 将这些灰度值从小到大排成1列 (4) 找出这些值里排在中间的1个 (5) 将这个中间值赋给模板中心位置象素 图4.6.1 中值（median）滤波器的模板 中值滤波器的消噪声效果与两个不同的，但 又有联系的因素有关。首先是模板的尺寸，其 次是参与运算的象素数 图象中尺寸小于模板尺寸一半的过亮或过暗 区域将会在滤波后会被消除掉 (a)(b)(c)(d)(e)(f) 4.6.1 非线性平滑滤波器 百分比

52、（percentile）滤波器 中值滤波器是一个特例特例 最大值 最小值 中点滤波器 4.6.1 非线性平滑滤波器 1、非线性锐化滤波器 利用微分可以锐化图象（积分平滑图象） 梯度：对应一阶导数 最常用的微分矢量 （需要用2个模板分别沿 X和 Y 方向计算） T y f x f f 4.6.2 非线性锐化滤波器 1、非线性锐化滤波器 模以2为范数/模计算（对应欧氏距离） 以1为范数（城区距离） 以为范数（棋盘距离） 21 2 2 )2( )(mag y f x f ff )1 ( y f x f f , max )( y f x f f 4.6.2 非线性锐化滤波器 3、最大-最小锐化变换 将

53、最大值滤波器和最小值滤波器结合使用 可以锐化模糊的边缘并让模糊的目标清晰起来 迭代实现： 4.6.2 非线性锐化滤波器 ),(),( 1 yxfSSyxfS nn 4.7 局部增强 全局增强 vs. 局部增强 局部增强多了一个选择局部区域的步骤 直接利用局部信息以达到局部增强的目的 利用每个象素的邻域内象素的均值和方差 局部增益函数 ),(),(),(),(),(yxmyxmyxfyxAyxg 10 ),( ),(k yx M kyxA 图4.7.1 第5章 图象变换基础 为了有效和快速地对图象进行处理，常常 需要将原定义在图象空间的图象以某种形式转换 到另外一些空间，并利用在这些空间的特有性

54、质 方便地进行一定的加工，最后再转换回图象空间 以得到所需的效果。这些转换方法就是本章要着 重介绍和讨论的图象变换技术 变换是双向的，或者说需要双向的变换。 在图象处理中，一般将从图象空间向其他空间的 变换称为正变换，而将从其他空间向图象空间的 变换称为反变换或逆变换 第5章 图象变换基础 5.1 可分离和正交图象变换 5.2 傅里叶变换 5.3 沃尔什/哈达玛变换 5.4 离散余弦变换 5.5 Radon变换 5.1 可分离和正交图象变换 1-D可分离变换 正变换 反变换 1 , , 1 , 0),()()( 1 0 NuuxhxfuT N x 正向变换核 1 , , 1 , 0),()()

55、( 1 0 NxuxkuTxf N u 反向变换核 5.1 可分离和正交图象变换 2-D可分离变换 （傅里叶变换是一个例子） 1 0 1 0 ),(),( ),( N x N y vuyxhyxfvuT 1 0 1 0 ),(),( ),( N u N v vuyxkvuTyxf 反向变换核 正向变换核 变换核与 原始函数及 变换后函数无关 可分离 1个2-D变换分成2个1-D变换 对称 (h1与h2的函数形式一样) ),(),(),( 21 vyhuxhvuyxh ),(),(),( 11 vyhuxhvuyxh 1 0 2 ),(),(),( N y vyhyxfvxT 1 0 1 ),(

56、),(),( N x uxhvxTvuT 5.1 可分离和正交图象变换 可分离且对称 AFAT BAFABBTB 图象矩阵 对称变换矩阵 反变换矩阵 变换结果 BTBF BAFABF 1 AB 1 AB 5.1 可分离和正交图象变换 反变换 正交 考虑变换矩阵： 酉矩阵（*代表共轭 ）： 如果A为实矩阵，且： 则A为正交矩阵， 式(5.1.3)和式(5.1.4)构成正交变换对 BTBF 1 AB 5.1 可分离和正交图象变换 *1 AA T1 AA 5.2 傅里叶变换 5.2.1 2-D傅里叶变换 5.2.2 傅里叶变换定理 5.2.3 快速傅里叶变换 5.2.1 2-D傅里叶变换 1-D正变

57、换 对1个连续函数 f (x) 等间隔采样 20 ( )f x 13 10 15 25 4 50 5 75 6 85 7 90 x 1 0 /j2exp)( 1 )()( N x Nuxxf N uFxfF 5.2.1 2-D傅里叶变换 1-D反变换 变换表达 频谱（幅度） 相位角 1 0 1 /j2exp)()()( N u NuxuFxfuFF )( j exp )( )(j)()(uuFuIuRuF 21 22 )()( )( uIuRuF )()(arctan)( uRuIu 5.2.1 2-D傅里叶变换 变换对公式 频谱（幅度） 相位角 功率谱 1 0 1 0 / )(j2exp),

58、( 1 ),( N u N v NvyuxvuF N yxf 21 22 ),(),( ),( vuIvuRvuF ),(),(arctan),(vuRvuIvu 1 0 1 0 / )(j2exp),( 1 ),( N x N y Nvyuxyxf N vuF ),(),( ),( ),( 222 vuIvuRvuFvuP 5.2.2 傅里叶变换定理 分离性质分离性质 1次2-D 2次1-D O(N 4)减为O(N 2) (0,0) X V (0,0) X Y (0,0) U V 列变换 乘以 行变换 f (x, y)F(x, v)F(u, v) N (N 1) (N 1)- - (N 1)

59、- (N 1)- (N 1)- (N 1)- 1 0 /xj2exp),( 1 ),( N x NuvxF N vuF 1 0 /j2exp),( 1 ),( N y Nvyyxf N NvxF 1 1、平移定理、平移定理 ),(/ )(j2exp),(dvcuFNdycxyxf 5.2.2 傅里叶变换定理 )( ),( / )()(j2exp),( 1 / )(j2exp/ )(j2exp),( 1 / )(j2exp),( 1 0 1 0 1 0 1 0 dvcuF Nydvxcuyxf N NvyuxNdycxyxf N Ndycxyxf N x N y N x N y F ),(),(

60、vuFyxf 4 4、剪切定理、剪切定理 （水平方向）纯剪切 （垂直方向）纯剪切 5.2.2 傅里叶变换定理 byxx yy ),(),(buvuFybyxf xx ydxy ),(),(vduuFydxxf 5 5、组合剪切定理、组合剪切定理 平移旋转尺度 水平剪切 垂直剪切 5.2.2 傅里叶变换定理 bd vbu bd dvu F bd ydxbyxf 1 , 11 1 ),( xx 1 1 d b 10 1b 1 01 d 6 6、仿射定理、仿射定理 u = (eu dv)/D D和和v = ( bu + av)/D D 5.2.2 傅里叶变换定理 bdae ed ba D v u e