哈工大数字图像处理知识点总结

1、1. 引言1.1 图像的概念图像：是对客观存在的物体的一种相似性的、生动性的模仿或描述，是一种不完全的、不精确的，但在某种意义上是适当的表示。也是对客观存在的物体的某种属性的描述。（非所见即所得，对事物不能完全描述）1.2 数字图像的起源与应用1.3 数字图像处理的概念l 图像的类型： 从图像生成角度：物理图像（可见图像（光学图像）、不可见图像（红外）、数学图像等） 从照明角度：多光谱图像（特指不可见光谱）和单光谱图像（激光）；从人眼视觉特点上：可见图像、不可见图像。从波段多少分为：单波段（每点只有一亮度值）、多波段（每点不只一特性如红绿蓝光谱图像）和超波段图像。从图像空间坐标和明暗程度的连续

2、性：模拟图像、数字图像（空间坐标和灰度均不连续，用离散的数字表示）。l 图像的表现形式l 图像的属性：构成数字图像的要素，灰度坐标图像的属性：1.对比度：灰度差别 0255（256个灰度级） 2. 灰度分辨力：适于人眼3空间分辨力：越高越好4 放大率 对比度与灰度的关系：量化？ 灰度量化 最高、最暗差值尽可能大。 减少灰度级一般会提高图像的对比度。 构成数字图像的要素：地址（坐标）和灰度值l 数字图像的处理概念及三种分类：处理分析理解操作对象：狭义数字图像处理：图像图像图像分析：图像数据（特征值）图像理解：数据概念 狭义图像处理强调图像之间进行变换，指对图像进行各种操作以改善图像的视觉效果，或

3、对图像进行压缩编码以减少所需存储空间或传输时间、传输通路的要求。图像分析是对图像中感兴趣的目标进行检测的测量，从而建立对图像的描述，是从图像到数值或符号的过程。经分割和特征提取，把原来以像素构成的图像转变成比较简洁的非图像形式的描述。图像理解研究图像中各目标的性质和它们之前的相互联系，并得出对图像内容含义的理解以及对原来客观场景的解译，人而指导和规划行动l 数字图像的运算形式：全局、局部、点，串行、并行全局：快速傅立叶变换局部：点运算：对于一幅输入图像，经过点运算产生一幅输出图像，后者的每个像素的灰度值仅由相应输入像素的值 决定（对比度增强，对比度拉伸，灰度变换）串行：后一像素输出结果依赖于前

4、面像素处理的结果，并且只能依次处理各像素而不能同时对各像素进行相同处理的一种处理形式。并行：对图像内的各同时进行相同形式运算的一种处理形式。l 图像工程中的层次及与相关学科的关系计算机图形学研究是如何利用计算机技术来产生图形、图表、绘图，以来表达数据信息。与图像分析相比，处理对象和输出结果正好相反。计算机图形学试图从非图像形式的数据描述来生成图像；模式识别把图像抽象成用符号描述的类别。模式识别与图像分析有相同的输入，而不同的输出结果之间可以较方便的进行转换；计算机视觉用计算机去实现人的视觉功能。l 数字图像的获取扫描，采样（空间分辨力），量化（灰度分辨力）采样：将空间上连续的图像变换成点的操作

5、。采样间隔分为均匀采样量化及非均匀采样量化；采样孔径的形状和大小与采样方式有关。量化：将像素灰度转换成的整数值的过程，最亮最暗差值尽可能大采样量化的原则：1.细节丰富的图像（观众）：高的采样分辨力 细采样，粗量化 2. 细节少，缓变的图像（人脸）：高的灰度分辨力 细量化，粗采样2.数字图像处理的基本概念2.1 BMP文件结构及文件操作程序2.2 人眼形成的图像l 物体的色，减色效应与加色效应消色物体：加色效应 黑白灰 对照明光线有非选择性吸收的特性，即光线照射到消色物体上时，被吸收的各种波长的入射光是等量的；被反射或透射的光线，其光谱成分也与入射光的光谱成分相同。有色物体：减色效应。对照明光线

6、具有选择性吸收的特性，光线照射到有色物体上，入射光中各种波长的色光是不等量被吸收。白光照射到有色物体上，反射或透射光线不仅亮度有所减弱，光谱成分也改变，呈现各种颜色。绿物反射绿光，减去绿光，如在暗场对其用蓝光照射，吸收蓝光，黑色当有色光照射到消色物体，物体反射光与入射光颜色相同。两种以上有色光同时照射消色物体，物体颜色呈加色法效应。当有色光照射到有色物体上，物体的颜色呈减色法效应。如黄色物体在品红光照射下呈红色，在青色光照射下呈绿色，在蓝色光照射下呈现灰色或黑色。红绿蓝白黄品青 红绿蓝黑黄品青 加色效应 减色效应l 马赫效应与错觉从每一竖条内反射出来的光强是均匀的，相信竖条之间强度差是常数，而

7、看起来每一竖条内右边要比右边稍亮一点。亮度过冲是眼睛对不同空间频率产生不同视觉响应的结果。视觉系统对空间高频和空间低频的敏感性较差，对空间中频有较高的敏感性，这冲过问对人眼所见的景物有其轮廓的作用。l 连续图像的描述灰度=照度*反射系数用f(x,y) 表示静止图像，因为光是能量的一种形式，故人眼看到的图像都是由物体反射的光组成。f(x,y)可被看成是两个分量组成：一分量是所见场景的入射光量，另一分量是场景中被物体反射的光量。i(x,y)表示照射分量，性质由光源确定；r(x,y)表示反射分量，由景物中物体的特性而定。有式中，反射分量在全吸收和全反射之间。2.3 图像数字化l 图像的数字化过程：扫

8、描、采样、量化l 数字化与图像质量的关系采样间隔越大，所得图像像素数越少，图像空间分辨率低，质量差，严重时出现像素呈块状的国际棋盘效应；采样间隔越小，所得图像像素数越多，图像空间分辨率高，质量好，但数据量大。量化等级越多，所得图像层次越丰富，灰度分辨率越高，质量越好，但数据量大；量化等级越少，图像层次欠丰富，灰度分辨率低，质量变差，会出现假轮廓现象，但数据量小。极少情况下图像大小固定时，减少灰度级能改善质量，由于会提高图像对比度，如对细节比较丰富的复杂图像。采样量化的原则：1.细节丰富的图像（观众）：高的采样分辨力 细采样，粗量化 2. 细节少，缓变的图像（人脸）：高的灰度分辨力 细量化，粗采

9、样l 数字化采样量化方法统一的采样和量化：随着采样分辨率和灰度级提高，主观质量也提高。对有大量细节的图像，质量对灰度级需求相应降低。（一般采用均匀采样和均匀量化）非统一的图像采样和量化：在灰度级变化尖锐的区域，用细采样（细量化），在灰度级比较平滑的区域，用粗采样（粗量化）。避免或减少由于量化的太粗糙，在灰度级变化比较平滑的区域出现假轮廓。l 图像的表示：灰度表面、矩阵l 图像的显示2.4 数字化设备l 数字化过程：采样，量化l 数字化器的主要参数像素大小：采样孔的大小和相邻两像素的距离是两个重要的性能参数；图像大小：图像的大小由像素数决定。物理参数：数字化器采集和量化的物理参数；线性度：对光强

10、进行数字化时，应当知道灰度正比于图像亮度的实际精确程度。噪声：系统中固有噪声会使图像的灰度发生变化 。l 光传感器1） CCD CID CMOS特点2）CCD相机参数：感光元件大小、放大倍率、解析度、像素数、F数、景深；2.5 光源的种类 及照明形式光源的种类：卤素灯；高周波荧光灯；LED灯源；金属灯泡或氖灯；激光光源；氙素灯。照明形式：前照式（正向光源）（表面反射光）；背照式（背向光源）（工件遮光处不透光），侧照式（侧向光源）（轮廓边缘光反射最大）。2.6 灰度直方图（定义、性质、作用）定义：是灰度级的函数，描述的是具有该灰度级的像素个数（或出现的频次）图像各灰度级在图像中出现的频次 （统计

11、角度）性质：1灰度直方图只与像素灰度有关，与位置无关(没有位置信息) 2 灰度直方图与图对应关系： 一对多的关系 3.灰度图像具有相加性（两区域灰度直方图之和等于图像灰度直方图）作用：1. 判断图像量化是否可理 2. 利用阈值实现图像分割（用于确定图像二值化阈值） 3.计算图像对像（目标）大小（当物体部分的灰度值比其他部分灰度值大时，可统计图像中物体的面积） 4. 计算图像的熵 熵：图像信息量的反映，反映了图像信息丰富的程度。2.7 图像处理算法形式基本功能形式：按图像处理输出形式1. 单幅图像单幅图像2. 多幅图像单幅图像3. 单（或多）幅图像数字或符号等（图像统计量或特征量的测量、编码表示

12、 特征提取图像描述图像）基本运算形式：点运算（点处理）：输出值仅与输入像素灰度有关的处理，如图像对比度增强、图像二值化。（点对点）局部运算：计算某一输出像素值由输入图像像素小领域中的像素值确定，如移动平均平滑法，空间域锐化。全局运算：输出像素的值取决于输入图像较大范围或整幅图像像素的值。如傅立叶变换2.8 图像的数据结构（组合式、比特面、分层、树）1.组合方式：最常用的方式，一个像素的灰度按固定的字长表示，数据排列按像素位置排列。2.比特面方式：图像像素（M*N）灰度以固定字长（nbit）,建立n个bit面，每个面有M*N个位，对于同一个像素，其n位数据分别占据n个比特面该像素的位置。优点：节

13、省存储空间。缺点：使数据处理复杂化。位面：最高位信息最重要，为图像轮廓，低位图包含信息细节。3.分层方式：由原始图像依次构成像素数越来越少的系列图像，就能使图像数据表示具有分层性，其代表就是锥形（金字塔）结构。4.树结构：对一幅二值图像的行、列都接连不断二等分，如果被分割部分的图像中全体都变成具有相同的特征时，这一部分不再分割。可用在特征提取和信息压缩方面。(多分辨分析，由粗到精)题目：1. 选用1/2英寸的CCD，若以光学放大倍率为1倍时，其真实视野范围是多少？2. 7mm*7mm的CCD芯片，有1024*1024个像元，将0.5m 远的物体成像其上，摄像机的物体解析度？（配置35mm焦距镜

14、头）主要放大倍率： 35/500摄像机解析度：512/7 线对/每单位长度物体解析度：主要放大倍率*摄像机解析度 35/500 * 512/7= 512 ep/mm3. 有一幅在灰度背景下的黑白足球图像，直方图数据如下：【0 520 920 490 30 40 5910 24040 6050 80 20 80 440 960 420 0】足球直径为230mm，像素间距代表多少mm?3. 图像空域增强3.4 点运算的应用l 直方图均衡化：点运算形式及均衡化计算方法 特点：1. 不利于灰度渐变（平滑）图像。2 .第二次均衡化的结果与第一次相同。直方图均衡的实质是减少图像的灰度等级换取对比度的扩大。

15、l 直方图匹配：点运算形式及匹配计算方法 l 代数和与灰度直方图的关系HAB联合灰度直方图A,B互不相关时，l 局部增强 在局部区域完成均衡化、规定化串行增强算法1、设定邻域大小，（如7*7）； 2、计算该邻域直方图，利用均衡化或规定化，获得映射关系； 3、利用映射关系，将该邻域中心点进行处理，更新原图数据4、中心位置移动到下一像素，重复上述过程。新值被利用l 概念：模板（掩模）和窗口 窗口：矩形区域模板：任意形状的区域算术加减运算与逻辑运算？加法：或运算减法：异或运算3.5 代数运算l 代数和的应用均值去噪多幅图像平均法是对获取的同一景物的多幅图像相加取平均来消除噪声。设理想图像 f(x,y

16、)所受到的噪声n(x,y)为加性噪声，而产生的有噪图像g(x,y)可表示为：若图像噪声是互不相关的加性噪声且均值为0，则其中是g(x,y)的期望值。对M幅有噪声的图像经平均后得到其估值误差为：和是在n在点（x,y）处的方差。可见对M幅图像取平均可把噪声方差减小到1/M.当M增大时将更加接近f(x,y)。 在各个位置上像素值的噪声变化率将减小。均值：反映图像的噪声的减小方差（标准差）减小，对比度减小，整个差值图像的差别减小，原图像与去噪后图像差别趋于一致（噪声减小）l 代数差与代数和的关系l 代数差的应用1. 利用差图像可以获得运动目标，同时可利用差图像获得导数图像的灰度直方图；2. 利用差图像

17、可增强图像3. 利用代数差可由含噪图像估计去噪图像的目标综合光密度（IOD）l 代数和降噪的理由（采用功率信噪比）3.6 空间滤波器l 二维离散卷积若大小为m1×n1, g为m2×n2,扩展f和g, M>=m1+m2+1, N>=n1+n2+1边缘的处理方法：1）通过重复图像边缘上行和列，对图像扩充；2）卷绕图像，即假设第一列紧接着最后一列3）在输入图像外部填充常数；）去掉不能计算的行和列，仅对可计算的像素卷积l 均值滤波模板（窗口长度小于信号周期）大于等于信号会滤掉信号必须保证全部权系数之和为1，这样可保证输出图像灰度值在许可范围内，不会产生灰度“溢出”现象。

18、 l 中值滤波模板（2n+1长度窗口内单调，可保留；若窗口内趋势变化，则至少保持n+1个才可不被滤掉）非线性滤波器，长度必须是奇数，属于并行算法，不必保证全部权系数之和为1窗口长度，若一维情况下，窗口长度为2n+1，且输入序列在窗口内单调增或减，则信号可保持。如果序列中趋势改变，则至少需要在n+1个样本上连续保持同一值的过渡。中值滤波后，信号频谱基本不变。注意：均值与中值处理噪声类型不同均值：均值为0的随机噪声中值：去掉脉冲（椒盐）噪声，并能很好的保持边缘特征。l 彩色图像处理概念：色度图？亮度用以区别颜色的特性是亮度、色调和饱和度。亮度和色调一起称为彩色。亮度包含无色的强度的概念。色调是光波

19、混合中与主波长有关的属性，色调表示观察者接收的主要颜色。饱和度与所加白光数量成反比。l 彩色模型意义、应用RGB模型 显示模型，表面颜色是安全色CMY（青、深红、黄）模型， 主要用于打印设备、印刷HIS（色调、饱和度、亮度）模型，用于图像处理以黑到白为轴，表示彩色的亮度I，I轴与颜色点组成的面就是色调，交线长度为饱和度。RGB模型、CMY模型、HIS模型相互转换HIS强度分量l 彩色图像增强伪彩色增强：人眼对色彩的分辨能力强对于灰度图像增强 真彩色增强：对彩色图像增强l 全彩色图像增强的要求1）保持色调不变2） 更宽松的条件：保持图像结构不变。注：1）处理必须对向量和标量都可用；如对数映射，对

20、向量取对数和分别对各分量取对数是一样的效果；若满足该条件可以使用RGB模型 2）若对向量的某一分量操作，该分量对于其他分量必须是独立的。题目：1. 对下图进行直方图均衡化。2.中值滤波12143122345768456783567814. 数字图像变换l 数字图像成像系统是一线性系统，因此可从这个角度对图像进行分析和处理。线性位移不变系统 ：齐次，叠加，移不变性，自相关。系统的输出仅和输入函数形态有关，而和作用起点无关。1. 线性移不变系统，对于调谐信号响应等于输入信号乘以一个依赖于频率的复数2. 实值函数输入产生实值输出。3. 输入调谐信号总产生同频率的调谐信号4. 传函对输入的影响是只改变

21、幅值和相位。l 卷积运算（两种计算方法） l 图像傅立叶变换的性质乘以(-1)x+y的原因？还原图像先反变换，再乘以(-1)x+y线性系统只改变信号的幅值和相位，不改变频率相位：位置信息幅值：能量l 谱的概念、自相关计算与能量谱的关系 图像中自卷积、自相关的区别能量谱、幅值谱、相位谱的概念 l 快速傅立叶变换l 正交变换酉阵定义：T-1=(T*)t性质：可分离性、去相关性由于二维离散傅里叶变换具有可分离性，即它可由两次一维离散傅里叶变换计算得到，二维DFT变换利用分离性，用两次一维变换来实现，即先对f(x,y)的每一行进行一维变换得到F(x,v),再沿F(x,v)每一列取一维变换得到变换结果F

22、(u,v)。可将图像的能量重新分配。沃尔什/哈达玛变换及逆变换沃尔什变换： 哈达玛变换是对称的、可分离的酉变换，它的核矩阵中只有+1和-1元素，它要求N=2n,其中n是整数对于2×2的情况，核矩阵为： 1、构造难易不同； 2、均是正交的方波型； 3、均是可逆运算。快速哈达玛变换、沃尔什变换l 频域增强滤波器在空域与频域的对应关系1.滤波在频域更直观，对于小模板在空间域穿成滤波2.频域相当于一个实验室，一旦通过频域试验选择，可用空间哉进行滤波高频增强高频提升过滤：高通滤波器除去了傅里叶变换的低频成分和零频成分，图像平均强度减小，采用拉普拉斯算子处理后的图像与原图像相加可以达到增强的作用

23、。这种作用称作高频提升过滤。钝化模板：从一幅图像中减去自身模糊图像，即减去低通滤波后的图像而生成的锐化图像。高频提升：相当于加强边缘，相应地，在频域中可表示为： 高通滤波器高频提升滤波器高频加强：高频成分强调图像。在这种情况下，高通滤波函数前乘以一个常数，再加上一个偏移，使零频率不被滤除掉。 a=A-1 且 b=1,即为高频提升， b>1称作高频加强同态滤波同态滤波：（是一种将图像亮度范围压缩和对比度增强的频域方法）图像灰度由照射分量和反射分量合成，反射分量反映图像的内容，随图像细节的不同在空间上坐快速的变化，在不同物体交为界处急剧变化。照射分量在空间上通常均具有缓慢变化的性质。所以图像

24、对数的傅立叶变换中的低频部分主要对应照度分量，而高频主要对应反射分量。找到一种滤波器，减少照射分量的贡献，增加反射分量的贡献，那么图像会得到增强。低频区减弱，高频区加强，减少低频的贡献，加强高频的贡献，亦即达到频域动态范围压缩，空域对比度加强的效果。图像f(x,y)可表示为照度分量i(x,y)和反射分量r(x,y)的乘积.1) 两边同时取对数得2) 两边进行傅立叶变换3) 用一个频域函数H(u,v)处理F(u,v) 4) 傅立叶逆变换到空间域得： 增强后图像是由对应照度分量与反射分量两部分叠加而成。5) 进行指数运算H(u,v)为同态滤波函数，分别作用于照度分量和反射分量上。5. 图像复原l

25、图像复原与图像增强的区别图像增强：不考虑图像是如何退化的，只通过试探各种技术来增强图像的视觉效果，所以图像增强可以不顾增强后的图像是否失真，只要看的舒服就行。（是主观的过程， 为主观认知而进行的）图像复原：需要知道图像退化的机制和过程的先验知识，据此找到一种相应的逆过程的方法，从而得到复原的图像。如果图像已退化，应先作复原处理，再作增强处理。（是相对客观的过程，把退化模型化，并按照相反的进程进行）1. 需要了解图像的退化过程。2. 以保真度为原则进行复原。l 图像复原的评价 保真度主观保真度及客观保真度准则如果将看作是原图像f(x,y)和噪声信号e(x,y)的和，原图像和解码图象之间的 均方根

26、误差：均方根信噪比：峰值信噪比：l 几何复原：平移、倒置、旋转 显示（文件）坐标系，旋转坐标系灰度插值 双线性变换最邻近插值（零阶插值）令输出像素灰度值等于离它所映射到位置最近的输入像素的灰度值，如果有微细结构变化时，会产生锯齿边双线性插值（一阶插值）一阶插值更准确，但运行时间比零阶长。若利用平面方程是过约束方法。 坐标插值f(x,y)1/f(x,y)n(x,y)s(x,y)g(x,y)l 代数复原无约束复原假设退化过程无噪声干扰。退化模型中的噪声为n=g-sf,对n不知时，寻找一个使在最小二乘意义上近似g, 使噪声项的范数尽可能小，也就是最小。求准则函数关于最小问题。令 可得若H(u,v)有

27、零值，则H为奇异的，矩阵不存在，会导致恢复问题的病态性和奇异性。有约束复原为消除病态，准则改为： Q为拉格朗日系数，J为目标函数，r为倒数。求偏导得复原后能量接近，但不完全一样。1.当Q=I时。恢复后的信号中含噪声能量最小，在复原同时起到抑制噪声的作用。滤波前后信号能量保持不变。2. 平滑约束，图像是最平滑图像，Q为拉普拉斯算子。3.均方误差最小滤波（最小均方差维纳滤波）统计平均意义上，复原方法适于一族图像。l 维纳滤波器的构造原则及维纳去卷积以均方差作为平均误差的度量，选取最小均方误差作为最优准则 ；构造时，没有考虑优化；然后进行逆滤波。维纳滤波更强调噪声的抑制，而不是重构信号。在信号与噪声

28、无关时的形式l 匹配监测器及与维纳滤波器的关系l 噪声的估计l 退化模型的估计观察估计实验估计模型估计运动图像的建模题目1. 图像围绕(120,210)反时针旋转60度，求其几何变换式 围绕（x0,y0）进行旋转的复合方法： 2. 令F(109,775)=113,F(109,776)=109, F(110,775)=105,F(110,776)=103。问F(109.27,775.44)=?1)用最临近插值法，2）双线性插值法，各系数的值3. 假设当前图像只在x方向以给定位置x0(t)=at/T，当t=T时，图像总距离为a6. 图像压缩与编码l 图像压缩的可能性及冗余种类图像冗余：像素间冗余（

29、自相关系数）、视觉冗余、时序冗余、编码冗余。（心理冗余）编码冗余：以8比特数据来存储黑白图像。像素冗余：动态图像中，背景不变。背景为时序冗余。视觉冗余：l 图像保真度保真度：解码图像相对原始图像偏离程度的测度，分为客观保真度准则和主观保真度准则。如果将看作是原图像f(x,y)和噪声信号e(x,y)的和，原图像和解码图象之间的 均方根误差：均方根信噪比：峰值信噪比：l 图像冗余度、编码效率和熵 平均码长： 冗余度 编码效率： 熵： 可用作描述某事件不确定度。信息量越大，体系规则越完备，功能越完善。某个事件的信息量，信息量Iron概率平均值叫熵。熵是信息量的度量，它表示某一事件出现的消息越多，事件

30、发生的可能性越小，数学上就是概率小，越混乱，包含信息量越大。图像信息越丰富，熵越大。若对原始图像数据的信息进行信源的无失真图像编码，压缩后平均码率B，其下限是信息熵H。高效编码是尽量使码长接近于H。信源熵：是平稳信源的无损压缩效率极限l 霍夫曼编码（无损压缩）思想：在源数据中出现概率越大的信号，分配的码字越短；反之，其码字越长步骤：1、把输入元素按其出现概率由大到小排列起来，然后把最末两位最小概率的元素之概率加起来；2、把概率之和同其余概率由大到小排列，然后再把两个最小概率加起来，再重新排队；3、重复2，直到最后只剩下两个概率为止 Hufman 编码的特点：1、霍夫曼编码构造出来的编码值不是唯

31、一的，由于0和1分配是人为的2、当图像灰度值分布很不均匀时，霍夫曼编码的效率就高3、缺点：1）缺乏构造性，不能在信源符号与编码之间建立对应关系；2）对图像扫描二次，压缩与解码速度慢；3）这种编码与计算机常用数据结构不匹配，造成编码冗余。l 费诺香农编码（无损压缩）目的：产生具有最小冗余的码词，其基本思想是产生编码长度可辨的码字与霍夫曼相比不需要多次排序。l 算术编码（无损压缩）把要压缩处理的整段数据映射到一段实数半开区间（0，1）内的某一区段，构造出小于1且大地或等于0的数值。这个数值是输入数据流的惟一可译代码。算术编码用到两个基本的参数：符号概率和它的编码间隔。编码间隔决定符号压缩后的输出l

32、 行程编码（无损压缩）在给定图像中寻找连续重复的数值，然后用两个字符值取代这些连续值。例：输入信源为：aaabbbbccccdddedddaa” ，经过行程编码为：3a4b4c3d1e3d2a一种简单且应用广泛的压缩编码，其压缩效率与图像数据的分布情况密切相关，适用于像素冗余的情况。l 预测编码最佳预测编码直方图的峰值标准差熵的物理意义标准差小有利于压缩，熵小可接近熵，效率高l Karhumen-Loeve变换在获取、传输得到的一幅图象中，总混杂有许多随机干扰因素，称为随机图象。K-L变换是针对这类广泛的随机图象提出来的，当对图象施加了K-L变换以后，由变换结果而恢复的图像将是原图象在统计意义

33、上的最佳逼近。协方差阵均值向量。与其余正交变换不同的是，基于统计特性的变换。能量集中度最高，信息集中能力最优，运算量最大。协方差的物理意义均方差表示原图像与压缩复原后的图像之间的，指失真情况变换阵由协方差的特征向量阵组成，代表主轴各特征值代表Y阵各维的能量题目：1. 统计下面的灰度直方图，并计算熵 00111000001110000011100000111555001115550011155500111777001117772. 求K-L均值矢量及协方差矩阵7. 图像分割l 图像分割是利用图像（亮度）的不连续性和相似性l 边缘分割梯度算子（梯度的方向）梯度的大小代表边缘的强度，梯度方向与边缘走

34、向垂直。Roberts梯度算子检测边缘效果略好于梯度算子Prewitt和Sobel算子不仅检测边缘点，还能抑制噪声，但检测边缘较宽方向算子利用一组模板对同一像素进行卷积，然后取最大值作为边缘强度，对应方向作为梯度方向Laplacian算子（特点）特点：1.各向同性（各向同性、线性和位移不变的） 2.可以检测斜坡（渐变）边缘。（对细线和孤立点检测效果好） 3. 检测边缘的同时，噪声被放大 4.产生双边缘现象。（由于边缘方向信息丢失）Marr算子（平滑+拉普拉斯）正态分布，高斯函数在存在较大噪声的场合，由于微分运算会引起噪声的放大。Canny算子（梯度+平滑） Canny如何认定边缘点对边缘检测质

35、量进行分析，提出三个准则：1）低误判率准则 2）定位精度准则 3）虚假边缘准则边缘点的认定：1）像素（i，j）的边缘强度大于沿梯度方向的两个相邻像素的边缘强度；2）像素（i，j）与像素梯度方向的两个相邻像素的梯度方向差小于45度；3）以该像素为中心的3*3邻域中的边缘强度极大值小于某个阈值。 l 边缘连接Hough变换x-y空间的任意一条直线，对应于参数空间a-b上唯一一个点；x-y空间的点(x0,y0)，过该点的直线族，对应参数空间a-b上唯一一条直线。那么，再x-y空间上共线的点，它们对应参数空间的直线一定相交于同一点。原理：直角坐标系上的一条直线对应于极坐标系的一点。设平面上有若干点，过

36、每点的直线系分别对应于极坐标上的一条正弦曲线，若这些正弦曲线有共同的交点，是这些点在直角坐标系中共线，对应方程为：采用直线参数的变换为什么不行当直线垂直时，直接斜率无限大，无法在空间中表示对应关系。 当a趋于无穷时，将无法映射到参数空间。光栅扫描图论技术l 区域分割区域的概念区域是指相互连通的、有一致属性的像素的集合直方图法利用图像灰度直方图来确定分割阈值的方法适用于图像内容比较简单的情况（目标和背景的灰度差较大），峰谷比较明显。（呈双峰，有明显的谷）判断分析法利用类间方差最大，类内方差最小来获取阈值计算图像灰度均值 m=(m1w1+m2w2)/(w1+w2)组间方差 组内方差组内方差小，组内

37、像素越相似；组间方差越大，两组差别越大。组间方差与组内方差比越大，分割效果越好。最佳熵自动阈值法选取阈值t，使图像熵最大。目标区域O和背景区域B的熵可由下式计算 取最大值最小误差分割是使图像中目标和背景分割错误最小。局部门限法当照明和透射不均匀时，整幅图像的分割将没有合适的单一门限，这时1)可把图像分块，对每块选一局部门限进行分割，如果某块内有目标和背景，则直方图可呈现双峰，可定出局部门限值；2)如果一块内只有目标或只有背景，则直方图不呈双峰，找不到合适的门限，但可以通过邻域的门限，通过内插得到该块图像的门限值分水岭方法区域增长种子像素的选取：利用迭代方法从大到小逐步收缩是一种种子选取的典型方

38、法，如在军用红外图像中检测目标时，可选用图中最亮的像素作为种子像素。如果对具体问题没有先验知识，则常可借助生长所用的准则对每个像素进行相应的计算。如果图像中呈现聚类的情况，则接近聚类重心的像素可取为种子像素生长准则的选取：如当图像是彩色图像，仅用单色准则效果就会受影响；此外还需考虑像素间连通性和邻近性，否则会出现无意义的分割结果停止条件的选择：一般生长过程在进行到没有满足生长准则需要的像素时停止，这是由于常用的基于灰度、纹理、彩色的准则大多为局部性质，没有考虑生长的历史。为增加区域生长的能力常需要考虑一些与尺寸、形状等图像和目标的全局性质有关的准则。在这种情况下需要对分割目标建立模型或输入一定

39、的先验知识。 分水岭方法：图像最初在一个低灰度值上被二值化。该灰度值将图像分割成正确数目的物体，它们的边界偏向物体内部。随后阈值增加，每一次增加一个灰度级，物体的边界也随阈值的增加而扩展，当边界相互接触时，这些接触点变成相邻物体的最终边界。这个过程在阈值达到背景的灰度级之前停止。这个方法可以解决那些由于物体靠得太近而不能用全局阈值解决的问题分裂合并分裂合并法基本思想从整幅图像开始，通过不断分裂，得到各个区域，常用四叉树和金字塔式分割技术；将图像分成互不重叠的小区域，如16*16的块1）对任一个区域Ri，不满足条件时，将其分裂成不重叠的4等分2）如果相邻两个区域满足合并条件，就将它们合并起来；3

40、）进一步分裂或合并，直到像素级这是一个递归算法，同样存在分裂合并准则的选取，和停止问题。题目：1.区域分割与区域增长有何区别？区域分割没有考虑到图像像素空间的连通性。区域增长是把图像分割成若干小区域，比较相邻小区域特征的相似性，若它们足够相似，则作为同一区域合并，以此方式将特征相似的小区域不断合并，直到不能合并为止，最后形成特征不同的各区域。特征相似性是构成与合并区域的基本，相邻性是指所取的领域方式 。8. 二值图像处理与形状分析l 二值图像与灰度图像二值图像处理通常是由图像分割操作产生的二值图像的特点：1）是由0和1两个值组成的图像；2）二值图像处理算法快速简单，易于实现；3）二值图像数据量

41、小，对硬件要求低。l 二值图像的连接性和距离邻接0和1必须采用互反的连接方式连接成份数与连接数连接成份（连通成份）：把互相连接的像素的集合汇集为一组，称为连接成份，也称连通成份单连接成份：不包含孔的的1像素连接成分多连接成份：含有孔的1像素连接成分连接数：S=0,2,4,6 欧拉数在二值图像中，1像素连接成份数C减去孔数H的值，叫做这幅图像的欧拉数或示性数 E=C-H对于1像素连接成份：E=1-H, 则图像的欧拉数等于所有1像素连接成份欧拉数之和 距离距离是描述边界长度走向以及分割出区域内图像像素之间关系的重要几何参数，也是相似性的重要测度。1）当且仅当x=y时，d(x,y)=0;2) d(x

42、,y)=d(y,x);3) d(x,y）+d(y,z)>=d(x,z).欧式距离、4-邻域距离、8-邻域距离、八角形距离l 连接成份的变形处理膨胀和收缩、开运算和闭运算膨胀：把结构元素B平移z后得到的Bz，使Bz与X交集不为空集的所有点z构成的集合膨胀可填充图像中的小孔（比结构元素小的孔洞）及图像的边缘处的小凹陷部分，收缩：A用B腐蚀的结果是所有使B平移后，B仍在A中的z的集合。用B来腐蚀A得到的集合是B完全包含在A中时B的原点位置集合。腐蚀可以消除图像边缘小突起的成分，并将图像缩小，从而使其补集扩大开运算：腐蚀运算后再进行膨胀运算的组合运算效果：1）删除小物体 2）将物体拆分为小物体 3）平滑大物体边界而不明显改变它们的面积闭运算：膨胀运算后再进行腐蚀运算的组合运算效果：1）填充物体的小洞 2）连接相近的物体 3）平滑物体边界而不明显改变它们的面积击中变换目的是找到3种形状之一的位置，如X 的位置l 二值运算的应用边缘提取，区域填充，连通分量的提取边缘提取：(A)=A-(AB) 区域填充： 连通分量的提取：凸化利用收敛后的击中变换的结果与图像做并集，四个结构元的结果再做并集，其结果为凸化的结果细化、粗化细化：不破坏连通性的前提下细化图像，保持物体不被分开。首先进行有条件的常规腐蚀过程，只将要删除的像素打上标记而不真正删除；然后逐步访问打