图像处理与机器视觉 课件 刘坤 第6-12章-彩色图像处理 -目标分类、检测与分割

第6章彩色图像处理

为什么研究彩色图像第一、颜色是一个强有力的描绘子：

1、简化目标物的区分和从场景中提取目标2、目标识别：根据目标的颜色特征。第二、符合人类视觉的特点（对人工图像分析很重要）1、可辨别的灰度层次约有四十种2、对颜色的辨别能力和亮度->光波波长改变1-2nm，人眼即可感觉到->人眼同时可辨别几千种不同色彩和亮度的颜色->目标物的颜色变小时，色觉颜色也变，面积小到一定程

度，颜色变为灰色->目标物的色度相同而背景色度不同，感觉到不同的颜色

颜色基础1802年，ThomasYoung提出假设：人眼有三种相当于红、绿、蓝三种基色的颜色感知器。19世纪60年代，Maxwell认识到人眼对色调与饱和度比亮度的敏感度低。三色学说：某种波长的光可以通过三种不同波长的光混合而复现，红、绿、蓝三种单色光可作为基本的颜色—原色。生理学试验表明，视网膜上的光感受器可分锥细胞和杆细胞，锥细胞对彩色敏感，杆细胞对亮度敏感。锥细胞可分为3类，分别对红、绿、蓝敏感，约各占65%、33%、2%。->一个纯黑白物在特定条件下表现为不同的颜色（Benham黑白园板）Note：1、视觉是一种生理和心理现象，其机理在探索中。对彩色(颜色)的许多结论是建立在实验和理论结果支持的基础上。

2、对彩色图像的处理是基于对其适当的描述方法。RGB显示器的颜色显示范围高质量打印设备的颜色显示范围彩色基础400nm700nm紫外光红外光可见光区546.1nm435.8nm780nm人眼中红绿蓝锥状体的波长吸收系数光的吸收率

蓝紫色

紫蓝色400450500550600650700nm

蓝色

蓝绿色

绿色

黄绿色

黄色

橙色

红橙色

红色蓝绿红人类视觉对红、绿、蓝三种颜色的光最为敏感。从而构成了三基色假说。三基色假说(格拉斯曼定律)：三基色是这样的三种颜色，它们相互独立，其中任一色均不能由其它二色混合产生。但它们又是完备的，即其它所有的颜色都可以由三基色按照不同的比例混合而得到。

任何颜色均可由RGB产生：C=a(R)+b(G)+c(B)两种基色系统：加色系和减色系统颜色的描述方法一：区别颜色的三特性：亮度、色调和饱和度

亮度：包含无色的强度的概念。主观描述不可测量色调：光波混合中和主波长有关的属性，观察者接受的主要颜色。饱和度：色彩的纯度，纯度高则鲜明，纯度低则黯淡。如粉红色(红+白)欠饱和，纯谱色是全饱和。

色调与饱和度一起成为彩色。X、Y、Z分别表示某种颜色中红绿蓝的量，即三色值。三色值系数：方法二：CIE色度图彩色模型1、RGB彩色模型（面向硬件）笛卡尔坐标系中以700nm(红)、546.1nm(绿)、435.8nm(蓝)为三基色。黄(255,255,0)黑(0,0,0)绿(0,255,0)青(0,255,255)蓝(0,0,255)品红(255,0,255)白(255,255,255)红(255,0,0)1、CCD直接感知的是RGB三个分量；2、图像成像、显示、打印等设备的基础。R:200G:50B:120RGB正方体模型的展开图像的R、G、B分解示例rgb=imread('F:\数字图像处理与MATLAB\picture\cat.jpg');%可以通过下面的程序看一幅图的RGB三个通道R=rgb(:,:,1);%红色分量G=rgb(:,:,2);%绿色分量B=rgb(:,:,3);%蓝色分量R1=rgb(:,:,1)*0;%将图像的三维矩阵的每1页清零G1=rgb(:,:,2)*0;B1=rgb(:,:,3)*0;R_img=cat(3,R,G1,B1);G_img=cat(3,R1,G,B1);B_img=cat(3,R1,G1,B);subplot(1,4,1);imshow(rgb);title('原图');subplot(1,4,2);imshow(R_img);title('R红');subplot(1,4,3);imshow(G_img);title('G绿');subplot(1,4,4);imshow(B_img);title('B蓝');源代码如下：2、HSV彩色模型Hue,Saturation,ValueHSV对应于画家的配色方法：在纯色中加入白色改变色浓，加入黑色改变色深。在圆锥顶点处，V=0，H和S无定义，代表黑色；圆锥顶面中心处，S=0，V=1，H无定义，代表白色；从圆锥顶点到顶面圆心的连线，代表从黑到白的不同灰度。3、HSI彩色模型符合人描述和解释颜色的方式。如：红色分为浅红和深红色等H：色调，I：亮度，S：饱和度I：亮度H：色调S：饱和度（圆周为1，中心为0）Note：亮度与色调和饱和度分开；仅分析反应色彩本质的色调和饱和度，广泛用于计算机视觉、图像检索和视频检索。HSI模型色调（H）的效果示意图H=0ºH=60ºH=120ºH=180ºH=240ºH=300ºHSI模型的优势1、从人的视觉系统出发，有H、S、I描述色彩2、相比REG彩色空间模型，更符合人的视觉特点3、在图像处理和计算机视觉中的大量算法都可在HIS空间中方便的使用4、H、S、I可以分开处理而且相互独立I分量与图像的彩色信息无关；HS分量与人感受颜色的方式紧密相连。5、HIS色彩空间中可以简化图像分析和处理的工作量6、HIS和RGB是同一物理量的不同表示方法，因而可以相互转化模型转换RGB和HIS之间的转换1、RGB→HSIRGB分量和与之对应的HIS图像分量RGB→HSI2、HSI→RGB注意：300~360之间为非可见光谱色，没有定义RGB分量和与之对应的HIS图像分量色调蓝绿区域像素为零青色区域饱和度减半饱和度白区强度减半度RGBHSI→RGB伪彩色处理

伪彩色处理是根据特定的准则对灰度值赋以彩色的处理，是区别于真彩色处理和对单色图像赋以彩色的处理。应用：人类视觉观察和解释图像中的灰度目标。

伪彩色处理方法：1、强度分层2、灰度级到彩色的转换1、强度分层技术图像的描述强度分层技术的几何解释对切割平面以下部分编码为一种色彩，以上部分编码为一种色彩，获得一幅两色图像。分层技术总结：

垂直于灰度轴的P个平面（分为p+1个间隔）的量级定义为：灰度到彩色的幅值关系：Ck是与强度间隔为Vk的第k级强度有关的颜色，Vk由l=k-1和l=k分割平面定义。例1、甲状腺模型及其强度分层图甲状腺模型的单色图像强度分为8个彩色的图像单色灰度图像很难分辨出病变，强度分层图像很容易辨别病变部位。

焊缝X光的单色图像彩色编码的图像

在灰度级是已知的前提下，强度分层在可视化方面是简单而有力的手段。简化工作，降低失误率。例2、焊缝缺陷的检测强度与月平均降雨量对应的灰度图像南美区域放大图

彩色编码图像对强度值赋予颜色例3、降雨量的观察2、灰度级到彩色转换灰度级到彩色变换图灰度级到彩色的变换是基于平滑的非线性函数。行李的X光单色图像

彩色编码图像

例4、行李中爆炸物的检测

木星的伪彩色图像

靠近木星的伪彩色图像红色部分为活火山喷出的物质周围黄色物质为陈旧的硫沉积物例5、木星的伪彩色图像全彩色处理全彩色处理研究分为两大类：1、分别处理每一分量图像，再合成彩色图像；2、直接处理彩色像素。此时像素作为一个向量彩色图像处理基础两类处理方法：1、单独处理颜色空间的每一个通道，再复合成结果图像；2、把像素的颜色看作颜色空间中的一个点，也可以看作是一个向量，在向量空间中处理图像。输入图像(RGB)HSI输出图像(RGB)H*S*I*分离通道通道处理通道合成输入图像(RGB)RGB输出图像(RGB)R*G*B*彩色图像的常规处理—彩色变换VersusRedGreenBlueHistogramequalized1、变换函数：g(x,y)：变换后的彩色输出图像f(x,y)：彩色输入图像T：在空间邻域（x,y）上对f的操作。2、彩色变换：ri、si：任何点处彩色分量的变量在RGB、HIS彩色空间，n=3；草莓和咖啡杯的全彩色图像草莓由深红和黄色组成草莓包含大量的红色，绿色和蓝色很少强度分量是全彩色原像的单色复现；草莓的饱和度最高，色调被白光稀释的最少3、补色定义：在图示彩色环上，与一种色调直接对立的另一种色调称为补色作用：增强嵌在彩色图像暗区的细节，特别是在大小上占支配地位的细节。例6计算彩色图像的补色基于RGB变换的补色图像变换函数用HIS变换的RGB补色的近似4、彩色分层突出图像中特殊才彩色区域，以便分离出目标物。基本思路：1、显示感兴趣颜色以便从背景中分离；2、在彩色定义的区域中使用处理技术。方法：若感兴趣颜色有宽度W，中心在原彩色(平均)点并具有分量(a1,a2,…..,an)的立方体中，其变换集为：若感兴趣的颜色是半径为R0的封闭球形，则其变换集为：例7、彩色分层技术RGB=（0.6863,0.1608,0.1922）W=0.2549的立方体区域RGB=（0.6863,0.1608,0.1922）R0=0.1765的封闭球形区域5、色调和彩色校正目的：试验性地调整图像亮度和对比度，以便在合适的亮度上提供最大的细节，彩色本身并不改变。例8、灰度变换HIS空间中仅改变亮度分量，RGB和CMY(K)空间中用相同的变换函数映射各个分量。例9、彩色平衡6、HIS空间下的直方图均衡均匀扩展彩色强度，保留彩色本身(色调)不变。例10、直方图均衡平滑和尖锐1、彩色图像平滑原则：在彩色图像邻域中对分量向量做均值处理。

令Sxy表示在RGB彩色图像中定义一个中心在(x,y)的邻域的坐标集，在该领域中中RGB分量的平均值为：例11、彩色图像平滑RGBRedGreenBlueHSI分量图像HSI5X5平均模板平滑图像的结果RGB平滑图HIS强度分量平滑后的RGB图像二者差异彩色图像的平滑处理2、彩色图像尖锐化向量的拉普拉斯微分算子：输入向量的独立标量分量的拉普拉斯微分RGB彩色图像中向量c的拉普拉斯变换为：例12、拉普拉斯尖锐化RGB锐化图像HIS仅对强度锐化后的RGB图像二者差异彩色图像的锐化处理彩色分割1、HSI彩色空间分割(效果差)H色调图像描述彩色很方便；S饱和度作为模板分离出感兴趣目标；强度不包含彩色信息而不常用。2、RGB向量空间分割(效果更好)目的：分割出特殊彩色区域的目标。

首先获得目标的有代表性的彩色点样品集，其次在某一种距离测度上，给满足相似性度量的像素点集编码即可。选择在欧式空间的距离度量：设选择的彩色平均向量为a，距离阈值为D0，则：满足D(a,z)≤D0的点集构成一个球心在a，半径为D0的实心球。更一般选择的距离测度为：原图色调H饱和度S强度I二值S二值S与H相乘相乘的直方图原图红分量的分割例13、HIS空间分割(微红色区域)例14、RGB空间分割(微红色区域)

选择方形区域做样本，计算中心a，盒子的尺度为标准差的1.25倍HIS分割记过彩色图像的常规处理—图像分割例：检测皮肤算法：（在RGB向量空间中实现图像分割）（1）基于感兴趣区域（RegionofInterest,ROI）采样；（2）统计样本的颜色特征：平均值和标准差；（3）定义合适的包围盒；判断当前像素颜色，若处于包围盒内，则保留；否则去除。三种常用的包围盒彩色图像噪声思考题与作业用彩色信息进行图像识别本节中，我们给出一个实例对基于彩色信息的图像识别加以讨论。的NNF的NNF两种算法的效果比较

欢迎提

任何问题第七章图像特征检测目录基于阈值处理的像素点检测角点检测

孤立点检测

Harris角点检测边缘检测

一阶边缘检测模型

二阶边缘检测模型

基于Hough变换的边缘检测尺度检测

Blob特征检测

SIFT特征检测基础知识68例子：设想电脑玩家手中的扑克牌，我们需要对其进行视觉上的分析原始图像阈值图像基础知识基础知识70单值阈值只能对双峰直方图工作得较好，对于其它类型的直方图，需要更多的阈值基础知识71不均匀的光照会使单值阈值方案失效72如果设置了错误的阈值，结果会很糟糕太小的阈值太大的阈值基础知识基本的全局化阈值处理73全局化阈值处理是指整幅图像使用同一个阈值做分割处理，并产生一个二值图，区分出前景对象和背景。适用于背景和前景对比度大的图像算法实现：选取一个合适的阈值T，逐行扫描图像凡灰度级大于T的，颜色置为255；凡灰度级小于T的，颜色置为0基本的全局化阈值处理74迭代法全局阈值T可以按如下计算：1、选择一个初时估计值T（一般为图像的平均灰度值）2、使用T分割图像，产生两组像素：G1包括灰度级大于T的像素，G2包括灰度级小于等于T的像素3、计算G1

中像素的平均值并赋值给μ1，计算G2中像素的平均值并赋值给μ24、计算一个新的阈值：5、重复步骤2～4，一直到两次连续的T之间的差小于预先给定的上界T原始图像迭代法阈值分割后的图像基本的全局化阈值处理Otsu阈值化处理阈值法-Otsu法最大类间方差法是由日本学者大津于1979年提出的，是一种自适应的阈值确定的方法，又叫大津法，简称Otsu法。Otsu法按图像的灰度特性将图像分成背景和目标两部分，背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大。当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。Otsu阈值化处理

Otsu阈值化处理原始图像阈值偏低迭代法Otsu法Otsu阈值化处理在图像存在噪声的情况下，直接应用Otsu阈值化处理会导致类间方差不够稳定，阈值选择有偏差。含高斯噪声的图像对噪声图像Otsu阈值处理平滑后的图像对平滑后的图像Otsu阈值处理局部阈值处理当图像中出现不均匀光照或复杂背景的情况时，使用局部阈值处理可以根据每个像素的周围信息来确定阈值带噪声阴影的图像使用Otus方法得到的结果分为6幅子图像后的图像分别对每幅子图像应用Otsu方法的结果基于局部图像特性的阈值处理基于局部图像特性的局部阈值处理是在图像中的每一点计算阈值，该阈值是以一个或多个在邻域内计算的特性为基础的。基于局部图像特性的阈值处理步骤如下：1）计算以某一像素为中心的邻域的灰度标准差和均值；2）根据计算得到的标准差和均值，设定一个可变的阈值；3）将当前像素的灰度值与设定阈值进行比较，如果像素的灰度值满足阈值条件，将其设置为目标值，否则设置为背景值；基于局部图像特性的阈值处理原始酵母图像双阈值处理后的图像局部标准差处理后的图像局部图像特性处理后的图像基于移动平均法的阈值处理移动平均方法是基于局部图像特性局部阈值处理的一种特殊情况，它以图像的行扫描为基础进行计算。通常为了减少光照偏差，扫描是以Z字形模式逐行执行的。原始文本图像被正弦波遮蔽污染的图像使用Otsu方法的全局阈值处理的结果使用移动平均的局部阈值处理的结果动机：全景图像拼接给定两张图像，如何拼成大图?点特征提取步骤1：检测特征点点特征提取步骤1：检测特征点步骤2：匹配特征点特征提取步骤3：对齐图像点特征提取步骤1：检测特征点步骤2：匹配特征点特征用于：图像对齐3D重建运动跟踪机器人导航索引和数据库检索对象识别点特征提取点特征的优势:点特征属于局部特征，对遮挡有一定鲁棒性;通常图像中可以检测到成百，上千的点特征，以量取胜;点特征有较好的辨识性，不同物体上的点容易区分;点特征提取通常速度很快。点特征提取孤立点检测孤立点的检测以二阶导数为基础，即用拉普拉斯算子：原始图像拉普拉斯图像检测孤立点可以通过一个小窗口识别角点向任何方向移动窗口应该会产生很大的强度变化Harris角点检测假设窗口W发生位置偏移(u,

v);比较偏移前后窗口中每一个像素点的灰度变化值;使用误差平方和定义误差函数E(u,

v)窗口函数w(x,

y):窗口函数平移后的图像灰度图像灰度Harris角点检测Harris算子用Taylor展开I(x+u,y+v)去近似任意方向：于是，E(u,v)可以重写为：Harris角点检测M是2×2的矩阵，它是关于x和y的二阶函数，E(u,v)是一个椭圆方程椭圆的尺寸由M的特征值λmax

和λmin

决定，它们表征了灰度变化最快和最慢的两个方向椭圆的方向由M的特征矢量决定Harris角点检测二阶矩矩阵的可视化Harris角点检测根据M的2个特征值大小对图像点进行分类:如果λ1和λ2都很小，图像窗口在所有方向上移动都无明显灰度变化Harris角点检测角点应该满足的基本性质：最小特征值尽量大角点响应R=λminHarris角点检测比R=λmin更有效的角点响应函数：Harris角点检测Harris角点检测的步骤:1.将原图像I使用w(x,y)进行卷积，并计算图像梯度Ix与Iy;2.计算每一个图像点的自相关矩阵M;3.计算角点响应R=det(M)-αtrace(M)2;4.选择R大于阈值且为局部极大值的点作为角点。IRHarris角点检测角点RHarris角点检测Harris角点检测的步骤:1.将原图像I使用w(x,y)进行卷积，并计算图像梯度Ix与Iy;2.计算每一个图像点的自相关矩阵M;3.计算角点响应R=det(M)-αtrace(M)2;4.选择R大于阈值且为局部极大值的点作为角点。Harris角点检测计算角响应RHarris角点检测查找角响应较大的点：R>ThresholdHarris角点检测只取R的局部最大值的点Harris角点检测Harris角点检测只取R的局部最大值的点Harris检测子获得的角点可能在图像上分布不均匀(对比度高的区域角点多)改进方法:Adaptivenon-maximalsuppression(ANMS)，只保留半径r内角点响应比其他点大10%的点作为角点。(Brown,SzeliskiandWinder,2005)Harris角点检测希望角点位置对于光度变化具备不变性，对于几何变化具备协变性不变性：图像被转换，角点位置不变。H(T(I))=H(I)协变性：对于变换前后两幅图像，则应在变换后的相应位置检测到特征点.H(T(I))=T(H(I))Harris角点检测

Harris角点检测对比度变化部分不变:y=ax+b对仿射强度变化部分不变性Harris角点检测导数和窗函数是移位不变的:角点位置对于平移是协变的Harris角点检测椭圆转过一定角度但是其形状保持不变(特征值保持不变):角点位置对于旋转是协变的Harris角点检测对于图像尺度变化不具有不变性:Harris角点检测边缘检测：识别图像中的突然变化（不连续性）直观地说，图像中的大多数语义和形状信息都可以用边缘编码比像素更紧凑图像边缘的产生：物体的边界表面方向的改变不同的颜色光照明暗的变化

边缘检测如何判断一个像素是否在边缘上？边缘检测如何判断一个像素是否在边缘上?边缘检测边缘是图像强度快速变化的地方如果把图像看作二维函数，那么边缘就是悬崖峭壁边缘检测对于二维函数f(x,y)，偏导数可以写成：对于离散的数据，采用有限差分的方式进行近似：如果用卷积的形式来实现上面的公式，那么滤波器的形式是怎样的？边缘检测|图像微分边缘检测|图像微分图像梯度计算：梯度指向强度增加最快的方向，这个方向与边缘的方向有什么关系？梯度方向用梯度幅值定义边缘的强度边缘检测|图像微分边缘检测|图像微分直接对图像使用差分容易受到噪声影响边缘在哪里?边缘检测|高斯微分解决方法：先平滑，再微分

边缘检测|高斯微分微分也是卷积，卷积满足交换律，可将平滑和微分合为一个算子边缘检测|高斯微分哪一个找到水平/垂直边缘？边缘检测|高斯微分高斯微分能够去除噪声，但也会造成边缘模糊高斯微分还能够发现不同“尺度”的边缘边缘检测|高斯微分对比平滑滤波器和微分滤波器平滑滤波器高斯滤波器去除“高频”分量，实质是“低通”滤波器平滑滤波器的值不可以为负这些值的总和应该是1：恒定区域不受过滤器影响微分滤波器高斯滤波器的导数微分滤波器中的值可以是负数滤波器中的值的和为0：对于平滑区域不做响应对比度越高的点，微分值也越高边缘检测|高斯微分一阶边缘检测模型-梯度算子函数f(x,y)在(x,y)处的梯度为一个向量：

f=[f/x,f/y]计算这个向量的大小为：G=[(f/x)2+(f/y)2]1/2近似为:G|fx|+|fy|或Gmax(|fx|,|fy|)梯度的方向角为：

φ(x,y)=tan-1(fy/fx)可用下图所示的模板表示-111-1一阶边缘检测模型-梯度算子一阶边缘检测模型-Roberts算子罗伯特（Roberts）算子使用对角线上相邻像素的差值来寻找边缘。罗伯特算子是一个交叉算子，其在点的梯度幅值表示为:罗伯特算子公式：特点：与梯度算子检测边缘的方法类似，对噪声敏感，但效果较梯度算子略好-11fx’1-1fy’一阶边缘检测模型-Prewitt算子-101-101-101计算均值，平滑噪声检测竖直边缘-1-1-1000111检测水平边缘计算均值，平滑噪声特点：去噪+增强边缘一阶边缘检测模型-Sobel算子特点：去噪+增强边缘，给四邻域更大的权重-101-202-101计算均值，平滑噪声检测竖直边缘-1-2-1000121检测水平边缘计算均值，平滑噪声一阶边缘检测模型原始图像Roberts算子处理后的图像Prewitt算子处理后的图像Sobel算子处理后的图像二阶边缘检测模型-Laplace算子特点：Laplace算子的优点是检测模板是各向同性、线性和位移不变的，对孤立点和细线的检测效果良好。但是对噪声产生较大的响应，误将噪声作为边缘，常产生双像素的边缘。Canny算子是最常用的边缘检测算子Canny算子是一阶微分算子，但是一个优化的方案单像素宽度噪声抑制边缘增强边缘定位J.Canny,“AComputationalApproachtoEdgeDetection”,IEEE

Trans.onPAMI,8(6),1986.二阶边缘检测模型-Canny算子Canny算子基本流程二阶边缘检测模型-Canny算子Canny算子基本流程(1)使用高斯平滑滤波器进行卷积(2)使用一阶有限差分计算偏导数的两个阵列当然也可以使用高斯微分算子(Prewitt或Sobel)直接与I(x,

y)卷积计算Dx(x,y)和Dy(x,

y)二阶边缘检测模型-Canny算子Canny算子基本流程(2)边缘幅值和边缘方位角M代表梯度幅值的大小，在存在边缘的图像位置处，M的值变大，图像的边缘特征被“增强”。二阶边缘检测模型-Canny算子Canny算子基本流程(3)非极大值抑制(NMS:Non-MaximaSuppression)主要思想：由梯度幅值图像M(x,y)，仅保留极大值(严格地说，保留梯度方向上的极大值点)。具体过程:1.初始化N(x,y)=M(x,y);2.对于每个点，在梯度方向和反梯度方向各找n个像素点。若M(x,y)不是这些点中的最大点，则将N(x,y)置零，否则保持N(x,y)不变。二阶边缘检测模型-Canny算子Canny算子基本流程(3)非极大值抑制(NMS:Non-MaximaSuppression)在梯度方向的沿线上检测该点是否为局部极大值;简化的情形，只使用4个方向:[0,45,90,135];得到的结果N(x,y)包含边缘的宽度为1个像素;二阶边缘检测模型-Canny算子Canny算子基本流程(4)双阈值提取边缘点使用大的阈值，得到少量的边缘点，许多空隙；使用小的阈值，得到大量的边缘点，大量的错误检测；设定两个阈值T1，T2，使得T2>>T1；由T1得到E1(x,y)，低阈值边缘图：更大的误检测率；由T2得到E2(x,y)，高阈值边缘图，更加可靠二阶边缘检测模型-Canny算子Canny算子基本流程

(4)双阈值提取边缘点边缘连接：1.将E2(x,y)中相连的边缘点输出为幅边缘图像E(x,y);2.对于E(x,y)中每条边，从端点出发在E1(x,y)中寻找其延长的部分，直至与E(x,y)中另外一条边的端点相连，否则认为E1(x,y)中没有它延长的部分;3.将E(x,y)作为结果输出。二阶边缘检测模型-Canny算子Canny算子基本流程(4)双阈值提取边缘点低阈值边缘图像高阈值边缘图像Canny输出边缘图像二阶边缘检测模型-Canny算子渐增高斯滤波模版的尺寸二阶边缘检测模型-Canny算子渐增双阈值的大小，保持low=high*0.4二阶边缘检测模型-Canny算子渐增双阈值的大小，保持low=high*0.4二阶边缘检测模型-Canny算子Canny算子的优点:参数较少计算效率得到的边缘连续完整参数的选择:Gauss滤波的尺度双阈值的选择(LOW=HIGH*0.4)如果不使用细化，如何获得单像素宽度边缘?边缘是一阶倒数的极大值点边缘是二阶倒数的过零点

注意：仅仅等于0不够，常数函数也为0，必须存在符号改变二阶边缘检测模型-LoG算子对平滑图像做二阶微分:二阶边缘检测模型-LoG算子LaplacianofGaussian(LoG)算子:首先用Gauss函数对图像进行平滑，抑制噪声，然后对经过平滑的图像使用Laplacian算子LoG算子等效于:Gaussian平滑+Laplacian二阶微分二阶边缘检测模型-LoG算子LoG因其形状，也称为MexicanhatLoG算子用到的卷积模板一般比较大，不过这些模板可以分解为一维卷积来快速计算对于LoG算子边缘检测的结果，可以通过高斯函数标准偏差σ进行调整。数学上已证明，LoG算子是按零交叉检测阶跃状边缘的最佳算子。但在实际图像中要注意到，高斯滤波的零交叉点不一定全部是边缘点，还需要进一步对其真伪进行检验。00-1000-1-2-10-1-216-2-10-1-2-1000-100二阶边缘检测模型-LoG算子LoG算子的特点:正确检测到的边缘：单像素宽度，定位准确;形成许多封闭的轮廓，这是一个主要问题;需要更加复杂的算法检测过零点PrewittSobelLoG二阶边缘检测模型-LoG算子基于Hough变换的边缘检测前面介绍了一些边缘检测的有效方法。但实际中由于噪声和光照不均等因素，使得在很多情况下所获得的边缘点是不连续的，必须通过边缘连接将它们转换为有意义的边缘。一般的做法是对经过边缘检测的图像进一步使用连接技术，从而将边缘像素组合成完整的边缘。霍夫（Hough）变换是一个非常重要的检测间断点边界形状的方法。它通过将图像坐标空间变换到参数空间，来实现直线和曲线的拟合。Hough变换——直线检测1．直角坐标参数空间在图像x−y坐标空间中，经过点(xi,yi)的直线表示为yi=axi+bi，式中：参数a为斜率，b为截距。通过点(xi,yi)的直线有无数条，且对应于不同的a和b值，它们都满足直线公式。如果将xi和yi视为常数，而将原本得参数a和b看作变量，则有如下b=-xia+yi，就变换到了参数平面a−b。这个变换就是直角坐标中对于(xi,yi)点的Hough变换。该直线是图像坐标空间中的点(xi,yi)在参数空间的唯一方程。Hough变换——直线检测考虑图像坐标空间中的另一点(xj,yj)，它在参数空间中也有相应的一条直线：b=-xja+yj，这条直线与点(xi,yi)在参数空间的直线相交于一点(a0,b0)。Hough变换——直线检测图像坐标空间中过点(xi,yi)和点(xj,yj)的直线上的每一点在参数空间a−b上各自对应一条直线，这些直线都相交于点(a0,b0)，而a0、b0就是图像坐标空间x−y中点(xi,yi)和点(xj,yj)所确定的直线的参数。反之，在参数空间相交于同一点的所有直线，在图像坐标空间都有共线的点与之对应。根据这个特性，给定图像坐标空间的一些边缘点，就可以通过Hough变换确定连接这些点的直线方程。Hough变换——直线检测建立一个二维累加数组A(a,b)，第一维的范围是图像坐标空间中直线斜率的可能范围，第二维的范围是图像坐标空间中直线截距的可能范围。开始时A(a,b)初始化为0，然后对图像坐标空间的每一个前景点(xi,yi)，将参数空间中每一个a的离散值代入式b=-xia+yi，从而计算出对应的b值。每计算出一对(a,b)，都将对应的数组元素A(a,b)加1，即A(a,b)=A(a,b)+1。所有的计算都结束后，在参数空间表决结果中找到A(a,b)的最大峰值，所对应的a0、b0就是原图像中共线点数目最多（共A(a0,b0)个共线点）的直线方程的参数；Hough变换——直线检测接下来可以继续寻找次峰值和第3第4峰值等，它们对应于原图中共线点数目略少一些的直线。注意：由于原图中的直线往往具有一定宽度，实际上相当于多条参数极其接近的单像素宽直线，往往对应于参数空间中相邻的多个累加器单元。因此每找到一个当前最大的峰值点后，需要将该点及其附近点清零，以防算法检测出多条极其邻近的“假”直线。Hough变换——直线检测2．极坐标参数空间极坐标中用如下参数方程表示一条直线：ρ=xcosθ+ysinθ，式中，ρ代表直线到原点的垂直距离；θ代表x轴到直线垂线的角度，取值范围为±90°。与直角坐标类似，极坐标中的Hough变换也将图像坐标空间中的点变换到参数空间中。在极坐标表示下，图像坐标空间中共线的点变换到参数空间中后，在参数空间都相交于同一点，此时所得到的ρ、θ即为所求的直线的极坐标参数。Hough变换——直线检测与直角坐标不同的是，用极坐标表示时，图像坐标空间的共线的两点(xi,yi)和(xj,yj)映射到参数空间是两条正弦曲线，并且相交于点(ρ0,θ0)。具体计算时，与直角坐标类似，也要在参数空间中建立一个二维数组累加器A，只是取值范围不同。对一幅大小为D×D的图像，通常ρ的取值范围为，θ的取值范围为[−90°，90°]。计算方法与直角坐标系中累加器的计算方法是完全相同的，最后得到的最大的A所对应的(ρ，θ)。Hough变换——曲线检测Hough变换同样适用于方程已知的曲线检测。图像坐标空间中的一条已知的曲线方程也可以建立其相应的参数空间。由此，图像坐标空间中的一点，在参数空间中就可以映射为相应的轨迹曲线或者曲面。若参数空间中对应各个间断点的曲线或者曲面能够相交，就能够找到参数空间的极大值以及对应的参数；若参数空间中对应各个间断点的曲线或者曲面不能相交，则说明间断点不符合某已知曲线。Hough变换做曲线检测时，最重要的是写出图像坐标空间到参数空间的变换公式。Hough变换——曲线检测对于已知的圆方程，其直角坐标的一般方程为其中(a,

b)为圆心坐标，r为圆的半径，它们为图像的参数。那么，参数空间可以表示为(a,b,r)，图像坐标空间中的一个圆对应参数空间中的一点。具体计算时，数组累加器为三维A(a,b,r)。计算过程是让a、b在取值范围内增加，解出满足上式的r值，每计算出一个(a,b,r)值，就对数组元素A(a,b,r)加1。计算结束后，找到的最大的A(a,b,r)所对应的a、b、r就是所求的圆的参数。Hough变换——曲线检测这里所说的任意形状的检测，是指应用广义Hough变换去检测某一任意形状边界的图形。它首先选取该形状中的任意点(a,b)为参考点，然后从该任意形状图形的边缘上每一点计算其切线方向φ和到参考点(a,b)位置偏移矢量r，以及r与x轴的夹角α，如图所示。参考点(a，b)的位置可由下式算出。Hough变换——任意形状检测利用广义Hough变换检测任意形状边界的主要步骤如下：（1）在预知区域形状的条件下，将物体边缘形状编成参考表。对于每个边缘点计算梯度角ϕi，对每一个梯度角ϕi，算出对应于参考点的距离Ri和角度αi。（2）在参数空间建立一个二维累加数组A(a,b)，初值为0。对边缘上的每一点，计算出该点处的梯度角，然后，由上式计算出每一个可能的参考点的位置值，对相应的数组元素A(a,b)加1。（3）计算结束后，具有最大值的数组元素A(a,b)所对应的a、b值即为图像坐标空间中所求的参考点。Blob分析：（BlobAnalysis）是对图像中相同像素的连通域进行分析，该连通域称为Blob。经二值化处理后的图像中色斑可认为是blob。Blob分析工具可以从背景中分离出目标，并可以计算出目标的数量、位置、形状、方向和大小，还可以提供相关斑点间的拓扑结构。在处理过程中不是对单个像素逐一分析，而是对图像的行进行操作。与基于像素的算法相比，大大提高了处理的速度。可以直观的理解是色斑：就是相同像素组成的一小块，一小块的特征尺度检测-Blob特征检测实现尺度协变目标是在图像缩放前后独立检测对应区域需要尺度选择机制来找到与图像变换协变的特征区域大小尺度检测-Blob特征检测Edge=波纹

Blob=两个波纹的叠加实现尺度协变尺度选择：拉普拉斯响应的幅度将在斑点中心达到最大值，前提是拉普拉斯的比例与斑点的比例“匹配”尺度检测-Blob特征检测我们想通过在几个尺度上与拉普拉斯算子进行卷积来找到斑点的特征尺度，并寻找最大响应然而，拉普拉斯响应随着尺度的增加而衰减尺度检测-Blob特征检测高斯滤波器的导数对完美阶梯边缘的响应随着σ的增加而减小尺度检测-Blob特征检测为了保持响应相同（尺度不变），必须将高斯导数乘以σ拉普拉斯算子是高斯的二阶导数，因此必须乘以σ2尺度检测-Blob特征检测高斯拉普拉斯算子：用于二维blob检测的圆对称算子尺度归一化：尺度检测-Blob特征检测拉普拉斯算子在多大范围内对半径为r的二元圆产生最大响应？为了获得最大的响应，拉普拉斯算子的零点必须与圆对齐尺度检测-Blob特征检测拉普拉斯算子在什么尺度上对半径为r的二维圆产生最大响应？尺度检测-Blob特征检测为了获得最大的响应，拉普拉斯算子的零点必须与圆对齐忽略尺度因子后，拉普拉斯算子的公式：因此最大响应发生在尺度检测-Blob特征检测将blob的特征尺度定义为在blob中心产生拉普拉斯响应峰值的尺度尺度检测-Blob特征检测在几个尺度上用尺度归一化拉普拉斯算子对图像进行卷积尺度检测-Blob特征检测在几个尺度上用尺度归一化拉普拉斯算子对图像进行卷积尺度检测-Blob特征检测在几个尺度上用尺度归一化拉普拉斯算子对图像进行卷积在尺度空间中找到平方拉普拉斯响应的最大值尺度检测-Blob特征检测Harris-Laplacian用Harris确定角点位置用Laplacian检测尺度SIFT(Lowe)利用高斯差分寻找尺度空间中的极值尺度检测-Blob特征检测ScaleInvariantFeatureTransform(SIFT)(Lowe,2004)不变性对图像的旋转和尺度变化具有不变性;对三维视角变化和光照变化具有很强的适应性;局部特征，在遮挡和场景杂乱时仍保持不变性;辨别力强特征之间相互区分的能力强，有利于匹配;数量较多一般500X500的图像能提取出约2000个特征点。尺度检测-SIFT特征检测DavidG.Lowe,“DistinctiveImageFeaturesfromScale-InvariantKeypoints”,InternationalJournalofComputerVision60(2):91-110(2004),23250cites高斯尺度空间尺度检测-SIFT特征检测构建尺度空间:模拟图像数据的多尺度特征其中G(x,y,σ)是尺度可变高斯函数尺度参数σ决定图像的平滑程度，大尺度对应图像的概貌特征小尺度对应图像的细节特征尺度检测-SIFT特征检测高斯尺度空间尺度检测-SIFT特征检测DOG尺度空间尺度检测-SIFT特征检测为了在尺度空间中检测稳定的关键点，构造高斯差分尺度空间(DifferenceofGaussian,DOG)使用DOG的几个理由:计算效率高：高斯卷积，减法;高斯差分是对尺度归一化LoG(σ2∇2G)的一个很好的近似，而尺度归一化的LoG空间具有真正的尺度不变性;实验比较表明，从尺度归一化LoG空间中提取的图像特征的尺度稳定性最好，优于梯度、Hessian或Harris角点函数。尺度检测-SIFT特征检测DoG尺度空间，D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)尺度检测-SIFT特征检测DoG尺度空间极值点检测一个点和它同尺度的8个相邻点以及上下相邻尺度对应的9×2个点，共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。一个点如果在DOG尺度空间的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。一个特征点是在三维尺度空间D(x,y,σ)的局部极值点。尺度检测-SIFT特征检测

尺度检测-SIFT特征检测

尺度检测-SIFT特征检测在高斯差分(DifferenceofGaussian,DOG)尺度空间中提取极值点并进行优化从而获取特征点。尺度检测-SIFT特征检测SIFT对于光照和尺度的不变性光照变化尺度变化尺度检测-SIFT特征检测特征检测典型应用Harris角点检测能够有效定位图像中的角点，这些通常是图像中重要的结构特征点，如物体的边缘交点、角落等。如下图所示，应用Harris角点检测可以快速并准确地识别出图像中的关键角点。通过计算每个像素点处的角点响应函数值，并设定一个阈值来筛选角点，从而在图中标记出所有满足条件的角点，从而实现对图像中重要结构特征的识别。特征检测典型应用如下图所示，可以利用Hough变换来识别并绘制出路面上的车道线。通过将图像中的边缘点转换到Hough空间，并寻找具有足够数量的累积投票的峰值，可以确定图像中直线的参数，进而绘制出车道线。第八章图像特征提取与描述

8.1颜色特征提取-颜色直方图

8.1颜色特征提取-颜色直方图8.1颜色特征提取-颜色集

8.1颜色特征提取-颜色集

8.1颜色特征提取-颜色相关图颜色相关图特征提取流程如下：(1)根据需求选择适当的颜色空间，如RGB、HSV、Lab等。如果颜色空间有多个通道，将图像分离成各个颜色通道；(2)创建一个的矩阵，初始化所有元素为零。遍历图像像素，在选定颜色空间下获取颜色值，遍历所有颜色对并更新颜色相关图矩阵的相应位置，表示每组颜色对在图像中共同出现的次数；(3)遍历整个图像，得到颜色相关图矩阵；8.1颜色特征提取-颜色矩

8.2颜色特征提取-颜色矩一阶矩（均值）描述颜色通道的平均响应强度，表示图像中颜色的集中趋势。如果均值较大，表示图像中的颜色相对较亮或浅；如果均值较小，表示图像中的颜色相对较暗或深。不同通道的均值可以得到图像中哪些颜色通道更强烈地出现。二阶矩（标准差）是一种度量颜色分布的离散程度的指标。较大的标准差表示颜色分布较分散，而较小的标准差表示颜色分布较集中。标准差可以得到图像中颜色的变化幅度。三阶矩描述了颜色分布的非对称性，表征颜色通道数据分布的偏移度。如果三阶矩为正值，表示颜色分布右偏，即分布的尾部向右延伸。如果三阶矩为负值，表示颜色分布左偏，即分布的尾部向左延伸。三阶矩可以提供颜色分布的偏斜方向信息。8.2颜色特征提取-颜色矩区域1一阶矩：[61.620770975056686,87.1081179138322,120.01233560090704]二阶矩：[55.65124104448242,74.76315384060997,92.0245280929788]三阶矩：[0.28897376780360284,0.2865664361765818,0.0924093327933367]区域2一阶矩：[118.57197278911565,177.88861678004534,230.52943310657596]二阶矩：[53.36030877294406,53.90019265625576,36.67569301261089]三阶矩：[-0.2545189390853542,-0.7658406801465157,-2.558900361792029]8.2形状特征提取-典型简单形状特征矩形度：矩形度(Rectangularity)反应目标物体对其外接矩形的充满程度，用目标物体的面积与其最小外接矩形的面积之比描述：圆形性：目标圆形性(Doularity)是指用目标区域的所有边界点定义的特征量，其定义式为：8.2形状特征提取-典型简单形状特征

8.2形状特征提取-典型简单形状特征

8.2形状特征提取-傅里叶描述符

8.2形状特征提取-傅里叶描述符a)原图像b)二值化图像c)轮廓图d)旋转放大源图e)二值化图像f)轮廓图后的图像原始图像傅里叶描述子向量[0.0000000.1149540.1269950.0403870.0365340.0189020.0114350.0166500.0025730.0172810.0074850.0150530.0083430.0127420.0109070.008600]旋转后图像傅里叶描述子向量[0.0000000.1073970.1131760.0383600.0351600.0208430.0109130.0174190.0059870.0158720.0085480.0135560.0086150.0104430.0108090.008233]8.2形状特征提取-形状无关矩

8.2形状特征提取-形状无关矩

8.2形状特征提取-形状无关矩

8.3纹理特征提取-LBP特征描述子原始LBPLBP（LocalBinaryPattern,局部二值模式）的核心思想是使用中心像素的灰度值作为阈值，与其邻域像素的灰度值进行比较，从而生成二进制编码来提取局部纹理特征。8.3纹理特征提取-LBP特征描述子a)原始图像b)LBP特征提取后的可视化图像8.3纹理特征提取-LBP特征描述子圆形LBPOjala等人对LBP算子进行了改进，用圆形邻域代替了正方形邻域，改进后的LBP算子允许在半径为R的圆形邻域内有任意多个像素点，从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子，表示为，三种常见的圆形LBP算子如图；8.3纹理特征提取-LBP特征描述子

8.3纹理特征提取-LBP特征描述子

8.3纹理特征提取-SIFT特征描述子ScaleInvariantFeatureTransform(SIFT)(Lowe,2004)关键点方向确定梯度的幅值和方向的计算为：邻域像素梯度的计算结果为：

8.3纹理特征提取-SIFT特征描述子完成关键点梯度计算后，使用直方图统计关键点邻域内像素的梯度幅值和方向：每个特征点必须分配一个主方向的同时，还需要一个或多个辅方向，增加辅方向的目的是为了增强图像匹配的鲁棒性。

8.3纹理特征提取-SIFT特征描述子获得图像关键点主方向后，每个关键点有三个信息：位置、尺度、方向。由此我们可以确定一个SIFT特征区域。8.3纹理特征提取-SIFT特征描述子关键点描述通过以上步骤，每个关键点被分配位置，尺度和方向信息。然后我们为每个关键点建立一个描述符；为了保证特征点的旋转不变性，以特征点为中心，将坐标轴旋转为关键点的主方向；8.3纹理特征提取-SIFT特征描述子

8.3纹理特征提取-HoG特征描述子8.3纹理特征提取-SURF特征描述子SURF特征描述子的计算主要包括以下步骤：1)尺度空间构建：对图像进行多次高斯模糊，以构建尺度空间，在不同尺度上检测关键点。2)关键点检测：在尺度空间上，通过检测图像的局部最大值和最小值来找到关键点。使用Hessian矩阵的行列式来确定关键点的强度和尺度。3)方向分配：对于每个关键点，计算其周围区域的梯度方向直方图。确定梯度方向直方图中的主要方向，作为关键点的主方向。4)关键点描述：将关键点附近的图像区域划分为小的子区域（例如4x4的子区域）。对于每个子区域，计算梯度的幅值和方向。使用这些幅值和方向信息生成描述子，通常是一个包含向量的数组。5)描述子归一化：对生成的描述子进行归一化，以增强描述子的鲁棒性。对描述子进行修剪，确保其不超过某个阈值。第九章图像特征匹配

特征匹配的策略特征匹配的基本思路：通过度量特征描述子之间的距离来评估它们之间的相似性，距离越小表示特征之间的相似度越高，匹配程度也就越高。常见的距离度量方法包括欧氏距离、汉明距离和曼哈顿距离特征匹配的策略基于单阈值法的图像特征匹配思想：阈值内的所有特征均匹配特征匹配的策略基于最近邻法的图像特征匹配思想：阈值内的，距离最近的特征匹配特征匹配的策略基于最近邻比值法的图像特征匹配思想：最近邻距离比率在阈值内的特征匹配最近邻距离比率：特征匹配的评价标准预测结果真实结果匹配不匹配

匹配TP（正确肯定）FN（漏报）

不匹配FP（误报）TN（正确否定）真阳性率：假阳性率：阳性预测值：特征匹配的评价标准理想的ROC曲线以假阳性率为横轴，真阳性率为纵轴，随着匹配阈值的变化，可以在二维坐标系上得到一系列点，连接这些点可以得到ROC（ReceiverOperatingCharacteristic）曲线。暴力匹配(a)原图像(b)原图像视角变换后的图像暴力匹配思想：遍历俩幅图像中的所有特征，寻找距离最近的一组特征匹配。优点：易于理解和实施。缺点：准确度不高，容易出现错误匹配。暴力匹配图像进行暴力匹配后的结果KD-树匹配构造KD-树：1、选择特征描述符一个特征维度用于将数据点进行切分；2、在选定的维度上选择一个值，根据大小将数据点分为两个子集；3、根据所划分的两个子集构建左右两个子树；4、对于每个子树，重复选择划分维度和划分值的步骤，直到达到终止条件。查询KD-树：1、从根节点开始，在当前维度上选择与查询点值最接近的子树，递归地向下遍历KD-树；2、在每次访问的节点上计算查询点与该节点之间的距离3、完成对一个子树的遍历后，会回溯到父节点，并检查另一个子树是否可能包含更近的点；KD-树匹配KD-树匹配结果RANSAC算法RANSAC是一种通过反复选择数据集并迭代估计出较好模型的算法。步骤：1、随机从特征点匹配的数据集中随机抽出4个样本数据(此4个样本之间不能共线)，然后计算出变换矩阵H，记为模型M；

变换矩阵公式： 2、计算数据集（所有特征匹配点）中所有数据与模型M的投影误差，若数据的投影误差小于设定的阈值，则将该数据加入内点集I；

投影误差：RANSAC算法3、如果当前内点集I元素的个数大于最优内点集I_best，则更新I_best=I，同时更新迭代次数k（最优内点集不一样，对应的更新迭代次数k也就不同)；k的计算公式：4、如果计算的迭代次数大于k（由I_best计算得到），则退出；否则迭代次数加1，并重复上述步骤。RANSAC算法应用RANSAC匹配的结果视觉系统成像模型

视觉成像模型如果在胶片前放置一个物体是否能够得到该物体的像?视觉成像模型如果在胶片前放置一个物体是否能够得到该物体的像?视觉成像模型如果在胶片前放置一个物体是否能够得到该物体的像?可以增加一个带有开孔的障碍物减少像平面的模糊程度此开孔就被称为光圈针孔模型理想的针孔：只有一束光线到达胶片上图像可以非常暗淡产生衍射效应针孔模型理想的针孔：只有一束光线到达胶片上图像可以非常暗淡产生衍射效应使针孔变大(即光圈)会使图像模糊薄透镜模型透镜将光线聚焦到像平面上透镜将光线聚焦到像平面上穿过光学中心的光线沿直线传播平行于光轴的所有光线都汇聚在焦点处薄透镜模型薄透镜模型薄透镜模型薄透镜模型薄透镜模型薄透镜模型薄透镜模型薄透镜模型薄透镜模型f、z和e之间有什么关系？薄透镜模型f、z和e之间有什么关系？相似三角形原理薄透镜模型f、z和e之间有什么关系？相似三角形原理薄透镜模型f、z和e之间有什么关系？薄透镜公式薄透镜模型如果z>>f会怎样？需要调整图像平面，使无穷远处的物体聚焦薄透镜模型如果z>>f会怎样？需要调整图像平面，使无穷远处的物体聚焦薄透镜模型如果z>>f会怎样？需要调整图像平面，使无穷远处的物体聚焦薄透镜模型如果z>>f会怎样？需要调整图像平面，使无穷远处的物体聚焦薄透镜模型如果z>>f会怎样？薄透镜模型为方便起见，图像平面通常表示在光心的前面，以便图像保持相同的方向(即不翻转)透视投影模型为方便起见，图像平面通常表示在光心的前面，以便图像保持相同的方向(即不翻转)相机不测量距离，而是角度！透视投影模型相机坐标系内Pc=(Xc,0,Zc)T投影到图像平面上形成p=(x,y)由相似三角形：类似的有：透视投影模型要将p从局部图像平面坐标(x,y)转换为像素坐标(u,v)，需要考虑：相机光学中心的像素坐标O=(u0,v0)像素大小的比例因子k通过引入一个额外的元素(比例)，使用齐次坐标表示从3D到2D的线性映射：透视投影模型透视投影模型透视投影模型透视投影模型透视投影模型畸变模型透视投影模型径向畸变的标准模型是从理想坐标(u,v)，即未畸变，到真实可观察坐标(畸变)(ud,vd)的变换这时图像坐标的失真量是其径向距离的非线性函数。对于大多数镜头，一个简单的失真二次模型会产生良好的效果式中透视投影模型视觉系统硬件选型影响机器视觉成像系统成像质量的因素较多，主要包括光源(llumination)、系统分辨率(SystemResolution)、像素分辨率(PixelResolution)、对比度(Contrast)、景深(DepthofField,DOF)、投影误差(PerspectiveError)和镜头畸变(LensDistortion)。视觉系统的硬件构成|光源LED光源特点可制成各种形状、尺寸及各种照射角度；可根据需要制成各种颜色，并可以随时调节亮度；通过散热装置，散热效果更好，光亮度更稳定；使用寿命长（约3万小时，间断使用寿命更长）；反应快捷，可在10us或更短的时间内达到最大亮度；电源带有外触发，可以通过计算机控制，起动速度快，可以用作频闪灯；运行成本低、寿命长的LED，会在综合成本和性能方面体现出更大的优势；可根据客户的需要，进行特殊设计。视觉系统的硬件构成|光源光源除了类型不同，还有各种各样的形状与设计，比如条形光源，环形光源，背光源(面光源)等等。通用照明一般采用环状或点状照明。环灯是一种常用的通用照明方式，其很容易安装在镜头上，可给漫反射表面提供足够的照明。视觉系统的硬件构成|光源背光照明是将光源放置在相对于摄像头的物体的背面。这种照明方式与别的照明方式有很大不同因为图像分析的不是反射光而是入射光。背光照明产生了很强的对比度。应用背光技术时候，物体表面特征可能会丢失。例如，可以应用背光技术测量硬币的直径，但是却无法判断硬币的正反面。视觉系统的硬件构成|光源同轴照明是与摄像头的轴向有相同的方向的光照射到物体的表面。同轴照明使用一种特殊的半反射镜面反射光源到摄像头的透镜轴方向。半反射镜面只让从物体表面反射垂直于透镜的光源通过。同轴照明技术对于实现扁平物体且有镜面特征的表面的均匀照明很有用。此外此技术还可以实现使表面角度变化部分高亮，因为不垂直于摄像头镜头的表面反射的光不会进入镜头，从而造成表面较暗。视觉系统的硬件构成|光源暗域照明是相对于物体表面提供低角度照明。使用相机拍摄镜子使其在其视野内，如果在视野内能看见光源就认为是亮域照明，相反的在视野中看不到光源就是暗域照明。因此光源是亮域照明还是暗域照明与光源的位置有关。典型的，暗域照明应用于对表面部分有突起的部分的照明或表面纹理变化的照明。视觉系统的硬件构成|镜头机器视觉成像系统使用的镜头通常由凸透镜和凹透镜结合设计而成。凸透镜可对光线进行汇聚，也称为会聚透镜或正透镜。凹透镜对光线具有发散作用，也称为发散透镜或负透镜。与镜头相关的主要技术参数有镜头分辨率、焦距、最小工作距离、最大像面、视场／视场角、景深、光圈和相对孔径及其安装接口类型等。视觉系统的硬件构成|镜头镜头分辨率表示它的空间极限分辨能力，常用拍摄正弦光栅的方法来测试。镜头分辨率越高，则说明其每毫米内能分辨的线对数越多。对于机器视觉系统设计来说，只需要查询镜头参数表即可获知其分辨率。相机的空间分辨率却表示它的空间极限分辨能力，可以通过像素的物理大小来计算相机的空间分辨率。视觉系统的硬件构成|镜头对于镜头和相机构成的成像系统来说，整个系统的空间分辨率取镜头和相机空间分辨率的最小值。只有镜头的空间分辨率大于相机的空间分辨率时，才能确保成像系统的空间分辨率最佳。在机器视觉系统设计时，经常所说的系统分辨率并不是指系统对线对的空间极限分辨力，而是指系统可以识别检测目标中最小特征的能力。视觉系统的硬件构成|镜头焦距是指无限远处目标在镜头的像方所成像位置到像方主面的距离。焦距体现了镜头的基本特性：即在不同物距上，目标的成像位置和成像大小由焦距决定。市面上常见的镜头焦距大小包括6mm、8mm、12.5mm、25mm以及50mm等。一般在镜头的产品参数中都会说明其最小工作距离。当相机在小于该最小工作距离的环境下工作时，就会出现图像失真，影响机器视觉系统的可靠性。视觉系统的硬件构成|镜头最大像面是指镜头能支持的最大清晰成像范围(常用可观测范围的直径表示)，超出这个范围所成的像对比度会降低而且会变得模糊不清。镜头的视场就是镜头最大像面所对应的观测区域。视场角是视场的另一种表述方法，视场角等于最大像面对应的目标张角。通常，在远距离成像系统中，例如望远镜、航拍镜头等场合，镜头的成像范围均用视场角来衡量。而近距离成像中，常用实际物面的直径(即幅面)来表示。视觉系统的硬件构成|镜头常按照镜头的视场角对其进行分类，如望远镜(6°~12°)、远距摄像镜头(12°~46°)、标准镜头(46°~65°)、广角镜头(65°~100°)等。在构建机器视觉系统(特别是精确测量系统)时，一般都不会选择焦距小于8mm或视场角很大的镜头。一般来说，必须确保所选镜头可支持的最大传感器尺寸大于或等于相机的传感器尺寸。这样做的另一个主要原因是为了避免渐晕现象的发生。视觉系统的硬件构成|镜头常见的接口标准有C接口(C-mount)、CS接口(CS-mount)和F接口(F-mount)。目前C和CS接口的镜头及相机占主导地位，F接口常用于高像素数的线扫描相机(2048像素以上)，获取比C和CS接口镜头更大的图像。只要为C接口镜头配备一个5mm的扩展管(转换器)，就可以得到CS接口的镜头，但CS镜头却不能与C接口的相机搭配使用。C接口的3CCD相机不能和C接口镜头协同工作，因此需要查阅相机供应商提供的镜头兼容性列表。视觉系统的硬件构成|成像芯片CMOS(ComplementaryMetalOxideSemiconductor)图像传感器的开发最早出现在20世纪70年代初。20世纪90年代初期，随着超大规模集成电路(VLSI)制造工艺技术的发展，CMOS图像传感器得到迅速发展。CMOS图像传感器的光电转换原理与CCD图像传感器相同，二者的主要差异在于电荷的转移方式上。视觉系统的硬件构成|成像芯片CCD传感器芯片将电荷转换为模拟信号，再经放大、A/D转换后才以数字信号形式输出。CMOS传感器芯片直接将每个电荷放大后转换为数字信号输出，往往成像一致性差。CCD在电荷转移过程中不会失真，且信号统一放大后才输出，因此成像质量和一致性高。CCD传感器有更大的填充因子和更高的信噪比，对光更加敏感，更适应低对比度的场合。CMOS传感器可以获得比CCD传感器高很多的图像传输速度，更适用于高速场合。视觉系统的硬件构成|成像芯片CMOS传感器的信号经过放大后才进行转移，所以它的功耗要比CCD低，更适用于应于便携设备。CCD制造工艺相对复杂，目前只有TeledyneDALSA、Sony、Panasonic等少数