机器视觉课件

第九章机器视觉检测技术9.1机器视觉概述1.机器视觉的发展(1)基本概念计算机视觉：基于获取的图像，用计算机实现对视觉图像信息的处理，实现人的双眼的视觉功能；

核心：通过对图像的分析实现对周围环境的认知和理解；机器视觉：在计算机视觉的理论框架基础上侧重工程化应用，实现场景中物体位置、姿态、尺寸等的测量。1第九章机器视觉检测技术9.1机器视觉概述1(2)基本历程－20世纪50年代：

统计模式识别，主要工作：二维图像分析、识别和理解，对象有光学字符识别、工件表面、显微图片和航空照片的分析和理解等。－20世纪60年代，Roberts：

场景由多面体组成，多面体由简单的点、线、平面的组合表示，如立方体、楔形体、棱柱体等，计算机从图像中提取出多面体的三维结构，对其形状和物体的空间关系进行描述－以理解三维场景为目的三维机器视觉。9.1机器视觉概述2(2)基本历程9.1机器视觉概述2－20世纪70年代,英国学者Marr：提出Marr视觉理论，在20世纪80年代成为计算机视觉研究领域一个十分重要的理论框架，突破了简单的多面体为对象的三维视觉研究。

新的理论框架：

主动视觉理论框架；

基于感知特征群的物体识别理论框架；

基于多视几何的视觉理论。

9.1机器视觉概述3－20世纪70年代,英国学者Marr：9.1机器视觉概述32.机器视觉面临的问题

－准确、快速的目标识别－存储容量－可靠的识别算法3.视觉系统的局限性原因（1）图像对景物的约束不充分，丢失信息。从图像恢复景物时存在多义性（2）场景多种因素在图像中混叠，很难分离某种因素的影响程度（3）理解自然景物需要大量知识（专门知识）（4）对人类视觉的研究和理解还远远不够9.1机器视觉概述42.机器视觉面临的问题9.1机器视觉概述44.机器视觉的关键技术（1）摄像机模型（视觉描述基础）（2）视觉传感器的构建（3）传感器(系统)视觉模型建模（4）视觉图像特征提取（5）系统的标定9.1机器视觉概述54.机器视觉的关键技术9.1机器视觉概述55.基本的视觉方法结构光法双目立体视觉方法多传感器法流动式测量方法多目视觉－多视几何视觉基于经纬仪的大尺寸测量（稀疏点）9.1机器视觉概述65.基本的视觉方法9.1机器视觉概述69.2机器视觉构成1.机器视觉系统的一般构成视觉传感器、高速图像采集系统、专用图像处理硬件系统（计算机软件算法）、计算机等。二值视觉系统、灰度视觉系统79.2机器视觉构成1.机器视觉系统的一般构成视觉传感器、9.2机器视觉构成1.机器视觉系统的一般构成视觉传感器：计算机视觉系统信息的直接来源。组成：一个或两个图像传感器、光投射器以及其它辅助设备。功能：获取足够的计算机视觉系统要处理的最原始图像。图像传感器：可以是激光扫描器、线阵和面阵CCD摄像机或者TV摄像机及最新出现的数字摄像机等。光投射器：可以为普通照明光源、半导体激光器或者红外激光器等，它的功能主要是参与形成被分析的物体图像的特征。89.2机器视觉构成1.机器视觉系统的一般构成视觉传感器：计9.2机器视觉构成1.机器视觉系统的一般构成高速图像采集系统：专用视频解码器、图像缓冲器以及控制接口电路。功能：实时地将视觉传感器获取的模拟视频信号转换为数字图像信号，并将图像直接传送给计算机进行显示和处理，或者将数字图像传送给专用图像处理系统进行视觉信号的实时前端处理。计算机：是机器视觉系统的核心。功能：控制整个系统各个模块的正常运行，视觉系统的最后结果运算和输出。99.2机器视觉构成1.机器视觉系统的一般构成高速1、机器视觉应用领域

零件识别与定位产品检验（测）农业水果分拣移动机器人导航（星球机器人）遥感图像分析（植被分析、人工地物分析）医学图像分析（骨骼定位、血管重建、细胞分析）安全鉴别、监视与跟踪（门禁系统、车辆监视）国防系统（目标自动识别与目标跟踪）三维形貌检测（动画、体育、考古）9.3机器视觉的应用101、机器视觉应用领域9.3机器视觉的应用101111121213131414151516169.4图像特征提取数字图像的基本概念数字图像：被划分成很多像元的小区域集合，每个像素的位置反映了物理图像上对应点的亮度，图像被表示成一个数字矩阵。每个像素的属性：位置和灰度灰度像素179.4图像特征提取数字图像的基本概念灰度像素17图像的分类灰度图像和彩色图像图像亮度表示：灰度图像：8位，4位，二值彩色图像：R、G、B，每个颜色又分为8位18图像的分类18图像的预处理图像平滑：消除噪声，提高图像质量邻域平均法：用窗口灰度的平均值代替该点灰度值。缺点：细节模糊四邻域平均八邻域平均19图像的预处理四邻域平均八邻域平均19中值滤波：抑制干扰脉冲和点状噪声。一维和二维中值滤波20中值滤波：抑制干扰脉冲和点状噪声。一维和二维中值滤波20高斯滤波：消除随机噪声。滤波前灰度滤波后灰度21高斯滤波：消除随机噪声。滤波前灰度滤波后灰度21角点光条边缘

图像特征提取22角点光条边缘图像特征提取22边缘特征提取边缘：图像中灰度发生急剧变化的区域的边界。图像灰度的变化用图像灰度分布的梯度反映。边缘特征的提取步骤23边缘特征提取边缘：图像中灰度发生急剧变化的区域的边界。边缘一阶边缘检测算子：Sobel算子Prewit算子24一阶边缘检测算子：Sobel算子Prewit算子24二阶边缘检测算子：laplace算子

边缘的二阶微分25二阶边缘检测算子：laplace算子边缘的二阶微分25Sobel算子Prewit算子Laplace算子原始图像26Sobel算子Prewit算子Laplace算子原始图像26Canny边缘检测算子

在梯度极值方向进行非极大抑制：垂直于边缘的方向(梯度的方向)上互相比较邻接像素的梯度幅值，并除去具有比邻域处小的梯度幅值。

27Canny边缘检测算子

272828图像的统计特征

把图像看作随机过程，则可做一阶及二阶统计。一阶：单个象素特征。二阶：一对象素特征。1)一阶统计特征： P代表坐标，Z为灰度，P(P，Z)象素。 对同一对象的不同观测结果，随机过程，略去了随机性变化，坐标位置关系，简化成直方图(Histogram）。纵坐标：象素个数/某灰度[也可用百分比]横坐标：灰度（0～255）总面积：全图象素数S0255象素个数灰度K29图像的统计特征

把图像看作随机过程，则可做一阶及二阶统计。直方图：离散状态下图像灰度的概率密度分布。图像——直方图 [不可逆变换，多对一的变换]多个图像可以生成相同的直方图，一阶统计特征未反映相邻点之间的关系。但反映了图像的灰度散布范围等特征，在很多场合下，往往是重要特征。六个象素黑白阈值255灰度黑板(加墙)的直方图30直方图：离散状态下图像灰度的概率密度分布。六个象素黑白阈值2直方图处理通过调整图像的直方图,达到所需增强的目的。1)灰度变换法：由于光照不足，原图象灰度范围窄，看不清晰，直方图拉伸后灰度相差加大，分辨清晰。DBDA灰度HB255DADBHA255255DB＝f（DA）[可将一直方图变另一直方图]即：HA(DA)——HB(DB)直方图下总面积不变为1，由概率论知：31直方图处理通过调整图像的直方图,达到所需增强的目的。DBDDB=f(DA)常见的三种变换曲线：线性：DB=aDA+b(分为线性)[突出感兴趣目标，抑制不感兴趣目标]对数曲线：DB=Alg(DA+b)[小灰度展开，大灰度压缩]指数曲线：DB=DA**a+b[大灰度展开，小灰度压缩] [具体编程实现引入查找表（lookuptable）概念]图象512×512大小，需256KB次运算，太慢注意图象值输入：256级[0～255] 输出：256级[0～255]输入到输出是映射关系指数对数DADB32DB=f(DA)常见的三种变换曲线：指数对数DADB322)直方图均衡：直方图可用灰度为256，但仅用了2/3，即可用灰度级别来充分利用，一种可能的充分利用多灰度方法是直方图越平越好。]多灰度值点数均摊。HB=1/m由：HAdDA=HBdDBDB=f(DA),dDB=dfHAdDA=1/mdfdf=mHAdDAf=∫mHAdDA2550DAHBDADBHAmf(DA)连续域上1/m332)直方图均衡：2550DAHBDADBHAmf(DA)连续

1.坐标系转换

摄像机模型描述物像成像几何关系，最简单的模型针孔成像模型。计算精度要求较高时，考虑镜头畸变，用非线性模型描述摄像机的成像。图像坐标系、摄像机坐标系、世界坐标系

图像在计算机中是以矩阵的形式存储，矩阵的每个元对应的是图像中该点的亮度值。（1）图像坐标系：以像素为单位的图像坐标系（计算机内存或屏幕）以毫米为单位的图像坐标系（摄像机CCD感光面）9.5摄像机模型34

1.坐标系转换9.5摄像机模型34

图像坐标系

像素图像坐标系的原点：屏幕的左上角，水平向左为u轴正向，竖直向下为v轴正向。图像坐标系坐标原点：以图像内的中心点O1，X轴平行且同向于u轴，Y平行且同向于v轴，单位为mm。若O1点的像素坐标为（u0,v0）,且每个CCD感光元在X方向和Y方向的物理尺寸分别为dX和dY，则两种图像坐标系之间的点的坐标转换关系为：35图像坐标系像素图像坐标系的原点：屏幕的左上角，水平向左为用齐次坐标描述为：或：36用齐次坐标描述为：或：36（2）摄像机坐标系和世界坐标系

摄像机坐标系：Ocxcyczc

Oc点:摄像机光心xc轴和yc轴与图像平面的X轴与Y轴平行，zc轴:摄像机光轴，与图像平面垂直。光轴与图像平面的交点O1为图像坐标系的原点。OcO1为摄像机有效焦距。摄像机在空间中的位置是任意的，需选择一个基准坐标系描述摄像机的位置，选定坐标系Owxwywzw为世界坐标系。37（2）摄像机坐标系和世界坐标系摄像机坐标系：OcxcycOcxcyczc与Owxwywzw之间是三维刚体变换关系：R：旋转矩阵维数3х3，正交矩阵，t：平移矩阵，维数3х1R和t：摄像机模型的外部参数。38Ocxcyczc与Owxwywzw之间是三维刚体变换关系：R3）针孔成像模型9.5摄像机模型f:有效焦距，光轴：zc轴；O1：光轴与像平面的交点,O1(0,0,f)Oc:摄像机透视投影中心,Oc(0,0,0)Oc-xcyczc:摄像机坐标系O1XY:摄像机像平面坐标系,X轴平行于xc轴，Y轴平行于yc轴393）针孔成像模型9.5摄像机模型f:有效焦距，光轴：即

摄像机针孔成像模型：

对应矩阵表达式：40即摄像机针孔成像模型：对应矩阵表问题－若已知点在空间的三维坐标（xc,yc,zc）,则唯一确定其对应的像平面上的二维坐标(X,Y)；－若已知点在图像上的二维坐标(X,Y)，却不能唯一确定其对应的空间三维坐标（xc,yc,zc）。41问题－若已知点在空间的三维坐标（xc,yc,zc）,则唯一确（4）二维像点和基准世界坐标系(xw,yw,zw)的关系摄像机针孔模型坐标系和图像坐标系之间的关系：像素二维坐标系和基准世界坐标系之间的关系（完整模型）：42（4）二维像点和基准世界坐标系(xw,yw,zw)的关系像M1：摄像机内部参数，只与摄像机的内部结构有关。M2：摄像机外部参数，摄像机相对于世界坐标系的方位确定摄像机内外参数的过程称摄像机标定。u0，v0以及f和dx，dy称为摄像机的内部参数。43M1：摄像机内部参数，只与摄像机的内部结构有关。433.摄像机非线性模型实际的摄像机存在多种畸变，使得空间点的图像坐标与空间点不是严格的透视投影关系。遵循严格透视投影关系的图像坐标（称为理想图像坐标）不能直接获得，需由畸变后的图像坐标（称为畸变图像坐标）计算。理想图像坐标为(Xi,Yi)，单位mm畸变图像坐标为(Xd,Yd)，单位mm443.摄像机非线性模型实际的摄像机存在多种畸变，使得空间点的（1）摄像机畸变的类型及描述畸变存在的原因：a.透镜的形状缺陷－引起径向畸变b.透镜与摄像机装配之间的缺陷－引起径向和切向畸变c.偏心畸变：透镜等光学元件的光学中心并不严格共轴或共线.

径向和切向畸变45（1）摄像机畸变的类型及描述畸变存在的原因：径向和切向畸变4Radialdistortion(径向畸变)主要是由于透镜元件的径向曲率曲线缺陷引起。有桶形畸变和枕形畸变两种－桶形畸变相对于无畸变图像向里收缩。－枕形畸变相对于无畸变图像向外扩张。径向畸变相对于光轴严格对称。46Radialdistortion(径向畸变)主要是由于透数学描述：47数学描述：47（2）理想坐标与畸变坐标之间的关系（单位mm）（3）畸变的像素图像坐标与毫米图像坐标之间的关系

设畸变的像素图像坐标为(us,vs),则有：

其中：NcX:摄像机感光面CCD上每行的像元数NsX:摄像机对CCD每行扫描由零阶采样－保持器产生一连续波形，该波形被图像采集卡产生的像素数48（2）理想坐标与畸变坐标之间的关系（单位mm）（3）畸变的像3.摄像机非线性模型一般工业摄像机只考虑一阶径向畸变。对于采用广角镜头的情况，需要考虑多种畸变情况。若只考虑径向一阶畸变，则理想像坐标与畸变像坐标的关系为：

结论：图像边缘处的畸变程度较大。493.摄像机非线性模型结论：图像边缘处的畸变程度较大。49线性摄像机模型标定

线性模型摄像机标定：不考虑行扫描不确定性因子sX和透镜的畸变4.摄像机的标定50线性摄像机模型标定线性模型摄像机标定：不考虑行扫描不确

利用的是标定参照物的方块的角点作为标定点。角点的求取最直观简单的方法就是方块边缘直线的角点。直线可利用哈夫变换法或者检测边缘后做直线拟合。标定参照物51利用的是标定参照物的方块的角点作为标定点。角2.非线性摄像机模型标定（基于径向约束的方法)）径向约束示意图522.非线性摄像机模型标定（基于径向约束的方法)）径向约束示意●径向约束的基本表达：xc/yc=Xi/Yi=Xd/Yd第一步：求旋转矩阵R，平移矢量T的tx，ty分量以及sx

ty符号的确定第二步：求有效焦距f，T的tz分量，畸变系数k以及相面中心坐标（u0，v0）（1）先求f和tz的初值。先不考虑畸变k。（2）然后对f，tz，k，u0，v0进一步优化求解

上述标定是基于三维立体参照物

53●径向约束的基本表达：xc/yc=Xi/Yi=Xd/Yd59.5双目立体视觉9.5.1.双目立体视觉测量原理及数学模型●平行双目立体视觉简单的平视双目成像原理图549.5双目立体视觉9.5.1.双目立体视觉测量原理及数学模视差为：Disparity=Xleft－Xright

55视差为：Disparity=Xleft－Xright5一般位置双目立体视觉测量模型

一般位置的双目立体视觉

（1）世界测量坐标系与左摄像机的摄像机坐标系一致。56一般位置双目立体视觉测量模型一般位置的双目立体视觉56

10000001

úúúûùêêêëéúúúûùêêêëé=úúúûùêêêëézyxffYXlllllr下列模型没有考虑除f之外的其它摄像机的内部参数。5710000001úúúûù已知对应空间同一点的左右图像即可得到空间点的三维坐标求解对应空间同一点的同名像素点是立体视觉的一个难点。58已知对应空间同一点的左右图像即可得到空间点的三维坐标589.5.2立体匹配立体匹配中的约束（1）外极线约束（epipolarline）外极线几何示意图（极线、极点、极平面）599.5.2立体匹配外极线几何示意图59利用外极线约束进行特征点匹配(左图像上一点m1在右图像上的对应点不能由极线约束唯一确定)60利用外极线约束进行特征点匹配60（2）唯一性约束

一幅图像中的每一个特征点只能与另一幅图像上的唯一一个特征点对应。（3）一致性（相似性）约束

若图像中的两点对应空间中同一点，则图像中这两点及其它们的一定范围内的邻域在某些物理量上应具有相似性，如：灰度、灰度的梯度；或者在几何形状上有相似性，如空间点是某一个多面体的顶点，则对应的两个像点应该是图像中某一多边形的顶点。61（2）唯一性约束61（4）连续性假设约束

若空间点P和Q为同一物体表面且相距很近的点，则它们在双目立体系统的两幅图像上的投影像点也应该分别比较接近。如果已经建立了P的两个像点的对应关系，则可以利用它们引导对Q的两个像点进行匹配。这里的假设是物体的表面是连续的，P和Q的深度像差不大。（如视差连续）（5）顺序一致性约束

①位于一幅图像极线上的系列点，在另一幅图像中的极线上具有相同的排列顺序。②点的时针顺序不变，点的凸性不变。62（4）连续性假设约束62基于上述约束准则的一些匹配方法（1）基于灰度相似性的相关法

问题的关键在于如何度量灰度的相似性。一般选择互相关系数来计算相似度，也即归一化灰度互相关系数。（2）基于视差梯度的相似性计算

在图像中相互靠近的两点，一般具有相似的视差。视差梯度可以作为相似性的一种度量。（3）特征点匹配方法

图像中的边缘点和角点通常被用作匹配特征点，它们是灰度不连续的点。同一空间点在左右图像上的像点应该在图像中的边缘上或为角点。这样极线与边缘的交点或者在极线上的角点就是对应的匹配点。在边缘没有实现匹配的情况下，因此该方法仍然不是求对应匹配点的充分条件。

63基于上述约束准则的一些匹配方法63646465659.6结构光视觉9.6.1.结构光视觉原理669.6结构光视觉9.6.1.结构光视觉原理66结构光三维视觉常见的模式：点结构光法

线结构光法多线结构光法

网格结构光法67结构光三维视觉常见的模式：点结构光法线结构光视觉传感器的模型（空间相对位置较特殊）68线结构光视觉传感器的模型（空间相对位置较特殊）68一般位置线结构光传感器模型

线结构光三维视觉检测模型69一般位置线结构光传感器模型线结构光三维视摄像机坐标系与模块坐标系的空间位置关系:摄像机坐标系下点的透视投影关系：70摄像机坐标系与模块坐标系的空间位置关系:摄像机坐标系下点的模块坐标系下的空间点的透视投影关系：光平面在模块坐标系下的方程为：

71模块坐标系下的空间点的透视投影关系：光平面在模块坐标系下的方进一步得到简化模型：若：则结构光光平面在模块坐标系下的方程可写为：72进一步得到简化模型：若：则结构光光平面在模块坐标系下的方程可则新的结构光三维视觉检测模型表达如下：73则新的结构光三维视觉检测模型表达如下：73●立体块法：9.6.2结构光平面的标定74●立体块法：9.6.2结构光平面的标定74交比不变：75交比不变：75'1A'2A'3A'1B'2B'3B'1C'2C'3C'1D'2D'3D'4D1A2A3A1B2B3B1C2C3C1D2D3D4DO76'1A'2A'3A'1B'2B'3B'1C'2C'3C'1D●平面靶标移动法77●平面靶标移动法779.7机器视觉系统轿车白车身视觉测量系统789.7机器视觉系统轿车白车身视觉测量系统78无缝钢管直线度激光视觉检测系统（椭圆中心定位问题）9.7机器视觉系统79无缝钢管直线度激光视觉检测系统（椭圆中心定位问题）9.7车轮激光视觉定位系统9.7机器视觉系统80车轮激光视觉定位系统9.7机器视觉系统80基于人工神经原网络的视觉检测系统9.7机器视觉系统81基于人工神经原网络的视觉检测系统9.7机器视觉系统81圆孔内表面检测系统9.7计算机视觉系统82圆孔内表面检测系统9.7计算机视觉系统82

基于立体视觉的检测系统9.7机器视觉系统83基于立体视觉的检测系统9.7机器视觉系统83（1）质心法－一般的质心法

－带阈值的质心法

9.6.3光条信息提取方法

，

，84（1）质心法9.6.3光条信息提取方法－平方加权质心法（2）曲线拟合法，

85－平方加权质心法，85第九章机器视觉检测技术9.1机器视觉概述1.机器视觉的发展(1)基本概念计算机视觉：基于获取的图像，用计算机实现对视觉图像信息的处理，实现人的双眼的视觉功能；

核心：通过对图像的分析实现对周围环境的认知和理解；机器视觉：在计算机视觉的理论框架基础上侧重工程化应用，实现场景中物体位置、姿态、尺寸等的测量。86第九章机器视觉检测技术9.1机器视觉概述1(2)基本历程－20世纪50年代：

统计模式识别，主要工作：二维图像分析、识别和理解，对象有光学字符识别、工件表面、显微图片和航空照片的分析和理解等。－20世纪60年代，Roberts：

场景由多面体组成，多面体由简单的点、线、平面的组合表示，如立方体、楔形体、棱柱体等，计算机从图像中提取出多面体的三维结构，对其形状和物体的空间关系进行描述－以理解三维场景为目的三维机器视觉。9.1机器视觉概述87(2)基本历程9.1机器视觉概述2－20世纪70年代,英国学者Marr：提出Marr视觉理论，在20世纪80年代成为计算机视觉研究领域一个十分重要的理论框架，突破了简单的多面体为对象的三维视觉研究。

新的理论框架：

主动视觉理论框架；

基于感知特征群的物体识别理论框架；

基于多视几何的视觉理论。

9.1机器视觉概述88－20世纪70年代,英国学者Marr：9.1机器视觉概述32.机器视觉面临的问题

－准确、快速的目标识别－存储容量－可靠的识别算法3.视觉系统的局限性原因（1）图像对景物的约束不充分，丢失信息。从图像恢复景物时存在多义性（2）场景多种因素在图像中混叠，很难分离某种因素的影响程度（3）理解自然景物需要大量知识（专门知识）（4）对人类视觉的研究和理解还远远不够9.1机器视觉概述892.机器视觉面临的问题9.1机器视觉概述44.机器视觉的关键技术（1）摄像机模型（视觉描述基础）（2）视觉传感器的构建（3）传感器(系统)视觉模型建模（4）视觉图像特征提取（5）系统的标定9.1机器视觉概述904.机器视觉的关键技术9.1机器视觉概述55.基本的视觉方法结构光法双目立体视觉方法多传感器法流动式测量方法多目视觉－多视几何视觉基于经纬仪的大尺寸测量（稀疏点）9.1机器视觉概述915.基本的视觉方法9.1机器视觉概述69.2机器视觉构成1.机器视觉系统的一般构成视觉传感器、高速图像采集系统、专用图像处理硬件系统（计算机软件算法）、计算机等。二值视觉系统、灰度视觉系统929.2机器视觉构成1.机器视觉系统的一般构成视觉传感器、9.2机器视觉构成1.机器视觉系统的一般构成视觉传感器：计算机视觉系统信息的直接来源。组成：一个或两个图像传感器、光投射器以及其它辅助设备。功能：获取足够的计算机视觉系统要处理的最原始图像。图像传感器：可以是激光扫描器、线阵和面阵CCD摄像机或者TV摄像机及最新出现的数字摄像机等。光投射器：可以为普通照明光源、半导体激光器或者红外激光器等，它的功能主要是参与形成被分析的物体图像的特征。939.2机器视觉构成1.机器视觉系统的一般构成视觉传感器：计9.2机器视觉构成1.机器视觉系统的一般构成高速图像采集系统：专用视频解码器、图像缓冲器以及控制接口电路。功能：实时地将视觉传感器获取的模拟视频信号转换为数字图像信号，并将图像直接传送给计算机进行显示和处理，或者将数字图像传送给专用图像处理系统进行视觉信号的实时前端处理。计算机：是机器视觉系统的核心。功能：控制整个系统各个模块的正常运行，视觉系统的最后结果运算和输出。949.2机器视觉构成1.机器视觉系统的一般构成高速1、机器视觉应用领域

零件识别与定位产品检验（测）农业水果分拣移动机器人导航（星球机器人）遥感图像分析（植被分析、人工地物分析）医学图像分析（骨骼定位、血管重建、细胞分析）安全鉴别、监视与跟踪（门禁系统、车辆监视）国防系统（目标自动识别与目标跟踪）三维形貌检测（动画、体育、考古）9.3机器视觉的应用951、机器视觉应用领域9.3机器视觉的应用10961197129813991410015101169.4图像特征提取数字图像的基本概念数字图像：被划分成很多像元的小区域集合，每个像素的位置反映了物理图像上对应点的亮度，图像被表示成一个数字矩阵。每个像素的属性：位置和灰度灰度像素1029.4图像特征提取数字图像的基本概念灰度像素17图像的分类灰度图像和彩色图像图像亮度表示：灰度图像：8位，4位，二值彩色图像：R、G、B，每个颜色又分为8位103图像的分类18图像的预处理图像平滑：消除噪声，提高图像质量邻域平均法：用窗口灰度的平均值代替该点灰度值。缺点：细节模糊四邻域平均八邻域平均104图像的预处理四邻域平均八邻域平均19中值滤波：抑制干扰脉冲和点状噪声。一维和二维中值滤波105中值滤波：抑制干扰脉冲和点状噪声。一维和二维中值滤波20高斯滤波：消除随机噪声。滤波前灰度滤波后灰度106高斯滤波：消除随机噪声。滤波前灰度滤波后灰度21角点光条边缘

图像特征提取107角点光条边缘图像特征提取22边缘特征提取边缘：图像中灰度发生急剧变化的区域的边界。图像灰度的变化用图像灰度分布的梯度反映。边缘特征的提取步骤108边缘特征提取边缘：图像中灰度发生急剧变化的区域的边界。边缘一阶边缘检测算子：Sobel算子Prewit算子109一阶边缘检测算子：Sobel算子Prewit算子24二阶边缘检测算子：laplace算子

边缘的二阶微分110二阶边缘检测算子：laplace算子边缘的二阶微分25Sobel算子Prewit算子Laplace算子原始图像111Sobel算子Prewit算子Laplace算子原始图像26Canny边缘检测算子

在梯度极值方向进行非极大抑制：垂直于边缘的方向(梯度的方向)上互相比较邻接像素的梯度幅值，并除去具有比邻域处小的梯度幅值。

112Canny边缘检测算子

2711328图像的统计特征

把图像看作随机过程，则可做一阶及二阶统计。一阶：单个象素特征。二阶：一对象素特征。1)一阶统计特征： P代表坐标，Z为灰度，P(P，Z)象素。 对同一对象的不同观测结果，随机过程，略去了随机性变化，坐标位置关系，简化成直方图(Histogram）。纵坐标：象素个数/某灰度[也可用百分比]横坐标：灰度（0～255）总面积：全图象素数S0255象素个数灰度K114图像的统计特征

把图像看作随机过程，则可做一阶及二阶统计。直方图：离散状态下图像灰度的概率密度分布。图像——直方图 [不可逆变换，多对一的变换]多个图像可以生成相同的直方图，一阶统计特征未反映相邻点之间的关系。但反映了图像的灰度散布范围等特征，在很多场合下，往往是重要特征。六个象素黑白阈值255灰度黑板(加墙)的直方图115直方图：离散状态下图像灰度的概率密度分布。六个象素黑白阈值2直方图处理通过调整图像的直方图,达到所需增强的目的。1)灰度变换法：由于光照不足，原图象灰度范围窄，看不清晰，直方图拉伸后灰度相差加大，分辨清晰。DBDA灰度HB255DADBHA255255DB＝f（DA）[可将一直方图变另一直方图]即：HA(DA)——HB(DB)直方图下总面积不变为1，由概率论知：116直方图处理通过调整图像的直方图,达到所需增强的目的。DBDDB=f(DA)常见的三种变换曲线：线性：DB=aDA+b(分为线性)[突出感兴趣目标，抑制不感兴趣目标]对数曲线：DB=Alg(DA+b)[小灰度展开，大灰度压缩]指数曲线：DB=DA**a+b[大灰度展开，小灰度压缩] [具体编程实现引入查找表（lookuptable）概念]图象512×512大小，需256KB次运算，太慢注意图象值输入：256级[0～255] 输出：256级[0～255]输入到输出是映射关系指数对数DADB117DB=f(DA)常见的三种变换曲线：指数对数DADB322)直方图均衡：直方图可用灰度为256，但仅用了2/3，即可用灰度级别来充分利用，一种可能的充分利用多灰度方法是直方图越平越好。]多灰度值点数均摊。HB=1/m由：HAdDA=HBdDBDB=f(DA),dDB=dfHAdDA=1/mdfdf=mHAdDAf=∫mHAdDA2550DAHBDADBHAmf(DA)连续域上1/m1182)直方图均衡：2550DAHBDADBHAmf(DA)连续

1.坐标系转换

摄像机模型描述物像成像几何关系，最简单的模型针孔成像模型。计算精度要求较高时，考虑镜头畸变，用非线性模型描述摄像机的成像。图像坐标系、摄像机坐标系、世界坐标系

图像在计算机中是以矩阵的形式存储，矩阵的每个元对应的是图像中该点的亮度值。（1）图像坐标系：以像素为单位的图像坐标系（计算机内存或屏幕）以毫米为单位的图像坐标系（摄像机CCD感光面）9.5摄像机模型119

1.坐标系转换9.5摄像机模型34

图像坐标系

像素图像坐标系的原点：屏幕的左上角，水平向左为u轴正向，竖直向下为v轴正向。图像坐标系坐标原点：以图像内的中心点O1，X轴平行且同向于u轴，Y平行且同向于v轴，单位为mm。若O1点的像素坐标为（u0,v0）,且每个CCD感光元在X方向和Y方向的物理尺寸分别为dX和dY，则两种图像坐标系之间的点的坐标转换关系为：120图像坐标系像素图像坐标系的原点：屏幕的左上角，水平向左为用齐次坐标描述为：或：121用齐次坐标描述为：或：36（2）摄像机坐标系和世界坐标系

摄像机坐标系：Ocxcyczc

Oc点:摄像机光心xc轴和yc轴与图像平面的X轴与Y轴平行，zc轴:摄像机光轴，与图像平面垂直。光轴与图像平面的交点O1为图像坐标系的原点。OcO1为摄像机有效焦距。摄像机在空间中的位置是任意的，需选择一个基准坐标系描述摄像机的位置，选定坐标系Owxwywzw为世界坐标系。122（2）摄像机坐标系和世界坐标系摄像机坐标系：OcxcycOcxcyczc与Owxwywzw之间是三维刚体变换关系：R：旋转矩阵维数3х3，正交矩阵，t：平移矩阵，维数3х1R和t：摄像机模型的外部参数。123Ocxcyczc与Owxwywzw之间是三维刚体变换关系：R3）针孔成像模型9.5摄像机模型f:有效焦距，光轴：zc轴；O1：光轴与像平面的交点,O1(0,0,f)Oc:摄像机透视投影中心,Oc(0,0,0)Oc-xcyczc:摄像机坐标系O1XY:摄像机像平面坐标系,X轴平行于xc轴，Y轴平行于yc轴1243）针孔成像模型9.5摄像机模型f:有效焦距，光轴：即

摄像机针孔成像模型：

对应矩阵表达式：125即摄像机针孔成像模型：对应矩阵表问题－若已知点在空间的三维坐标（xc,yc,zc）,则唯一确定其对应的像平面上的二维坐标(X,Y)；－若已知点在图像上的二维坐标(X,Y)，却不能唯一确定其对应的空间三维坐标（xc,yc,zc）。126问题－若已知点在空间的三维坐标（xc,yc,zc）,则唯一确（4）二维像点和基准世界坐标系(xw,yw,zw)的关系摄像机针孔模型坐标系和图像坐标系之间的关系：像素二维坐标系和基准世界坐标系之间的关系（完整模型）：127（4）二维像点和基准世界坐标系(xw,yw,zw)的关系像M1：摄像机内部参数，只与摄像机的内部结构有关。M2：摄像机外部参数，摄像机相对于世界坐标系的方位确定摄像机内外参数的过程称摄像机标定。u0，v0以及f和dx，dy称为摄像机的内部参数。128M1：摄像机内部参数，只与摄像机的内部结构有关。433.摄像机非线性模型实际的摄像机存在多种畸变，使得空间点的图像坐标与空间点不是严格的透视投影关系。遵循严格透视投影关系的图像坐标（称为理想图像坐标）不能直接获得，需由畸变后的图像坐标（称为畸变图像坐标）计算。理想图像坐标为(Xi,Yi)，单位mm畸变图像坐标为(Xd,Yd)，单位mm1293.摄像机非线性模型实际的摄像机存在多种畸变，使得空间点的（1）摄像机畸变的类型及描述畸变存在的原因：a.透镜的形状缺陷－引起径向畸变b.透镜与摄像机装配之间的缺陷－引起径向和切向畸变c.偏心畸变：透镜等光学元件的光学中心并不严格共轴或共线.

径向和切向畸变130（1）摄像机畸变的类型及描述畸变存在的原因：径向和切向畸变4Radialdistortion(径向畸变)主要是由于透镜元件的径向曲率曲线缺陷引起。有桶形畸变和枕形畸变两种－桶形畸变相对于无畸变图像向里收缩。－枕形畸变相对于无畸变图像向外扩张。径向畸变相对于光轴严格对称。131Radialdistortion(径向畸变)主要是由于透数学描述：132数学描述：47（2）理想坐标与畸变坐标之间的关系（单位mm）（3）畸变的像素图像坐标与毫米图像坐标之间的关系

设畸变的像素图像坐标为(us,vs),则有：

其中：NcX:摄像机感光面CCD上每行的像元数NsX:摄像机对CCD每行扫描由零阶采样－保持器产生一连续波形，该波形被图像采集卡产生的像素数133（2）理想坐标与畸变坐标之间的关系（单位mm）（3）畸变的像3.摄像机非线性模型一般工业摄像机只考虑一阶径向畸变。对于采用广角镜头的情况，需要考虑多种畸变情况。若只考虑径向一阶畸变，则理想像坐标与畸变像坐标的关系为：

结论：图像边缘处的畸变程度较大。1343.摄像机非线性模型结论：图像边缘处的畸变程度较大。49线性摄像机模型标定

线性模型摄像机标定：不考虑行扫描不确定性因子sX和透镜的畸变4.摄像机的标定135线性摄像机模型标定线性模型摄像机标定：不考虑行扫描不确

利用的是标定参照物的方块的角点作为标定点。角点的求取最直观简单的方法就是方块边缘直线的角点。直线可利用哈夫变换法或者检测边缘后做直线拟合。标定参照物136利用的是标定参照物的方块的角点作为标定点。角2.非线性摄像机模型标定（基于径向约束的方法)）径向约束示意图1372.非线性摄像机模型标定（基于径向约束的方法)）径向约束示意●径向约束的基本表达：xc/yc=Xi/Yi=Xd/Yd第一步：求旋转矩阵R，平移矢量T的tx，ty分量以及sx

ty符号的确定第二步：求有效焦距f，T的tz分量，畸变系数k以及相面中心坐标（u0，v0）（1）先求f和tz的初值。先不考虑畸变k。（2）然后对f，tz，k，u0，v0进一步优化求解

上述标定是基于三维立体参照物

138●径向约束的基本表达：xc/yc=Xi/Yi=Xd/Yd59.5双目立体视觉9.5.1.双目立体视觉测量原理及数学模型●平行双目立体视觉简单的平视双目成像原理图1399.5双目立体视觉9.5.1.双目立体视觉测量原理及数学模视差为：Disparity=Xleft－Xright

140视差为：Disparity=Xleft－Xright5一般位置双目立体视觉测量模型

一般位置的双目立体视觉

（1）世界测量坐标系与左摄像机的摄像机坐标系一致。141一般位置双目立体视觉测量模型一般位置的双目立体视觉56

10000001

úúúûùêêêëéúúúûùêêêëé=úúúûùêêêëézyxffYXlllllr下列模型没有考虑除f之外的其它摄像机的内部参数úúûù已知对应空间同一点的左右图像即可得到空间点的三维坐标求解对应空间同一点的同名像素点是立体视觉的一个难点。143已知对应空间同一点的左右图像即可得到空间点的三维坐标589.5.2立体匹配立体匹配中的约束（1）外极线约束（epipolarline）外极线几何示意图（极线、极点、极平面）1449.5.2立体匹配外极线几何示意图59利用外极线约束进行特征点匹配(左图像上一点m1在右图像上的对应点不能由极线约束唯一确定)145利用外极线约束进行特征点匹配60（2）唯一性约束

一幅图像中的每一个特征点只能与另一幅图像上的唯一一个特征点对应。（3）一致性（相似性）约束

若图像中的两点对应空间中同一点，则图像中这两点及其它们的一定范围内的邻域在某些物理量上应具有相似性，如：灰度、灰度的梯度；或者在几何形状上有相似性，如空间点是某一个多面体的顶