机器视觉算法与应用笔记

机器视觉算法与应用笔记1、相机的信噪比、SNR=1时（光强可探测到的最小光强，绝对灵敏度），动态增益为光强.sat/光强.min（dB/位），量子效率是波长的函数：η=η（λ）--CCD比CMOS灵敏，动态范围大。2、数据结构：图像、区域和亚像素轮廓图像：彩色摄像机采集的是每个像素对应的三个采样结果（RGB三通道图像）、图像通道可被看作一个二维数组，设计语言中的表示图像的数据结构；两种约定：离散函数（点对点）RRn、连续函数：R2Rn。区域：可以表示一幅图像中一个任意的像素子集，区域定义为离散平面的一个任意子集：R∈Z2，将图像处理闲置在某一特定的感兴趣区域（一幅图像可被看作图像所有像素点的矩形感兴趣区域）。二值图像特征区域：用1表示在区域内的点，用0表示不在区域内的点；行程表示法：每次行程的最小量的数据表示行程的纵坐标、行程开始和行程结束对应横坐标值。行程编码较二值图像节省存储空间（行程编码保存在16位整数，须要24个字节，而采用二值图像描述区域，每个像素点占1个字节，则有35个字节）。行程编码保存的只是区域的边界。为描述多个区域，采用链表或数组来保存采用形成编码描述的多个区域，每个区域的信息是被独立保存和处理的。亚像素轮廓：比像素分辨率更高的精度（亚像素阈值分割或亚像素边缘提取）。轮廓基本上可被描述成多表型，然后用排序来说明哪些控制点是彼此相连的，在计算机里，轮廓只是用浮点数表示的横和纵坐标所构成的数组来表示。3、图像增强：硬件采集的图像质量不好，可应用软件进行增强。灰度值变换：由于光源照明的影响，局部的图像会产生对比度与设定值不一致，需要局部的去增强对比度。为提高变换速度，灰度值变换通常通过查找表（LUT）来进行（将灰度输入值变换后输出保存到查找表中），最重要的灰度值变换是线性灰度值比例缩放：f(g)=ag+b（ag表示对比度，b表示亮度）。为了自动获取图像灰度值变换参数a、b的值，通过图像感兴趣区域的最大与最小灰度值设置出a、b的值（灰度值归一化处理）。灰度直方图表示某一灰度值i出现的概上的所有点都在点集中，这个点集就是凸集），所以可以利用凸包来确定某区域（面积与该区域凸包比值为凸性）；然后再跟踪区域边界获取一个轮廓，获取到轮廓线段的欧几里得距离，进行求和就得到轮廓长度L,加上面积a引出紧性概念。灰度值特征：先引出区域内最大最小灰度值，在两个不同参考区域内计算平均灰度值可测量出线性亮度变化，从而计算一个线性灰度值变换（平均灰度值是一个统计特征，另一个统计特征是灰度值的方差和标准偏差。（基于矩的灰度值特征与相应的局域矩的区域特性非常相似）使用区域的特征函数作为灰度值时，灰度值矩就被简化为区域矩（特征函数被用来解释1为像素在区域内，0为像素在区域外，在处理小物体上，灰度值矩能得到准确度更好地处理结果）；定义一个模糊隶属关系：灰度值低于北京灰度值最小值的每个像素，其隶属关系值为0，高于前景灰度值最大值的每个像素，关系为1，灰度值落在此范围内，其隶属关系通过线性插值得到，而这一计算过程需要使用浮点图像，所以将隶属关系值按比例放大到一个b位整数图像上（一般8位），再通过计算灰度值矩和中心灰度矩判断区域特征。轮廓特征：亚像素精度轮廓长度的计算容易些，因为轮廓已经用于控制点，假设一个闭合轮廓通过来表示，R表示轮廓围绕的亚像素精度区域，则（p,q）阶矩被定义为：，与区域矩类似，可定义归一化的矩和中心距。轮廓的面积和重心计算公式为：重心：6、摄像机标定：是准确测量目标物体的必要过程，由于每个镜头的畸变都不一样，通过标定校正镜头畸变，同时可以得到在世界坐标系中目标物体米制单位的坐标。建立摄像机模型（线阵摄像机）：标定就是确定摄像机参数的过程。线阵摄像机的摄像机模型：运动向量世界坐标系——>摄像机坐标系——>图像坐标系（变换关系）。线阵相机中，由于目标与相机的相对运动以及镜头的畸变，会使得目标（世界坐标系）的点投影到图像坐标系时产生错位。九个参数为摄像机的内参，它们确定了摄像机从三维空间到二维图像的投影关系。主要的影响因素有：镜头畸变以及运动与相机不匹配或者方向不符。标定过程：为了进行摄像机标定，必须已知世界坐标系中足够多三维空间点的坐标，找到这些空间点在图像中的投影点的二维坐标，然后再通过它们确定其它参数。利用平面标定板进行标定精确：易于操作、精度高并且可应用在背光照明中；步骤；将标定板利用阈值分割与背景分割出来，找到含m*n个孔洞区域——>利用亚像素边缘提取标定板各个圆点的边缘，将提取边缘拟合成椭圆——>基于椭圆的最小外界四边形可以很容易的确定标定标记与它们在图像中投影之间的对应关系，再根据四边形边角来确定方向从而确定了标定标记及其投影关系——>确定标记中心点mi与通过投影计算得到的坐标之间的距离最小化来确定参数：（k=mn是标定板上标记的数量。内参可以通过摄像机及镜头的参数说明得到，而外参则需要通过之前椭圆尺寸的到一个初始值（最优化过程）。在标定时，需要采集多幅图像多个不同标记进行标定，因为摄像机模型参数不是唯一解，可以成倍放大或者缩小（简并性），为使精度更高，所有图像中标定板的位置应该覆盖图像的四个角（畸变性最高）。摄像机参数的准确度：（避免简并性）主距、焦距、径向畸变等参数的不唯一性，需要通过对多幅图像的标定确定各自参数（相关性：每幅图像都对相机参数有着制约性），最终确定出一最准确参数。7、模板匹配：为经常发生变化的物体提供此类被测物体原型即可对系统进行简单配置，从而可以寻找所有类型的目标物的方法。计算模板的所有相关位姿与图像各个位置之间的相似度（该项目总体是目标位姿的平移），该模式也可以确定图像中含有多少个目标物。三个关键词：一幅图像、感兴趣区域、相似度基于灰度值的模板匹配：（s为相似度，t为模板各点的灰度值，f为图像感兴趣区域的灰度值），最简单的方法是计算模板与图像之间差值的绝对值的总和或所有差值的平方和（当然必须选择一个阈值提取基准位置）。相似则相似度量为0，不相似则相似度量大于0，该方法受光照影响较大；不受光照线性变化影响的相似度量是归一化相关系数（通过模板与图像的平均灰度值及所有像素灰度值的方差）度量值ncc(r,c)=±1时，模板与图像之间才完全匹配，设定阈值判断是否能达到完全匹配。使用停止标准（）可以提速比例为一个常数，但不改变算法复杂度。使用图形金字塔进行匹配：复杂度（基于灰度，不适用停止标准）wh为图像的长宽，n为模板中点的数量——>搜索策略1；将图像多次缩小2倍建立起来的数据结构被称为图像金字塔，均值滤波器是创建图像金字塔的首选滤波器（高斯滤波器耗时大，且有频率响应问题），搜索时区域越来越大（图像持续平滑和二次采样），到高层是回使得图像不清晰失真（马赛克效果）。搜索策略：计算出搜索图像和模板的适当层数的图像金字塔（必须保证最高层上目标能够清晰辨别，然后进行一次完美的匹配）——>在最高层搜索的模板实例都将追踪到图像金字塔的最底层（将找到的匹配点的坐标乘2，直到找不到匹配对象或者到金字塔最底层结束）——>在高层，图像灰度值会发生变化，需要将阈值放松，保证找到所有可能的匹配位置（SAD/SSD相似度量需要提高阈值，NCC相似度量使用稍微低一点的阈值）从高到低去搜索，先搜索再匹配，并且最终追踪到最底层。基于灰度值的亚像素精度匹配：为了使模板位姿的准确度更高，可以提取亚像素精度的局部最小值或最大值，然后将局部最小值或最大值附件3*3的邻域内相似度量拟合成一个多项式，然后求该多项式的局部最大值或最小值。也可以利用最小二乘法拟合匹配，但是该方法受光照影响较大，需要建立明确的光照变化模型（复杂）。可靠的模板匹配算法：为了能够在存在遮挡、混乱和非线性光照变化的情况下找到目标物体，基于灰度的匹配算法不能够实现，需要更好更准确的方法。A、方法一、将图像边缘分割为多个几何基元（分割为线段和圆弧）；方法二、基于边缘的分割找到边缘上的突变点然后在图像匹配这些突变点（点可以直接从图像中提取，不需要首先提取边缘）。图像匹配算法中的一大类是基于模板边缘与图像边缘之间的距离，计算分割后搜索图像背景的距离变换，如果模板边缘点与图像边缘点之间的平均距离小于一个阈值，则被认为是模板的实例。基于边缘的均方差匹配算法不受光照和混乱影响，但是精确度不高；基于边缘的Hausdorff距离（图像边缘点和模板边缘点）算法（运算量比较大），选取距离的r大距离需要较准确，并且难以基于相似度量的内插值算法得到亚像素精度的位姿；基于边缘像素点（组点）显示梯度向量表示相应方向，通过霍夫变换得到累计数组，再对图像进行阈值分割计算局部最大值从而得到目标区域的位置。B、基于几何基元的匹配算法：模板中包含m个几何基元，而图像中基元数量大于n，此时在模板与图像之间存在的指数关系：方法一、几何哈希法（基于三个点可以定义二维平面的方法）：减少模板与图像点之间对应关系的工作量，利用最小二乘法或者选中的三个基准点进行仿射变换将图像变换然后与模板匹配，但是该方法不适合在线状态（选中的三个基准点可能存在误差，则导致计算结果均有误差）——>以上算法基于图像基元；最后一类算法基于几何基元（线段或者圆弧）：将图像的轮廓线分割为线段，选择最长的十条线段作为特殊线段（利用线段临近情况排序），为了产生一个假设，先用一条线段匹配，然后再通过其它线段匹配验证这个假设；也可以通过拐角（模板边界中相邻的两条有一定拐角的线段组合），利用两个拐角之间的几何约束排除错误匹配位置，如果两者之间的差异不超过一个阈值，那么这个匹配位置被接受。模板或搜索图像中包含少数几个明显的几何基元，利用几何基元匹配算法适当；基于像素算法优势在于它们可以表示任意形状的模板，而另一方面，几何匹配算法受限于一些可以使用少量几何基元组成的形状相对简单的模板。以上方法都需要提取目标边缘，受光照灰度影响较大。利用相似度量（基于图像金字塔的分层识别策略，不受遮蔽、混乱和非线性光照变化影响）：首先将一个目标对象的模板定义为点集：和每个点关联的方向向量(方向向量可以通过许多