现代检测技术课件-17常用图像测量

现代检测技术

图像测量技术精勤求学敦笃励志果毅力行忠恕任事Xi’anJiaotongUniversity视觉检测主要内容二、模式识别技术五、缺陷检测技术一、尺寸测量技术六、图像融合技术四、三维重构技术三、目标检测与跟踪技术Xi’anJiaotongUniversity尺寸测量技术长度面积圆线弧角度…测量对象最小二乘Hough变换区域标记轮廓矢量曲率识别Harris角点…测量方法Xi’anJiaotongUniversity尺寸测量技术

长度测量——多距离测量可采用最小二乘法、Hough变换法（稍慢）采用最小二乘法，Hough变换法太耗时Xi’anJiaotongUniversity尺寸测量技术

长度测量——齿长测量1,在工件图中设置待测齿长区域；2,对区域内的图像进行边缘提取；3,对提取到的边缘进行逐行扫描，分别获得其上、下两条边的边缘点；4,根据得到的边缘点分别拟合出上、下两条边的直线；5,计算两条直线间的距离作为齿长结果。Xi’anJiaotongUniversity尺寸测量技术

长度测量——线段测量

通过Harris角点法确定角点；通过轮廓提取法得到边缘；结合轮廓信息对角点精确定位；计算线段长度。

Xi’anJiaotongUniversity尺寸测量技术

面积测量——区域标记法,给图像中每一个连通区域分配一个唯一的标记值

判断一个像素点的8个连通像素点是否有某已知区域内的点，如果有则判定其为该区域内的点，如果没有则标记其为新区域内的点；计算各个连通区域的面积及个数等。多个漏孔的片状工件Xi’anJiaotongUniversity尺寸测量技术

面积测量——轮廓矢量法

按一定的方向对感兴趣区进行边界跟踪,获得一组有序边界点。在感兴趣区域的轮廓矢量已知的情况下,可以用外轮廓所包含的面积减去其内部各个内轮廓所包含的面积，就可以得出此连通域实体的面积。

Xi’anJiaotongUniversity尺寸测量技术

圆测量单圆测量：最小二乘法、Hough变换法和加速算法（首先通过圆面积测量求出圆半径）。方法半径像素值误差测量时间最小二乘法68.50.48%30msHough变换法68.90.18%18328ms改进Hough变换法68.90.18%531ms圆的拟合Xi’anJiaotongUniversity尺寸测量技术圆测量多圆测量：首先对工件图像进行轮廓提取；在得到多个圆的轮廓后，把每个圆轮廓加入链表（轮廓跟踪方法）；然后对每个链表中的像素利用最小二乘方法进行圆拟合。

Xi’anJiaotongUniversity尺寸测量技术圆测量利用曲率识别法识别圆：在复杂背景下，需要将圆与其它形状分开，才能进行圆测量。对图像进行轮廓提取，得到图像中所有图形的轮廓；计算所有轮廓的质心和面积，进而求解出其曲率；因为圆的曲率是常数1，因此可以根据计算得到的各轮廓的曲率判别其是否为圆；剔除非圆的轮廓，对圆轮廓进行拟合，得到圆的参数。area是面积，max是质心到轮廓上点的最大距离。Xi’anJiaotongUniversity尺寸测量技术圆测量椭圆测量：椭圆中心坐标、长轴半径、短轴半径、长轴与X轴的夹角Hough变换法，必须借助已有信息降低维数。最小二乘法：二值化；生成图像外部轮廓；最小二乘法椭圆拟合。Xi’anJiaotongUniversity尺寸测量技术

线弧分离——检测图像轮廓中的直线和弧线，并将其分离开来。基于Harris角点检测：轮廓提取与平滑角点检测根据切点判断直线和弧线对每段轮廓进行拟合，得到直线或圆方程。基于Hough变换：直线检测圆检测根据直线和圆找到角点根据角点完成线弧分离Xi’anJiaotongUniversity尺寸测量技术角度测量——根据前述方法得到每段直线段方程，根据斜率即可得到夹角。

Xi’anJiaotongUniversity模式识别技术指对图像中各种物理对象的分类与描述技术，包括字符识别、条码识别、车牌识别、工件识别和医学图像识别等。字符识别：印刷体、手写体（联机、脱机）① 扫描输入文本图像；② 图像的预处理，包括倾斜校正和滤除干扰噪声等；③ 图像版面的分析和理解；④ 图像的行切分和字切分；⑤ 基于单字图像的特征选择和提取；⑥ 基于单字图像特征的模式分类；⑦ 将被分类的模式赋予识别结果；⑧ 识别结果的编辑修改后处理。Xi’anJiaotongUniversity模式识别技术印刷体识别流程图像预处理Xi’anJiaotongUniversity模式识别技术基于DCT的频域分割字符和背景分离技术：空间域分割、频域分割、小波分割Xi’anJiaotongUniversity模式识别技术基于小波变换的小波域分割

Xi’anJiaotongUniversity模式识别技术字符区域校正与切分倾斜校正：分级Hough变换法、基于仿射变换的图像旋转；字符图像缩放：灰度插值法、双线性方程法；粘连字符切分：针对单个字符识别，常用方法有滴水算法、Viterbi算法、基于细化的算法、储水区算法、基元合并法和形态检测法等。

基于形态的字符切割流程Xi’anJiaotongUniversity模式识别技术字符识别方法

从广义上来说，任何一种模式识别的方法都可以用来进行字符识别，包括模板匹配、神经网络、聚类、支持向量机等。Xi’anJiaotongUniversity模式识别技术字符识别实例：Xi’anJiaotongUniversity模式识别技术Xi’anJiaotongUniversity模式识别技术条码是由宽度不同、反射率不同的条和空，按照一定的编码规则编制而成，用以表达一组数字或字母符号信息的图形标识符。

一维条码：国际物品条形码（EAN条形码）、通用产品条形码（UPC条形码）、二五条形码（Code25）、三九条形码（Code39）、库得巴条形码（CodabarBarCode）等堆积式二维条码：Code49，Codel6k，PDF417等

矩阵式二维条码：CodeOne，DataMatrix，Maxicode等条码技术的优点：输入速度快、可靠性高、采集信息量大、灵活使用、可携带性、可复印性、寿命长、不可更改性。Xi’anJiaotongUniversity模式识别技术

一维条码识别EAN-13的构成

模块组合型条码每个模块宽0.33mm

每个条码字符占7个模块宽度条、空分别占1~4个宽度每个条码字符包含2个条和2个空。

前3位是国家代码，中间4位是生产商代码，后5位是产品代码，最后一位是自动生成的校验码Xi’anJiaotongUniversity模式识别技术一维条码定位：空间域分析定位，Gabor滤波器定位，小波分析定位、DCT域的分析定位等；

DCT域的分析定位① 对图像中每个8×8的小块进行DCT变换；② 记录DCT变换后的系数；③ 对DCT系数进行哈夫曼编码产生jpeg数据流。 简单的说，DCT系数大小表明了条码区域与非条码区域，还包含了条码方向。Xi’anJiaotongUniversityEAN-13码的编码中国的国别识别码为“690，691，692”，因此它的前置符为“6”，左侧数据符的奇偶排列为“OEEEOO”字符值二进制表示左侧数据符右侧数据符奇性字符（A组）偶性字符（B组）偶性字符（C组）0123456789起始符中间分割符终止符00011010011001001001101111010100011011000101011110111011011011100010111010101010101001110110011001101101000010011101011100100001010010001000100100101111110010110011011011001000010101110010011101010000100010010010001110100Xi’anJiaotongUniversity模式识别技术一维条码解码Xi’anJiaotongUniversity模式识别技术

二维条码识别层数为3~90，每层由起始终止符、左右指示符及1~30个符号字符组成。Xi’anJiaotongUniversity模式识别技术

二维条码识别

每个符号字符包括4个条和4个空，每个条或空由1~6个模块组成，一个符号字符中，4个条和空的总模块数为17，故命名为PDF417符号字符结构Xi’anJiaotongUniversity模式识别技术PDF417不仅具有错误侦测能力，且可从受损的条码中读回完整的资料，亦即「错误复原能力」，其错误复原率最高可达50%，如图所列各种情形，皆可将资料复原。Xi’anJiaotongUniversity模式识别技术二维条码解码

Xi’anJiaotongUniversity模式识别技术医学图像识别——血管（a）原始图像（b）图像阈值分割（c）图b取反（d）图像扩展（e）面积滤波（f）包络核面积滤波（g）对图f做细化（h）对图f边缘提取Xi’anJiaotongUniversity模式识别技术医学图像识别——血管Xi’anJiaotongUniversity模式识别技术

医学图像识别——细胞？Xi’anJiaotongUniversity模式识别技术

医学图像识别——细胞原始图像阈值分割、滤波、膨胀，得到大目标模板原始图像平滑滤波，得到背景均匀的图片AB与原图“与”，得到只含有小目标和背景的图片C与图B“与”，得到只含有背景的图片DC-D，并二值化开运算Xi’anJiaotongUniversity模式识别技术

工件识别Xi’anJiaotongUniversity目标检测与跟踪技术目标跟踪技术——指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度以及运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解。主要应用：行人跟踪、车辆跟踪、智能交通和安全监控等；分类：静态背景下运动目标检测、动态背景下运动目标检测；Xi’anJiaotongUniversity目标检测与跟踪技术静态背景下运动目标检测：相邻帧间差分法：取相邻两帧图像间灰度差异较大的区域背景差分法：预先建立背景模型，需要经常更新背景。常用的非回归型背景建模法包括中值滤波和基于统计理论背景恢复，常用的回归型背景建模法包括近似中值滤波、卡尔曼滤波和混合高斯滤波。Xi’anJiaotongUniversity目标检测与跟踪技术检测实例

（a）图像序列第187帧（b）187帧时的背景图（c）差分图像二值化

（d）腐蚀运算结果（e）膨胀运算结果（f）目标标定结果Xi’anJiaotongUniversity目标检测与跟踪技术动态背景下运行目标检测：匹配块法、光流估计法、图像匹配法以及全局运动估计法等；自底向上的处理方法，又称为数据驱动法，它不依赖于先验知识，直接从图像序列中获得目标的运动信息并进行跟踪。自顶向下的处理方法，又称为模型驱动法，它一般依赖于所构建的模型或先验知识，在图像序列中进行匹配运算或求解后验概率。采用匹配运算时，如果相似距离最为接近则认为跟踪上运动目标；求解后验概率时，选择最大后验概率所对应的状态向量作为运动目标的当前状态。Xi’anJiaotongUniversity目标检测与跟踪技术

特征提取：视觉特征、统计特征、变换系数特征和代数特征等搜索匹配算法：

基于灰度值的匹配：绝对平衡搜索算法、归一化互相关匹配算法和直方图匹配算法；属于全局匹配，较费时。

均值飘移算法（MeanShift）：利用梯度优化方法来减少特征搜索匹配时间，实现快速目标定位，同时利用Bhattacharrya（巴氏）距离作为对目标模板和候选目标的相似性测度，完成特征的匹配。

均值飘移—卡尔曼滤波算法：实现运动参数辨识与状态估计，解决目标遮挡问题。

Xi’anJiaotongUniversity目标检测与跟踪技术（a）图像序列第611帧（b）图像序列第616帧（c）图像序列第622帧（d）图像序列第640帧（e）图像序列第654帧（f）图像序列第660帧举例一：无遮挡Xi’anJiaotongUniversity目标检测与跟踪技术（a）目标模型的选取（b）图像序列第50帧（c）图像序列第82帧

（d）图像序列第111帧（e）图像序列第120帧（f）图像序列第135帧举例二：有遮挡Xi’anJiaotongUniversity目标检测与跟踪技术篮球运动轨迹有遮挡时巴氏系数急剧下降Xi’anJiaotongUniversity三维重构技术接触式与非接触式三维测量（a）三坐标测量机 （b）机械测量臂Xi’anJiaotongUniversity（a）物体 （b）采集的图像（c）重构结果接触式与非接触式三维测量三维重构技术Xi’anJiaotongUniversity三维重构技术视觉三维重构方法分类Xi’anJiaotongUniversity三维重构技术光度立体法——PhotometricStereo，PS方法光源相机被测物体

以图像平面为XY平面，观察方向与Z轴重合，则物体表面的相对高度可以由函数表示，物体表面每一点的梯度分量p，q和单位法向量n分别定义为Xi’anJiaotongUniversity三维重构技术

假设漫反射物体表面微元的反照率为，依次被3个不同方向的点光源、和所照射，光源强度一致，且并入反照率参数中，那么所得到的像素灰度值可以表示为

当k≥3时，可以将上式写成方程组的形式，从中联立求解出每一点的反照率和法向量参数。光度立体法Xi’anJiaotongUniversity三维重构技术光度立体法最早由Woodham在1980年提出，理想漫反射条件；非漫反射物体的反射参数恢复，采用混合反射模型；多光源：4光源、旋转光源、稠密光度立体法