【ch02】图像边缘、角点检测

图像边缘、角点检测工业和信息化部“十二五”规划教材计算机视觉第二章01图像底层计算机视觉的主要研究对象为图像处理，实际上可以简而言之为从单幅或多幅二维投影图像（或视频序列）中计算出视觉所需要的客观参数。因此图像处理可以认为是计算机视觉的基础。图像图2.1中显示的是一幅故宫的图像及其局部放大后的图像。图像从图2.2可以明显看出，图像具有局部平滑的特性。图像02灰度位图图像和彩色位图图像一般出版物为了降低成本，都采用灰度图像，也就是没有彩色的图像。那么，这种灰度图像属于8位图像，还是24位图像呢?具体在计算机中是如何表示的呢?这些问题参考位图的结构，如图2.4所示。灰度位图图像和彩色位图图像Windows规定一个扫描行所占的字节数必须是4的倍数，若不足4的倍数则要对其进行扩充。一般程序中，BMP文件的数据是从图像的左下角开始逐行扫描图像的，即从下到上、从左到右来安排图像的像素值，因此图像坐标零点在图像左下角。灰度位图图像和彩色位图图像03GIF图像格式和JPEG压缩在Windows平台上，位图是使用最广泛的图像格式。其他各种文件格式，如GIF、JPEG、TIFF和PNG等，在显示时都转换为BMP后再进行显示。对于视频也遵循这种流程，视频每帧图像解码后称为YUV亮度/色度分量形式，然后转换为BMP格式的数据进行显示。GIF图像格式和JPEG压缩GIF图像GIF（GraphicsInterchangeFormat）图像的扩展名采用“.gif"，由CompuServe公司开发，用于屏显和网络。它包括87a和89a两种格式，其中87a描述单一（静止）图像，89a描述多帧图像，通常在GIF动画中使用。它最具特色的特点为其色彩模式，支持28（256色）种颜色。GIF图像格式和JPEG压缩因此，在处理GIF图像时，颜色的数目往往都是256种，有时在计算机视觉处理中，若没有注意则会造成意外结果。而将其他图像保存为GIF图像时，需要对颜色进行量化处理，近些年提出了很多相关的颜色量化算法，比较典型而直观的量化算法就是聚类的算法，通过将类别数目定义为256即可采用通用的聚类算法进行计算。GIF图像格式和JPEG压缩图像JPEG压缩流程如图2.5所示。GIF图像格式和JPEG压缩根据人类视觉的特性和信息论的观点，其中将RGB图像转换为YCbCr图像利用了人类视觉对亮度信息敏感，而针对色度信息不敏感的特点，可以进一步对色度分量进行下采样以降低数据量。GIF图像格式和JPEG压缩下面我们看一下JPEG压缩的具体流程。首先若原始图像是RGB图像，则转换为YCbCr图像，对YCbCr两个色度分量进行下采样，然后进行8×8的块划分，如图2.6所示。GIF图像格式和JPEG压缩然后按照从上到下、从左到右的顺序分别对每个块做处理，如图2.7所示，将从图中取出的8×8块表示成f（x，y）的矩阵形式。GIF图像格式和JPEG压缩04图像边缘及其检测从概念上来看，边缘一般指像素值发生突变的区域，但由于数字图像成像过程中无法形成理想的突变状态，因此一般在图像中很少出现突变的边缘，而是有一个渐变的过程。边缘类型图像边缘及其检测一般在图像处理中，有4种边缘类型，当然这4种类型也可以上下翻转，分别对应阶梯状、斜坡状、脉冲状和屋顶状4种边缘类型，如图2.19所示。图像边缘及其检测在滤波处理阶段，实际上是对图像进行滤波处理。在差分处理阶段，通过利用边缘的特性采取一阶和二阶差分来获取边缘区域。在差分阶段沿梯度方向计算其一阶方向导数，然后在检测阶段，通过检测上一步导数输出的峰值来定位边缘点。图像边缘及其检测边缘检测的三个阶段滤波操作及双边滤波器在信号处理中，滤波与预测是紧密相关的概念，实质上就是对输入的数据进行处理，然后产生输出。若输入的数据为以前的数据，而产生的数据为未来的数据，则称为预测；若产生的数据只是对当前数据的校正，则称为滤波。图像边缘及其检测当u从0到N-1变化时，对应从低频到高频变化，其频谱图如图2.20所示。图像边缘及其检测众所周知，连续函数的导数在离散情况下采用差分来近似。这从连续函数的导数定义：差分操作图像边缘及其检测图像边缘及其检测边缘检测操作2.4.5节直接利用梯度幅度进行阈值化操作来检测边缘，但并未用到梯度的方向信息。梯度方向表示函数值增加的方向，因此若函数值在某个方向上没有任何变化，则其梯度值为0。非极大值抑制操作图像边缘及其检测图2.23的每列像素值都一样，每行像素值分别从0~255均匀变化。图像边缘及其检测几种典型的边缘检测算子在真实边缘检测算子中，为了避免噪声的干扰，一般先对图像进行平滑等预处理，然后再采用上述的检测过程进行检测。应用最为广泛的边缘检测算子之一就是JohnCanny在1986年提出的Canny算子，它与Marr边缘检测方法类似，也属于先平滑后求导数的方法。其次采用连续的函数来逼近图像的局部区域，然后利用连续函数的偏导数来获取其不连续点，典型的方式为Haralick算子。第三类就是LoG算子，实际上相当于对图像进行不同尺度下的平滑操作，然后在对其求差，从而凸显边缘操作。图像边缘及其检测05图像角点检测底层视觉的重要任务之一就是提取图像中的各种特征，为后续视觉处理任务提供支撑。而除边缘外，角点为另外一个常用的重要特征，并且角点对几何变换具有较好的鲁棒性，因此在计算机视觉任务中扮演着重要的角色。图像角点检测图像角点检测图像角点检测基本原理及Harris角点检测以下面比较极端的图像为例，从中取出三个小区域进行角点检测，如图2.26所示。图中的白色框作为一个滑动窗口，若对该窗口内的像素值做求和操作，则右边最上面的滑动窗口无论往哪个方向做小量滑动，其值都不会发生任何变化。而右边中间的窗口则不一样，若该窗口水平方向滑动，则其值不会发生变化；而若该窗口上下滑动，则其值会发生变化。右边最下面的窗口无论如何滑动窗口都会造成值发生变化。图像角点检测若对应平坦区域，则表明行列式的值会很小，此时对应两个特征值都比较小，近似为0，如图2.27所示。图像角点检测FAST角点检测直观上，角点处的像素值肯定与周围邻域的像素值有较大的差别，这种差别的模式是可以确定的，因此需要考虑图2.29中的中心像素与其周边像素的差值，若其周边与当前点像素值差值大的点足够多，则当前点很可能是角点。图像角点检测例如，图2.29中当前点的半径为3的圆周上的点，若有连续12个点的像素值与当前点的像素值差大于某个阈值，则可认为是角点。图像角点检测06形状检测实际上，这些几何形状的检测往往在先前获得的边缘图像上进行，而由于在边缘检测中，噪声往往会使检测出来的边缘不连续，因此出现了几何形状，但是形状不连续。如何将这些具有标准几何形状的边缘点连接成标准的形状呢?标准Hough变换及圆形Hough变换形状检测形状检测广义Hough变换广义Hough变换原理如图2.32所示。三种常见Hough变换的区别目前，常见的Hough变换分为三种，分别是标准的Hough变换（SHT）、广义的Hough变换（GHT）和随机的Hough变换（RHT）。SHT和GHT显然都是一对多的映射，即每个边缘像素点对参数空间矩阵的很多位置都有贡献。形状检测从可处理的图像类型来看，三种变换都可以处理二值图像，但只有GHT可以处理灰度图像。从检测的目标来看，三种变换都可以检测圆和参数型形状，但SHT和RHT不能检测任意形状的目标而GHT可以。并且SHT和RHT可以检测直线，而GHT不能检测直线。从检测速度来看，RHT最快速，SHT和GHT都比较慢。形状检测07直线段检测但是其效率较低，并且容易受纹理和噪声的影响，具有以下两个缺陷：第一，这样的处理忽略了边缘点的方向性，前面圆形Hough变换中就利用曲率信息来提高效率；第二，阈值的选取非常困难。直线段检测这样将图像划分成线支撑区域，每个区域中的联通像素具有类似的梯度角度。然后，按照直线段的特征来拟合每个线支撑区域，直线图特征可用图2.34表示。直线段检测08本章小结计算机视觉的研究内容广泛，其分类标准颇多。但无论如何，底层计算机视觉主要是图像处理及其相关技术。从中获取各种底层的特征，后续的计算机任务基于提取的特征来进一步进行对象表达和理解，也就是高层的计算机视觉任务