shape context应用

1、shape context shape context 的应用13.12.2常见应用 1.验证码识别验证码识别。 2.人脸匹配人脸匹配。 3.步态识别步态识别。验证码识别 验证码是近几年发展起来的技术, 主要是用来防止网络机器人的一些恶意行为，即区分人和电脑。 验证码图片识别有很多干扰因素。图1 展示了Msn 和Yahoo的验证码图像,它们对于阻止网络机器人都是非常有效的。验证码识别 从中我们可以发现优秀的验证码图像的几个特点: 1.字符存在变形、仿射变换、缩放。 2. 图像中存在干扰线。 3. 一般存在6 个以上的字符需要识别。验证码识别 上述三个特点都给识别增加了难度。通常的验证码识别需要

2、以下三个步骤。1. 图像进行二值化和细化处理。2. 去除干扰线, 并进行图像切割, 使得切割后的每幅图像只包含一个字符。3. 特征提取和单个字符识别。验证码识别 步骤1 很简单,步骤2过巧妙的设计, 也能够使分割正确率达到很高的水平。（但分割后的单个字符图像中, 还是不可避免的存在着干扰线。这不是本次讨论重点, 不做详细说明。）本文着重讨论的是步骤3 , 单个字符的识别。这里，我们采用了形状上下文的方法。验证码识别 形状上下文 对于一幅二值图像, 黑点表示字符, 白点表示空白, 这样我们就可以用一组黑点集合来表示一幅图像, 即一幅图像可以表示为集合P=P1,Pn, 图2(a)(b)展示了图像上

3、的点的例子。我们取了这两幅图像上的三个点A、B、C, 然后用下页图所示的对数极坐标来重新表示这三个点, 就得到了图2(d)(e)(f)。验证码识别 形状上下文 验证码识别 形状上下文 上图是以该点为极坐标中心，对于每一个由r和确定的极坐标区域, 如果该区域内包含的点越多, 则其在由和logr组成的直角坐标系中对应的区域颜色越深（点A、C所对应的直角坐标系图很相似。） 这里使用的是由12个角度和5个环组成的对数极坐标系, 得到的是有60个区域的直角坐标系, 每个区域的值大小不同。这样原图每个点都可以对应一个维数为60的向量。 SergeBelongie和JitendraMali 把这个向量称为点

4、对应的形状上下文。验证码识别 形状上下文 对于两幅比较图像, 如果分别得到了每幅图像上每一个点的形状上下文, 就可以计算两幅图中任意两个点的距离。假设两个点pi、qj, 它们的形状上下文分别为hi=hi(1),hi(K),hj=hj(1),hj(K), 可以通过下面的公式来计算两点之间的距离Ci,j验证码识别 形状上下文 得到了两幅图像任意两个点的距离, 下面就是要找到两幅图像的点的一个对应关系j=(i), 使得 最小。这个问题可以用hungarian方法在O(n3)的时间复杂度内解出来。这中间可能会碰到两幅图像的点数不一致的问题, 这可以通过增设“虚点”的方法来解决。验证码识别 形状上下文

5、运行一个最优匹配算法（如匈牙利算法等）找个一个最优匹配，使整个代价最小，最后基于这个最优匹配，得到整个形状代价，这个可以作为两个形状之间的差别衡量，代价越小，形状越相似。形状代价如下： 验证码识别 形状上下文 不过到这里还只是找到一个对应关系而已，需要进一步用一个变换 T 来衡量形状之间的转变，所以，最后的形状距离可以用估计的变换来表示，如下： 最后基于这个形状距离可以基本衡量两个物体形状之间的区别。（二者采样点数目可能不同，故两边都得逐一匹配）验证码识别应用图形上下文进行字符识别 1.建立样本字符库。 2.验证码图像识别。 验证码识别应用图形上下文进行字符识别 建立样本字符图库 用字体Tim

6、esNew Roman做了每个字符的图像示例, 并设置每幅图像的大小为2121, 单位为像素。对每个样本字符图像进行二值化和细化处理，得到了样本字符图库。验证码识别应用图形上下文进行字符识别 验证码图像实别： 假设我们已经得到了经过切割后的图像。图3展示了这一些典型测试图像示例, 为了形象, 第一行是原图像, 第二个是对应的经过二值化和细化后的图像。 验中, 每个字符取三幅测试图像, 共72个测试实例, 正确识别个数为63个, 正确识别率为87.5%验证码识别应用图形上下文进行字符识别 下面分别从正反两方面对测试结果进行分析说明。 图3的示例中, A、R、D、M都能够正确识别, 下页图4显示了

7、它们的点的匹配方式，可以看到, 这四个测试字符存在变形、仿射变换、缩放、存在干扰线的影响因素, 但正确的样本字符都很好的匹配到了测试字符。注意这里是样本字符匹配测试字符。验证码识别应用图形上下文进行字符识别验证码识别应用图形上下文进行字符识别 实验表明, 这样做要比用测试字符匹配样本字符的效果好很多。后者的测试结果是由29幅测试图像正确识别16幅, 识别率仅为55.2%, 而后者的主要失误因素就是干扰线的影响。 图5 展示了典型的错误示例：验证码识别应用图形上下文进行字符识别图5中我们可以看匹配错误出现的两点主要原因。1. 样本字符包含的信息太少。 这是小象素样本图像不可避免的灾难。“B”确实

8、是包含一个“3”。类似的错误还有“K”与“X”。2. 字体特征的影响。 TimesNewRoman这种字体的特征是笔画的尽头存在冗余笔画。正是这些多余的信息, 使得“E”被识别成“B”。 针对这些问题, 我们有一些可以改进的方案选择。比如说用主曲线的方法细化字符, 这种方法能够淡化字体特征的影响。 本文作者创新点: 一是首先应用形状上下文理论进行msn验证码识别。二是跳出用测试字符匹配样本字符的常规思路, 进行逆向思维, 用样本字符匹配测试字符, 而且取得了更好的效果。人脸匹配概述： 计算机人脸识别技术主要包括：人脸检测和定位，对人脸进行特征提取和识别(匹配)。目前对人脸形状匹配的研究主要针对

9、二维正面人脸图像，正面人脸识别中有一些方法如模板匹配、隐马尔科夫模型等，但由于人脸表情丰富，人脸随年龄的增长而变化，发型、胡须、眼镜等装饰对人脸造成的影响，人脸所成图像受光照、成像角度以及成像距离等影响，都是人脸形状匹配实施的难点，使匹配效果不理想。 在已提出的人脸形状匹配算法中，多采用一个数值或一个特征向量来表示目标，具有一定的局限性。局限性表现在二维目标经比例、旋转和平移的变换后，形状很难匹配。本文提出一种基于形状上下文(Shape Context)的人脸形状匹配方法，它能克服传统的人脸形状匹配算法，稳定有效地进行匹配。人脸匹配的总体结构人脸匹配的总体结构：图像获取人脸检测定位图像预处理特

10、征提取和选择训练识别人脸匹配的总体结构 训练过程主要完成已知人脸的定位、特征提取与选择、分类器的设计；识别过程完成未知图片的处理，并识别出身份的分类和决策。具体匹配过程如下：(1)图像获取： 人脸图像数据源包括运动图像(1)图像获取： 人脸图像数据源包括运动图像序列(视频流)静止图像。(2)人脸检测定位：该模块用来分析输入的图像，判断其中是否有人脸，如果有，则找出人脸的位置，并将人脸图像从背景图像中分离出来。(3)图像预处理：预处理的主要作用是尽可能地使人脸图像处于同一尺度和标准，最终为后续处理提供高质量的输入图像。(4)特征提取和选择：对于处理后的人脸图像按某种策略抽取出用于识别的特征，将原

11、始的脸空间映射到新的特征空间。(5)训练： 即分类器的设计， 主要生成可用于识别的参数。(6)识别：通过比对获得的未知人脸参数和训练所得的参数，完成人脸的分类和判别，给出识别结果。基于形状上下文的人脸匹配算法形状上下文算法 在进行形状匹配时，往往将 2 个目标进行相似度比较，判断其相似度是否达到预设的阈值，这样就断定其形状是否匹配。上述方法的重点是如何描述 2 幅图像的相似度。形状上下文就是这样一个描述器，它能很好地对目标特征进行描述，是一种很常用的相似度描述方法。 形状上下文一般用来测量边界轮廓信息的相似度下页图 1 所示。基于形状上下文的人脸匹配算法 若一幅图中有 N 个点， 某点 Ai

12、与其余 N-1 个点均存在关系，即产生 N-1 个向量。通过这 N-1 个向量值，即可决定二维目标的形状特征。N 值越大，则会产生更多对于点 Ai的关系，即对点 Ai 的向量值描述就越准确。基于形状上下文的人脸匹配算法 在边界提取之后，进行对数极坐标变换，求出对数极坐标直方图。利用形状上下文算出对数极坐标直方图的 Cost 值(2 个目标直方图算出1 个 Cost 值)， 找出的 Cost 值最小的或在预处理范围内的 Cost值为其匹配特征点。 人脸匹配就是取多个特征点的匹配过程。 本文的人脸匹配算法正是基于形状上下文的思想，根据最后得到的 Cost 值， 通过求得的相似度比较值来判断人脸形状

13、是否匹配。具体步骤为：(1) 预处理；(2) 提取边缘（Canny边缘检测算法、 轮廓提取算法)； (3)对数极坐标变换与对数极坐标直方图计算；(4)求出 Cost 值及其匹配点；(5)人脸形状匹配判断。图像的预处理 用摄像头采集 1 幅 RGB 图像的颜色矩阵(bmp 格式)，通过对该图像进行一系列的处理，可得到原图像中所需的人脸部分。(1)缩小比例。（将原图像缩小固定比例，处理完毕再将数据放大恢复，有利于加快处理速度。）(2)去除背景。（设定一个阈值，将灰度值在该阈值以下的点的灰度值赋值为 0）(3)图像二值化。（设定一个阈值，灰度值大于该阈值的点赋值为比特 1，否则赋值为比特 0。）(4

14、)中值滤波平滑。（中值滤波能在衰减随机噪声的同时不使边界模糊，从而较好地保护原始信号，在灰度值变化较小的情况下可得到很好的平 滑 处理 效果。）人脸边缘提取 使用 Canny 算法将边缘信息提取出来，得到二值图像。然后使用轮廓提取算法，在二值图像中寻找轮廓。本文使用了 OpenCV 中 的 cvFindContours方 法 来 提 取 轮 廓 。cvFindContours 函数的具体参数如下：(1)mode 参数(提取模式)为 CV_RETR_CCOMP，即提取所有轮廓， 并且将其组织为 2 层的 hierarchy(顶层为连通域的 外围边界， 次层为洞的内层边界)。 由 Canny 算法

15、获得的边缘信息是由一系列曲线所构成的二值化图像，每条曲线通常包含 2 条以上的圆弧段。(2)method 参 数 ( 逼 近 方 法 ) 为 CV_CHAIN_APPROX_ SIMPLE，即压缩水平、垂直和对角分割，代表边缘信息的曲 只保留末端的像素点，使取点达到非均匀性效果。提取边界前后的图像如下页图 3 所示。人脸边缘提取 由图 3 可见，最终得到的轮廓具有如下效果：既尽可能少地提取了轮廓特征点， 又能保留重要的特征点(如果边界是直线时，轮廓特征点的取样间隔较大；如果是曲线，曲率越大取样间隔越小)。对数极坐标变换 一般图像中像素的位置可用笛卡儿坐标(x, y)来表示，也可用极坐标(r,

16、)来表示，对于选定的坐标原点(x0, y0)，它们之间满足如下关系： 取坐标原点(x0, y0)为(0, 0)，其用复数 z 可以表示为z = x + iy = r (cos + isin) = rei令 = lnz = p(z) + i q(z) = lnr + i ，则笛卡儿坐标转换为对数极坐标的映射方程为 p(r, ) = lnr, q(r, ) =。对数极坐标变换 当笛卡儿空间中的图像相对于坐标原点发生了缩放和旋转变化, 例如图像放大了 r0 倍， 旋转了 0 角度， 变化后新的相应极坐标为(r0+r, +0)时，对数极坐标空间 (u, v)的坐标将产生平移，即 u=lnr0+lnr

17、, v=+0 。 笛卡儿空间 z 图像的比例变化相当于对数极坐标空间 图像的水平位移，空间 z 图像的旋转变化相对于空间 图像的垂直位移，即对数极坐标映射的二维不变性。对数极坐标直方图计算和cost值计算对数极坐标直方图计算同上略。cost值计算： 令 Cs 为形状上下文算法的 Cost 值。Cs 就是对 2 幅直方图进行 X2的统计值。g(k)和 h(k)分别为对应直方图的值，则Cs 的值在 01 之间，值越小，相似度越大，则点的匹配度越高。找出最小的 Cost 值或在预处理范围内的 Cost 值为其匹配特征点。人脸形状匹配判断使用 Cs 值的匹配过程如下：(1)现有图 A、图 B，对于图

18、A 中的点 Ai，求出所有图 B中 Cost 值最小的点 Bi；(2)将匹配的信息(包括 Ai， 匹配点 Bi， Cost 值)用 OpenCV序列(即链表)保存；(3)重复步骤(1)，对剩余的点进行匹配，直到匹配完所有点。匹配完成后，得到相匹配的点集和 Cs 值。实验结果 利用形状上下文得到相匹配的点和 Cs 值的集合后来进行统计。定义如下统计量：Cs 的均方差 S，阈值 T，轮廓取点的间隔 d，匹配率 K。进行 2 组实验： (1)分别对 8 幅图像(如图 5 所示)进行两两比对，得出匹配率 k=100%时的 Cs 值，如表 1 所示。实验结果 (2)将图 5(a)和其他图像进行比对，分别

19、使轮廓特征点的间隔为 d=10 和 d=15，在边界点为 225，Canny 算法精度为70 时得出匹配率 k=100%时的 Cs 值、Cs 的均方差 S 以及阈值 T=10, T=20, T=30 时的匹配率 K，如表 2、表 3 所示。实验结果 当阈值 T=30 时， 除了二维变换， 匹配率 K 几乎100%。 这就表明在判断形状是否匹配的时候，只要判断完全匹配(K=100%)时的阈值 T 是否小于等于 30 即可。这个经验值在多数情况下都适用，具有较好的通用性。 轮廓取点的间隔 d 对形状匹配的结果有影响，但影响程度不大，说明本方法对轮廓要求不严格。人脸匹配算法小结 本算法基于人脸匹配的

20、自适应边界点选取的形状上下文方法，根据二维目标形状，采用了缩小一定比例、去除背景图像二值化、中值滤波平滑的预处理方法；通过边缘检测的Canny 算法和二值图像的轮廓提取算法，确定轮廓边界点个数；利用选取的边界点，通过对数极坐标变换，计算该二维目标的直方图；利用直方图计算不同目标之间的相似度，并结合对数极坐标变换的二维不变性，可克服传统人脸匹配算法的局限性。实验结果表明，形状上下文相对于其他的传统形状匹配方法，利用了对数极坐标变换的二维不变性，在二维目标经过比例、旋转和平移变换后，仍能有效地进行形状匹配。 实验结果表明，基于形状上下文的人脸匹配算法具有较高的匹 配度和较强的适用性，比传统的匹配算

21、法更准确、有效。步态识别 引言 步态识别是指从有限的图像序列中寻找和提取行人的特征，进而自动判定或确认其身份。与指纹、足印和人脸等生物特征识别不同，步态识别具有对影像分辨率要求低、能够远距离识别、无需和被测对象接触与合作、被测对象难以伪装等特点它在远距离视觉监控系统、智能人机交互、医学诊断、动画制作和视频传输等有广泛的应用前景，成为计算机视觉领域一个新的研究方向 步态识别中，有效描述变化的人体轮廓形状具有十分重要的意义。典型的轮廓形状描述方法如几何曲线编码、傅里叶描述和不变矩描述等。步态识别 引言 Mowbray用时空傅里叶描述子，统计整个图像序列轮廓的变化。这些方法在小样本库下显示了一定识别

22、能力，但是它们是对整个外形的全局参数化描述，容易忽略局部的形状细节特征，对噪声和遮挡的鲁棒性差。Lee用7个椭圆来近似人体外形，对每个椭圆区域，计算出了一组Hu矩相关的特征3，方法的识别率有了较为明显的提高最直接的局部特征相似度算法是单纯计算形状上像素点间的矢量互相关程度，但是矩阵维度高，计算量大。近年来，在图像 检索和识别中出现以大量的兴趣点算子定位局部特征点位置，编码点周边局部区域的图像信息来描述形状局部特征的点分布方法。Belongie提出一种参考点随机选择的形状上下文描述形状用于图像检索。 本文采用形状上下文描述运动人体的轮廓特征，X2统计和改进Hausdorff距离来定量轮廓形状之间

23、的匹配程度，结合搜索窗口技术测度步态序列问的相似度，提出一种新的步态识别方法形状上下文描述子 通过边缘检测子获取轮廓边缘，对轮廓边缘采样得到一组离散的点集P一pi | i=1，2，n)，以其中任意一点P为参考点，在P为圆心、R为半径的局域内，按对数距离间隔建立m个同心圆将此区域沿圆周方向s等分，形成如图1所示的靶状模板点P到其它各点的向量相对位置简化为模板上各扇区内的点分布数这些点的统计分布直方图 Hp称为点p的形状上下文，其计算公式为 Hp(k)一#1Pi:Pibin(k)， 1PiP；piP） 其中，#表示计数，bin(k)表示第k个扇区。 对于整个点集P，分别以其n个点P1，P2，Pn作

24、参考点，由各点的形状上下文形成的矩阵就是点集P的形状上下文，它描述了整个轮廓形状的特征采样点越多，形状表达也越精细，计算量也会成倍加 大。形状上下文描述子形状上下文的突出特点表现在：1)它是相对大尺度的局部描述，随R取值的不同，模板几乎可以覆盖到整个图像区域。2)参考点位置任意选择。3)对虚假点和小范围的遮挡比全局法要鲁棒得多，分类能力较全局的方法要强本文算法1 序列中行人轮廓的提取。2 关键姿态抽取。3 基于形状上下文的轮廓特征描述。4 匹配相似度的定量计算。5分类与识别。序列中行人轮廓的提取1)设定阈值比较当前帧图像A与背景帧各像素点的亮度，得到初始背景区域：A。=I I(x，y)一Ik(

25、X，y)l1)并将运动对象的初始划分区域定为A1=A A。2)去除阴影区域由于光照影响，阴影被作为运动对象的一部分，在阴影区域，归一化的各色彩通道亮度值接近于背景值设背景图像任一像素点处RGB通道的亮度值分别为IR*，IG*，IB*，当前帧像对应像素点处RGB通道的亮度值分别为IR、IG、IB，求出粗分阴影背景区域：粗分的背景区域中存在着装颜色影响的误分区域，误分区域的大小因此，运动对象的阴影区域为A4 = A2一A3。序列中行人轮廓的提取3)综合上述步骤，得到前景区域：A5 = Al A4，图2(a)的原始图像得到的前景区域如图2(b)。4)使用形态学算子滤除噪声，填充缝隙和小的空洞。采用局

26、部阈值进一步增强身体重要部位的轮廓。最终提取出的行人轮廓如图2（c）。关键姿态抽取 人体步态呈现周期性，可用一个步态周期中的关键姿态来描述步态特征。如图3所示：一个完整步态周期包括左足在前、双足着地跨步，左足站立双腿并拢，右足在前、双足着地跨步，右足站立双腿并拢4种关键姿态对于行人行走方向与摄影机视角垂直的情况而言，这4种关键姿态分别对应行人轮廓外接矩形框宽高比曲线的波峰和波由此，通过计算序列图像的轮廓外接矩形宽高比，根据极值点选取出步态周期的关键姿态。基于形状上下文的轮廓特征描述 影像的平移不变性和尺度不变性对于用形状上下文描述人体外形轮廓特征是必要的。形状上下文描述中，所有涉及的距离关系都

27、是关于参考点的相对量，故具有平移不变性。尺度的不变性取决于模板的圆周半径R的选取，基于此，采用以下步骤得到抽取出的各行人关键姿态外形轮廓的形状上下文描述。1)计算归一化半径：2)确定模板的圆周半径R = a ， 其中a是比例因子。a越小，局部性描述越强；反之，全局性描述越强。3)用R为半径的扇区模板，根据前述式(1)计算轮廓采样点的形状上下文特征。R匹配相似度的定量计算1)采样点间匹配相似度的定量计算若有轮廓采样点集P上的任一点P，另一轮廓采样点集Q上的任一点q，P、q点处的形状上下文分别为Hp、Hq，归一化形状上下文，使得其中，K为扇区块数，K一嬲用72统计量表示点间的匹配相似度：匹配相似度

28、的定量计算2)采样点与采样点集间匹配相似度的定量计算对于上述采样点集P、Q：定义点P与点集Q间匹配相似度为c加，则最小匹配相似度为同理，点q与点集P间的最小匹配相似度为匹配相似度的定量计算3)采样点集间匹配相似度的定量计算采用改进的Hausdorff距离(Modified Hausdorff Distance，MHD)作为点集间的匹配测度。MHD无需在匹配前进行排序，所以计算简单，匹配速度快，并且具有良好的匹配能力。点集问匹配相似度为C(P，Q)一max(CPQ,CQP)，其中CPQ,CQP为对应轮廓点集间的有向匹配相似度：匹配相似度的定量计算4)序列间匹配相似度的定量计算为了有效克服左右脚不

29、对称导致的匹配错误，提高识别率，采用窗口搜索技术，搜索数据库样本与查询样本库中最相近的一个关键姿态周期为对应样本库的值为提高匹配速度，采用各轮廓点集问最小匹配相似度的简单代数和来测度。设查询样本序列为X，其关键姿态轮廓集为数据库样本序列为y，其关键姿态轮廓集为N为关键姿态帧数序列X与序列y之间的匹配相似度为分类与识别 由于本文的目的是评估步态特征的区分能力，故没有用更复杂的分类器，采用留一校验规则和最近邻分类器作分类与识别。在步态库中每次留出一个样本序列作为查询样本序列，依据与余下样本的相似性来分类被留出的样本。每个序列被分类到匹配相似度最佳的序列所属的类中。实验与结果分析 为了检验本文方法的

30、性能，选用两个步态数据库进行实验。CASIA数据库8由中国科学院自动化研究所建立，共有20人，是室外环境下的小样本库。Soton数据库由英国南安普敦大学(University of Southampton)建立，是现有样本较大的步态库，视频采样在室内环境下完成，公开的数据库共有115人，2 128序列。行人行走方向与摄像机垂直，分别有自左向右和自右向左两类。 采用形状上下文方法，其中同心圆数m = 5，圆等分量S =12。算法性能采用正确分类率(Correct Classification Rate，CCR)和累积匹配度(Cumulative Match Scores，CMS)两个指标评估CMS定义为一个测试度量的实际类别在它的最前k个匹配值之间的累积概率口引。CCR等价于k= 1时的CMS。CASIA步态库的实验和结果分析本文采用的数据库内容包含20人共80序列（摄像机与行人行走方向垂直方向的数据）。改变不同的取样条件，进行14组实验。不