手写数字特征提取与分析.doc

毕 业 设 计 论 文 题题 目目 手写数字特征提取与分析 专专 业业 电子信息工程 班班 级级 084 班 姓姓 名名 梁 杰 指导教师指导教师 周 扬 讲师 所在学院所在学院 信息学院 完成时间 2012 年 5 月 承 诺 书 我谨此郑重承诺 本毕业设计 论文 是本人在指导老师 指导下独立撰写完成的 凡涉及他人观点和 材料 均依据著作规范作了注释 如有抄袭 或其它违反知识产权的情况 本人愿接受学 校处分 承诺人 签名 年 月 日 手写数字特征提取与分析手写数字特征提取与分析 信息科技学院电子信息工程专业 梁杰 摘摘 要 要 目前 模式识别领域在日常生活中的应用已经越来越广泛 比如人脸 指纹识别 字符识别 车牌识别 所以 对数字识别进行学习与研究是非常有必要的 本课题为数字字符识别模拟演示系统 主要是利用正态分布下的最小错误率 Bayes 方法和 最小风险 Bayes 方法 来实现手写数字从 0 到 9 的识别 该系统首先是实现模拟手写数字 然 后利用轮廓特征法将 5 5 的模板提取出样品的特征 采用模板可以使同一形状 不同大小的样 品得到归一化的特征提取 所以有能力对同一形状 不同大小的样品视为同类 最后结合 Bayes 决策进行判别 使用最小错误率 Bayes 方法 在判别过程中能使错误率达到最小 即使错分类 出现的可能性最小 而最小风险 Bayes 方法 在判别过程中可以使风险达到最小 减少危害大 的错分类情况 本设计是利用 Matlab 实现的 实验证明 该系统对于模拟手写的数字基本上能正确识别 但是对于手写不规范的数字会存在错判的情况 这跟样品库的有限有关 关键词 关键词 模式识别 最小错误 最小风险 特征选择 模拟手写 Matlab 实现 Handwritten digital feature extraction and analysis Liang Jie Electronic and information engineering College of Information Science and Technology Abstract At present the field of pattern recognition in everyday life has been more and more widely used such as the face fingerprint recognition character recognition vehicle license plate recognition Therefore the digital identification of learning and research is very necessary The topic for the digital character recognition simulation demo system Mainly using normal distribution under the minimum error rate of Bayes method and Bayes method to achieve the minimum risk handwritten digits from 0 to9 of the identification The system first is to realize the simulation of handwritten numeral then using contour feature will be 5 5 templates extracted sample characteristics using the template in the same shape different sizes of samples to be normalized feature extraction so the ability of the same shape different sizes of samples as similar finally combined with the Bayes decision discriminant Minimum error rate using the Bayes method the discrimination process can make the error rate reaches a minimum even wrong classification and the possibility of the minimum while minimizing risks Bayes method in judging process can make the risk minimum harm reduction in fault classification This design is the use of Matlab to achieve experiments show that the system for the simulation of handwritten digital basically correct identification but for handwriting irregular number may have misjudged case this with the sample library association Key words Pattern recognition minimum error minimum risk feature selection simulated handwriting Matlab 目 录 1 绪 论 1 1 1 手写数字特征提取与分析的背景与意义 1 1 2 手写数字特征的识别技术简介 1 1 3 现有的手写特征提取的有关算法 2 1 4 手写特征的典型应用 2 1 5 本文研究的内容 3 2 模式识别与 MATLAB 的介绍 4 2 1 模式识别 4 2 1 1 模式识别的基本概念 4 2 1 2 模式识别系统 4 2 1 3 相关值计算 4 2 2MATLAB 5 2 2 1Matlab 软件的介绍 5 2 2 2 Matlab 的主要优缺点 6 2 2 3Matlab 图像类型及转换分析 7 3 手写特征的提取与选择 9 3 1 特征的种类与筛选 9 3 1 1 笔划密度特征 9 3 1 2 傅立叶变换特征 9 3 1 3 轮廓特征 11 3 1 4 投影特征 12 3 1 5 重心及重心矩特征 14 3 1 6 首个黑点位置特征 14 3 1 7 粗网格特征 15 3 2 特征提取方法 15 3 2 1 结构特征提取方法 15 3 2 2 统计特征提取方法 16 3 3 手写特征模式识别方法 17 4 BAYES 分类器在手写特征中应用 19 4 1 BAYES分类器 19 4 2 基于概率的 BAYES决策 20 4 3 基于最小错误率 BAYES的手写数字字符分类 21 4 3 1 样品均值 21 4 3 2 协方差矩阵 22 4 3 3 先验概率 22 4 3 4 协方差矩阵的行列式 22 4 3 5 协方差矩阵的逆矩阵 23 4 3 6 判别函数 24 4 4 基于最小风险的 BAYES分类的实现 24 4 4 1 与最小错误 Bayes 决策的相同之处 24 4 4 2 后验概率 25 4 4 3 损失函数 25 5 分类实验与信息 26 5 1 特征提取方法的软件实现 26 5 2 截图并说明仿真过程 26 5 3 获得实验结果 28 5 4 分类结果分析与评价 29 6 总 结 30 致 谢 31 参考文献 32 附 录 34 附录 1 编程代码 34 附录 2 仿真部分截图 39 1 绪 论 1 1 手写数字特征提取与分析的背景与意义 手写数字特征提取与分析在学科上属于模式识别和人工智能的范畴 在过去的四十年中 人们想出了很多办法获取手写字符的关键特征 这些手段分两大类 全局分析和结构分析 对 前者 我们可以使用模板匹配 象素密度 矩 特征点 数学变换等技术 这类的特征常常和 统计分类方法一起使用 对后者 多半需要从字符的轮廓或骨架上提取字符形状的基本特征 包括 圈 端点 节点 弧 突起 凹陷 笔画等等 与这些结构特征配合使用的往往是句 1 法的分类方法 多年的研究实践表明 对于完全没有限制的手写数字 几乎可以肯定 没有一种简单的方 案能达到很高的识别率和识别精度 因此 最近这方面的努力向着更为成熟 复杂 综合的方 向发展 一方面 研究工作者努力把新的知识运用到预处理 特征提取 分类当中 如 神经 网络 数学形态学等 作者认为 在手写数字识别的研究中 Bayes 和多种方法的综合是值得重 视的方向 手写数字特征提取与分析研究的理论意义 1 阿拉伯数字是唯一的被世界各国通用的符号 对手写数字识别的研究基本上与文化背景无关 这样就为各国 各地区的研究工作者提供了一 个施展才智的大舞台 在这一领域大家可以探讨 比较各种研究方法 2 由于数字识别的类别数 较小 有助于做深入分析及验证一些新的理论 3 尽管人们对手写数字的识别已从事了很长时间 的研究 并已取得了很多成果 但到目前为止机器的识别本领还无法与人的认知能力相比 这 仍是一个有难度的开放问题 4 手写数字的识别方法很容易推广到其它一些相关问题棗一个直接 的应用是对英文这样的拼音文字的识别 事实上 很多学者就是把数字和英文字母的识别放 2 在一块儿研究的 1 2 手写数字特征的识别技术简介 手写数字特征的识别技术简介如图 1 1 所示 由数据获取 预处理 特征提取 分类决策及 Matlab 分类器设计五部分组成 一般分为上下两部分 上部分完成未知类别的模式分类 下般 部分属于设计分类器的训练过程 利用样品进行训练 确定分类器的具体参数 完成分类器的 2 设计 而分类决策在识别的过程中起作用 对待识别样品进行决策分类 3 数据获取预处理特征提取分类决策分类结果 训练样本输入 误差检验 预处理确定判别函数特征提取 改进判别函数 图 1 1 模式识别的过程 1 3 现有的手写特征提取的有关算法 现有的手写特征提取的算法有多种 最邻近模版匹配法 基于 PCA 的模版匹配法 基于类 中心的欧式距离法分类法 马氏距离分类法 夹角余弦距离分类法 二值化的夹角余弦距离分 类法 二值化的 Tanimoto 测度分类法 特征空间分类法 二值数据的贝叶斯分类法 最小错误 概率的贝叶斯分类法 最小风险的贝叶斯分类法 正太性分布函数的统计假设检验法 Fisher 算 法 LMSE 算法 势函数法 基于核的 Fisher 法 BP 神经网络分类法 RBF 神级网络分类法 Hopfield 神经网络分类法 自组织神经网络分类法 CPN 神级网络分类法等等 还有各种现阶 段的新型算法 1 4 手写特征的典型应用 手写数字识别有着极为广泛的应用前景 这也正是它受到世界各国的研究工作者重视的一 个主要原因 下面我们将介绍以手写数字识别技术为基础的典型应用 1 手写数字识别在大规模数据统计中的应用 在大规模的数据统计 如 行业年检 人口普查等 中 需要输入大量的数据 以前完全要手 工输入 则需要耗费大量的人力和物力 近年来在这类工作中采用 OCR 技术已成为一种趋势 因为在这种应用中 数据的录入是集中组织的 所以往往可以通过专门设计表格和对书写 施加限制以便于机器的自动识别 目前国内的大多数实用系统都要求用户按指定规范在方格内 填写 另外 这些系统往往采用合适的用户界面对识别结果做全面的检查 最终保证结果正确 无误 可以看出 这是一类相对容易的应用 对识别核心算法的要求比较低 是目前国内很多 3 单位应用开发的热点 2 手写数字识别在财务 税务 金融领域中的应用 财务 税务 金融是手写数字识别大有可为的又一领域 随着我国经济的迅速发展 每天 等待处理的财务 税务报表 支票 付款单等越来越多 如果能把它们用计算机自动处理 无 疑可以节约大量的时间 金钱和劳力 与上面提到的统计报表处理相比 在这个领域的应用难 度更大 原因有 1 对识别的精度要求更高 2 处理的表格往往不止一种 一个系统应能智能地同 时处理若干种表格 3 由于处理贯穿于整个日常工作之中 书写应尽量按一般习惯 如 不对书写者 的写法做限定 书写时允许写连续的字串 而不是在固定的方格内书写 这样对识别及预处理 的核心算法要求也提高了 3 手写数字识别在邮件分拣中的应用 随着人们生活水平的提高 经济活动的发展 通信联系的需求使信函的互换量大幅度增加 我国函件业务量也在不断增长 预计到 2000 年 一些大城市的中心邮局每天处理量将高达几百 万件 业务量的急剧上升使得邮件的分拣自动化成为大势所趋 在邮件的自动分拣中 手写数 字识别往往与光学条码识别 人工辅助识别等手段相结合 完成邮政编码的阅读 目前使用 4 量最大的 OVCS 分拣机的性能指标 OCR 拒分率 30 OCR 分拣差错率 1 1 1 5 本文研究的内容 本次设计拟解决的主要问题是运用 Matlab 的 Bayes 工具箱函数在系统实现的过程中面临的 核心技术 也就是图像预处理和数字识别等 2 个模块的 Matlab 程序的实现 本系统研究的基本 内容主要是从 Bayes 最小错误率和 Bayes 最小风险仿真程序设计两个主要分类入手 运用 Bayes 分离器各种学习算法技术来解决现实生活中经常涉及到的印刷体数字字符 0 9 的识别问题 第二章主要写了模式识别的基本概念和 Matlab 软件的基本介绍 第三章主要写了手写数字 的一些特征和手写数字特征的提取方法 以及本论文选择什么方法对手写数字进行特征的提取 与选择 第四章主要介绍了 Bayes 分类器 以及 2 种 Bayes 分类器决策方案的计算即 最小错 误率 Bayes 和最小风险 Bayes 第五章写了 Bayes 分类器的仿真实验及截图说明 4 2 模式识别与 Matlab 的介绍 2 1 模式识别 2 1 1 模式识别的基本概念 模式识别 Patten Recognition 就是机器识别或机器自动识别 目的在于让机器自 动识别事物 例如手写数字识别 就是将手写的数字分到具体的数字类别中 模式识别研究的内容是利用计算机对客观物体进行分类 在错误概率最小的条 件下 使识别的结果尽量与客观物体相符合 让机器判别事物的最基本方法就是计 算 原则上讲是对计算机要分析的事物与标准模板的相似程度进行计算 例如要识 别一个手写数字 就要将它与 0 到 9 的模板进行比较 看跟哪个模板最相似或最接 近 2 1 2 模式识别系统 一个典型的模式识别系统如图 2 1 所示 由数据获取 预处理 特征提取 分 类决策及分类器设计五部分组成 一般分为上下两部分 上部分完成未知类别的模 式分类 下般部分属于设计分类器的训练过程 利用样品进行训练 确定分类器的 具体参数 完成分类器的设计 而分类决策在识别的过程中起作用 对待识别样品 进行决策分类 数据获取预处理特征提取分类决策分类结果 训练样本输入 误差检验 预处理确定判别函数特征提取 改进判别函数 图 2 1 模式识别的过程 2 1 3 相关值计算 1 均值 5 N 个样品的均值可以表示为 2 1 T n N j j xxX N X x 1 2 1 1 其中是第 i 个特征的平均值 i x N j iji x N x 1 1 2 方差 方差用来描述一批数的分散程度 第 i 个特征的 N 个数的方差公式是 2 2 2 1 2 1 1 i N j iji xx N S 方差的平方根称为均方差 2 1 2 1 1 N j iijii xx N S 3 协方差与协方差矩阵 在 N 个样品中 第 i 个特征和第 j 个特征之间的协方差定义为 2 3 N k jjkiikij xxxx N S 1 1 1 对同一批样品来说 ij s ji s 如果一批样品有 n 个特征 求出每两个特征的协方差 总共得到 n xxx 21 个值 将这个值排练成以下的 n 维方阵 称为协方差矩阵 2 n 2 n 2 4 nnnn n n sss sss sss S 21 22221 11211 协方差矩阵是对称矩阵 而且主对角线元素就是特征的方差 ii s i x 2 i s ni 2 1 2 2Matlab 2 2 1Matlab 软件的介绍 MATLAB 是 Math works 公司于推出的一套高性能的数值计算和可视化软件 其全称是 Matrix Laboratory 亦即矩阵实验室 经过多年的逐步发展与不断完善 现已成为国际公认的最 6 优秀的科学计算与数学应用软件之一 是近几年来在国内外广泛流行的一种可视化科学计算软 件 它集数值分析 矩阵运算 信号处理和图形显示于一体 构成了一个方便的 界面友好的 用户环境 而且还具有可扩展性特征 Math Works 公司针对不同领域的应用 推出了信号处理 控制系统 神经网络 图像处理 小波分析 鲁棒控制 非线性系统控制设计 系统辨识 优 化设计 统计分析 财政金融 样条 通信等 30 多个具有专门功能的工具箱 这些工具箱是由 该领域内的学术水平较高的专家编写的 无需用户自己编写所用的专业基础程序 可直接对工 具箱进行运用 同时 工具箱内的函数源程序也是开放性的 多为 M 文件 用户可以查看这些 文件的代码并进行更改 MATLAB 支持用户对其函数进行二次开发 用户的应用程序也可以作 为新的函数添加到相应的工具箱中 5 2 2 2 Matlab 的主要优缺点 1 Matlab 的主要优点 1 界面友好 编程效率高 Matlab是一种以矩阵为基本变量单元的可视化程序设计语言 它的语法结构简单 数据类型 单一 命令表达方式接近于常用的数学公式 这使Matlab用户在短时间内就能快速地掌握其主要 内容和基本操作 Matlab不仅可免去大量的经常反复的基本数学运算 而且它的编译和执行速度 都远远超过了采用C和Fortran语言设计的程序 可以说 Matlab在科学计算与工程应用方面的编 程效率都远远高于其他高级语言 6 2 功能强大 可扩展性强 Matlab语言不但提供了科学计算 数据分析与可视化 系统仿真等强大的功能 而且具有可 扩展性特征 Mathworks公司针对不同领域的应用 推出了自动控制 信号处理 图像处理 模 糊逻辑 神经网络 小波分析 通信 最优化 数理统计 偏微分方程 财政金融等30多个具 有专门功能的Matlab工具箱 各种工具箱中的函数可以互相调用 也可以由用户自己更改 Matlab支持用户对其函数进行二次开发 用户的应用程序可以作为新的函数添加到相应的工具箱 中 3 易学易用性 Matlab不需要用户有高深的数学知识和程序设计能力 不需要用户深刻了解算法及编程技巧 4 高效性 Matlab语句功能十分强大 一条语句可完成十分复杂的任务 它大大加快了工程技术人员从 7 事软件开发的效率 据Math works公司声称 Matlab软件中所包含Matlab源代码相当于70万条c 代码 正是Matlab语言的这些优势 我们选择采用这种语言实现图像处理算法 利用MATLAB强 大的工具包 使算法易于实现 2 Matlab 的主要缺点 然而MATLAB自身存在的某些缺点限制了它的应用范围 1 Matlab是一种解释性语言 所以它的语言执行效率低 这对于实时性要求较高的领域 如自动控制 信号处理等 其实时效率是较差的 2 Matlab程序不能脱离其环境运行 因此它不能被用于开发商用软件 3 程序可以被直接看到程序的源代码 因而不利于算法和数据的保密 2 2 3Matlab图像类型及转换分析 Matlab中的一幅图像可能包含一个数据矩阵 也可能包含一个颜色映射表矩阵 它包含4种 基本的图像类型 索引图像 灰度图像 RGB图像和二值图像 此外 Matlab还支持由多帧图 像组成的图像序列 7 1 索引图像 索引图像包括一个数据矩阵A 一个颜色映射矩阵B 其中B是一个包含3列和若干行的数据 阵列 B矩阵的每一行分别表示红色 绿色和蓝色的颜色值 在Matlab中 索引图像是从像素值 到颜色映射表值的直接映射 像素颜色由数据矩阵A作为索引指向矩阵B进行索引 例如 值1 指向矩阵B中的第一行 2指向第二行 依此类推 2 灰度图像 Matlab中 一幅灰度图像是一个数据矩阵I 其中I的数据均代表了在一定范围内的颜色灰度 值 Matlab把灰度图像存储为一个数据矩阵 该数据矩阵中的元素分别代表了图像中的像素 矩 阵中的元素可以是双精度的浮点数类型 8位或16位无符号的整数类型 大多数情况下 灰度图 像很少和颜色映射表一起保存 但是在显示灰度图像时 Matlab仍然在后台使用系统预定义的默 认的灰度颜色映射表 8 3 二值图像 与灰度图像相同 二值图像只需要一个数据矩阵 每个像素只取两个灰度值 二值图像可 以采用uint8和double类型存储 工具箱中以二值图像作为返回结果的函数都使用uint8类型 4 RGB图像 8 RGB图像 即真彩色图像 在Matlab中存储为nXmX3的数据矩阵 数组中的元素定义了图 像中每一个像素的红 绿 蓝颜色值 需要指出的是 RGB图像不使用Windows颜色映射表 像素的颜色保存在像素位置上的红 绿 蓝的强度值的组合来确定 图像文件格式把RGB图像 存储为24位的图像 红 绿 蓝分别占8位 这样可以有约1000万种颜色 即2 16777216 5 图像序列 Matlab 的图像处理工具箱中还支持将多帧图像连接成图像序列 图像序列是一个四维的数 组 图像帧的序号在图像的长 宽 颜色深度之后构成第四维 比如一个包含了 5 幅 400 300 像素的真彩色图像序列 其大小为 400 300 3 5 9 3 手写特征的提取与选择 3 1 特征的种类与筛选 在抽取过程中 针对手写数字的特点 抽取了包括傅立叶系数特征 笔划密度特征 轮廓 特征 投影特征 重心及重心矩特征 粗网格特征和首个黑点位置特征共 104 维特征 3 1 1 笔划密度特征 笔划密度特征的提取方法是 以不同方向扫描数字 计算扫描线和笔划相交的次数 形成笔 划密度特征向量 在本文中 我对 16X16 的样本在水平方向上每隔 4 行扫描一次 提取了 4 个特 征值 并在垂直方向上也每隔 4 行扫描一次 提取 4 个特征值 最后共形成 8 个值的特征向量 从密度特征的提取方法容易看到 笔划密度特征对字形畸变的抗干扰能力较强 但抗噪声能力 较弱 3 1 2 傅立叶变换特征 关于在频域里提取形状特征的问题 一般来说 区域的别界是一条封闭的曲线 如果在此 轮廓线上取一动点 并且沿曲线逆时针方向移动 则从点的坐标的变换是一个周期函数 通过规 范化以后 这个周期函数可以展开成傅立叶级数 显然 傅立叶级数中的一系列系数于边界曲 线的形状有关 可以用作形状的描述 当增加级数的项数使系数取到足够多的阶次时 几乎可 以把形状信息完全提取出来 并且可以通过这些系数重建原来的几何形状 9 傅立叶变换是在图像处理中应用广泛的一种二维正交变换 傅立叶变换后平均值即直流项 正比于图像灰度值的平均值 低频分量则表明了图像中目标边缘的强度和方向 手写体字符一 般能用很多线段构成的封闭轮廓来表示 通过映射所得到的一些离散量能够充分的反映这些封 闭轮廓的变化 傅立叶系数能够很好的描述图像边界轮廓 其值与相似字形的平移 旋转 位 移和尺寸大小无关 在字形表征和识别时 这些特征形成明显的数据压缩 10 图像经数字化处理后 可以用二维的离散信号 I m 来表示 对于二维离散信号 Am n m 0 1 M l r 0 1 二 N 1 其离散傅立叶变换定义为 3 1 2 1 0 1 0 1 u N nv M mv j N n M m enmf NM vF 10 在式中 1 M l t 0 1 N 1 称为空间频率 J 为虚数单位 广一 1 逆变换定 义为 3 2 2 1 0 1 0 1 m N nv M mv j N n M m evuF NM nf 在式中 mom 1 M l n O l N 10 在图像处理时 一般选取图像块为 Nx 的方阵 即取 M N 这时二维离散傅立叶变换和逆变换式为 3 3 2 1 0 1 0 1 u N nv M mv j N n N m enmf N vF 3 4 2 1 0 1 0 1 m N nvmv j N n N m evuF N nf 在 2 3 和 2 4 两式中 u v m n 0 l N 1 从物理效果看 傅立叶变换是将图像从空间域变换到频率域 其逆变换是将图像从频率域 转换到空间域 换句话说 傅立叶变换的物理意义是将图像的灰度分布函数变换为频率分布函 数 傅立叶逆变换是将图像的频率分布函数变换为灰度分布函数 傅立叶变换可以得出信号在 各个频率点上的强度 11 傅立叶变换之所以在图像处理中被广泛使用 成为图像处理的有力工具 就因为它具 有良好的性质 傅立叶变换具有可分离性 式 2 1 的指数可以被分解 从而变换可以写成如下 形式 3 5 N mu j N n N nv j N m eenmf NN vuF 2 1 0 2 1 0 1 1 根据此式 二维离散傅立叶变换分解为水平和垂直两部分运算 式 3 5 中方括号中的项表 示在图像的行上计算的离散傅立叶变换 方括号外面的求和则实现结果数组在列上的离散傅立 叶变换 这种分解使得可以用一维的快速傅立叶变换来实现二维傅立叶变换 具体来说 一般 采取连续 2 次运用一维离散快速傅立叶变换的方法来实现 即先没 m n 的每一个 m 对 n 求变换 再乘以 N 得到 F m v 完成第一次变换 然后再将得到 F m v af m v 的每一个 v 对 m 求变换 即可得 m n 的最终变换 F u v 对字符点阵 16x16 做二维离散傅立叶变换 可以得到 256 个傅 立叶系数 将 F u v 用矩阵表示如下 11 3 6 1 1 0 1 0 0 0 NNFNF NFF F F u v 的大幅值系数集中在低频区域内 即矩阵的左上 右上 左下 右下四角的周围 我对字符点阵做二维 16X16 点 的离散傅立叶变换 并从上文中所提到的四个低频区域中选 取了 32 个离散傅立叶变换系数作为特征 这 32 个特征系数是 F 0 0 F 0 1 F 0 2 F 0 3 F 0 4 F 1 0 F 2 0 F 3 0 F 4 0 F 1 1 F 1 3 F 2 1 F 2 2 F 2 3 F 3 1 F 3 2 F 1 15 F 1 14 F 2 15 F 2 14 F 3 15 F 15 1 F 14 1 F 14 2 F 13 1 F 15 15 F 15 14 F 15 13 F 14 15 F 14 14 F 13 15 F 13 14 然后再将这些特征归一 化到 0 1 区间之内 3 1 3 轮廓特征 字符的轮廓特征能够很好的反映字符的整体结构和特性 提取轮廓特征时先由根据边界信 息算法的 A 值操作组成 从而提供了字符的轮廓外形 从规整化的轮廓中直接可以导出字符的 边缘轮廓 规整化的字符以 NXN 的点阵表示 在这里 N 为 16 记 为点阵第 k 行的左 右轮廓 k Lp k Rp k 0 N 1 满足 f k 1 且当 j f k j 0 0 k j Rp 0 j 0 j 0 j 1 字符宽度定义为 W k Rp k 一 Lp k 3 7 K 0 N 1 表示指定的行 宽度在描述某些字符如 0 6 8 9 时非常用 2 比率定义为 比率 N Wmax 3 8 W 二是字符有效宽度 W max W k k 0 N 1 利用比率特征可以有效识别字符 1 对于字符 1 来说 比率特征总是大于 2 5 而对于 其他字符来说 比率特征并非总是大于 2 50 3 字符有效高度 Hamx 定义为 Hmax max H k 3 9 K 属于 O N 1 H k 为第 k 列的字符高度 12 4 宽高比定义为 W H 左右边缘线的一阶有限差分别为 LDif k Lp k 一 Lp k 1 3 10 RDif k Rp k 一 Rp k 1 3 11 由此 定义了如下特征 字符轮廓线最大值和最小值所在的位置 Lmax k k max Lp k 3 12 Rmax k k max Rp k 3 13 Lmax k k min Lp k 3 14 Rmax k k min Rp k 3 15 字符左右边缘线的正负峰 Lpeak max LDif k 3 16 Rpeak max RDif k 3 17 Lpeak min LDif k 3 18 Rpeak min RDif k 3 19 Lpeak Lpeak Lpeak 3 20 Rpeak Rpeak Rpeak 3 21 这样共有 14 个特征 分别是字符有效宽度 字符比率 字符有效高度 字符高宽比 字符 轮廓线左侧最大值 字符轮廓线左侧最小值 字符轮廓线右侧最大值 字符轮廓线右侧最小值 字符边缘线左侧正峰值 字符边缘线左侧负峰值 字符边缘线右侧正峰值 字符边缘线右侧负 峰值 字符边缘线左侧正负峰值绝对值之和 字符边缘线右侧正负峰值绝对值之和 12 3 1 4 投影特征 如图 3 1 所示 将一个字符点阵划分成四个象限区域 共有十二个边线 将一个字符点阵中 的每一个黑点向最近的四条边线沿水平和垂直方向投影 用十二条边线上的投影长度作为投影 特征 一共有十二个特征 13 图 3 1 投影特征 投影算法的基本描述如下 对于字符点阵中的每一个点 投影到离它最近的四条边线上 具体投影方法如图 3 2 所示 图 3 2 水平 竖直方向上的投影 当一点被投影到某一个边线上时 激活该边线上的某一个 bit 或者某些 bit 这些被激活的 bit 取值为 1 其他没有被激活的取值为 0 当一个字符所有的点都投影完时 计算某一个边线 上 1 的个数 即为字符在这一个边线上的投影数值 之所以选用投影特征作为手写体数字识别的特征 一方面是因为投影特征计算简单 能够 反映字符的内部结构和笔划的分布情况 唯一性 可区别性好 是比较有代表性的特征 不同 14 数字之间的 12 个投影特征的各个分量差异比较明显 可以考虑作为分类的细特征 另一方面 神经生理学认为 在哺乳动物视觉系统内存在着类似的投影边线 人们在进行识别时在不同的 水平上引用到这些线索 因此引入字符的投影特征也是符合人脑的感知模型 3 1 5 重心及重心矩特征 由于不同字符的笔划不同 其象素点的分布不同 所以造成不同字符的重心位置不同 与 其有关的一些离散量包含了字符几何特征的信息 令 fIm 表示点阵中第 m 行 第 n 列象素 定义 3 22 1 0n 1 0 1 0n 1 0 m NM m NM m nm nm f m f 3 23 1 0n 1 0 1 0n 1 0 n NM m NM m nm nm f n f 其中 m 1 2 M 1 n 1 2 N 1 m n 就定义为整个字符的重心位置 定义重心矩如下 3 24 2 2 1 2 2 1 nnmmL N j N jn M i M im ji 其中 i 1 2 j 1 2 这样可以得到四个重心矩特征 中的象素偏离重心位置的整体特征 L j i 1 2 j 1 2 它们分 别反映了四个象限 本文中的重心及重心矩特征计算了点阵的重心位置 以及四个象限重心矩 共五个特征 包括一个二维特征 四个一维特征 3 1 6 首个黑点位置特征 按上文中定义的八个方向 沿逆时针方向 即 0 度方向一 45 度方向一 90 度方向一 135 度方向一 180 度方向一 135 度方向一 90 度方向一 45 度方向 统计各个方向上由外至内首个黑 点出现的位置 共计 8 个二维特征 15 3 1 7 粗网格特征 粗网格特征是一组注重字符图像整体的分布特征 此种特征对噪声具有极强的抑制能能力 一般来说 虽然手写数字的书写风格千变万化 但是数字笔划的分布是有一定的规律的 由于 10 个字符的笔划具有比较固定的总体分布状况 从特征选择的质量来讲 不同数字的特征向量 在特征空间中的分布是比较分散的 即特征空间中不同类的类间距离是比较大的 本文进行的粗网格特征提取 其提取方法的主要思想是 把数字点阵分成几个局部小区域 并把每个小区域上的点阵密度作为描述特征 即统计每个小区域中图像象素所占的百分比作为 特征数据 针对 16X16 的点阵 我将之划分成大小为 4X4 的小区域 共计 16 个 因此 共得 出一个十六维的粗网格特征 由于粗网格特征反映的是图像的局部统计特征 是个百分比相对值 而图像局部的形变或 噪声对应数字点阵就是局部元素的 0 和 1 的值互换 所以如果图像带有局部的形变或噪声 与没有形变和噪声的原图像相比 计算出来的百分比相对值变化不大 也就是说 这个相对值对 于数字图片局部笔划的形变或孤立噪声点带来的影响不敏感 因此 以粗网格为特征进行数字 识别 具有较好的抗噪声能力 根据不同点阵和取不同小区域的具体计算方法可参考文献 同时 根据文献的实验结果 以粗网格作为特征提取进行数字识别 有很好的识别率 13 3 2 特征提取方法 特征提取是整个字符识别系统的关键 识别算法是根据选取特征的种类来进行选择的所选 取的特征是否稳定 是否代表一类字符的特点 是系统识别率的高低的关键 手写体字符特征提取的方法可分为结构特征和统计特征两种 下面分别简述这两种特征提 取方法的特点与一般方法 14 3 2 1 结构特征提取方法 采用结构特征提取对字符进行结构分析从而达到识别的目的 是一种非常直观的方法 其 思想与人认字的原理有点相象 但又有所不同 其基本思想是 字符可以逐级分解成部件 笔划 乃至笔段 识别时可以自底向上 由象素得到笔段 由笔段结合成笔划 由笔划构成部件 由 部件组成字符 逐级分析字符图象的结构 根据各元素的属性 数量及其相互关系 便可以判 定待识字符 目前研究较成熟 效果比较好的是基于笔划和基于笔段分析的手写体字符识别 15 16 对不同的字符手写样本 尽管人书写风格千变万化 然而 笔划与笔划之间的位置关系 以笔划为基元的字符的整体拓扑结构是不变的 人认字就是抓住了这些本质不变的特征 因此 能适应不同的书写风格的文字 所以 基于笔划来自动识别字符一直是手写体字符识别研究的 一类主要研究方法 虽然字符的笔划特征受字体 字形大小等影响较小 是识别字符的良好特征 但可惜笔划 特征对实际的书写文本来说较难稳定的提取 通常 用基于笔划段作为特征能较好的解决这一 困难 采用结构特征提取方法的难点在于笔划或笔段等基元的准确提取 虽然提取笔划或笔段 的方法己有多种研究 但它们都是基于图象处理的方法 截然不同于人根据知识和经验而作出 的视觉处理 单纯建立在图象处理方法上的笔段机器分析只能十分机械地按图象就事论事 结 果提取到的笔段难免与人的判别不完全一致 这种情况在存在连笔 断笔 模糊等的场合尤为 不可避免 所以 书写畸变对结构特征分析法有十分重要的影响 因此 寻求稳定可靠的笔段 提取方法仍然是当前有待进一步研究的课题 3 2 2 统计特征提取方法 从统计模式识别的观点来看 字符识别实际上是一个模式分类问题 人对自然物体的识别 是建立在对该物体进行学习 特征分析的基础上的 计算机模式识别的过程与人的识别过程有 着相识的地方 实际上就是一种通过学习或者其它方法 形成一个记忆知识库 进行模式识别 时 清晰地表达出一种从物体到记忆知识库的映像 从而得到识别结果 人在进行物体识别时 是利用大脑中通过学习形成的记忆库 对识别的物体进行一种黑箱式的映像 从记忆库中找出 相匹配的类别 计算机要把人类识别物体时的这种黑箱式的映像表达出来 一般是由两个步骤 来完成的 第一步 以适当的特征来描述物体 即由 xi f xi 的映像 第二步 计算机执行某种运 算完成由 f xi c x X 的映像 此过程实际上就是传统的统计模式识别进行物体识别时所采用 的一般方法 具体来说就是特征提取和分类函数的设计的问题 而特征提取是问题难点和的关 键所在 因为如果特征己知 就可以利用现有的数学理论来指导设计映像函数 R xi 然而 对 于特征的选择和提取 却没有可遵循的理论来指导 我们很难比较一个物体中哪些特征是实质 性 那些特征是有代表性的 那些特征可能是不重要的或与识别无关的 这需要大量的实验和 理论指导 经过人们在这方面的大量研究工作 发展了一些统计特征提取方法 在本章后面部 分 我们将讨论几种常用的特征提取方法 并提出了本文中使用的特征向量 16 17 3 3 手写特征模式识别方法 对数字识别特征提取有多种方法 本论文采用的方法是先提取数字的轮廓特征 然后对图 像进行裁剪之后按黑像素占总像素的比率提取出的特征值 轮廓特征主要是指周边轮廓特征 即将数字字形加上外接矩形边框 然后分别从上 下 左 右四个方向依次扫描数字点阵直至 碰到第一个黑象素或对面的边框为止 记录下每次扫 9 描所经过的白象素数 从而得到对应数 字的 4 维特征向量 称为数字的周边轮廓特征 此特征稳定性较强 较易提取 维数较低 独立 性较强 完成图像进行裁剪以后 把每个数字图形定义成一个 N N 5 5 的模板 将每个样品 的长度和宽度 N 等分 平均有 N N 个等分 对每一等分进行像素个数统计 除以每一份的面积 总数即得特征值 具体步骤如下 1 调入样本图片 找出图片中数字的上 下 左 右边界 对图像进行裁剪处理 2 将数字区域平均分成 5 5 的小区域 3 计算 5 5 的每个小区域中黑像素所占比例 第一行的 5 个比例值保存到特征的前 5 个 第二行对应着特征的 6 10 如此保存样本的特征值 调入样本图像 保持特征数据 计算每个小区域 中黑色素所占比 例 将处理好的图片 划分成5 5的均 匀小区域 把裁剪出来的图 片规范成 150 150的标准 图片 根据图片轮廓裁 剪图片 图 3 3 特征提取过程 本论文提取每个数字 25 个样本的特征值之后 把它们保存在结构体 Mytemplet 里 构成 了特征库 下面以 0 为例看一下求取特征值的方法 首先把图像按边缘裁剪放缩后 然后分成 5x5 的 小区域 如下所示 然后计算出每个小区域中黑像素所占的比例 存储之后即为 0 的一个样本特 征值 18 图 3 4 数字 0 的特征提取 下面提取出来的就是上面数字 0 每个区域对应的特征值 表 3 1 数字 0 的特征值 0 13220 23560 16890 22320 1522 0 33330000 2900 0 27000000 2689 0 29670000 2911 0 09890 23560 17440 23000 1133 得到的特征值再通过 Bayes 决策进行计算 最终得到决策结果 19 4 Bayes 分类器在手写特征中应用 4 1 Bayes 分类器 贝叶斯 Bayes 分类器的分类原理是通过某对象的先验概率 利用贝叶斯公式计算出其后验 概率 即该对象属于某一类的概率 选择具有最大后验概率的类作为该对象所属的类 也就是 说 贝叶斯分类器是最小错误率意义上的优化 目前研究较多的贝叶斯分类器主要有四种 分 别是 Naive Bayes TAN BAN 和 GBN 贝叶斯分类器是用于分类的贝叶斯网络 该网络中应包含类结点 C 其中 C 的取值来自于 类集合 c1 c2 cm 还包含一组结点 X X1 X2 Xn 表示用于分类的特征 对于贝 叶斯网络分类器 若某一待分类的样本 D 其分类特征值为 x x1 x2 x n 则样本 D 属于类别 ci 的概率 P C ci X1 x1 X2 x 2 Xn x n i 1 2 m 应满足下式 P C ci X x Max P C c1 X x P C c2 X x P C cm X x 而由贝叶 斯公式 P C ci X x P X x C ci P C ci P X x 其中 P C ci 可由领域专 家的经验得到 而 P X x C ci 和 P X x 的计算则较困难 17 最小错误概率贝叶斯分类器 把代表模式的特征向量 x 分到 c 个类别 1 2 c 中某 一类的最基本方法是计算 x 的条件下 该模式属于各类的概率 用符号 P 1 x P 2 x P c x 表示 比较这些条件概率 最大数值所对应的类别 i 就是该模式所属的类 例如表示 某个待查细胞的特征向量 x 属于正常细胞类的概率是 0 2 属于癌变细胞类的概率是 0 8 就把 它归类为癌变细胞 上述定义的条件概率也称为后验概率 在特征向量为一维的情况下 一般有 图中的变化关系 当 x x 时 P 1 x P 2 x 对于 x x 的区域 由于 P 2 x P 1 x 因此 x 属 2 类 对于 xP 2 x x 属 1 类 x 就相当于区域的分界点 图中的 阴影面积就反映了这种方法的错误分类概率 对于以任何其他的 x 值作为区域分界点的分类方 法都对应一个更大的阴影面积 因此贝叶斯分类器是一种最小错误概率的分类器 若已知总共有 M 类物体 以及各类在这 d 维特征空间的统计分布 具体说来是已知各类别的M 2 1 先验概率及类条件概率密度 对于被测样品 Bayes 公式可以计算出该样品分属 P XP 个类别的概率 叫后验概率 看 X 属于哪个类的可能性最大 就把 X 归于可能性最大的那个 6 类 后验概率作为识别对象归属的依据 Bayes 公式如下 20 4 1 M j j ii PXP PXP XP 1 j i 类别的状态是一个随机变量 而某种状态出现的概率是可以估计的 Bayes 公式体现了先 验概率 类概率密度函数 后验概率三者的关系 18 4 2 基于概率的 Bayes 决策 当分类器的设计完成后 对待测样品进行分类 一定能正确分类吗 如果有错分类情况发 生 是在何种情况下出现的 错分类的可能性会有多大 我们以某制药厂生产的药品检验识别 为例 以此说明 Bayes 决策所要解决的问题 我们以药品为例 如图 4 1 正常药品 19 异常药品 识别的目的是要依据 X 向量将药品划分为两类 对于图 4 1 来说 可以用一直线 作为分界线 这条直线是 X 的线性方程 称为线性分类器 如果 X 向量被划分到直线右侧 则 其为正常药品 若被划分到直线左侧 则其为异常药品 可见对于其作出决策是很容易的 也 不会出现差错 20 A B x2 A x2 o x1 o x1 图 4 1 线性可分示意图 图 4 2 线性不可分示意图 问题在于出现摸棱两可的情况 如图 4 2 所示 此时 任何决策都存在判错的可能性 从图 4 2 中可见 在直线 A B 之间 属于不同类的样品在特征空间中相互穿插 很难用简单的分界 线将它们完全分开 即所观察到的某一样品的特征向量 X 在 M 类中又有不止一类可能呈现这 一 X 值 无论直线参数如何设计 总会有错分类发生 如果以错分类最小为原则分类 则图 21