模式识别复习

模式识别模式识别 10 1510 15 Lily 1 11 第一 二章第一 二章 1 模式识别概念 方法 模式识别概念 方法 概念 概念 就是要用机器去完成人类智能中通过视觉听觉触觉等感官去识别外界环境的自然信 息的这些工作 方法 方法 统计方法 句法方法 模糊方法 人工神经网络法 人工智能法 2 模式识别系统的组成 简述各部分的作用 模式识别系统的组成 简述各部分的作用 数据获取 通过测量 采样和量化获取数据的过程 预处理 去出噪声 加强有用的信息 复原退化现象 特征提取和选择 得到最能反映分类本质的特征 分类决策 就是在特征空间中用统计方法把被识别对象归为某一类别 3 相似性度量有哪几种方法 我找不到 要不你找找 相似性度量有哪几种方法 我找不到 要不你找找 4 最常见的贝叶斯决策规则 分类 最常见的贝叶斯决策规则 分类 以两类模式 w1 和 w2 为例 根据 Bayes 公式 2 1 ii i jj j P x wP w P w x P x wP w 即利用 Bayes 公式将先验概率转化为后验概率 基于最小错误概率的基于最小错误概率的 Bayes 决策规则决策规则为 若 P w1 x P w2 x 则 x w1 反之则 x w2 或 P wi x maxP wj x 则 x wi i 1 2 基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策 如果 ki 1 min ia R axR ax 则 a ak 即应采取的决策为 ak 或述为 x wk 最小和最大决策最小和最大决策 5 N P 决策推导过程决策推导过程 令 02 eP 下 求 1 eP 的极小值 即 20 1 0 P e P e 约束条件 条件极值如下 求极小值 目标函数 采用 Lagrange 乘子法 构造 Lagrange 函数为 021 ePeP 其中 是 Lagrange 乘子 目的是求 的极小值 即 为一待定常数 将 p1 e 与 p2 e 的表达式代入 上式 0 1 2 2 1 dxxPdxxP RR 模式识别模式识别 10 1510 15 Lily 2 11 化简后dxxPxPdx R 1 120 1 上式中 是 Lagrange 乘子 而 R1 是变量 这样的极小值问题就是要选择 R1 和 R2 的 边界 边界点为 t 问题了 即求 R1 使取极小值 据条件极值求解方法 得 1 02 2 1 0 0 R dxxP xP xP x 解上述方程求得 和 x 设为 t 为 Lagrange 乘子 常数 而 x 为 的极小值解 即当边界点 x t 时 所得的边界面就能使 即 p1 e 最小 6 什么叫决策面 判别函数 及二者之间关系 给出一种情况写出判别函数形什么叫决策面 判别函数 及二者之间关系 给出一种情况写出判别函数形 式及决策规则 式及决策规则 决策面 决策面 按照决策规则可将 d 维特征空间分成 c 个决策域 区域 各区域之间的边界面称之 决策面 判别函数 判别函数 用于比挨打决策规则的某些函数称为判别函数 判别函数与决策面方程式密切相关的 且他们都有相应的决策规则所确定 两类下两类下 设 w1 w2 x x1 x2 xd T 决策规则 ij j i xxPxP max 2 1 其他等价形式见书 21 判别函数 21 xgxgxg 故这时决策规则变为 2 1 0 xxg 多类下多类下 设 w1 wC x x1 x2 xd T 决策规则 与两类下类同 ij j i xxPxP max 2 1 判别函数 这时要定义一组 gi x i 1 2 c 来进行决策判别 且判决规则为 若 gi x gj x j i x wi 类 而 gi x p wi x 等多种等价形式 见教材 p23 2 38 式 决策面方程 这时满足 gi x gj x 且 Ri 与 Rj 相邻 7 单 多变量的正态分布形式 式子中的参数弄清楚 单 多变量的正态分布形式 式子中的参数弄清楚 模式识别模式识别 10 1510 15 Lily 3 11 单变量正态分布 单变量正态分布 2 1 exp 2 1 2 x xP 式子中 为随机变量 x 的期望 为 x 的方差 称为标准差 dxxxPxE dxxPx 22 多变量正态分布 多变量正态分布 2 1 exp 2 1 1 2 1 2 xxxP T d 式子中 x 为 d 维列向量 为 d 维均值向量 E x 为 d d 维协方差矩阵 例例 2 2 设正常 p w1 0 9 异常 p w2 0 1 p x w1 0 2 p x w2 0 4 l11 l22 0 l21 6 l12 1 解 1 根据例 2 1 的计算结果可知后验概率为 p w1 x 0 818 p w2 x 0 182 计算出条件风险得 R a1 x 1 092 R a2 x 0 818 R a1 x R a2 x 采取决策 a2 即待识别对象 x w2 解 2 利用似然比表示式判决 0 2 0 4 0 5 0 则决策 X W1 如果 g X 0 则 Yi 1 若 aTYj 0 样本的规范化式 其中 Yi Yi 1 Yn Yj Yj 2 yn 代表全部样本 其称为规范化增广样本向量 4 什么是解向量 解区 如何对解区进行限制 什么是解向量 解区 如何对解区进行限制 解向量解向量 满足 aTYn 0 n 1 N 的权向量 a 称之为解向量 解区 解区 由于每个超平面把权空间分为两个半空间 所以解向量如果存在 必在 N 个正半空 间的交迭区 而且该区中的任意向量都是解向量 因此解向量往往不只一个 而是由无穷 多个解向量组成的区域 该区称为解区 对解区的限制 对解区的限制 目的是 使解向量更可靠 一般 越靠近解区中间的解向量 越能正确分类 所以 引入余量 b 0 使 aTYn b 的解向量即为限制后的解向量 而 aTYn b 0 所产生的新解区位于原解区之中 5 梯度下降迭代公式 梯度下降迭代公式 a k a k 1 a k Pk J 式中 是一个正的比例因子 称为步长或增量 k 6 对于线性可分类样本集可用什么函数方法解决 对于不可分类样本集用什对于线性可分类样本集可用什么函数方法解决 对于不可分类样本集用什 么方法 找不到 自己看吧么方法 找不到 自己看吧 P91 7 在什么条件下最小平方误差 在什么条件下最小平方误差 MSE 准则等价于 准则等价于 Fisher 准则 在什么情况准则 在什么情况 模式识别模式识别 10 1510 15 Lily 8 11 下最小误差准则逼近贝叶斯判别函数 下最小误差准则逼近贝叶斯判别函数 1 当时 MSE 解解 a 等价于等价于 Fisher 解解 T N N N N N N N N b 2211 2 令 b 1 1 1 T N 个 1 当样本数 N 时 MSE 解以最小均方误差逼近 Bayes 判别函数 g0 X p 1 X p 2 X 图图 4 1 H 是决策面 其方程为 g X 0 W 是权向量 其是 H 的法线方向 X 是待识别的模式的特征向量 图中 X 落入 R1 区域中 即被分到 W1 类中去 对待识模式 X 若将 X 带入判别函数 则判别函数值 g X 是特征空间中一 某点 X 到超平 面 H 的距离的度量 图中 W0 g X 均为代数量 用于求距离 与方向无关 X g W0 向量 X 可以表示为 W W rX XXXX p pp 式中 XpX 向量是超平面 H 的法线方向 向量 Xp 是 X 在 H 上的投影向量 由于 Xp 是 H 上的一点 所以 0WXW X g0P T P 是 W 权向量 方向上的单位向量 而 W W 22 1 W WW d r 是 X 到 H 的垂直距离 r 是待求的距离 且 r 是一个代数量 r 的正负反应了 X 位 于 H 的正负侧 即当 X 在 H 的正侧时 r 为正 反之 r 为负 据上式可得 模式识别模式识别 10 1510 15 Lily 9 11 或写成为 W X g r 如果 g X 0 则 X 在 H 的正侧 如果 g X 0 则原点在 H 的正侧 反之 原点在 H 的负侧 如果 W0 0 则 g X WTX 齐次形式 说明 H 过原点 总之 线性判别函数进行 两类 模式分类时 用超平面 H 将特征空间分割成两个区域 H 的方向由权向量 W 确定 H 的位置由阀值权 W0 确定 g X 值正比于 X 点到 H 的 代数 距离 有正负 当 X 在 H 正侧时 g X 0 在负侧时 g X 0 习题习题 P117 3 2 4 1 4 2 第五章第五章 1 非线性判别函数有几种方法 非线性判别函数有几种方法 基于距离的分段线性判别函数 分段线性判别函数 用凹函数的并表示分段线性判别函数 用交遇区的样本设计分段线性分类器 2 简述树状分类器的训练过程 决策过程 简述树状分类器的训练过程 决策过程 画图 画图 先用两类线性判别函数算法找一个权向量 a1 其所对应的超平面 H1 将整个样本集分 成两部分 即样本子集 因为每一部分仍含两类样本 所以接着找出第二 三 四个权向量 a2 a3 a4 对应 的超平面 H2 H3 H4 分别把相应的样本子集分成两部分 这时把两类样本完全分开 这样得到的分类器显然是分段线性的 其决策面如图 5 5 所示 这种情况下的识别过程是一个树状结构 见图 5 6 图 5 6 模式识别模式识别 10 1510 15 Lily 10 11 3 什么叫交遇区 局部训练法 紧互对原型对概念 什么叫交遇区 局部训练法 紧互对原型对概念 1 交遇区 交遇区 当两类样本非线性可分时 贝叶斯分界面一般通过两类样本十分靠近或相互 交迭的区域 我们称之为交遇区 2 局部训练法 局部训练法 把交遇区中的交迭区和靠近区找出来 利用这些区域中的样本作为新的 样本集设计现行判别函数 然后把它们连在一起 就构成了一个分段线性判别函数 这种 方法称为 局部训练法 3 紧互对原型对 紧互对原型对 用 表示两个互对的原型之间的欧式距离 而当且仅当 n j m i vvd 满足 n j m i vv min 1 min n j l i i l j m i j n j m i vvd lil vvd ll vvd LL 时 称为紧互 2 原型对 必须是不同类的原型 n j m i vv 习题习题 P134 5 2 第六章第六章 1 最近邻法的概念 缺点 最近邻法的概念 缺点 1 概念 概念 设有 c 类模式样本 1 2 c 每类有 Ni 个样本 i 1 2 c 则最 近邻法的 i 类 判别函数为 N 1 2 k min i k i k i XXXg 式中表示 i 类中的第 k 个样本 k i X 对应的决策规则为 如果c 1 2 j gmin j XXg j i 则决策 i X 即只要将待分样本 X 与全部 N 个已知类别的样本进行欧氏距离之间的比较 c i iN 1 然后将 X 归到离它最近的类别中 由于这种方法只根据离待分样本 X 最近的一个样本的类别而决定其类别 所以通常称 为 1 最近邻法 亦称 1 NN 方法 2 缺点 缺点 最近邻法是一种次优方法 它的错误率比最小错误概率的 Bayes 决策规则下的 错误率要大 但是 当样本数目无限时 它的错误率不会超过 Bayes 错误率的一倍 2 k 近邻法的概念 这些改进解决了什么问题 存在的问题以及如何改进 近邻法的概念 这些改进解决了什么问题 存在的问题以及如何改进 1 概念 概念 为了克服单个样本类别的偶然性以增加分类的可靠性 可将最近邻法则进行改 进 一个简单的方法就是 k 近邻法 此法就是考察待分样本 X 的 k 个最近邻样本 这 k 个最近邻元素中哪一类的样本最多 就将 X 判属哪一类 或者说 就是在 N 个已知类别的样本中 找出 X 的 k 个近邻 这 k 模式识别模式识别 10 1510 15 Lily 11 11 个近邻中多数属于的那一类 就是 i i X 具体就是 设 k1 k2 kc 分别为 X 的 k 个最近邻样本中属于类的样本数 c 21 类的样本数 则