模式识别-第三章-用有标签样本进行学习的统计模式识别-3_图

1、 投影矩阵有对称性 (P 投影矩阵有幂等性 ( (i = P P (i T 投影和投影矩阵(续 =P (i (i 2 证: P (i = u j =1 p (i p (i (i j (i uj T Q u j 正交归一,即 p (i (i ( u (i ui T (i j = ij T T (i (i T (i (i T ( i (i ( i (i P (i = u j u j u j u j = u j u j u j u j j =1 j =1 j =1 ( 2 p (i (i (i = u j u j j =1 p (i T u (i (i j ( i (i (i = u j u j u

2、 j j =1 T p (i T =P (i 投影矩阵 P 对于类 (i 2010/3 是唯一的,且等效于子空间 L ( i Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别 21 基本分类规则 未知类别样本 X,与哪一类的主要特征最相似(最接近, 就判别 X 属于哪一类 如果 则 X , X P X = maxX P X T (i T ( j (i, j = 1,2,., s ( i 二次型 X TP (i X 的几何意义 X P X =X P P X = P T (i T (i (i (i (i = P X P X = X X

3、= X (i p(i T (i = X u j 2 , (实际计算时 j =1 ( (i ( T ( (i T X (i (P X T (i T 2 把X分到具有投影长度平方值最大的那一个子空间所代表的类 2010/3 Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别 22 如果 maxX P X X X < T , T (i T 设置拒识阈值和识别界面 (i = 1,2,., s 则判别 X 不属于任何类 如果 X 在各子空间上的投影长度平方值,用 X 的模(长度平方归 一化后,达不到某个阈值,则拒识. 识别界面, 与 类间

4、的界面 (i ( j B ij = X | X TP (i X = X TP ( j X = X |X T (P (i P( j X = 0 23 是 n 维特征(模式空间 R n 中的二次型(超曲面 2010/3 Xinggang Lin, Tsinghua University 第三章 用有标签样本进行学习的统计模式识别 讨论 一般 P (i << n, (i = 1,2,., s , (i 实例中, n = 30 50 时,常常有 p = 3 4 计算量明显减少,分类速度快 子空间 L (i 常常有明显的几何或物理意义,代表 (i 类最明 显的分类特征 各子空间用统计方法生成,但分类准则主要不依赖正确和错 误分类的概率或风险 偏离传统统计决策理论 把各子空间考虑成数据的各种精确表示或某种隶属程度的类 别描述或模板(集,但没有提供决策区域分析或分类界面 子空间的划分,也可以采取迭代方式来进行"训练"划分, (类似"迭代方法求权向量" 也可引入类先验概率和其他统计方法,其中"子空间"为"核" 最适用于模式向量各分量相对强度比总