《模式识别与人工智能》

1、. 模式识别与人工智能（2015 2016学年第二学期）姓 名： 学 号： 专 业： 控制科学与工程 成绩评定： 2016年 5 月 9 日引言模式识别与人工智能是60年代迅速发展起来的一门学科，属于信息，控制和系统科学的范畴。模式识别就是利用计算机对某些物理现象进行分类，在错误概率最小的条件下，使识别的结果尽量与事物相符。模式识别技术主要分为两大类：基于决策理论的统计模式识别和基于形式语言理论的句法模式识别。模式识别的原理和方法在医学、军事等众多领域应用十分广泛。模式识别与人工智能事实上是典型的多学科交叉：数学、信息科学、计算机科学、控制科学、生理 学、心理学、认知科学和哲学等。正

2、由于此，吸引了众多学科的科学家、工程技术人员致力于模式识别的研究和开发。模式识别 研究模式的自动处理和判读的数学技术科学。 模式识别中的最基本的问题是解决模式的分类。 较全面地看，研究模式的描述、分析、分类、理解和综合。 更高层次的模式识别应该还包括对模式的学习、判断、自适应、自寻优和自动 发现规律等。 所以模式识别在某种意义上和人工智能中的“学习”或“概念形成”相近。模式识别与机器智能的结合将开辟广阔的前景。模式识别分类主要有数据预处理，特征提取、分类器，特征预测评估等。主要研究为贝叶斯决策、线性判别函数，非线性判别函数，近邻法、特

3、征提取、聚类分析等。模式识别的研究是确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。模式识别与统计学、心理学、语言学、 计算机科学 、生物学、控制论等都有关系。它与 人工智能 、 图像处理 的研究有交叉关系。例如自适应或自组织的模式识别系统包含了人工智能的学习机制。又如模式识别中的预处理和特征抽取环节应用图像处理的技术；图像处理中的图像分析也应用模式识别的技术。目录引言2第一题 K均值算法4第二题

4、感知准则函数7第三题 KPCA方法在ORL人脸数据库中实现人脸识别10程序附录14第一题 K均值算法已知数据样本为：(x1,x2,x20)=（0，0），（1，0），（0，1），（1，1），（2，1），（1，2），（2，2），（3，2），（6，6），（7，6），（8，6），（6，7），（7，7），（8，7），（9，7），（7，8），（8，8），（9，8），（8，9），（9，9），试用C（C=2）均值法进行分类，给出程序和每一次类心的变化过程，汇出动态聚类过程。1原理K均值算法使用的聚类准则函数是误差平方和准则，通过反复迭代优化聚类结果，使所有样本到各自所属类别的中心的距离平方和达到最小。2步骤第

5、一步：K=2，选初始聚类中心为 第二步：将待分类的模式特征集xi中的模式逐个按最小距离原则划分给K类中的某一类，即：第三步：计算重新分类后的各聚类中心，即： 第四步： 3实验结果图像显示用Matlab 做仿真，图像如下：z1 = 1.2500 1.1250z2 = 7.6667 7.3333Y1 = 1.0000 1.2500 1.2500 0 1.1250 1.1250Y2 = 9.0000 7.6667 7.6667 9.0000 7.3333 7.3333G1 = 0 1 0 1 2 1 2 3 0 0 1 1 1 2 2 2G2 = Columns 1 through 9 6 7 8

6、6 7 8 9 7 8 6 6 6 7 7 7 7 8 8 Columns 10 through 12 9 8 9 8 9 9第二题 感知准则函数 有两类样本1=（x1,x2）=(1,0,1) T,(0,1,1) T， 2=（x3,x4）=(1,1,0) T,(0,1,0) T编写程序，用感知准则函数法求判别函数。1. 原理感知器是用于线性可分的的模式分类中的一种最简单的神经网络模型，它由美国Rosenblatt于1957年提出的有监督学习(有导师学习)神经网络模型，其学习算法于1958年提出。所以这一类感知器也称为Rosenblatt感知器，它是由一个线性组合器和一个限幅器组成。其信号流图模

7、型如下图所示：图2-1感知器模型的求和节点作用于输入与权值的线性组合同时也合并外部作用的偏置。求和节点计算的得到的结果，也就是诱导局部域，被作用于硬限幅器，相应地，当硬限幅器输入为正时，其输出为+1，反之为-1。在感知器模型中，为感知器的权值，为感知器的输入。为外部偏置。从而感知器的诱导局部域为 (2.1) 感知器的目的是把外部作用正确地分为两类，分类的规则是如果感知器输出的y是+1则将表示的分类点分配给类，如果感知器输出y为-1，则将表示的分类分配给类。最简单的感知器中存在着被一个超平面分开的两个决策区域，此超平面的定义为 (2.2)其决策面的示意图如下图所示：图2-2在此图中，表示感知器的

8、输入，和表示所分的类。决策面的边界即为。2. 步骤感知器能够正确地工作的前提条件是和所表示的类必须是线性可分的。而且类间间距越大越好，类内间距越小越好，即能够得到的决策面是线性的平面。为了便于计算，将图2-1中的信号流图的模型绘制成如下形式：图2-3 等价感知器信号流图在这个信号流图中，偏置被当做一个等于+1的固定输入量所驱动的突触权值。因此定义个输入向量为这里表示使用算法迭代的步数，相应地个权向量定义为因此线性组合器的输出可以写为如下形式 (2.3)由于和是线性可分的，现在假设有，属于类，属于类。存在一个权值向量满足如下条件 对于属于类的每个输入向量 对于属于类的每个输入向量 (2.4)下面

9、通过迭代的方式找出能够正确分类的权值向量。在式(2.4)中，我们假设训练样本集的第个成员根据上式算法的权值向量能够正确分类，那么权值向量的第此迭代就不用修改，即 假如且属于类 假如且属于类 (2.5)如果根据式(2.4),第个成员不能够正确分类，那么我们对权值向量做如下修改 假如且属于类 假如且属于类 (2.6)其中为学习效率。上式(2.4)在所给的样本是线性可分的情况下，可以证明存在一个最大的迭代次数使得收敛。具体算法步骤如下(1) 将+1添加到向量x1,x2,x3,x4的首项，为权值向量赋初值，为学习效率赋初值；(2) 根据式(2.4)，判断向量是否满足式(2.5)的条件，如果满足则不更新

10、权值向量，否则根据式(2.6)更新权值向量。3.运行结果：w = -0.2933 0.5619 -0.3954 0.7749Xw = 1.0435 0.0862 -0.1268 -0.6887第三题 KPCA方法在ORL人脸数据库中实现人脸识别1. KPCA简介KPCA(Kernel based Principle Component Analysis)即基于核的主成分分析，基于核函数的基本原理，通过非线性映射将输入空间投影到高维特征空间，然后在高位特征空间中对映射数据做主成分分析，具有很强的非线性处理能力。KPCA原理如下：输入空间的M个样本，使（中心

11、化保证均值为零），则其协方差矩阵为而对于一般的PCA方法，即通过求解特征方程获得贡献率最大的特征值及与之相对应的特征向量;引入非线性映射函数，使输入空间的样本点变换成特征空间的样本点并满足中心化条件则其在特征空间的协方差矩阵为则在特征空间的PCA是求解下列方程的特征值和特征向量进而有由于特征向量可以由数据集线性表示，则V可以由线性表示，即定义矩阵K则有显然满足通过对上式的求解，可以得到要求的特征值和特征向量。2. MATLAB程序实现应用KPCA方法实现在ORL人脸数据库中实现人脸识别，要求KPCA中核函数采用多项式核函数：（1） 以训练图像的个数为横坐标（训练图像为2,3,4,5,6,7,8

12、,9个）画出识别率图像； 通过测试不同数量的训练样本，可以得到相应的各种识别率。图3-1 改变训练样本数时的识别率（2） ，以核函数的C（0.510，变化步长为0.5）为变量，画出相对应的识别率。在训练样本数为5，以核函数的C（0.510，变化步长为0.5）为变量，d为1时，得到的识别率是不变的总是为0.915，识别率如下所示，图3-2 改变c步长识别率变化（3） ，以核函数的d（0.55，变化步长为0.5）为变量，画出与其对应的识别率图像。在训练样本数为5，测试样本数为5的条件下，以核函数的d（0.55，变化步长为0.5）为变量，c为1时，得到的其识别率的变化值为图3-3 改变d步长识别率变

13、化程序附录第一题程序%Initializationclear all;close all;clc;x=0 1 0 1 2 1 2 3 6 7 8 6 7 8 9 7 8 9 8 9;0 0 1 1 1 2 2 2 6 6 6 7 7 7 7 8 8 8 9 9;%given samplec=2;com1=x(:,2);% for comparingcom2=x(:,20);z1=x(:,2);z2=x(:,20);Y1(:,1)=z1;Y2(:,1)=z2;plot(x(1,:),x(2,:),'+');hold on;%plot samplen=0;p=0; %Caculat

14、e n=0;p=0;for t=1:1:20 for m=1:1:20 v1=x(:,m)-z1; L1=norm(v1); %calculation of two-norm to z1 v2=x(:,m)-z2; L2=norm(v2); %calculation of two-norm to z2 if L1<L2 n=n+1; G1(:,n)=x(:,m); %if L1<L2, then x(:,m) belongs to G1 else p=p+1; G2(:,p)=x(:,m); %if L1>=L2, then x(:,m) belongs to G2 end

15、end b=n; d=p; m=0; %reassign the value of m n=0; %reassign the value of n p=0; %reassign the value of p z1=mean(G1')' %calculate the average of G1 z2=mean(G2')' %calculate the average of G2 Y1(:,t+1)=mean(G1')' ; %note the center of G1 everytime Y2(:,t+1)=mean(G2')' %

16、note the center of G2 everytime if z1=com1 break; %when the parameters are not changed,get out of the loop end G1=zeros(2,b); G2=zeros(2,d); com1=z1; mom2=z2;end %Outputt-1 %timesz1=mean(G1')'z2=mean(G2')'Y1(:,t+1)=mean(G1')' %show the center of G1 everytimeY2(:,t+1)=mean(G2&

17、#39;)' %show the center of G2 everytimeG1 %show the elements of G1 G2 %show the elements of G2plot(Y1(1,:),Y1(2,:),'r'); %plot the change of the center of G1 plot(Y2(1,:),Y2(2,:),'k'); %plot the change of the center of G2 第三题程序% -% 感知器算法：在本例程中，我们先给权值向量赋一个随机值，学习效率设定为0.3% 在这里我们将偏置b包含在权值向量中来，相应地将添加一个正的输入+1.% w(n),权值向量,% X(n),训练样本% eta(n)，学习效率% b为偏置% -% -程序代码w=rand(4,1);Xw=zeros(1,4);x1=1 1 0 1' %x1 x2属于L1类x2=1 0 1 1' x3=1 1 1 0' %x3 x4属于L2类x4=1 0 1 0'eta=0.2; %学习效率X=x1,x2,x3,x4;index=1; %分类成功标志位，如果分类成功，则其值为零，否则其值为1.while index for i=1:2 while w'*X(: