机器学习上机作业

1、Gradient Descent1.题目描述： 用梯度下降法对所给数据进行一元线性回归。2.算法描述及步骤：回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等。对于梯度下降法来说，可以先对数据作出一个估计函数：在这儿称为参数，表示每个特征的重要性。为了如果我们令X0 = 1，就可以用向量的方式来表示了：然后需要一个机制去评估是否比较好，所以说需要对我们做出的h函数进行评估，一般这个函数称为损失函数（loss funct

2、ion）或者错误函数(error function)，描述h函数不好的程度，在下面，我们称这个函数为J函数。在这儿我们可以做出下面的一个错误函数：梯度下降法是按下面的流程进行的：（1）首先对赋值，这个值可以是随机的，也可以让是一个全零的向量。（2）改变的值，使得J()按梯度下降的方向进行减少。对于函数J()求偏导：下面是更新的过程，也就是i会向着梯度最小的方向进行减少。i表示更新之前的值，-后面的部分表示按梯度方向减少的量，表示步长，也就是每次按照梯度减少的方向变化多少。3.程序代码及解释：clear all;load shujusizeshuju=size(shuju);x=shuju(:,

3、1);y=shuju(:,2);plot(x,y,+);hold on;syms theta0 theta1theta00=1;%初始化值theta11=1; alpha=0.005;%设定迭代步长n=0;J=0;while 1 n=n+1; J=0; for i=1:sizeshuju(1) J=J+(theta0+theta1.*x(i)-y(i).2; end J=J/(2*sizeshuju(1); gJ=diff(J,theta0) diff(J,theta1); gJ=subs(gJ,theta1,theta11); gJ=subs(gJ,theta0,theta00); if n

4、orm(gJ)1);data=data(select,:);label=label(select,:);label(label=2)=0;label(label=3)=1;dsize=size(data);ran=randperm(dsize(1);data=data(ran,:);label=label(ran,:);onesColum=ones(dsize(1),1);data=data,onesColum;train_data=data(1:300,:);%随机选择测试样本和训练样本。test_data=data(301:dsize(1),:);test_label=label(301:

5、dsize(1),:);train_label=label(1:300,:);thetasize=dsize(2)+1;theta=zeros(thetasize,1);%初始化theta的值。esp=0.00001;%loss=inf;iter=0;maxiter=10000;%定义最大迭代次数，防止算法不收敛alpha=0.1;%初始化J,alphaJ=0;flag=1;while flag & itermaxiter hypothesis=-(train_data*theta);% for i=1:300 hypothesis(i)=1/(1+exp(hypothesis(i); end

6、 loss=0;%更新theta值 for j=1:thetasize updata=(hypothesis-train_label)*train_data(:,j)*alpha; theta(j)=theta(j)-updata; end J_old=J; for i=1:300%计算损失函数 J=J+(hypothesis(i)-train_label(i)2; end if abs(J-J_old)=0.5 if test_label(i)=1 right=right+1; end else if test_label(i)=0 right=right+1; end endendacc=

7、right/605.运行结果：6.反思总结：老师给的数据有好多种类，不适合用logistic进行分类，所以从中选择了两类数据进行分类。在数据处理上不是很熟练，本道题需要随机在原始数据中选择训练样本和测试样本，才能得到较好的结果。算法原理很简单，就是不停的迭代，更新系数，但logistic容易产生过拟合的现象，这对分类结果显然是很不利的。Perceptron1.题目描述：Train the designed network using the training samples provided below，and test the effectiveness of the network usi

8、ng the test samples.The training examples are:P_train=-1 1 0 3 2 2 1 -1 -2 -1;0 1 2 1 -1 0 -2 2 1 1;T_train=0 0 0 0 0 0 0 1 1 1; 0 0 0 0 1 1 1 0 0 0;The testing examples are:P_test= -2,0,3;2,1,-1;T_test=1,0,0;0,0,1;After the above process, draw the learned classification line and the corresponding s

9、amples in the 2D space.2.算法描述： （1）本题中感知器有两个输出，有三个类别，所以应该设计两个感知器进行判别；（2）初始化增广权向量w和b,迭代次数time=100;（3）输入训练数据p_train,计算判别函数值（4）设数据正确输出为t,令，则下次迭代的（5）重复上述步骤，直至达到最大迭代次数100。3.程序代码及解释：clear all;p_train=-1 1 0 3 2 2 1 -1 -2 -1; 0 1 2 1 -1 0 -2 2 1 1;t_train=0 0 0 0 0 0 0 1 1 1; 0 0 0 0 1 1 1 0 0 0;P_test= -2,

10、0,3; 2,1,-1;T_test=zeros(2,3);p=p_train;x=p(:,1);P_test(:,1)y=p(:,2);P_test(:,2)plot(x,y,*);hold ont=t_train;psize=size(p);theta=0 0;0 0; %初始化thetab(1)=0;for time=1:100 for i=1:psize(1) e=t_train(1,i)-hardlim(theta(1,:)*p(i,:)+b(1);%e=t-a theta(1,:)=theta(1,:)+e*p(i,:);%theta=theta+e*p b(1)=b(1)+e;%

11、b=b+e,以下同上 endendb(2)=0;for time=1:100 for i=1:psize(1) e=t_train(2,i)-hardlim(theta(2,:)*p(i,:)+b(2); theta(2,:)=theta(2,:)+e*p(i,:); b(2)=b(2)+e; endendthetabx2=-2:0.1:3;y2=(-b(1)-theta(1,1).*x2)/theta(1,2);%画两条判别线，将数据分类plot(x2,y2,r);hold onx3=-2:0.1:3;y2=(-b(2)-theta(2,1).*x2)/theta(2,2);plot(x2,

12、y2,g)for i=1:2 for j=1:3 T_test(i,j)=hardlim(theta(i,:)*P_test(j,:)+b(i); endendT_test4.运行结果：（1）数据点及分界线：（2）theta、b、测试数据输出结果：与题目给出结果对比，完全相同！5.反思总结： 在课堂上学的感知器学习算法都是多个输入，单个输出，但是这道题却是多个输入多个输出的形式，刚开始做的时候有点丈二和尚摸不着头脑，后来思考了一会儿才想出来可以把每个输出都进行一次感知器学习，每一端都输出一个0，1，这样最后再一组合，就可以把数据进行多分类了。Softmax regression1.问题描述：

13、用Softmax分类器 实现对IndianPines 遥感数据的分类：实验要求：1. 统计分类正确率（AA，OA即：每一类的正确率的平均，和整体正确率）2. 训练时间。3. 参数分析2.算法原理：在之前的softmax学习中，我们知道logistic regression很适合做一些非线性方面的分类问题，不过它只适合处理二分类的问题，且在给出分类结果时还会给出结果的概率。但是如果要进行多分类的问题，我们就需要用到另外一种算法，softmax regression.在Logistic regression中，所学习的系统的假设为：其对应的损失函数为：可以看出，给定一个样本，就输出一个概率值，该概

14、率值表示的含义是这个样本属于类别1的概率，因为总共才有2个类别，所以另一个类别的概率直接用1减掉刚刚的结果即可。如果现在的假设是多分类问题，比如说总共有k个类别。在softmax regression中这时候的系统的假设为：其中的参数不再是列向量，而是一个矩阵，矩阵的每一行可以看做是一个类别所对应分类器的参数，总共有k行。所以矩阵可以写成下面的形式：此时，系统损失函数的方程为：其中的1.是一个指示性函数，即当大括号中的值为真时，该函数的结果就为1，否则其结果就为0。当然了，如果要用梯度下降法，牛顿法，或者L-BFGS法求得系统的参数的话，就必须求出损失函数的偏导函数，softmax regre

15、ssion中损失函数的偏导函数如下所示： 注意公式中的是一个向量，表示的是针对第i个类别而求得的。所以上面的公式还只是一个类别的偏导公式，我们需要求出所有类别的偏导公式。表示的是损失函数对第j个类别的第l个参数的偏导。比较有趣的时，softmax regression中对参数的最优化求解不只一个，每当求得一个优化参数时，如果将这个参数的每一项都减掉同一个数，其得到的损失函数值也是一样的。这说明这个参数不是唯一解。为了解决这个问题，可以加入规则项，加入规则项后的损失函数表达式如下：这个时候的偏导函数表达式如下所示：接下来就是用数学优化的方法来求解了，显而易见，softmax regression

16、 是logistic regression的扩展。3.编程实现步骤：Step 0: 初始化常数和参数；Step 1: 导入数据；Step 2: 计算softmaxCost；Step 3: 梯度下降法求解；Step 4: 参数学习；Step 5: 数据测试。4.程序代码及解释：clear all;A=load(C:UserslisaiDesktopIndianaPines.mat);alpha=1e-10;data=A.pixels;data=data;label=A.Label;label(label=0)=17;%将类标为0的数据类标换位17dsize=size(data);column=o

17、nes(dsize(1),1);data=column,data;dsize=size(data);lsize=size(label);ran=randperm(dsize(1);data=data(ran,:);label=label(ran,:);train_data=data(1:15000,:);%选择训练样本和测试样本train_label=label(1:15000,:);test_data=data(15001:end,:);test_label=label(15001:end,:);trsize=size(train_data);tesize=size(test_data);t

18、heta=0.005*randn(17*dsize(2),1);theta=reshape(theta,17,dsize(2);lambda=1e-4;cost=0;cost_old=0;%初始化各个参数iter=0;sign=0;thetagrad=zeros(17,dsize(2);h=zeros(trsize(1),17);while abs(cost_old-cost)0.000000001 %更新theta cost_old=cost; m=train_data*theta; m=exp(m); for j=1:17 for i=1:trsize(1) h(i,j)=m(i,j)/s

19、um(m(i,:); if train_label(i)=j sign=1; %指示变量 else sign=0; end %此处theta是一个二维向量，所以更新公式和logistic不太一样thetagrad(j,:)=thetagrad(j,:)-1/trsize(1)*(sign-h(i,j)*train_data(i)+lambda*theta(j,:); end end theta=theta+thetagrad*alpha; %theta更新公式 for i=1:trsize(1) for j=1:17 if train_label(i)=j sign=1; else sign=

20、0; end cost=cost-1/trsize(1)*sign*log(h(i,j);%+lambda/2*sum(theta(:) . 2); end end cost=cost+lambda/2*sum(theta(:) . 2); iter=iter+1;endsoft=theta*test_data;M,I=max(soft);right=0;esch_right=zeros(1,17); for i=1:size(test_data,1)%统计准确率 for j=1:17 if I(i)=test_label(i) right=right+1; if I(i)=j-1 esch_

21、right(j)=esch_right(j)+1; end end end endfor i=1:17 each_acc(i)=esch_right(i)/size(find(test_label=i)endacc=right/6025each_accitertheta5.实现结果：（1）整体准确率：每一类的准确率：其均值为0.4366。(2)训练时间：可以发现，迭代次数为2344次。(3)参数分析： Theta数据太大，不能全部展示，只截一部分进行说明：6.实验总结： Softmax regression就是对logistic regression的扩展，它可以进行多分类，有了logisti

22、c regression的基础，在实现Softmax regression的时候就容易了许多，只需要把原来的一列的变为一个二维的值即可，在思维和数据处理上都增加了一定的难度。Svm1.问题描述： 用svm分类器 实现对IndianPines 遥感数据的分类：2.算法描述及基本流程：SVM的主要思想可以概括为两点：它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而 使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全

23、局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。 先把svm算法的基本流程说明一下。首先是函数间隔与几何间隔，由它们引出最优间隔分类器；为了多快好的解决最优间隔分类器问题，使用了拉格朗日对偶性性质，于是，先要理解原始优化问题与对偶问题及它们在什么条件（KKT 条件）下最优解等价，然后写出最优间隔分类器的对偶形式；通过对最有间隔分类器对偶问题求解，发现求解时目标函数中存在内积形式的计算，据此引入了核技法；引入核技法后就得到了完完全全的svm求解问题，使用序列最小化算法（SMO）进行求解，svm算法很复杂，这只是对其作出的一个很抽象的解释。 声明一下，svm算法讲原来的类标0，1变为

24、了-1，1，假设函数变为：使用数学语言对最优间隔分类器进行表示：该问题不易解决，因为约束是非凸性约束，最优解容易达到局部最优。于是，我们对该问题进行转换该问题对应的拉格朗日方程是：然后再求解其对偶问题：再利用核技法等对其进行求解即可。3.程序代码及解释：clear all;load(IndianaPines.mat);%导入数据maxnum = 21025 ;classnum=16;traintestnum=0;fivenum=0 ; k=1;everynum=30;eachnum =zeros(classnum,1);thenum=0 ; for i=1:maxnum if(Label(i)

25、=0) eachnum(Label(i)=eachnum(Label(i)+1; traintestnum = traintestnum+1; train_test(:,traintestnum) = pixels(:,i); train_test_label(traintestnum) = Label(i); endendtraineachnum=zeros(classnum,1);for i=1:16 for j=1:traintestnum if( train_test_label(j) = i ) pixel_train(:,k) = train_test( :,j ); traineachnum(i) = traineachnum(i)+1; label_train(k) = i ; k=k+1; thenum=thenum+1; if( thenum = everynum ) thenum=0; break; end end end thenum=0;end%直接调用工具箱中的svm工具进行训练train = pixel_train;trainlabel = label_train;test = train