完整版SVM习题集

1、SVMSVM1.判断题（1）在SVM训练好后， 我们可以抛弃非支持向帚的样本点， 仍然可以对新样本进行分类。（T）（2）SVM对噪声（如来自其他分布的噪声样本）鲁棒。（F）2 .简答题现有一个点能被正确分类且远离决策边界。如果将该点加入到训练集，为什么SVM的决策边界不受其影响，而已经学好的logistic回归会受影响？答：因为SVM采用的是hingeloss,当样本点被正确分类且远离决策边界时，SVM给该样本的权重为0,所以加入该样本决策边界不受影响。而logistic回归采用的是log损失，还是会给该样本一个小小的权重。3 .产生式模型和判别式模型。（30分，每小题10分）图2：训练集、最

2、大间隔线性分类器和支持向量（粗体）（1）图中采用留一交叉验证得到的最大间隔分类器的预测误差的估计是多少（用样本数表示即可）?从图中可以石出，去除任意点都不影响SVM的分界而，而保留所有样本时，所有的样本点都能被正确分类，因此LOOCV的误差估计为00（2）说法“最小结构风险保证会找到最低决策误差的模型”是否正确，并说明理由。（F）最小结构风险（SRM）只能保证在所有考虑的模型中找到期望风险卜.界最小的模型。（3）若采用等协方差的高斯模型分别表示上述两个类别样本的分布，则分类器的VC维是多少？为什么？等协方差的高斯模型的决策边界为线性，因为其VC维维D+L题中D=2.4、SVM分类。（第15题各

3、4分，第6题5分，共25分）卜图为采用不同核函数或不同的松弛因子得到的SVM决策边界。但粗心的实验者忘记记录N Ns.t.oa,oa,c,i i=L.,N,Zay=o其中 A(X,M)=XM+(X7X)一二次多项式核函数，决策边界为二次曲线、max每个图形时应的模型和参数了。请你帮忙给卜面每个模型标出正确的图形。 2 2-2-2Q.5Q.5，0 0C C：-2-1-2-1(d)INiNNINiNN、max 6-6-广a a。/xM%,xj)xM%,xj)、/J-1y-1)y-1)N Ns.t.0afC,i=1,i=1, , ,N,N,Za)：=0r-lr-l其中%(xX)=exp-郢-M)。R

4、BF核函数，决策边界为曲线，。=1较大，曲线更平滑(a)( (NiNNNiNN、maxZ%Z%一$ZZZZ%X%X力卜(,X X)N Ns.t.0Va,O,yf（w7X+iro）l-,/=l,N.,N.卜.面后一些关于某些变量随参数。的增大而变化的表述。如果表述总是成立，标示“是”：如果表述总是不成立，标示“否”：如果表述的正确性取决于C增大的具体情况，标示“不一定”。“不会增大（不一定）（2）|网增大（不一定）（3）|网不会减小（是）会有更多的训练样本被分错（否）（5）间隔（Margin）不会增大（是）在下图中，C=O.1,1,10,100,并且已经标出分界面和支持向量。请给每幅图标出最可能

5、的C的取值，并分析原因（20分）。答:w，subjectto);(%+wTx/)1-V/等价于Zf+白hf,subjecttoy(卬o+WTX/)1-.,V/r2c所以CT,|w|2?,工J,即margin减小（当C增大到一定程度时，Margin不再变化），不允许错分太多样本（对错分样本的惩罚人），支持向量（落在Margin内的样本和错分的样本）的数目减少。5、考虑带松弛因子的线性SVM分类器：1111n，“另(“b+w/jNlY，V/-ISrrISrr4 4C-C-1010(k(kV V-l-l6. SVM(1)卜面的情况，适合用原SVM求解还是用对偶SVM求解。1)特征变换将特征从D维变换

6、到无穷维。(对偶)2)2)特征变换将特征从D维变换至2D维，训练数据有上亿个并且线性可分。(原)(2)在线性可分情况卜在原问题形式化中怎样确定一个样本为支持向量？在原问题中，给出了WMo，支持向量:满足：yf(%4-w*7.vj=lo7. SVM和松弛因子。考虑如图给出的训练样本，我们采用二次多项式做为核函数，松弛因子为C。请对下列问题做出定性分析，并用一两句话给出原因。(1)当 CT8 时，决策边界会变成什么样？答：当C很大时，错分样本的惩罚会非常大，因此模型会尽可能将样本分对。(记住这里决策边界为二次曲面)C-C- 8C-08C-0(2)当CTO时，决策边界会变成什么样？可以错分少量样本，

7、但Margm大(3)你认为上述两种情况，哪个在实际测试时效果会好些？我们不能过于相信某个特定的样本，因此CTO的效果会好些，因为它最大化样本云团之间的Margin.(4)在图中增加一个点，使得当 CT8 时，决策边界会不变。能被原来的分类器正确分类，不会是支持向最。(5)在图中增加一个点，使得当C今 8 时，该点会显著影响决策边界。能被原来的分类器正确分类，不会是支持向量。当C很大时，错分样本的惩罚会非常大，因此增加一个不能被原来分类器正确分类的样8.对outhei的敏感性。我们知道在SVM用于回归时， 等价于采用不敏感的损失函数(如下图所示)， 即SVM的目标为：俞 F 嗯5 5忖+戊或+或

8、W W. .ZEZE20夕20课堂已经讨论L2损失对outliets比较敏感，而L1损失和huber损失相对不敏感些。(1)请说明为什么L2损失比较L1损失对outliers更敏感。Outlier为离群点，因此其预测残差r会比较大。L2损失为残差r的平方F,L1损失为残差r的绝对值口当11时，式训，从而L2损失在outlitet样本点的值会非常大，对结果影响更大。本会影响决策边界。(2)请给出一个outlier影响预测子的例子。GetGet(3)相比于L2损失和LI损失，分析SVNdJ不敏感的损失函数对outliers敏感性。不敏感的损失函数对。uthers的敏感性更接近于L1损失，因此比L2

9、损失更不敏感。初看起来，不敏感的损失函数在区间-J不施加惩罚，似乎比L1对outliers更不敏感。但实际上。utliers对应的残差通常很大,所以不会落在区间,所以不敏感的损失函数对outlieis的敏感性和L1损失相似。(4)SVM也等价于MAP估计，则该MAP估计对应的先验和似然是什么？同岭回归类似，先验为0均值得高斯分布，但方差为2C,同时各维独立，即P(w)=fN(O.2C),似然函数在区间-,为常数，其他地方为Laplace分布:9.多个数据源的SVM假设你在两天内用两个不同的仪器收集了两批数据，你觉得数据集1标签的可信度为数据集2的两倍。我们分别用D=(Xj,%)二表示数据集1,

10、表示数据集2,数据集1的松弛因子表示为如数据集2的松弛因子表示酊二者的Lagrange乘子分别表示为a和小关于怎样处理这两批数据，你的朋友们给出了不同的建议。张三：将数据集1的松弛惩罚乘以2,因此优化问题为：p(y|w,x)=j2+26,一)y-wxl-.,Vie1,2.NJ,Vy(%+WTUJ21-Gj,V/1,2,NJ,”0,Vie12,，M,G/0,V/1,2.,NJ,李四：将数据集1的Lagrange乘子乘以2,因此优化问题为：MN Nz zMMMN,NN,Nz zN Nz z吗、22a0,D0L2.,NJ,cft,cft,为wL2.,Nj,N,NN,Nz zf2a/+g=01-17-

11、l1-17-l王五：将数据集1的数据点复制一份（即数据集1中的每个样本点变成2个），然后照常处理。问题：请说明上述处理是否等价（得到的分界面相同）。解：我们从张三的建议的对偶表示开始，即1,1,M MN N： （a.p,e,f,vva.p,e,f,vv0 0,w,w）-|w|-|w|-+ +。十rr ly-1ly-1i)T+)-g4N(%+w、J_l+q)_geg-g/；q/=1/=1subjecttoViwl,2.,M,力wL2.,Nj,a?0、/3?0、e,0,40Y(%+wTx,.)l-,Vi1,2.,NJ,v.(w0+wTuy)l-.,喈=0./=04E(w+w、j_l+,j=。M Mi=li=l/=!/=!优化e,f,%,w,目标函数对ef求导等于0,=0=w*=a(y,xi+CW1由于有约束夕/0,q20J,20,公式变成c2ac2at t 0,c4/20,将上述公式代入L,消除,2a,c2a,0,Viwl,2.,Nj,c?,0,0wl,2.,，M,M MN Nz zX X2 2+XM+XM=0=0i-li-lj-lj-l可以看出，这和下面李四的建议不同可以看出，这和下面李四的建议不同. .吗x2Cga,+比四-2丑a,a“旧(冷X)-2之理冏M(x”u)。石明也(u.,uj3 3l-l/-itl-l/-it lJ-lIl