厦门大学机器学习考试题

1、厦门大学机器学习考试集团矗编码YTTR-YTPT28-YTNTL98-UYTYNN08 第一题判断题（10分，每小题1分）1逻辑斯蒂回归模型可以用来做分类，但是SVM不能用来做回归。q_2训练数据较少时更容易发生过拟合。（）3如果回归函数A比B简单，则A一定会比B在测试集上表现更好。q_4在核回归中，最影响回归的过拟合性和欠拟合之间平衡的参数为核函数的宽度。q_5在AdaBoost算法中，所有被错分的样本的权重更新比例相同。（）6 Boosting的一个优点是不会过拟合。（）7梯度下降有时会陷于局部极小值，但EM算法不会。O8 SVM对噪声（如来自其他分布的噪声样本）鲁棒。（）9经验风险最小化

2、在一定条件下与极大似然估计是等价的。q_10在回归分析中，最佳子集选择可以做特征选择；Lasso模型也可以实现特征选择。（） 第二题统计学习方法的三要素（10分）1. （5分）回是一个函数空间，叵亘是区亘上一个概率测度，匹正且同是 IX x 丫 |的个子集（采样）,£（/）= L（x, y,f（x, y）dp ,V A X j式二，fH = arg min £（/）,/. =argminf（/）,请问： feHfell1 （2分）|同4）-随着N蔽需增大吗为什么2 （3分）同工）-随着H增大而增大吗为什么2. （5分）比较感知机、逻辑斯蒂回归模型、AdaBoost和SV”的

3、损失函数。第三题产生式模型和判别式模型（10分）1 （5分）解释产生式模型和判别式模型，并分析二者的不同点;2列出三种判别式模型（3分）和两种产生式模型（2分） 第四题 EM and Naive Bayes （15 分）1 （5分）概述EM算法的用途及其主要思想；2 （10分）EX算法可以用到朴素贝叶斯法的非监督学习，写出其算法。第五题HMM （10分）考虑盒子和球模型' =（A,B,冗）,状态集合Q = 123,观测集合V = 红,白,A ="0.5 0.2 0.3一 03 0.5 0.2 0.2 0.3 0,5_I一0.5 0.5'0.4 0.60.7 0.3 i

4、t = (02,0.4,0.4)设T=3, 0=（红、白、红），试用前向算法计算P（0|人）.第六题SVM （15分）考虑利用线性支持向量机对如下两类可分数据进行分类:+1： （1, 1）, （2,2）, （2, 0）-I： （0,0）, （1,0）, （0, 1）1 （4分）在图中做出这6个训练点，构造具有最优超平而和最优间隔的权重向量；2 （3分）哪些是支撑向量3 （8分）通过寻找拉格朗日乘子回来构造在对偶空间的解，并将它与1中的结果比 较。第七题Logistic回归模型（15分）如图1（a）所示，数据采用简化的线性logistic回归模型进行两类分类，即，叩= g （卬内+h,x2）=x

5、p（r；-）为了简化，不采用偏差曲，训练数据可以被完全分开（训练误差为0,如图1（b） 所示的。图1二维训练数据图Mb）可能的决策面：L、.La山1 （8分）考虑一个正则化的方法，即最大化ZlogP（xki，叫，卬2）-3卬；，注意只有2被 iT2惩罚。则当C很大时，如图1（b）所示的4个决策边界中，哪条线可能是由该正则方法 得到的心、L,和可以通过正则z得到吗简要说明理由°2 （7分）如果我们将正则项给出入范式，即最大化!>gP（）小,，%，）-：（冈+网）， .12则随着。增大，下而哪种情形可能出现（单选）注：简要说明理由（A）1将变成0,然后2也将变成0。（B） 2将变成0,然后i也将变成0。（C）和 W夺同时变成0。（D）两个权重都不会变成0,只是随着。的增大而减小为0。第八题AdaBoost （15分）考虑如下图2所示的训练样本，其中X和0'分别表示正样本和负样本。 采用AdaBoost算法对上述样本进行分类。在Boosting的每次迭代中，选择加 权错误率最小的弱分类器。假设采用的弱分类器为平行两个坐标轴的线性分类 器。1 （4分）在图2中标出第一次迭代选择的弱分类器（乙），并给出决策面的'和'-'而。2 （4分）在图2中用圆圈标出在第一次迭代后权重最大的样本，其权重是多