厦门大学机器学习考试题

1、第一题 判断题（10分，每小题1 分）1 逻辑斯蒂回归模型可以用来做分类，但是svm不能用来做回归。（ ）2 训练数据较少时更容易发生过拟合。（ ）3 如果回归函数a比b简单，则a一定会比b在测试集上表现更好。（ ）4 在核回归中，最影响回归的过拟合性和欠拟合之间平衡的参数为核函数的宽度。（ ）5 在adaboost算法中，所有被错分的样本的权重更新比例相同。（ ）6 boosting的一个优点是不会过拟合。（ ）7 梯度下降有时会陷于局部极小值，但em 算法不会。（ ）8 svm对噪声（如来自其他分布的噪声样本）鲁棒。（ ）9 经验风险最小化在一定条件下与极大似然估计是等价的。（ ）10 在

2、回归分析中，最佳子集选择可以做特征选择；lasso模型也可以实现特征选择。（ ）第二题 统计学习方法的三要素（10分）1. (5分)是一个函数空间，是上一个概率测度，是的一个子集（采样），请问：1 (2分)随着n增大而增大吗？为什么？2 (3分)随着h增大而增大吗？为什么？2. (5分) 比较感知机、逻辑斯蒂回归模型、adaboost和svm的损失函数。第三题 产生式模型和判别式模型 （10分）1 （5分）解释产生式模型和判别式模型，并分析二者的不同点； 2 列出三种判别式模型（3分）和两种产生式模型（2分）第四题 em and naive bayes （15分）1 （5分）概述em算法的用途

3、及其主要思想； 2 （10分）em算法可以用到朴素贝叶斯法的非监督学习，写出其算法。第五题 hmm （10分）考虑盒子和球模型=(a,b,)，状态集合q=1,2,3，观测集合v=红,白，=(0.2,0.4,0.4)t设t=3，o=(红、白、红)，试用前向算法计算p(o|).第六题 svm（15分）考虑利用线性支持向量机对如下两类可分数据进行分类：+1：(1,1), (2,2), (2,0)-1：(0,0), (1,0), (0,1)1 （4分）在图中做出这6个训练点，构造具有最优超平面和最优间隔的权重向量；2 （3分）哪些是支撑向量？3 （8分）通过寻找拉格朗日乘子来构造在对偶空间的解，并将它

4、与1中的结果比较。第七题 logistic 回归模型（15分）如图1(a)所示，数据采用简化的线性logistic回归模型进行两类分类，即，为了简化，不采用偏差w0,训练数据可以被完全分开（训练误差为0，如图1(b)所示的l1）。1 （8分）考虑一个正则化的方法，即最大化,注意只有w2被惩罚。则当c 很大时，如图1(b)所示的4 个决策边界中，哪条线可能是由该正则方法得到的？l2、l3 和l4 可以通过正则w2得到吗？简要说明理由。2 （7分）如果我们将正则项给出l1 范式，即最大化,则随着 c 增大，下面哪种情形可能出现（单选） ？注：简要说明理由 (a) w1将变成0，然后w2 也将变成0。 (b)w2将变成0，然后w1也将变成0。 (c) w1和w2将同时变成0。 (d)两个权重都不会变成0，只是随着c的增大而减小为0。第八题 adaboost （15分）考虑如下图2所示的训练样本，其中x和o分别表示正样本和负样本。采用adaboost算法对上述样本进行分类。在boosting的每次迭代中，选择加权错误率最小的弱分类器。假设采用的弱分类器为平行两个坐标轴的线性分类器。1 （4分）在图2中标出第一次迭代选择的弱分类器（l1），并给出决策面的+和-面。 2 （4分）在图2中用圆圈标出在第一次迭代后权重最大的样本，其权重是多少？ 3 （4分）第一次迭代后权重最大