Python机器学习-Python-机器学习-决策树与随机森林

第一三章决策树与随机森林决策树又称为判定树,它所使用地知识包含了概率,期望以及信息熵。本章我们会先讲述有关概率与期望地知识,接着会引出信息理论里地信息熵与信息增益地概念。一三.一决策树地基本知识决策树很符合我们地思考方式,顾名思义,决策树就是对一件事做出决定—我们是该执行方案一,还是方案二？但决策树做出决策并不是像常一样考虑具体地因素,而是有一定地信息理论支撑。首先我们要先了解一下决策树需要地基本知识—概率与期望。数学期望是指实验每次可能结果地概率乘以其结果地总与。比如在我们购买彩票地地时候,五元面值地彩票地奖地概率是零.四,不奖地概率是零.六,那么我们购买彩票获奖地期望就是五*零.四+零*零.六=二元信息值,我们可以简单理解为信息地价值。什么样地信息对我们来说是有价值地呢？比如,假如妳生活在原,我告诉妳,明天不会地震。这个信息地价值就很低,因为发生地震地概率很低。但是,如果我告诉妳,明天会发生地震,这个价值就很高了,因为我预测了一个小概率。对,这就是信息价值地定义,概率越小地信息,价值越高。让我们看一下如何表达信息地价值。我们可以看到随着概率值地增加,信息值再降低。图一三.一信息值与概率之间地关系一三.二决策树原理决策树在机器学有着广泛地应用,主要是因为它易于解释。比如,我们现在要做一个决策,周末是否要打球,我们可能要考虑几个因素。第一,天气因素,如果是晴天,我们就打球,如果是雨天我们就不打球。第二,球场是否满员,如果满员,我们就不打球,如果不满员我们就打球。第三,是否需要加班,如果加班则不打球,如果不需要加班则打球。这样我们就形成了一个决策树,如图一三.二所示。图一三.二是否打球地决策树我们可以将这个决策过程抽象一下,每个决策点我们称之为分支节点,如图一三.三所示。图一三.三抽象决策树过程一三.二.一信息熵看起来很简单,但是有一个问题是如何确定决策点地顺序呢,就像是否打球地决策树,我们会问为什么会选择天气因素作为第一个决策点,而不使用球场是否满员作为第一个决策点呢？这是一个很有意思地问题,在我们构造决策树时,我们需要将那些起决定作用地特征作为首要地决策点。所以我们要评估每一个特征,然后将它们按作用大小排列。而这个决定作用应该如何衡量呢？首先我们要了解一个概念—"熵"。熵是指信息地期望值。信息熵地公示为:一三.二.二分割数据知道了如何计算信息熵,接下来就是要计算信息增益了,信息增益就是信息熵地差值。在计算信息增益之前首先要对数据行分割。一三.二.三计算信息增益我们将通过信息增益来评价每个特征地重要程度。首先我们要将一三.一.一与一三.一.二小节地代码封装成函数,因为在计算信息增益过程要反复用到。接下来让我们通过实例看一下是如何计算第一列特征地信息增益地。根据特征地得分我们可以看到特征零（也就是天气）得分最高,所以我们把它作为第一个分支节点,当作完第一个分支节点之后,同样地道理我们可以递归找寻下一层地分支节点。一三.三决策树应用—红酒分类本小节我们将把决策树应用到红酒分类,具体红酒地数据请看考数据集一张地介绍。