人工智能数学基础 课件 chap7-1 熵、联合熵、条件熵

人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom参考材料：廖盛斌,人工智能数学基础.电子工业出版社,2023.

3思路：信息论是数学、物理、统计、通信等多个学科的交叉领域，在机器学习与人工智能领域有广泛应用；这里我们主要理解熵以及熵衍生出来的相关概念在机器学习中常用的一些应用。目标：本次课主要介绍熵、联合熵、条件熵的概念，以及它们在机器学习中的应用。4提纲：

熵联合熵条件熵互信息熵：熵的概念

熵：熵的概念

熵：熵的概念

X熵p1000p0.50.10.20.2p0.250.250.250.25表7-1随机变量X的概率分布熵：熵的概念

熵：联合熵

熵：联合熵

熵：联合熵

熵：联合熵

熵：联合熵

熵：条件熵

熵：条件熵

Y0.30.20.30.2熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：熵的性质

熵：熵的性质

熵：熵的性质

熵：熵的性质

熵：熵的性质

熵：熵的性质

熵：熵的性质

熵：熵的性质

熵：熵的性质

熵：熵的性质

熵：熵的性质

图7.1熵、联合熵、条件熵与互信息之间的关系图熵：熵的应用

7.1.6熵在机器学习中的应用熵在机器学习中有广泛的应用。机器学习中一个常见的任务是分类，分类本质上是不确定性减少的过程（把某一对象分配到某个类别），而熵刻画了不确定的度量，因此可以用熵大小作为分类的依据，这就导出了采用熵最小的属性作为分类属性，这就是著名的决策树分类算法的基本思路。下面通过一个具体例子介绍熵在决策树算法中的应用。我们首先给出用于构造决策树的数据。假设有如表7-4所示的数据集，每一条样本数据由天气的阴晴、温度、湿度、风力以及根据这些信息给定的是否适合打网球的决策。

熵：熵的应用

表7-4用于构造决策树算法的数据集日期阴晴气温湿度风力是否打网球1晴热高弱否2晴热高强否3阴热高弱是4雨温和高弱是5雨凉爽中弱是6雨凉爽中强否7阴凉爽中强是8晴温和高弱否9晴凉爽中弱是10雨温和中弱是11晴温和中强是12阴温和高强是13阴热中弱是14雨温和高强否熵：熵的应用

熵：熵的应用

熵：熵的应用

熵：熵的应用

熵：熵的应用

得到生成的决策树本章参考文献[1]唐宇迪，李琳，侯惠芳，王社伟.《人工智能数学基础》[M]。北京：北京大学出版社，2020.[2]Python实现决策树---以对天气是否适合打网球做出预测的简单样例实现.[DB/OL].[2019-05-15]./qq_36318271/article/details/89448176[3]雷明.《机器学习的数学》[M].北京：人民邮电出版社，2021.[4]邱锡鹏.《神经网络与深度学习》[M].北京：机械工业出版社，2020.[5]人工智能python实现---用变分自编码器生成图像.[DB/OL].[2012-09-16]./python-ai-8-4-generate-image.html[6]DiederikP.Kingma，MaxWelling.Auto-EncodingVariationalBayes.[DB/OL].[2022-12-10]./pdf/1312.