




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
人工只智能数学基础
MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom参考材料:廖盛斌,人工智能数学基础.电子工业出版社,2023.
3思路:信息论是数学、物理、统计、通信等多个学科的交叉领域,在机器学习与人工智能领域有广泛应用;这里我们主要理解熵以及熵衍生出来的相关概念在机器学习中常用的一些应用。目标:本次课主要介绍熵、联合熵、条件熵的概念,以及它们在机器学习中的应用。4提纲:
熵联合熵条件熵互信息熵:熵的概念
熵:熵的概念
熵:熵的概念
X熵p1000p0.50.10.20.2p0.250.250.250.25表7-1随机变量X的概率分布熵:熵的概念
熵:联合熵
熵:联合熵
熵:联合熵
熵:联合熵
熵:联合熵
熵:条件熵
熵:条件熵
Y0.30.20.30.2熵:互信息
熵:互信息
熵:互信息
熵:互信息
熵:互信息
熵:互信息
熵:互信息
熵:互信息
熵:熵的性质
熵:熵的性质
熵:熵的性质
熵:熵的性质
熵:熵的性质
熵:熵的性质
熵:熵的性质
熵:熵的性质
熵:熵的性质
熵:熵的性质
熵:熵的性质
图7.1熵、联合熵、条件熵与互信息之间的关系图熵:熵的应用
7.1.6熵在机器学习中的应用熵在机器学习中有广泛的应用。机器学习中一个常见的任务是分类,分类本质上是不确定性减少的过程(把某一对象分配到某个类别),而熵刻画了不确定的度量,因此可以用熵大小作为分类的依据,这就导出了采用熵最小的属性作为分类属性,这就是著名的决策树分类算法的基本思路。下面通过一个具体例子介绍熵在决策树算法中的应用。我们首先给出用于构造决策树的数据。假设有如表7-4所示的数据集,每一条样本数据由天气的阴晴、温度、湿度、风力以及根据这些信息给定的是否适合打网球的决策。
熵:熵的应用
表7-4用于构造决策树算法的数据集日期阴晴气温湿度风力是否打网球1晴热高弱否2晴热高强否3阴热高弱是4雨温和高弱是5雨凉爽中弱是6雨凉爽中强否7阴凉爽中强是8晴温和高弱否9晴凉爽中弱是10雨温和中弱是11晴温和中强是12阴温和高强是13阴热中弱是14雨温和高强否熵:熵的应用
熵:熵的应用
熵:熵的应用
熵:熵的应用
熵:熵的应用
得到生成的决策树本章参考文献[1]唐宇迪,李琳,侯惠芳,王社伟.《人工智能数学基础》[M]。北京:北京大学出版社,2020.[2]Python实现决策树---以对天气是否适合打网球做出预测的简单样例实现.[DB/OL].[2019-05-15]./qq_36318271/article/details/89448176[3]雷明.《机器学习的数学》[M].北京:人民邮电出版社,2021.[4]邱锡鹏.《神经网络与深度学习》[M].北京:机械工业出版社,2020.[5]人工智能python实现---用变分自编码器生成图像.[DB/OL].[2012-09-16]./python-ai-8-4-generate-image.html[6]DiederikP.Kingma,MaxWelling.Auto-EncodingVariationalBayes.[DB/OL].[2022-12-10]./pdf/1312.
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- ups供电管理办法
- 中医药管理办法修订
- 中学教研室管理办法
- 物业资质证管理办法
- 临汾小饭桌管理办法
- 鹤煤待岗管理办法
- 移动代缴费管理办法
- 深圳转供电管理办法
- 秦皇岛中介管理办法
- 防灾应急管理办法
- GB 17324-2003瓶(桶)装饮用纯净水卫生标准
- 迈瑞BC-5800血细胞分析仪故障分析与维修2例
- 湘教版高中地理知识点归纳汇总
- DB37T242-2021建筑消防设施检测技术规程
- 供应商库入库资料
- ISO 31000-2018 风险管理标准-中文版
- 河北省廊坊市各县区乡镇行政村村庄村名居民村民委员会明细
- 危货运输安全知识
- 沈阳终止解除劳动合同范文证明书(三联)
- 脚手架架在楼板上验算书
- 第3章沼气发酵原理与设计
评论
0/150
提交评论