版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
线性模型《神经网络与深度学习》2025大纲分类问题示例线性分类模型LogisticRegressionSoftmaxRegressionPerceptronSVM分类示例示例:图像分类数据集:CIFAR-1060000张32x32色彩图像,共10类每类6000张图像示例:图像分类数据集:ImageNet14,197,122images,21841synsets示例:图像分类示例:图像分类、目标检测、实例分割/zylapp/review-of-deep-learning-algorithms-for-object-detection-c1f3d437b852示例:垃圾邮件过滤示例:文档归类/automated-text-classification-using-machine-learning-3df4f4f9570b示例:情感分类示例:文本分类将样本x从文本形式转为向量形式词袋模型(Bag-of-Words,BoW)模型示例:文本情感分类根据文本内容来判断文本的相应类别+-线性分类模型线性模型线性模型Logistic回归Softmax回归感知器支持向量机LogisticRegressionLogisticRegression模型损失函数?分类问题
如何构建函数g?Logistic函数与回归Logistic函数Logistic回归
学习准则
如何衡量两个条件分布的差异?
熵(Entropy)在信息论中,熵用来衡量一个随机事件的不确定性。自信息(SelfInformation)熵熵越高,则随机变量的信息越多;熵越低,则随机变量的信息越少.在对分布𝑞(𝑦)的符号进行编码时,熵𝐼(𝑞)也是理论上最优的平均编码长度,这种编码方式称为熵编码(EntropyEncoding)
交叉熵(CrossEntropy)交叉熵是按照概率分布q的最优编码对真实分布为p的信息进行编码的长度。在给定𝑞的情况下,如果p和𝑞越接近,交叉熵越小;如果p和𝑞越远,交叉熵就越大.KL散度(Kullback-LeiblerDivergence)KL散度是用概率分布q来近似p时所造成的信息损失量。KL散度是按照概率分布q的最优编码对真实分布为p的信息进行编码,其平均编码长度(即交叉熵)H(p,q)和p的最优平均编码长度(即熵)H(p)之间的差异。交叉熵损失
交叉熵损失
负对数似然KL散度
梯度下降交叉熵损失函数,模型在训练集的风险函数为梯度为推导过程Logistic回归多分类(Multi-classClassification)Softmax回归多分类问题Softmax函数Softmax回归利用softmax函数,目标类别y=c的条件概率为:交叉熵损失KL散度
交叉熵损失
负对数似然
参数学习模型:Softmax回归学习准则:交叉熵优化:梯度下降交叉熵损失函数负对数似然损失函数对于一个三类分类问题,类别为[0,0,1],预测类别概率为[0.3,0.3,0.4],则交叉熵损失
感知器感知器感知器模拟生物神经元行为的机器,有与生物神经元相对应的部件,如权重(突触)、偏置(阈值)及激活函数(细胞体),输出为+1或-1。+1/-1感知器
感知器的学习过程表示分错对比Logistic回归的更新方式:感知器参数学习的更新过程收敛性证明过程感知器的权重向量的更新方式为在第𝐾次更新时感知器的权重向量为的上界
的下界支持向量机(SupportVectorMachine,SVM)红色点称为“支持向量”总结线性分类模型小结不同损失函数的对比XOR问
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024版酒店红酒供货合同
- 2025年度新能源汽车充电桩运营管理合同重点条款探讨3篇
- 2024政府机关绿化工程采购合同范本二零二四2篇
- 二零二五版合同能源服务与节能产品推广协议模板3篇
- 2025年度智能场馆场地租赁合同范本3篇
- 2024自建房施工合同包工包料合同
- 二零二四年度35kv架空线路施工工程设计与施工协调合同
- 2025年度金融机构外汇借款合同模板12篇
- 劳动合同编号:XX-2025年度-001
- 2025年智能燃气表推广与应用居民供气合同3篇
- 城市轨道交通的网络安全与数据保护
- 英国足球文化课件
- 《行政职业能力测验》2023年公务员考试新疆维吾尔新疆生产建设兵团可克达拉市预测试题含解析
- 医院投诉案例分析及处理要点
- 烫伤的安全知识讲座
- 工程变更、工程量签证、结算以及零星项目预算程序实施细则(试行)
- 练习20连加连减
- 五四制青岛版数学五年级上册期末测试题及答案(共3套)
- 员工内部岗位调换申请表
- 商法题库(含答案)
- 钢结构用高强度大六角头螺栓连接副 编制说明
评论
0/150
提交评论