《大数据基础与实务》课件 15.项目五 任务一 数据挖掘和机器学习算法

大数据基础与实务项目五数据挖掘和分析数据挖掘和机器学习算法任务一任务描述知识准备课堂研讨拓展训练目录CONTENTSONETWOTHREEFOUR任务描述小明经常去超市并发现一个规律，他在购物清单上列举好的某些商品可能会被超市阿姨摆放在相邻的区域。例如，面包柜台旁边会摆上黄油、面条柜台附近一定会有老干妈等等。这样的物品摆放会让他的购物过程更加快捷、轻松。那么如何知道哪些物品该摆放在一块？又或者用户在购买某一个商品的情况下购买另一个商品的概率有多大？这就要利用关联数据挖掘的相关算法来解决。知识准备数据挖掘一（一）数据挖掘的定义数据挖掘（DataMining），又称之为数据库文件的专业知识发觉（Knowledge-DiscoveryinDatabases，KDD），它是指从大量的数据中通过算法搜索隐藏于其中信息的过程。定义数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法来实现上述目标。知识准备数据挖掘一（二）数据挖掘体系知识准备数据挖掘一（三）数据挖掘的流程KDD过程迭代序列1数据清理消除噪声和删除不一致数据2数据集成多种数据源可以组合在一起3数据选择从数据库中提取与分析任务相关数据4数据变换通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式5数据挖掘使用一定的模型算法提取数据模式6模式评估根据某种兴趣度度量，识别代表知识的真正有趣的模式7知识表示使用可视化和知识表示技术，向用户提供挖掘的知识知识准备数据挖掘一（三）数据挖掘的流程

图5-1数据挖掘视为知识发现过程的一个步骤知识准备数据挖掘一（四）数据挖掘的应用市场分析和管理1风险分析和管理2欺骗检测和异常模式的监测（孤立点）3文本挖掘4知识准备机器学习二（一）机器学习的定义机器学习是一门多领域交叉学科。涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。定义利用机器学习的模型算法，从现实世界的海量数据里提炼出有价值的知识，规则和模式。并应用到前台系统，辅助业务的进行。例如：用户推荐、预测结果、精准分类等，使到业务能产生更大的效益。知识准备机器学习二（二）机器学习的方法监督学习（1）KNN（K近邻法）（2）决策树（3）支持向量机（4）朴素贝叶斯（5）Logistics回归无监督式学习（1）层次聚类（2）k均值聚类（3）PCA（主成分分析）半监督式学习（1）基于概率的算法；（2）在现有监督算法基础上作修改的方法；（3）直接依赖于聚类假设的方法；（4）基于多视图的方法；（5）基于图的方法。强化学习（1）Q-Learning（2）时间差学习知识准备数据挖掘和机器学习的关系三（一）相同点01020304都使用数据都用于解决复杂的问题均属于数据科学的范畴机器学习有时被用作进行有用数据挖掘的一种手段知识准备数据挖掘和机器学习的关系三（二）不同点联系能力实用性因素目的使用时间课堂研讨我们写一段程序让计算机自己进行一个学习过程，直到达到一个满意程度。那么学习的目的是什么？怎样学习？满意程