《数据挖掘与机器学习》 课件 1.1.1 初识机器学习与数据挖掘、Python、Anaconda

安装Python搭建数据挖掘与机器学习的编程环境任务描述Python拥有NumPy、pandas、Matplotlib和scikit-learn等功能齐全、接口统一的库，能为数据挖掘与机器学习工作提供极大的便利。库的管理和版本问题，使得开发人员并不能够专注于研究，而是将大量的时间花费在与环境配置相关的问题上。基于上述原因，Anaconda发行版应运而生。任务要求安装Anaconda。体验JupyterNotebook的基本功能。在体验Python的强大功能之前让我们先来了解一下机器学习吧！初识数据挖掘与机器学习初识Python了解Python的Anaconda发行版初识数据挖掘与机器学习数据挖掘与机器学习的概念数据挖掘知识发现模式识别机器学习数据库人工智能统计学数据挖掘（DataMining，DM）是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的信息的过程。机器学习（MachineLearning，ML）是一门多学科交叉专业，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。初识数据挖掘与机器学习数据挖掘与机器学习的应用场景行业应用教育智能辅导、个性化学习、智能化评估等医疗智能医疗设备、医疗图像分析、健康监测、医疗诊断等制造业智能物流、工业自动化、质量控制、图像识别、自动驾驶等金融风险管理、信用评估、自动化交易等农业自动化喷灌系统、精准农业、智能化养殖等零售业智能化仓储、自动化物流、智能客服等交通运输智能交通管理、自动驾驶技术、智能公共交通等电力行业智能电网、能源管理、设备监控等娱乐智能游戏、虚拟现实、智能化演出等社交网络智能化推荐、情感分析、社交媒体管理、垃圾邮件过滤等数据挖掘与机器学习在许多领域都有应用，包括在农业、金融、制造业、医疗、教育、零售业、交通、建筑等领域。初识数据挖掘与机器学习数据挖掘与机器学习的应用场景初识数据挖掘与机器学习数据挖掘与机器学习的通用流程需求分析是数据分析环节的第一步，也是非常重要的一步，决定了后续的分析方向和方法。结合现有的数据情况，提出需求的整体分析方向、分析内容，最终和需求方达成一致意见。数据获取是数据挖掘与机器学习工作的基础，是指根据需求分析的结果提取、收集数据。网络数据是指存储在互联网中的各类视频、图片、语音和文字等信息。历史数据是指系统在运行过程中遗存下来的数据，其数据量随系统运行时间的增加而增长。实时数据是指最近一个单位时间周期（月、周、日、小时等）内产生的数据。数据预处理是指对数据进行数据合并、数据清洗、数据标准化和数据变换，并直接用于分析建模的这一过程的总称。数据合并可以将多张互相关联的表格合并为一张；数据清洗可以去除重复、缺失、异常、不一致的数据；数据标准化可以去除特征间的量纲差异；数据变换则可以通过离散化、哑变量处理等技术满足后期分析与建模的数据要求，贯彻高质量发展精神。在数据分析的过程中，数据预处理的各个过程互相交叉，并没有明确的先后顺序。分析与建模是指通过可视化分析、回归分析等分析方法，以及聚类模型、分类模型等模型，发现数据中有价值的信息，并得出结论的过程。分析与建模的方法按照目标不同可以分为几大类。如果分析目标是量化未来一段时间内某个事件发生概率的，那么可以使用两大预测分析模型，即回归预测模型和分类预测模型。如果分析目标是描述客户行为模式的，那么可以采用描述型数据分析方法，同时还可以考虑聚类模型等。模型评价是指对于已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价模型性能优劣的过程。常用的回归模型评价指标有平均绝对误差、均方误差、可解释方差值等。常用的分类模型评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、ROC等。常用的聚类模型评价指标有ARI评价法（兰德系数）、AMI评价法（互信息）、FMI评价法和轮廓系数等。初识PythonPython概念Python是面向对象、解释型计算机程序设计语言，具有高效的高级数据结构、简单高效的面向对象编程方式。无论对于初学者，还是对于在科学计算领域具备一定经验的工作者，它都极具吸引力。

为Python提供快速数组处理、数值运算、绘图scikit-learnSciPyMatplotlibPythonNumPy

包含分类器实现、聚类算法初识PythonPython在数据挖掘和机器学习领域的优势包括开源工具和库、易学易用、丰富的机器学习算法、灵活性以及庞大的社区支持。这些优势使得Python成为了数据科学领域中最受欢迎的编程语言之一。Python数据挖掘与机器学习的优势

易学易用

大量的开源工具和库

丰富的机器学习算法

灵活性

社区支持初识PythonPython常用的开发环境集成开发环境是一种辅助程序开发人员进行开发工作的应用软件，在开发工具内部即可辅助编写代码，并编译打包，使其成为可用的程序。集成开发环境，提供智能提示、代码自动补全、调试等功能交互式开发环境，支持文本、代码、图像等多种格式自带的简单编辑器，易于入门，适用于小型脚本和初学者轻量级编辑器，支持多种语言和插件，可个性化配置，适用于快速开发和小型项目科学计算环境，提供高级数学库和可视化工具，适用于数据分析和科学计算初识PythonPython数据挖掘与机器学习的常用库常用库库的特点NumPy科学计算库，提供高效的数值计算和数组操作Python是一个功能强大的编程语言，拥有丰富的数据分析、数据挖掘和机器学习库。这些库不仅提供了各种数据分析和机器学习算法的实现，还提供了可视化工具和数据处理函数，可以大大简化数据分析和建模的流程。Scikit-learn机器学习库，提供各种经典的机器学习算法和工具Matplotlib绘图库，提供各种类型的静态图表pandas数据处理库，提供灵活的数据结构和数据分析工具了解Python的Anaconda发行版Anaconda发行版Python预装了150个以上的常用Packages，囊括了数据分析常用的NumPy、Matplotlib、pandas、scikit-learn库，使得数据挖掘与机器学习人员能够更加顺畅、专注地使用Python解决数据挖掘与机器学习相关问题。Python的Anaconda发行版主要有以下几个特点。包含了众多流行的科学、数学、工程和数据分析的Python库。完全开源。免费使用，但额外的加速和优化是收费的，对于学术用途，可以申请免费的License。全平台支持Linu