数据挖掘 课件 第一章 数据挖掘绪论

第一章

数据挖掘绪论Contents数据挖掘概述1.1数据获取1.2数据挖掘的流程1.3本章小结1.4数据存储-生活中的数据数据源多样数据存储-生活中的数据数据的收集和存储以巨大的速度进行(GB/小时)微信每天发送消息450亿条，超过4亿次音视频呼叫。微博内容存量己超过千亿Facebook每天发送20多亿条消息。Twitter每天产生5800万条微博YouTube用户数达到13.25亿，每分钟上传视频的总时长达到300小时，每天的视频播放量达49.5亿次，每月的视频播放总时长达32.5亿小时2020年，抖音仅由大学生发布的视频播放量累计超过300万亿次，分享量27亿次2021年我国医学影像扫描量增长至29.33亿次，2022年扫描量进一步增长至31.15亿次左右80x增加的数据数据存储-生活中的数据数据类型数据计算IDC机房冷却装置有数据难利用数据分析师发现一条有用信息需要数周的时间因此，大量信息从来没有被分析过，出现“数据丰富，知识匮乏”现象Totalnewdisk(TB)since1995Numberofanalysts数据鸿沟挖掘？仓储？1.1.1数据挖掘的定义1.1.1数据挖掘的定义数据挖掘（DataMining）是通过特定算法对大量数据进行处理和分析以发现数据中的模式、趋势或关联性的过程数据挖掘技术利用机器学习和统计学方法，从海量、不完整、受噪声干扰的数据中提取出先前未知的、潜在有用的隐含信息，并将其转化为可理解的知识数据挖掘也被称作知识发现1.1.1数据挖掘的定义数据挖掘的过程可以大致分为四个阶段：问题分析：了解业务背景和数据来源，分析数据的特点和分布，明确任务目标和需求。数据预处理：数据挖掘中非常重要的一步，涉及数据清洗、数据集成、数据转换与规范化、数据规约和特征提取等步骤。数据挖掘：整个过程中最核心的部分，研究者需要根据业务需求和数据特点，建模合适的算法模型，并进行模型训练和参数调优。结果评估：旨在评估数据挖掘结果的准确性和可靠性。在这个阶段，需要使用一些评估指标对挖掘结果进行评估。还需要对挖掘结果进行解释和可视化以帮助业务人员更好地理解挖掘结果。1.1.1数据挖掘的定义数据挖掘技术面临着新的挑战和机遇一方面，随着数据规模急剧增长、数据类型越发丰富，使得传统计算资源和数据挖掘算法已经难以满足大数据处理和分析的需求。另一方面，数据挖掘与机器学习、深度学习等技术的结合将为知识发现带来更大的发展空间。未来，数据挖掘将在各个领域发挥更加重要的作用，为人类社会的发展和进步带来更多的机遇。1.1.2数据挖掘的应用领域商业领域：在市场营销中，数据挖掘可以帮助企业识别目标客户群体，制定个性化的营销策略。1.1.2数据挖掘的应用领域医疗领域：在疾病诊断中，数据挖掘可以帮助医生分析患者的医疗记录和症状，提高诊断的准确性和效率。1.1.2数据挖掘的应用领域金融领域：在风险管理中，数据挖掘可以帮助银行和风投机构评估贷款申请人的信用风险和投资收益。1.1.2数据挖掘的应用领域政府领域：在城市规划中，数据挖掘可以分析人口、交通、环境等数据，为城市规划提供科学依据。1.1.3数据挖掘的基本任务数据挖掘的基本任务主要可以分为以下几类：分类与预测：根据已知的数据特征，将数据项划分到预先定义的类别中。聚类分析：将数据集中的数据项按照其相似性进行分组的过程。聚类的目标是在没有预先定义类别的情况下，发现数据中的内在结构和关系。关联规则挖掘：主要用于发现数据项之间的有趣关系。序列模式挖掘：发现数据项之间的时间序列关系的过程。异常检测：数据挖掘中用于发现与大多数数据项显著不同的数据项的过程。这些异常数据项可能表示错误、欺诈或其他特殊情况。1.1.4数据挖掘学习资源学术资源：CCF-A类通常包括国际上公认的顶级会议和顶级期刊CCF-A推荐会议:ACMConferenceonManagementofData(SIGMOD)ACMSIGKDDConferenceonKnowledgeDiscoveryandDataMining(KDD)IEEEInternationalConferenceonDataMining(ICDM)InternationalConferenceonDataEngineering（ICDE）InternationalConferenceonMachineLearning（ICML）InternationalConferenceonVeryLargeDataBases(VLDB)InternationalJointConferenceonArtificialIntelligence（IJCAI）AssociationfortheAdvancementofArtificialIntelligence(AAAI)1.1.4数据挖掘学习资源CCF-A推荐期刊:JournalofMachineLearningResearch(JMLR)IEEETransactionsonKnowledgeandDataEngineering(TKDE)ACMTransactionsonDatabaseSystems(TODS)ACMTransactionsonInformationSystems(TOIS)TheVLDBJournal1.1.4数据挖掘学习资源XindongWuZhihuaZhouJiaweiHanJianPeiQiangYangChih-JenLinHangLiChangshuiZhang1.1.4数据挖掘学习资源数据挖掘比赛资源阿里天池：/Kaggle：/滴滴：/1.1.4数据挖掘学习资源数据集下载资源UCI数据集:/CMU数据集：/datasets//afs//project/theo-20/www/data/时序数据集：/~reinsel/bjr-data/金融数据集：http://lisp.vse.cz/pkdd99/Challenge/chall.htm癌症基因数据集：/cgi-bin/cancer/datasets.cgi综合数据集：/~roweis/data.html数据集列表：/datasets/index.html美国政府开放数据：中国地方政府开放数据：北京/上海1.1.4数据挖掘学习资源在线学习平台Coursera：提供众多数据挖掘和数据科学相关的在线课程，由世界顶尖大学和机构讲授。/edX：提供包括数据挖掘在内的数据科学课程，同样来自世界著名大学。/Udemy：提供广泛的实践导向的数据挖掘课程，适合自学者。/1.1.5数据挖掘的常用工具Python语言易用性、灵活性、拥有大量的第三方库和工具包广泛用于数据分析和数据挖掘。R语言拥有大量的统计和数据挖掘包在生物信息学、金融分析等领域广泛应用Weka开源的数据挖掘工具丰富的数据挖掘算法和可视化界面Weka易于使用，适用于初学者和专业用户1.1.5数据挖掘的常用工具RapidMiner支持数据挖掘的整个流程适用于各种规模和复杂度的数据挖掘项目Orange支持数据预处理、聚类分析、分类等多种数据挖掘任务提供数据可视化、交互式数据探索等功能适用于数据分析和机器学习的初学者和专业用户IBMSPSS综合性的统计分析和数据挖掘软件直观的图形用户界面适用于研究人员、数据分析师、市场研究人员、政策制定者等专业人士1.1.6数据挖掘的主要算法数据挖掘十大经典算法决策树分类器C4.5（分类算法）：C4.5算法可以处理数值属性和缺失值，并且能够从数据中生成规则。此外，C4.5还支持不完整的数据集，并且能够处理连续属性。k-均值算法（聚类算法）：k-均值（k-Means）算法是一种聚类算法，用于将数据划分为k个簇。k-Means简单高效，但需要预先指定k值，并且对初始簇中心的选择敏感。支持向量机（分类算法）：支持向量机(SupportVectorMachine，SVM)是一种强大的分类算法，它通过找到数据点之间的最大边界来区分不同的类别。SVM在小样本情况下表现良好，并且可以应用于回归问题。1.1.6数据挖掘的主要算法Apriori算法（频繁模式分析算法）：Apriori算法是一种频繁项集挖掘算法，主要用于关联规则学习。它基于先验原则，即如果一个项集频繁出现，那么它的所有子集也必然频繁出现。最大期望估计算法（聚类算法）：期望最大化(Expectation-Maximization)算法是一种用于估计概率模型参数的迭代算法。它特别适用于存在缺失数据的情况。PageRank算法（排序算法）：PageRank是由Google创始人开发的算法，用于网页排名。它基于网页之间的链接关系，认为一个网页的重要性由指向它的网页的数量和质量决定。PageRank算法通过迭代计算每个网页的排名值，直到收敛。AdaBoost算法（集成弱分类器）：AdaBoost是一种集成学习方法，通过结合多个弱分类器来构建一个强分类器。1.1.6数据挖掘的主要算法k-近邻分类算法（分类算法）：k-近邻(k-NearestNeighbors)分类算法是一种基于实例的学习算法，它通过查找测试数据点的k个最近邻居来进行分类或回归。kNN简单直观，但计算成本较高，因为需要对每个测试数据点进行距离计算。朴素贝叶斯算法（分类算法）：朴素贝叶斯（NaiveBayes）是一种基于贝叶斯定理的分类算法，它假设所有特征都是相互独立的。分类与回归树算法（聚类算法）：分类与回归树（ClassificationandRegressionTrees，CART）算法是一种基于决策树的分类算法，既可以用于分类也可以用于回归。CART可以处理数值和类别属性，并且可以生成易于理解的模型。Contents数据挖掘概述1.1数据获取1.2数据挖掘的流程1.3本章小结1.41.2数据获取端到端机器学习的大部分时间都花费在数据准备工作之上，包括获取、清洗、分析、可视化和特征工程等。数据获取不仅是简单地收集数据，而是一个综合考量数据源选择、数据采集方法、数据质量保证以及合规性等多方面因素的复杂过程。Sections1.2.1数据类型和来源1.2.2数据采集技术1.2.3数据标注技术1.2.4数据存储与管理1.2.5数据质量与评估1.2.1数据类型与来源数据类型可以根据数据的结构化程度分为结构化数据非结构化数据半结构化数据idnamegender1张三female2王二male3李四female结构化数据半结构化数据非结构化数据1.2.1数据类型与来源数据来源往往是多种多样的，包括但不限于以下几类：内部数据源：企业或组织内部生成的数据。公共数据集：由政府、非营利组织或研究机构发布的数据集。互联网数据：从网站、社交媒体平台和其他在线资源获取的数据。传感器数据：通过各种传感器和监测设备收集的数据。商业数据：咨询或数据服务公司发布的数据。众包数据：通过大量用户的参与和贡献收集的数据。网络爬虫：使用自动化工具从互联网上抓取和提取数据。Sections1.2.1数据类型和来源1.2.2数据采集技术1.2.3数据标注技术1.2.4数据存储与管理1.2.5数据质量与评估数据采集旨在找到可用于训练模型的数据集数据发现：用户能够找到、理解并访问相关数据集的过程。数据增强：通过在原始数据集上应用一系列变换，增加数据的多样性。数据生成：使用人工构建或自动化构建方法构建额外的数据集。1.2.2数据采集技术数据发现通常包括以下几个步骤：需求分析：与利益相关者进行深入沟通，以明确数据需求和业务目标。数据检索：从更广泛的数据资源中寻找特定的数据集或信息。精确地定位到数据源。数据预览：查看数据样本以评估数据的质量和相关性。数据访问：下载数据、使用API调用或通过数据集成工具将数据导入到分析平台。数据发现需求分析需求分析的核心是与利益相关者进行深入沟通，以明确他们的数据需求和业务目标，理解用户对数据的期望和使用场景。这一阶段的目的是确保数据发现工作与数据挖掘目标保持一致，并为后续步骤提供清晰的指导。数据发现数据发现数据检索互联网分布大量结构化数据，基于Web的检索方法自动提取有用的数据集例如，WebTables提取所有维基百科信息，GoogleDatasetSearch服务能够搜索Web上数以千计的数据存储库。GoogleImageSearchDragandDrop数据检索和数据共享之间存在密切关系数据共享平台：GitHub、Datahub、Kaggle、GoogleFusion这些平台为用户提供了一个集中、整理和共享数据的平台，用户可以直接获取并开始分析和应用数据。数据发现数据发现数据预览数据样本查看评估数据的质量和相关性样本记录检查检查数据的结构和字段目的确保数据集满足分析需求评估数据的完整性、准确性和一致性识别缺失值、异常值和重复记录数据发现数据访问数据访问关键考虑因素数据安全性与合规性处理数据的版权和隐私问题存储格式与转换需求确保数据可以被分析工具有效处理数据采集旨在找到可用于训练模型的数据集，主要包括三种技术数据发现：用户能够找到、理解并访问相关数据集的过程。数据增强：通过在原始数据集上应用一系列变换，增加数据的多样性。数据生成：使用人工构建或自动化构建方法构建额外的数据集。1.2.2数据采集技术常见数据增强方法：几何变换翻转、旋转、缩放、裁剪等操作颜色变换调整图像亮度、对比度、饱和度等属性噪声注入添加高斯噪声、椒盐噪声等Mixup和CutMix通过线性插值混合样本或部分样本生成新数据点推导潜在语义利用外部工具给数据增加细粒度标签或Caption数据集成整合多个来源或变种的数据，扩展和丰富数据集数据增强数据增强图1.几何变换图4.颜色变换图3.Mix图2.噪声注入数据采集旨在找到可用于训练模型的数据集数据发现：用户能够找到、理解并访问相关数据集的过程。数据增强：通过在原始数据集上应用一系列变换，增加数据的多样性。数据生成：使用人工构建或自动化构建方法构建额外的数据集。1.2.2数据采集技术数据生成数据生成方法人工构建众包：通过收集和预处理数据生成新数据集数据收集：在众包平台发布任务，招募志愿者完成数据收集数据预处理：管理、解析、连接数据集等操作自动化构建数据合成：利用算法生成新的合成数据数据生成自动化合成数据和标签:低成本和灵活性

生成对抗网络（GenerativeAdversarialNetworks,

GANs）面向特定应用程序的自动化生成技术GANs旨在训练两个相互竞争的神经网络：生成网络和判别网络生成网络学习从潜在空间映射到数据分布，判别网络从生成网络产生的候选者中区分真实分布MEDGAN基于真实患者记录信息生成具有高维离散变量特征的合成患者记录数据生成面向特定应用的生成技术合成图像的自动生成合成文本数据的自动生成使用人类定义的策略对原始数据进行变换自动合成的新数据Sections1.2.1数据类型和来源1.2.2数据采集技术1.2.3数据标注技术1.2.4数据存储与管理1.2.5数据质量与评估1.2.3数据标注技术数据标注的目的在于标记单个示例，主要包括：利用现有标签：利用任何已经存在的标签基于众包技术：使用众包技术标记单个示例弱监督学习方法：在较低成本的前提下生成弱标签利用现有标签少量标注数据和大量未标注数据分类算法：模型为每个样本返回一个或多个潜在的类别标签。回归算法：模型为每个样本返回对应某个类别的概率值。基于图标签传播的算法：从有限标记示例数据集开始，在图结构中基于示例的相似性推断剩余示例的标签。预测结果分类模型Label1Label2Label3回归模型…0.90.8DogCat样本数据基于众包技术众包标注方法定义标注说明提供详细的标注任务说明任务分发通过网络平台将任务分发给标注工人数据标注员数据标注发布者客户端人工质检员客户端机器质检员客户端基于众包技术主动学习定义选择最有益于模型训练的数据样本的策略工作流程选择数据样本分发给众包工人进行标注弱监督学习方法背景需要大量数据标注，但人工成本高昂定义通过多种弱监督信号满足数据标注任务需求Snorkel结合多种弱监督信号，生成更准确的标签Sections1.2.1数据类型和来源1.2.2数据采集技术1.2.3数据标注技术1.2.4数据存储与管理1.2.5数据质量与评估1.2.4数据存储与管理数据备份创建数据副本。数据安全保护数据免受未授权访问、数据泄露、篡改和破坏的一系列措施。数据调用从存储介质或数据仓库中检索特定数据或信息。数据备份备份类型本地备份远程备份云存储备份策略的重要性确保数据在灾难性事件中的保护与恢复防范数据丢失和损坏的风险数据安全加密技术保护数据在存储和传输中的安全性访问控制限制对敏感数据的访问权限网络安全措施防止黑客攻击和病毒感染数据调用性能优化和查询优化：高效的数据存储和索引策略快速响应用户的查询请求实时数据处理ApacheKafka、ApacheFlink等数据安全和隐私保护确保数据在调用过程中的安全性和隐私保护集成和自动化与其他系统集成，实现数据的获取和整合提高数据调用系统的效率和自动化程度Sections1.2.1数据类型和来源1.2.2数据采集技术1.2.3数据标注技术1.2.4数据存储与管理1.2.5数据质量与评估1.2.5数据质量评估从数据质量维度进行数据质量评估主要涉及准确性（Accuracy）数据是否正确反映了现实世界的事实。完整性（Completeness）数据集是否包含了所有必需的数据项。一致性（Consistency）数据在不同时间、空间和系统中的一致性。及时性（Timeliness）数据从产生到可用的时间。可比性（Comparability）数据在不同情况下的可比性。适用性（Relevance）数据是否满足用户的需求。可获得性（Accessibility）用户获取数据的难易程度。经济性（Cost-Effectiveness）数据的生产成本与效益之比。Contents数据挖掘概述1.1数