数据挖掘知识点归纳

1、知识点一 数据仓库数据仓库是一个从多个数据源收集的信息存储库，存放在一致的模式下，并且通常驻留 在单个站点上。数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。数据仓库围绕主题组织数据仓库基于历史数据提供消息，是汇总的。数据仓库用称作数据立方体的多维数据结构建模，每一个维对应于模式中的一个或者一 组属性，每一个单元存放某种聚集的度量值数据立方体提供数据的多维视图，并允许预计算和快速访问汇总数据提供提供多维数据视图和汇总数据的预计算，数据仓库非常适合联机分析处理，允许在 不同的抽象层提供数据，这种操作适合不同的用户角度OLAP例子包括下钻和上卷，允许用户在不同的汇总级别上观

2、察数据多维数据挖掘又叫做探索式多维数据挖掘 OLAP 风格在多维空间进行数据挖掘，允许在 各种粒度进行多维组合探查，因此更有可能代表知识的有趣模式。知识点二 可以挖掘什么数据大量的数据挖掘功能，包括特征化和区分、频繁模式、关联和相关性分析挖掘、分类和 回归、聚类分析、离群点分析数据挖掘功能用于指定数据挖掘任务发现的模式，分为描述性和预测性描述性挖掘任务刻画目标数据中数据的一般性质预测性挖掘任务在当前数据上进行归纳，以便做出预测数据可以与类或概念相关联用汇总、简洁、精确的表达描述类和概念，称为类 / 概念描述描述的方法有数据特征化（针对目标类） 、数据区分（针对对比类） 、数据特征化和区分数据特

3、征化用来查询用户指定的数据，上卷操作用来执行用户控制的、沿着指定维的数 据汇总。 面向属性的归纳技术可以用来进行数据的泛化和特征化， 而不必与用户交互。 形式 有饼图、条图、 曲线、 多维数据立方体和包括交叉表在内的多维表。 结果描述可以用广义关 系或者规则（也叫特征规则）提供。用规则表示的区分描述叫做区分规则。数据频繁出现的模式叫做频繁模式，类型包括频繁项集、频繁子项集（又叫频繁序列） 、 频繁子结构。频繁项集一般指频繁地在事务数据中一起出现的商品的集合频繁子序列就是一个频繁序列模式子结构涉及不同的结构，可以与项集和子项集一起出现挖掘频繁模式导致发现数据中有趣的关联和相关性包含单个谓词的关联

4、规则称作单维关联规则。多个谓词的关联规则叫做多维关联规则。如果不能同时满足最小支持度阈值和最小置信度阈值是无趣的关联规则。频繁模式挖掘的基础是频繁项集挖掘分类找出描述和区分数据类或概念的模型或者函数来预测类标号未知对象的类标号。导出模型是基于训练数据集的分析，预测类标号未知对象的类标号。形式有分类规则、 决策树、数学公式或者神经网络决策树类似流程图的树结构，每一个结点代表一个属性上的测试，每一个分支代表测试 的一个结果，树叶代表类或者类分布。分类时，神经网络类似于神经处理单元，单元之间加权连接。构造分类模型的方法还有 朴素贝叶斯分类、支持向量机、 K 最近邻分类。分类预测类别（离散的、无序的）

5、标号，回归建立连续值函数模型来预测缺失的、难以 获得的数据数据值术语预测指数值预测和类标号预测回归也包含基于可用数据的分布趋势识别相关分析在分类和回归之前进行，试图识别与分类和回归过程显著相关的属性聚类分析数据对象，产生数据组群的类标号，原则是最大类内相似性、最小化类间相似 性。所形成的每一个簇看做一个对象集， 可以导出规则。 聚类便于分类法的形成， 将观测组 织成分层结构，把类似的事件组织在一起离群点指与数据的一般行为或模型不一致的数据对象，视为噪声或者异常舍弃。离群点 数据分析也叫离群点分析或异常挖掘，用统计监测或者距离度量、基于密度方法识别有趣的模式指易于被人理解、在某种确信度上对于新的

6、或检验数据是有效的、潜在有用 的、新颖的模式。有趣的模式代表知识。模式兴趣的度量包括客观度量和反映特特定用户需要和兴趣的主观度量。客观度量基于 所发现模式的结构和关于它们的统计量， 比如规则的支持度、 规则的置信度、 分类规则的准 确率与覆盖率。 主观度量基于用户对数据的信念， 比如是出乎意料、提供重要信息 （也叫可 行动的）根据用户提供的约束和兴趣度度量对搜索聚焦，对某些任务而言能够保证算法的完全性模式兴趣度量根据模式的兴趣度对所发现的模式进行排位，可以通过减去模式空间中不 满足预先设定的兴趣度约束的子集来指导和约束发现过程。知识点三 数据对象与数据属性数据集由数据对象组成，一个对象代表一个

7、实体。数据对象用属性描述，又叫样本、实例、数据点或对象。存放在数据库中的数据对象叫 做数据元组。属性是一个数据字段，表示数据对象的一个特征，也叫维、特征、变量。用来描述一个 给定对象的一组属性叫做属性向量（或者特征向量） 。涉及一个属性的叫做单变量、两个属 性的叫做双变量一个属性的类型由该属性可能具有的值的集合决定，分为标称的、二元的、序数的、数 值的标称属性的值是一些符号或者事物的名称，每一个值代表某种类别、编码或者状态，被 看做是分类或者枚举的，不必具有有意义的序二元属性是一种标称属性，又叫布尔属性，只有两个状态： 0 或者 1， 0 代表不出现， 1 代表出现。如果两种状态具体同等价值并

8、且携带相同的权重，那二元属性是对称的。序数属性可能的值之间具有有意义的序或秩评定，相继之间的差是未知的，通常用于等 级评定调查。数值属性用整数或者实数值表示，可以是区间标度或者比率标度的。区间标度属性用相 同的单位尺度度量，有序，可以为负、零、正，允许比较和度量评估值之间的值。比率标度 是具有固定零点的数值属性，可以说一个数是另一个数的倍数机器学习领域开发的分类算法通常把属性分为离散的、连续的。离散属性具有有限或者 无限可数个值， 可以用或者不用整数表示。 连续属性值一般用浮点变量表示， 实数值用有限 位数字表示。知识点四 数据的基本描述统计中心趋势度量数据分布的中部或者中心位置，包括均值、中

9、位数、众数、中列数数据的分散度量包括极差、四分位数、四分位数极差、五数概括和和盒图、 方差和标准 差图形可视化审视数据，包括条图、饼图、线图为了抵消少数极端值的影响，使用截尾均值来高低极端值后的均值。具有一个、两个、三个众数的数据集合叫做单峰、双峰、三峰在具有完全对称的数据分布的单峰频率曲线图中，均值、 中位数和众数都是相同的中心值分位数是取自数据分布的每隔一定间隔上的点， 把数据划分成基本上大小相等的连贯集 合。识别可疑的离群点挑选落在第三个四分位数之上或者第一个四分位数之下至少 1.5*IQR （四分数极差）处的值。五数概括包括中位值、四分位数 Q1、四分位数 Q3、最小和最大观测值组成盒

10、图。知识点五 度量数据的相似性和相异性簇是数据对象的集合，使得每一个簇中的元素互相相似，与其他簇中的对象相异。两种数据结构： 数据矩阵 （存放数据对象） 和相异性矩阵 （存放数据对象对的相异性值）邻近性指相异性和相似性数据矩阵也叫二模矩阵，相异矩阵只包含一种实体，称为单模矩阵欧几里得距离和曼哈顿距离满足：非负性、同一性、对称性、三角不等式，满足条件的 测度叫做度量。上确界距离是两个对象的最大值差知识点六 数据预处理概述数据质量包括准备性、完整性、一致性、时效性、可信性、可解释性。质量基于数据的 应用目的。数据预处理的主要任务数据清理、数据集成、数据归约、数据变换数据清理是为了填补缺失的值、光滑

11、噪声数据、识别和删除离群点、纠正数据的不一致 性。这是一个两步的迭代的过程，分为偏差检测和数据变换数据集成涉及集成多个文件、数据库、数据立方体，整合成一致的数据存储。语义异种 性的解决、元数据、相关分析、元组重复检测和数据冲突检测都有助于数据的集成。数据归约得到数据集的简化表示，使信息内容的损失最小化。策略包括维归约和数值归 约、数据压缩。 维归约中减少所考虑的随机变量或者维的个数，方法包括小波变换、主成分 分析、 属性子集选择和属性创建。数值归约归约中，使用参数模型和非参数模型， 用较小的 表示取代数据。 数据压缩指按照比例映射到一个较小的区间。 不损失任何信息代表是无损的。属性的原始值被区

12、间或者叫高层的概念所取代可以采用离散化和概念分层产生的方法， 使得数据在多个抽象层上进行。数据变换包括规范化、数据离散化、概念分层产生冗余数据的删除既是数据清理也是数据归约填补缺失值的方法有忽略元组、 人工填写、 使用一个全局变量、 使用属性的中心度量 （中 位数或者均值） 、使用给定元组属性的同一类的所有样本的属性均值或者中位数、使用最可 能的值（使用回归或者贝叶斯推理得到）噪声是被测量的变量的随机误差或者方差识别噪声的方法有基本统计描述技术和数据可视化方法数据光滑技术有分箱、回归、离群点分析分箱通过考察数据的近邻来光滑有序数据值，这些有序的值被分配到一些桶或箱中。分箱考察近邻的值，它是局部

13、光滑对于用箱均值光滑，所有值都被替换成均值；用箱中位数光滑，每一个数都替换成中位 数；用箱边界光滑，每一个数字都替换成最近的边界值，宽度越大代表光滑效果越好数据变换指数据被变换或者统一成适合挖掘的形式，策略包括光滑、属性构造、聚集、 离散化、由标称数据产生概念分层。光滑指去掉数据中的噪声，技术包括分箱、回归、聚类；属性构造通过已知属性产生新 的属性添加到属性集中；聚类对数据的汇总和聚集；概念分层将属性泛化到较高的概念层离散化技术根据如何离散化加以分类，比如自顶向下的分类或者离散化。使用类信息叫 做监督的离散化。离散化和概念分层也是数据归约的形式，原始数据被曲建或者标签取代。用较小的单位表示属性

14、将导致该属性有较大值域，因此倾向于使这样的属性具有较大的 影响或者较高的权重规范化或标准化的目的是避免对度量单位选择的依赖性，规范化数据试图赋予所有属性 相等的权重。方法有最小 -最大规范化、 z 分数规范化和按小数定标规范化最小 -最大规范化： （ v-minA ） / （ maxA-minA ）（ new_maxA-new_minA ）+new_minA z 分数规范化： （ v-均值） / 方差 按小数定标规范化：全部除以一个数字分箱是一种基于指定的箱个数的自顶向下的分裂技术。 分箱不使用类信息， 是一种非监 督的离散化技术，对用户指定的箱个数敏感，容易受离群点的影响直方图是一种非监督的

15、离散化方法，将属性 A 的值划分为不相交的区间，叫做桶或者 箱。直方图分析算法可以递归地用于每一个分区， 自动地产生多级概念分层， 直到达到一个 预先设定的概念层数，过程终止。对每一层使用最小区间长度来控制递归。聚类将属性 A 划分为簇或组来离散化属性 A。采用自顶向下的划分策略或组自底向上的 合并策略产生概念分层，其中每一个簇形成的概念分层的一个结点。决策树采用自顶向下的方式，是监督的离散化方法，使用了类标号。相关性度量采用自底向上的策略，递归地找出最邻近的区间， 合并，形成大区间。 使用 类标号， 是监督的。 相对类频率在一个区间应该完全一致， 如果两个邻近的区间具有非常大 的相似性就可以

16、合并他们。ChiMerge 把数值属性 A 的每一个不同看做是一个区间，对每一个相邻区间进行检验， 具有最小卡方检验值的 表明有相似的类分布。合并过程递归地进行，直至满足定义的条件 为止。标称数据有多个值， 无序。 概念分层可以用来把数据变换到多个粒度层。 四种数据概念 分层的方法： 由用户或专家在模式级显示地说明属性的部分序、 通过显示数据分组说明分层 结构的一部分、说明属性集但不说明它们的偏序、只说明部分属性集。知识七 数据仓库与联机分析处理数据仓库允许将各种应用系统集成在一起， 为统一的历史数据分析提供坚持的平台， 信息处理提供支持。数据仓库是一个面向主题的（排除决策无用的数据） 、集成

17、的（来源于多个数据源） 、时 变的（隐式或显式地包含时间元素） 、非易失的（物理地分离存放数据）数据集合，支持管 理者的决策过程数据仓库不需要事务处理、 恢复、 并发控制机制， 只需要数据初始化装入和数据访问两 个数据访问操作数据仓库的构建过程需要数据集成、数据清理、数据统一从异构数据库集成看，组织由多个异构的、自治的和分布的数据源维护大型数据库。传统的数据库集成建立一个包装程序和一个集成程序。 使用元数据字典对查询进行转换、 将他转换成相应异构点上的查询。 然后， 将这些查询映射和发送到局部查询处理器。 由不同 的站点返回不一样的结果被集成为全局回答。 这种查询驱动的方法要复杂的信息过滤和集

18、成 处理，并且与局部数据源上的处理竞争资源数据仓库使用更新驱动的方法，将多个数据源的信息预先 集成存在数据仓库中，供直 接查询和分析。联机操作数据库系统的主要任务是执行联机事务和查询处理。 数据仓库用不同格式组织 和提供数据满足不同用户的需求， 称为联机分析处理。 数据仓库与操作数据库的区别： 用户 和系统的面向性、数据内容、数据库设计、视图、访问模式。用户和系统的面向性：联机事务处理面向顾客，数据仓库面向市场的 数据内容：联机事务处理管理当前数据，数据仓库管理大量的历史数据 数据库设计：前者是 ER，后者是星形或者雪花模型和面向主题的 视图：前者主要关注一个企业或者部门内部的当前数据， 后者

19、常常跨越数据库模式的多个版 本，处理不同单位的数据，数据量大，存放在多个介质上。访问模式：前者由短的原子事务组成，需要并发、恢复机制来保证一致性和事务的鲁棒性。 后者只需要访问操作。其他区别包括数据库大小、操作频繁程度、性能度量等分离数据库的原因有三个。 第一为了提高两个系统的性能。 一方面操作系统是为一致的 任何和负载设计， 数据仓库的查询非常复杂， 涉及大量的数据， 需要基于多维视图的数据组 织、存取方法和实现方法。第二是访问模式的不同。第三是两者的功能和数据不同。数据仓库是三层体系， 底层是仓库数据服务器， 是一个关系数据库。 数据提取使用信关 的应用程序。这一层包括元数据库，存放关于数

20、据仓库和它的内容的信息。中间是OLAP服务器。顶层是前端客户层，包括查询和报告的工具、分析工具 / 数据挖掘工具。从结构看，有三种数据仓库模型：仓库企业、数据集市、虚拟仓库 仓库企业：搜集了关于主题的所有信息，跨越整个企业数据集市： 数据范围的一个子集，对特定用户是有用的， 局限于选定的主题，分为独立和依 赖的两类。独立的数据集市来自一个或者多个数据库系统或者外部信息提供者或者来自于一 个特定部门或者地区局部产生的数据。依赖数据集市直接来源于数据仓库 虚拟仓库是操作数据上的视图的集合，只有一些可能的汇总视图被物化自顶向下的企业仓库最大限度减少集成问题， 推荐的是以递增、 进化的方式实现数据仓

21、库。数据仓库系统使用的工具有数据提取、变换、装入 数据提取：由多个异构的外部数据源搜集数据 数据清理：检测数据中的错误，可能时订正它们 数据变换：将数据由遗产或宿主格式转换成数据仓库格式 装入：排序、汇总、合并、计算视图、检查完整性、建立索引和划分刷新：传播由数据源到数据仓库的更新 数据清理和数据变换的目的是提高数据质量元数据是关于数据的数据，定义数据仓库的数据， 位于底层。 包含：数据仓库结构的描 述、用于汇总的算法、由操作环境到数据仓库的映射、关于系统性能的数据、商务元数据。多维数据模型有星形模式、雪花模式、事实星座模式。 星形模式：一个大的中心表（包含大批数据不冗余） ，一组小的附属表（

22、每维一个） 雪花模式：数据进一步分解到附加的表中 事实星座模式：多个事实表共享维表数据立方体是一个函数， 对数据立方体空间的每一个点进行求值。 通过对给定点的各维 -值对聚焦数据计算该点的度量值。度量分为三类：分布（ sum（）、代数（ avg（）、整体的（ rank（） ）。知识点八 频繁项集、闭项集和关联规则强规则同时满足最小置信度阈值和最小支持度阈值。项的集合称为项集，包含 K个项的项集叫做 k 项集。项集的出现频度是包含项集的事务数，称为频度、支持度计数或者计数。如果不存在真超项集 Y使得 Y与 X在 D 中具有相同的支持度计数，该项集在数据集中 是闭的，叫做闭频繁项集。如果 X 是频

23、繁的，并且不存在超项集 Y 使得 Y包含 X 并且 Y在 D 中是频繁的，那么 X 是极大频繁项集。Apriori 算法 :通过限制候选码产生频繁项集。先验性质：频繁项集的所有非空子集也一 定是频繁的。 有两个关键操作是连接和剪枝。 提高效率的形式有基于散列的技术、 事务压缩、 划分、抽样、动态项集，即减少扫描事务数据库的次数、减少候选项集的数量、候选项支持 度计算的简化。FP-tree 算法：将代表频繁项集的数据库压缩到一棵频繁模式树，保留项集的关联信息。把 压缩后的数据库划分成一组条件数据库， 每一个数据库关联一个频繁项或模式段， 分别挖掘 每一个条件数据库，显著地压缩被搜索的数据集的大小

24、。反单调性指一个结合不能通过测试，它的所有超集也不能通过相同的测试强规则不一定是有趣的。用相关性度量拓展支持度 -置信度框架。 提升度计算 lift（A,B）=P（AB）/P（A）P（B）。大于 1 表 示一个出现另一个一定出现，等于 1 表示独立的。计算卡方的值，卡方值 =（观测值 -期望 值）的平方 / 期望值。如果卡方值大于 1，实际值小于观测值表明是负相关的。四种评估模式度量：全置信度、最大置信度、 Kulczynski 和余弦全置信度称为最小置信度； Kulczynski 是两个置信度的平均值；余弦看做是调和提升度 量。提升度和卡方值识别事务数据集中的模式关联关系的能力差因为不是零不

25、变度量。 零事 务不包含任务考察项集的事务。 如果值不受零事务的影响， 则度量是零不变的。 零不变性是 一种度量大型数据库中的关联模式的重要性质。不平衡比评估规则蕴含式中两个项集 A 和 B的不平衡程度。知识点九 分类分类构造一个模型或者分类器来预测类标号； 回归构造模型预测一个连续值函数或者有 序值。预测回归的两种主要类型是分类和回归。数据分类包含学习阶段（构造分类模型）和分类阶段（ 使用模型预测给定数据的类标 号）。第一阶段建立描述预先定义的数据类或概念集的分类器，其中分类算法通过分析或从 训练集学习来构造分类器。 看做学习一个映射或者函数， 可以预测给定元组的类标号， 提供 了数据的压缩

26、表示，它是监督学习。训练集由数据库元组和与他们相关联的类标号组成类标号属性是离散和无序的，是分类的（标称） ，因为每一个值充当一个类别或者类构成训练数据集的元组称为训练元组， 从所分析的数据库中随机地选取， 也叫样本、 实 例、数据点或者对象第二个阶段是分类阶段， 评估分类器的预测准确率。 使用训练集来度量准确率是乐观的， 因为它过分拟合该数据， 应该使用由检验元组和它们相关联的类标号组成的检验集， 独立于 训练元组，指不使用它们构建分类器。分类器在给定检验集上的准确率是分类器正确分类的检验元组所占的百分比。 每一个检 验元组的类标号与学习模型对该元组的类预测进行比较。知识点十 决策树归纳决策

27、树归纳指从有类标号的训练元组中学习决策树。 决策树类似于一个流程图的树结构， 每一个结点代表一个属性上的测试， 一个分支代表该测试的输出， 每一个树叶结点存放一个 类标号，最顶层是根结点。给定一个类标号未知的元组 X，在决策树上测试该元组的属性值。跟踪一条从根到叶结 点的路径，该叶结点就存放着该元组的预测，决策树容易转换为分类规则。决策树分类不需要构造任何领域知识或参数设置， 适合于探索式知识发现， 处理高维数 据在决策树构建的时候，使用属性选择度量来选择将元组最好地划分为不同的类的属性决策树算法又称迭代二分器， 采用自顶向下的策略， 从训练元组集和它们相关的类标号 开始构建决策树。随着构建，

28、训练集逐渐被划分为较小的子集决策树算法的策略：（1）用三个参数 D， attribute_list 和 attribution_selection_method 调用该算法。该过程使用 一种属性选择度量，比如信息增量、基尼指数，它决定了树是否为严格的二叉树Ps:D代表数据分区，是训练元组和它们相应类标号的完全集Attribute_list 描述元组属性的列表attribution_selection_method 指定选择属性的启发式过程，用来选择可以按类最好地区分给 定元组的属性。（2）树从单个结点 N 开始， N 代表 D中的训练元组（3）如果 D 中的元组都为同一类，结点 N 变成树叶，

29、并用类标记它。否则，调用 attribution_selection_method 确定分类准则。分类准则确定把 D 中的元组划分为个体类的最 好方法，在结点 N上对哪一个属性进行测试。 对于选择的测试， 从结点 N 生长出哪些分支。 分类准则指定分裂属性，指出分裂点或者分裂子集，使得每个分支的属性尽量纯。（4）结点 N 用分裂准则作为结点的测试。终止原则：分区 D 中的所有元组都是一个类型的；没有剩余的属性可以继续划分；给定的 分支没有元组复杂度为 O（n*|D|*log（|D|） ，|D| 为 D 中的训练元组属性选择度量是一种选择分裂准则，把给定类标号的元组的数据分区 D 最好地划分为

30、单独的类的启发式方法。 它为给定训练元组的每一个属性提供了秩评定。 具有最好度量得分 的属性选为分裂属性。 如果分裂属性是连续值或限于构造二叉树， 一个分裂点或者一个分裂 子集必须作为分裂准则的一部分返回。为分区 D 构建的树结点用分类准则标记，从准则的每一个输出生长出分支，并且相应地划分元组。主要有信息增量、基尼指数、增益率方法。选择具有最高信息增益的属性作为结点 N 的分裂属性，使结果分区中对元组分类所需 要的信息量最小， 并反映这些分区中的最小随机性和不纯性， 使对一个对象分类所需要的期 望测试数目最小，并确保找到一颗简单的树。基尼指数度量数据分区或者训练元组集 D 的不纯度信息增益偏向

31、于多值属性， 增益率调整了这种偏倚， 倾向于产生不平衡的划分， 其中一 个区比另一个区小得多。 基尼指数偏向于多值属性， 当类数量很大的时候变得困难， 倾向于 导致相等大小的分区和纯度。基于最小描述长度（ MDL）的属性选择度量具有最小偏向于多值属性的偏倚，需要最少二进制的树：对树编码，对树异常编码。基本思想为首选最简单的解。多元划分基于属性的组合而不是单个属性，是一种属性构造，新属性基于旧属性创建的决策树时间复杂度岁树的高度指数增加， 倾向于较浅的树有大量的树叶和较高的错误率。在创建决策树时， 由于噪声和离群点， 许多分支反应的是训练数据中的异常。 剪枝处理 过分拟合数据问题。知识点十一 贝

32、叶斯分类方法贝叶斯分类算法预测类隶属关系的概率， 如给定一个的元组属于一个特定类的概率。 朴 素贝叶斯算法假定一个属性值在给定类上的影响独立于其他属性的值， 这一个假定称为条件 独立性遇到零概率值， 假设训练元组集合很大， 以致于对每一个计数加上 1 产生的变化可以忽 略不计。知识点十二 神经网络神经网络又叫连接者学习，是一组连接的输入/ 输出单元，每一个连接都与权重有关。在学习阶段，通过调整权重使得它能够预测输入元组的正确标号类来学习。神经网络需要的时间很长， 适合具有足够长的训练时间的应用。 需要大量的参数， 主要 是经验得到。神经网络的优点包括对噪声数据的高承受能力以及对未经训练的数据的分类能力， 适合 连续值的输入和输出多层前馈由一个输入层， 一个或者多个隐藏层， 一个输出层组成。 每层由一些单元组成。 网络的输入对应于每一个训练元组的观测属