数据仓库与数据挖掘培训

1、 数据仓库与数据挖掘课程简介介：1.为为什么出出现数据据仓库与与数据挖挖掘？啤酒与尿尿布7-112.研研究内容容从海量数数据中找找到规律律与联系系，为决决策提供供支持3.数据仓库库与数据据库的不不同数据库与与数据仓仓库主要学习习内容：第一篇数数据据仓库与与OLAP数据仓库库联机分析析处理技技术（OLAP）数据预处处理技术术数据清洗洗数据集成成和变换换数据约简简第二篇数数据挖挖掘数据挖掘掘技术关联规则则挖掘、分类、聚类分分析数据挖掘掘在各领领域的应应用等。主要参考考书：1数数据仓库库Inmon W.H著著机机械工业业出版社社2数数据挖掘掘 概概念与与技术Jiawei Han& Micheline

2、Kamber著著机机械工业业出版社社3数数据挖掘掘 朱朱明著著中中国国科学技技术大学学出版社社4数数据仓库库与联机机分析处处理王王珊珊等著著科科学出版版社考核方法法：考核采取取笔试结结合实验验的方法法：实验成绩绩 30%笔试成绩绩 70%第一章数数据仓仓库概述述本章介绍绍了数据据仓库技技术产生生的背景景、数据据仓库的的含义与与特征、数据仓仓库与操操作型数数据库系系统的区区别和数数据仓库库的基本本体系结结构。1.1数数据仓仓库的产产生1.2数数据仓仓库的含含义1.3数数据仓仓库的特特征1.4数数据库库系统与与数据仓仓库1.5数数据仓仓库的基基本结构构1.6数数据仓仓库的基基本概念念1.7数数据仓

3、仓库的数数据组织织11数数据仓仓库的产产生1.数数据处理理分为两两类：事物处理理分析处理理2.传传统数据据库较难难满足分分析处理理的要求求：历史数据据需求量量大不同系统统的数据据难以集集成（蜘蜘蛛网问问题）对大量数数据的访访问性能能不足事务处理理和分析析处理数数据环境境的分离离1.2数数据据仓库的的含义对于什么么是数据据仓库，还有许许多不同同的定义义，如：“数据仓仓库是融融合方法法、技术术和工具具以在完完整的平平台上将将数据提提交给终终端用户户的一种种手段”。“数据仓仓库是对对分布在在企业内内部各处处的业务务数据的的整合、加工和和分析的的过程”。“数据仓仓库是一一种具有有集成性性、稳定定性和提

4、提供决策策支持的的处理”。“为查询询和分析析（不是是事务处处理）而而设计的的关系数数据库”20世纪纪80年年代中期期，“数数据仓库库”这个个名词首首次出现现在号称称“数据据仓库之之父”W.H.Inmon的的Building DataWarehouse一书书中，在在该书中中，W.H.Inmon把数数据仓库库定义为为“一个个面向主主题的、集成的的、稳定定的、随随时间变变化的数数据的集集合，以以用于支支持管理理决策过过程。”（“A datawarehouse is asubject-oriented,integrated,non-volatile, time-variantcollection of

5、 datainsupportofmanagement decisions.”）William H.Inmon:数据仓仓库是一一个面向主题题的、集成的、非易失的的且随时间变变化的数据集合合，用于于支持管管理人员员的决策。数据仓库库之父-BillInmon1.3数数据仓仓库的特特征数据仓库库的数据据是面向向主题的的数据仓库库的数据据是集成成的数据仓库库的数据据是非易易失的数据仓库库的数据据是随时时间不断断变化的的面向主题题主题（Subject）：特特定的数数据分析析领域与与目标。面向主题题：为特特定的数数据分析析领域提提供数据据支持。数据仓库库是面向向分析、决策人人员的主主观要求求的，不不同的用用

6、户有不不同的要要求，同同一个用用户的要要求也会会随时间间而经常常变化，因此，数据仓仓库中的的主题有有时会因因用户主主观要求求的变化化而变化化的。面向主题题为特定数数据分析析领域提提供的数数据与传传统数据据库中的的数据是是有不同同的。传传统数据据库中的的数据是是原始的的、基础础的数据据，而特特定分析析领域数数据则是是需要对对它们作作必要的的抽取、加工与与总结而而形成。面向主题题示例例：一个个面向事事务处理理的“商场”数据库系系统，其其数据模模式如下下采购子系系统：订单（订订单号，供应商商号，总总金额，日期）订单细则则（订单单号，商商品号，类别，单价，数量）供应商（供应商商号，供供应商名名，地址址

7、，电话话）销售子系系统：顾客（顾顾客号，姓名，性别，年龄，文化程程度，地地址，电电话）销售（员员工号，顾客号号，商品品号，数数量，单单价，日日期）面向主题题示例库存管理理子系统统：领料单（领料单单号，领领料人，商品号号，数量量，日期期）进料单（进料单单号，订订单号，进料人人，收料料人，日日期）库存（商商品号，库房号号，库存存量，日日期）库房（库库房号，仓库管管理员，地点，库存商商品描述述）人事管理理子系统统：员工（员员工号，姓名，性别，年龄，文化程程度，部部门号）部门（部部门号，部门名名称，部部门主管管，电话话）面向主题题示例如果按照照面向主主题的方方式进行行数据组组织，首首先应该该抽取主主题

8、，即即按照管管理人员员的分析析要求来来确定主主题，而而与每个个主题相相关的数数据又与与有关的的事务处处理所需需的数据据不尽相相同。在每个主主题中，都包含含了有关关该主题题的所有有信息，同时又又抛弃了了与分析析处理无无关或不不需要的的数据，从而将将原本分分散在各各个子系系统中的的有关信信息集中中在一个个主题中中，形成成有关该该主题的的一个完完整一致致的描述述。面向向主题的的数据组组织方式式所强调调的就是是要形成成一个这这样一致致的信息息集合主题一：商品商品固有有信息：商品号号，商品品名，类类别，颜颜色等商品采购购信息：商品号号，供应应商号，供应价价，供应应日期，供应量量等商品销售售信息：商品号号

9、，顾客客号，售售价，销销售日期期，销售售量等商品库存存信息：商品号号，库房房号，库库存量，日期等等主题二：供应商供应商固固有信息息：供应应商号，供应商商名，地地址，电电话等供应商品品信息：供应商商号，商商品号，供应价价，供应应日期，供应量量等主题三：顾客顾客固有有信息：顾客号号，顾客客名，性性别，年年龄，文文化程度度，住址址，电话话等顾客购物物信息：顾客号号，商品品号，售售价，购购买日期期，购买买量等）示例了一一个电信信企业的的情况。计费数据据库:计计费数据据库记录录了客户户的消费费情况财务数据据库:财财务数据据库记录录了客户户的缴费费情况客户服务务数据库库:客户户的咨询询和投诉诉情况如果直接

10、接基于传传统数据据库系统统进行“客户”和“收收益”信信息的分分析，则则需要访访问多个个数据库库才能获获得客户户或收益益各个侧侧面的信信息（收收益主题题需从计计费数据据库和财财务数据据库中了了解公司司各项业业务的收收入情况况；客户户主题则则要从计计费数据据库、财财务数据据库、客客户服务务数据库库中获得得客户消消费、交交费、咨咨询等全全方位的的信息。），这这样将极极大的影影响系统统处理的的时间和和效率，并且数数据之间间的不一一致性和和不同步步等问题题将影响响决策的的可靠性性。而以以“客户户”和“收益”主题组组织的数数据仓库库，将某某个主题题的全部部相关数数据集中中于一个个地方，这样决决策者可可以非

11、常常方便地地在数据据仓库中中的一个个位置检检索包含含某个主主题的所所有数据据。面向主题题每个主题题所需数数据的物物理存储储：多维数据据库（MDDBMulti-DimensionalDataBase）用用多维数数组形式式存储数数据。关系数据据库。用一组关关系来组组织数据据的存储储，同一一主题的的一组关关系都有有一个公共的关关键字，存放的的也不是是细节性性的业务务数据，而是经经过一定定程度的的综合形形成的综综合性数数据。集成的数据是分分散的；由于事事务处理理应用分分散、蜘蜘蛛网问问题、数数据不一一致问题题、外部部数据和和非结构构化数据据。数据仓库库中的数数据是为为分析服服务的，而分析析需要多多种广

12、泛泛的不同同数据源源以便进进行比较较、鉴别别，因此此数据仓仓库中的的数据必必须从多多个数据据源中获获取，这这些数据据源包括括多种类类型数据据库、文文件系统统以及Internet网上上数据等等，它们们通过数数据集成成而形成成数据仓仓库中的的数据。数据仓库库中存储储的数据据一般从从企业原原来已建建立的数数据库系系统中提提取出来来，但并并不是原原有数据据的简单单拷贝，而是经经过了抽抽取、筛筛选、清清理、综综合等工工作。这这是因为为：1）原原有数据据库系统统记录的的是每一一项业务务处理的的流水帐帐，这些些数据不不适合于于分析处处理。在在进入数数据仓库库之前必必须经过过综合、计算，同时抛抛弃一些些分析处

13、处理不需需要的数数据项，必要时时还要增增加一些些可能涉涉及的外外部数据据。2）数数据仓库库每一个个主题所所对应的的源数据据在源分分散数据据库中有有许多重重复或不不一致之之处，必必须将这这些数据据转换成成全局统统一的定定义，消消除不一一致和错错误之处处，以保保证数据据的质量量；显然然，对不不准确，甚至不不正确的的数据分分析得出出的结果果将不能能用于指指导企业业做出科科学的决决策。3）源源数据加加载到数数据仓库库后，还还要根据据决策分分析的需需要对这这些数据据进行概概括、聚聚集处理理。事实上，决策支支持系统统需要集集成的数数据。全全面而正正确的数数据是有有效地分分析和决决策的首首要前提提，相关关数

14、据收收集得越越完整，得到的的结果就就越可靠靠。因此此，对源源数据的的集成是是数据仓仓库建设设中最关关键，也也是最复复杂的一一步。集成的集成的集成的方方法：统一：消消除不一一致的现现象综合：对对原有数数据进行行综合和和计算需要考虑虑的问题题：数据格式式计量单位位数据代码码含义混混乱数据名称称混乱非易失的的数据仓库库中的数数据是经经过抽取取而形成成的分析析型数据据，不具具有原始始性，主主要供企企业决策策分析之之用，执执行的主主要是查询操作，一一般情况况下不执执行更新操作。同同时，一一个稳定定的数据据环境也也有利于于数据分分析操作作和决策策的制订订。但这也不不等于数数据仓库库中的数数据不需需要更新操

15、作。在需要进进行新的的分析决决策时，可能需需要进行行新的数数据抽取取和更新操作数据仓库库中的一一些过时时的数据据，也可可以通过过删除操作丢弃弃掉。因此数据据仓库的的存储管管理相对对于DBMS来来说要简简单得多多。随时间不不断变化化数据仓库库中的数数据必须须以一定定时间段段为单位位进行统统一更新新。不断增加加新的数数据内容容不断删去去旧的数数据内容容更新与时时间有关关的综合合数据1.4数数据据仓库与与传统数数据库的的比较1.两两个系系统的主主要区别别2.两两个系系统的查查询支持持不同3.两两个系系统数据据组织模模式不同同1两两个系统统的主要要区别传统数据据库系统统的主要要任务是是执行联联机事务务

16、和查询询处理。这种系系统称为为联机事事务处理理（OLTP）系统。它们涵涵盖了一一个组织织的大部部分日常常操作，如购买买、库存存、制造造、银行行、工资资、注册册、记帐帐等。另另一方面面，数据据仓库系系统在数数据分析析和决策策支持方方面提供供服务。这种系系统称为为联机分分析处理理（OLAP）系统。两个系统统的主要要区别概概括如下下：数据内容容：数据库库系统管管理当前前数据。通常，这种数数据太琐琐碎，难难以用于于决策。数据仓仓库系统统管理大大量历史史的、存存档的、归纳的的、计算算的数据据，提供供汇总和和聚集机机制，并并在不同同的粒度度级别上上存储和和管理信信息。这这种特点点使得系系统容易易用于“见多

17、识识广”的的决策。数据目标标：数据库库系统是是面向业业务操作作，用于于办事员员、客户户和信息息技术专专业人员员的事务务和查询询处理。数据仓仓库是面面向主题题的，用用于知识识工人（包括经经理、主主管和分分析人员员）的决决策分析析。数据特性性：数据库库系统存存储的是是当前数数据，数数据是动动态变化化的，按按字段进进行更新新操作。数据仓仓库中数数据是批批量载入入的、静静态的，系统定定期执行行提取过过程为数数据仓库库增加数数据，这这些数据据一旦加加入，一一般不再再从系统统中删除除。数据结构构：数据库库系统采采用面向向应用的的数据库库设计，以高度度结构化化和复杂杂的形式式组织数数据，以以适应复复杂的事事

18、务操作作计算的的需求。数据仓仓库通常常采用面面向主题题的星型型或雪花花数据组组织模式式，以适适应分析析决策，数据结结构简单单。2两两个系统统的查询询支持不不同OLTP系统是是为了快快速回答答简单查查询，而而不是为为了存储储分析趋趋势的历历史数据据而创建建的。一一般的，OLTP提供供了大量量的原始始数据，这些数数据不易易被分析析。数据仓库库需要回回答更复复杂的查查询，而而不仅仅仅是一些些像“英英国主要要城市的的商品平平均销售售价格是是多少”之类的的简单聚聚集数据据查询。数据仓仓库需要要回答的的查询类类型可以以是简单单的查询询，也可可以是高高度复杂杂的，且且还与终终端用户户使用的的查询工工具相关关

19、。以下是某某数据仓仓库支持持的一些些查询示示例:2008年第三三季度，整个英英格兰的的总收入入是多少少？2007年英国国每一类类房产销销售的总总收入是是多少？2008年租借借房产业业务中每每个城市市哪个地地域最受受欢迎？与过去去的两年年相比有有何不同同？每个分支支机构本本月的房房产销售售月收入入是多少少，并与与刚过去去的12个月相相比较。如果对于于10万万英镑以以上的房房产，法法定价格格上升3.5%而政府府税收下下降1.5%，对英国国不同区区域的销销售会产产生什么么影响？在英国主主要城市市中，哪哪种类型型的房产产销售价价格高于于平均房房产销售售价格？这与人人口统计计数据有有何联系系？3两两个系

20、统统数据组组织模式式示例比比较从上述实实例，不不难看出出：1）在从从面向应应用到面面向主题题的转变变过程中中，丢弃弃了原来来有的但但不必要要的、不不适于分分析的信信息；2）在原原有的数数据库模模式中，有关商商品的信信息分散散在各个个子系统统之中；面向主主题的数数据组织织方式所所强调的的就是要要形成关关于主题题一致的的信息集集合；3）不同同主题之之间有重重叠内容容。1.5数数据据仓库的的系统结结构1.三三层数数据仓库库结构数据仓库库服务器器OLAP服务器器前端工具具2.数数据仓仓库的运运行结构构两层数据据仓库结结构多层数据据仓库结结构1.三层数据据仓库结结构原则上，数据仓仓库的系系统结构构被划分

21、分为三层层：数据据仓库服服务器、OLAP服务务器和前前端工具具。1）底底层是数数据仓库库服务器器，它几几乎总是是一个关关系数据据库系统统。数据据仓库系系统使用用后端工工具和实实用程序序从操作作数据库库和外部部信息源源加载和和刷新它它的数据据，这些些机制统统称ETL（Extract/Transformation/Load）工具具，它们们具有数数据抽取取、数据据清洗、数据转转换、数数据加载载和数据据刷新等等功能。此外，这一层层还包含含一个元元数据存存储，它它是关于于数据仓仓库和数数据仓库库中数据据的信息息。2）中中间层是是OLAP服务务器，其其典型的的实现有有：（）关系系OLAP（ROLAP）模模

22、型，即即扩展的的关系DBMS，它将将多维数数据上的的操作映映射为标标准的关关系操作作；（）多维维OLAP（MOALP）模模型，一一种特殊殊的服务务器，它它直接实实现多维维数据操操作。3）顶顶层是客客户，它它包括查查询和报报告工具具、分析析工具和和/或数数据挖掘掘工具（例如关关联分析析、分类类分析、预测等等）。过程模型型数据仓库库管理系系统元数据多维关系系数据库多维数据库外部操作作型数据数据抽取取数据清洁洁数据装载载管理平台台报表查询询工具数据挖掘掘工具OLAP工具仓库管理理数据据建模数据建模模是建立立数据仓仓库的数数据模型型。数据仓库库的数据据模型不不同于数数据库的的数据模模型在于于：数据仓库

23、库只为决决策分析析用，不不包含事事务处理理的数据据。数据仓库库的增加加了时间间属性数数据。数据仓库库增加了了一些综综合数据据。数据仓库库的数据据建模是是适应决决策用户户使用的的逻辑数数据模型型。仓库管理理元数数据管理理最基本的的元数据据相当于于数据库库系统中中的数据据字典。元数据定定义了数数据仓库库有什么么，指明明了数据据仓库中中数据的的内容和和位置，刻画了了数据的的抽取和和转换规规则，存存储了与与数据仓仓库主题题有关的的各种商商业信息息，而且且整个数数据仓库库的运行行都是基基于元数数据的。数据源的的元数据据数据模型型的元数数据数据仓库库映射的的元数据据数据仓库库使用的的元数据据仓库管理理数据

24、据处理异构数据据源：企业内部部数据存档的历历史数据据企业的外外部数据据。软硬件平平台不一一致ETL过过程抽取（Extraction）转换（Transform）装载（Load）分析工具具查询工具具数据仓库库的查询询不是指指对记录录级数据据的查询询，而是是指对分分析要求求的查询询。 分析工具具多维分析析工具通过对信信息的多多种可能能的观察察形式进进行快速速、一致致和交互互性的存存取，这这样便利利用户对对数据进进行深入入的分析析和观察察。多维数据据的每一一维代表表对数据据的一个个特定的的观察视视角，如如时间、地域、业务等等。分析工具具数据挖掘掘工具从大量数数据中挖挖掘具有有规律性性知识，需要利利用数

25、据据挖掘（DataMining）工具。482.数据据仓库的的运行结结构数据仓库库应用是是一个典典型的客客户/服服务器（C/S）结构构形式：客户端所所做的工工作：客客户交互互、格式式化查询询、结果果显示、报表生生成等。服务器端端完成各各种辅助助决策的的SQL查询、复杂的的计算和和各类综综合功能能等。数据仓库库的运行行结构两层数据据仓库结结构数据仓库库数据元数据数据仓库库服务器器数据逻辑辑数据服务务元数据文件服务务客户端图形用户户接口/表示逻逻辑查询规范范数据分析析报表格式式总结数据访问问50解释释客户/服服务器（C/S）是网网络上一一种重要要的组织织形式。数据仓库库在网络络上都是是以服务务器（S

26、erver）形式提提供服务务，能对对网络上上多个客客户（Client）同时提提供服务务。数据仓库库的运行行结构多层数据据仓库结结构多维数据据服务器器数据仓库库数据元数据数据逻辑辑数据服务务元数据文件服务务数据仓库库服务器器应用服务务器图形用户户接口查询规范范数据分析析报表格式式数据访问问客户端过滤总结元数据多维视图图数据访问问52OLAP服务器器将加强强和规范范化决策策支持的的服务工工作，集集中和简简化了原原客户端端和数据据仓库服服务器的的部分工工作，降降低了系系统数据据传输量量。这种结构构形式工工作效率率更高。OLAP的三层层C/S结构1.6数数据仓仓库的基基本概念念1.ETL2.元元数据（

27、MetaData）3.数数据集市市（DataMarket）4.OLAP）1.ETL（Extract/Transformation/Load）数数据抽取取、转换换、加载载工具ETL工工具就是是进行数数据的抽抽取、转转换和加加载。具具体来讲讲，ETL工具具包括：数据提提取（data extract）、数据据转换（datatransform）、数据据清洗（datacleaning）和和数据加加载（data loading）。（1）数据提取取（DataExtract）从数据仓仓库的角角度来看看，并不不是业务务数据库库中的所所有数据据都是决决策支持持所必需需的。通通常，数数据仓库库按照分分析的主主题来组

28、组织数据据，我们们只需提提取出系系统分析析必需的的那一部部分数据据。例如如，某超超市确定定以分析析客户的的购买行行为为主主题建立立数据仓仓库，则则我们只只需将与与客户购购买行为为相关的的数据提提取出来来，而超超市服务务员工的的数据就就没有必必要放进进数据仓仓库。现有的数数据仓库库产品几几乎都提提供各种种关系型型数据接接口，提提供提取取引擎，从关系系型数据据中提取取数据。（2）数数据转转换（Data Transform）由于业务务系统可可能使用用不同的的数据库库厂商的的产品，比如IBMDB2、Oracle、Informix、Sybase、 NCRTeradata、SQL Server等，各种数数

29、据库产产品提供供的数据据类型可可能不同同，因此此，需要要将不同同格式的的数据转转换成统统一的数数据格式式。如时时间格式式“年/月/日日”，“月/日日/年”、“日日-月-年”的的不一致致问题等等。（3）数数据清清洗（Data Clean）对于决策策支持系系统来说说，最重重要的是是决策的的准确性性，因此此确保数数据仓库库中数据据的准确确性是极极其重要要的。从从多个业业务系统统中获取取数据时时，必须须对数据据进行必必要的清清洗，从从而得到到准确的的数据。所谓“清清洗”就就是将错错误的、不一致致的数据据在进入入数据仓仓库之前前予以更更正或删删除，以以免影响响决策支支持系统统决策的的正确性性。（4）数数

30、据加加载（Data Load）数据加载载部件负负责将数数据按照照物理数数据模型型定义的的表结构构装入数数据仓库库，包括括清空数数据域、填充空空格、有有效性检检查等步步骤。2.元元数据（MetaData）元数据是描述数数据的数数据。元数据通通常包括括：数据仓库库结构的的描述信信息，包括仓仓库模式式、视图图、维、层次结结构和导导出数据据的定义义，以及及数据集集市的位位置和内内容。操作元数数据，包括数数据血统统信息（来自何何处以及及如何转转换的），数据据流通信信息（主主动的、档案的的或净化化的）以以及监视视信息（仓库使使用统计计、错误误报告、审计跟跟踪）。汇总用的的算法，包括度度量与维维定义算算法，

31、数数据粒度度、分割割、主题题域、聚聚集、汇汇总、预预定义查查询与报报告的算算法。由操作环环境到数数据仓库库的映射射信息，包括源源数据库库和它们们的内容容，ETL程序序描述，数据分分割、提提取、清清理和转转换的规规则和缺缺省，数数据刷新新和裁减减的规则则以及数数据安全全信息（用户授授权和存存取控制制）。关于系统统性能的的数据信信息，除刷新新、更新新和复制制周期的的定时和和调度的的规则外外，还包包括改善善数据存存取和检检索性能能的索引引和配置置。商务元数数据，包括商商务术语语和定义义，数据据拥有者者信息和和收费策策略。数据仓库库包括不不同级别别的综合合，元数数据是其其中一种种类型。其它类类型包括括

32、当前的的细节数数据（几几乎总是是在磁盘盘上），老的细细节数据据（通常常在三级级存储器器上），稍加综综合的数数据，以以及高度度综合的的数据（可以存存入仓库库也可以以不存入入）。3.数数据集市市（DataMarket）建立数据据集市的的原因数据仓库库是一种种反映主主题的全全局性数数据组织织。但是是,全局局性数据据仓库往往往太大大，在实实际应用用中将它它们按部部门或个个人分别别建立反反映各个个子主题题的局部部性数据据组织,它们即即是数据集市市。因此，有时我我们也称称它为部门数据据仓库。例：在有有关商品品销售的的数据仓仓库中可可以建立立多个不不同主题题的数据据集市：商品采购购数据集集市库房使用用数据集

33、集市商品销售售数据集集市60数据集市市（DataMarts）是一种种更小、更集中中的数据据仓库，为公司司提供分分析商业业数据的的一条廉廉价途径径。Data Marts是指具具有特定定应用的的数据仓仓库，主主要针对对某个应应用或者者具体部部门级的的应用，支持用用户获得得竞争优优势或者者找到进进入新市市场的具具体解决决方案。数据集市市概念数据集市市类型按照数据据获取来来源：独立型：直接从从操作型型环境获获取数据据。从属型：从企业业级数据据仓库获获取数据据。独立数据据集市(IndependentDataMart)从属数据据集市(Dependent DataMart)4.OLAPOLAP（On-lineAnalytical Processing，在线分分析处理理或联机机分析处处理）就是一个个应用广广泛的数数据仓库库使用技技术。它它可以根根据分析析人员的的要求，迅速灵灵活地对对大量的的数据进进行复杂杂的查询询处理，并以直直观的容容易理解解的形式式