数据管理技术课件

数据管理技术管理信息系统数据管理技术管理信息系统12引例

举一个简单的例子，我们每个人都有不少亲朋好友，为了保持与他们的联系，我们常常用一个笔记本将他们的姓名、地址、电话等信息都记录下来，这样，要查谁的电话或地址就很方便了。这个“通讯录”就是一个最简单的“数据库”，每个人的姓名、地址、电话等信息就是这个数据库中的“数据”。我们可以在笔记本这个“数据库”中添加新朋友的个人信息，也可以由于某个朋友的电话变动而修改他的电话号码这个“数据”。当然，如果你没有什么秘密的话，你的朋友也可以通过这个笔记本查找相关信息。1.1数据管理技术概述2引例举一个简单的例子，我们每个人都有不少亲朋3

在我们的生活中这样的“数据库”随处可见。图书管理员在查找一本书时，首先要通过目录检索找到那本书的分类号和书号，然后在书库找到那一类书的书架，并在那个书架上按照书号的大小次序查找，这样很快就能找到我所需要的书。数据库里的数据像图书馆里的图书一样，也要让人能够很方便地找到才行。如果所有的书都不按规则，胡乱堆在各个书架上，那么借书的人根本就没有办法找到他们想要的书。同样的道理，如果把很多数据胡乱地堆放在一起，让人无法查找，这种数据集合也不能称为“数据库”。1.1数据管理技术概述

存储在计算机内的、为实现一定目的而按某种规则组织起来的、可共享的“数据”的“集合”。数据库3在我们的生活中这样的“数据库”随处可见。图书管理41.1数据管理技术概述

人工系统、文件系统、数据库管理数据管理技术的发展程序1数据集1程序2数据集2程序n数据集n……数据库程序1程序2程序3DBMS文件1文件1文件1程序1程序2程序3文件系统41.1数据管理技术概述人工系统451.2数据库的特点

数据结构化是数据库与文件系统的根本区别。数据库系统中，数据具有整体的结构化。不仅数据是结构化的，而且存取数据的方式也很灵活，可以存取数据库中的某一个数据项、一组数据项。一个记录或一组记录。1.数据结构化例如，一个学生人事记录文件，每个记录都有如图的记录格式。学号姓名性别系别年龄政治面貌……00001张三男管理19团员00002王东男经济18团员51.2数据库的特点数据结构化是数据库561.2数据库的特点

数据共享可以大大减少数据冗余，节约存储空间。数据共享还能够避免数据之间的不相容性与不一致性。2.数据的共享性高，冗余度低，易扩充包括数据的物理独立性和数据的逻辑独立性3.数据独立性高

①数据的安全性保护②数据的完整性检查

③并发控制④数据库恢复4.数据由DBMS统一管理和控制61.2数据库的特点数据共享可以大大减少67引语

当你听到“数据仓库（DataWarehousing）”这个词时会想到什么呢？你会想到这也许是一个满是货架的房间，但货架上的物品是很特殊的，它们是按一定次序存放的各种信息，等待用户提取。1.3数据仓库

假设你确实是这么想的，那么恭喜你已经向数据仓库迈进了一步。那到底数据仓库和传统仓库相比有什么不同呢

7引语当你听到“数据仓库（DataWareh8

首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。1.3数据仓库

是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据仓库（DataWarehouse）8首先，数据仓库用于支持决策，面向分析型数据处理，它不91.3数据仓库数据仓库中的数据是按照一定的主题域进行组织1.面向主题的数据仓库内的信息是关于整个企业的一致的全局信息2.集成的RDBMS的数据通常实时更新。数据仓库中有大量的查询操作，修改和删除操作很少，只需要定期地加载和刷新。3.相对稳定的

数据仓库中通常包含历史信息，记录了企业从过去某一时点到目前的各个阶段的信息。4.反映历史变化的数据仓库的特点91.3数据仓库数据仓库中的数据是按照一定的主题域进行组910思考

为什么要建“数据仓库（DataWarehousing）”？1.3数据仓库

数据仓库具有将信息转换成知识的潜在能力，顾客的深层次信息可以潜在地传送给经理。1.管理中的问题

现有系统不合适，以及缺少商业信息。许多产品系统无法满足商业用户的需要。2.现有系统的现状10思考为什么要建“数据仓库（DataWar111.3数据仓库

数据仓库收集的只是那些进行决策所需的信息。比如MasterCard（万事达）公司和它的数据仓库，以及MasterCard的联机系统。该公司的数据仓库除了其是世界上最大的数据仓库这一事实之外，还可以为与它合作的银行、商店、饭店等合作伙伴挖掘有价值的信息。如果你正在为一家饭店工作，并想以赠机票的方式作为促销活动的一部分，那么MasterCard的数据仓库可以为顾客建立这样的联机分析查询：“那些经常最少一月两次来往我们饭店的顾客，他们喜欢去的目的地是哪儿？”111.3数据仓库数据仓库收集12思考

为什么需要数据挖掘（DataMining）？1.4数据挖掘

当今数据库的容量已经达到上万亿（T）的水平——1，000，000，000，000个字节。在这些大量数据的背后隐藏了很多具有决策意义的信息，那么怎么得到这些“知识”呢？也就是怎样通过一颗颗的树木了解到整个森林的情况呢？12思考为什么需要数据挖掘（DataMini13人们在日常生活中经常会遇到这样的情况：超市的经营者希望将经常被同时购买的商品放在一起，以增加销售；保险公司想知道购买保险的客户一般具有哪些特征；医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助；……1.4数据挖掘13人们在日常生活中经常会遇到这样的情况：1.4数据挖掘141.4数据挖掘如何在堆积如山的企业交易数据中发现具有商业价值的闪光点？如何使您的企业或组织在激烈的市场竞争中保持对客户的吸引力？如何预先发现和避免企业运作过程中不易察觉的商业风险？141.4数据挖掘如何在堆积如山的企业交易数据中151.4数据挖掘

随着网络技术的发展，电子化数据越来越多，据估计，全球的信息量每20个月翻一番。人们正面临着“数据丰富而知识贫乏”的状况。然而，人们目前所使用的数据库技术无法将隐藏在数据背后的重要信息挖掘出来利用。所以如何迅速、准确、有效但适量地提供用户所需的信息，发现信息之间潜在的联系，支持管理决策就是数据挖掘和数据仓库要解决的课题。我们会淹死在数据中,但却为信息、知识所饿!20年前因为数据太少而查不到数据，20年后因为数据太多而查不到数据151.4数据挖掘随着网络技术的发展，电子化数161.4数据挖掘

计算机科学对这个问题给出的最新回答就是：数据挖掘，在“数据矿山”中找到蕴藏的“知识金块”，帮助企业减少不必要投资的同时提高资金回报。数据挖掘给企业带来的潜在的投资回报几乎是无止境的。世界范围内具有创新性的公司都开始采用数据挖掘技术来判断哪些是他们的最有价值客户，重新制定他们的产品推广策略（把产品推广给最需要他们的人），以用最小的花费得到最好的销售。161.4数据挖掘计算机科学对17

在数据挖掘中发现的知识，并不是崭新的自然科学定理或者数学公式，而是数据之间存在的某一种关联。这种关联对不同的人呈现出完全不同的价值，比如，购买果酱的人60%同时购买了面包，对超市经营者是非常难得的商业信息，而对消费者而言，几乎没有任何意义。

从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先难以预计的，潜在的有价值信息和知识的过程。数据挖掘（DataWarehouse）1.4数据挖掘17在数据挖掘中发现的知识，并不是崭新的自然科学定理18

1.4数据挖掘案例阅读

阅读书中案例，体会什么是数据挖掘？数据挖掘经典案例——啤酒与尿布181.4数据挖掘案例阅读阅读书中案例，191.4数据挖掘啤酒与尿布的故事

某大型超市发现每到周末，啤酒与尿布的销量就会同时大增，这是什么原因呢？经过研究人员分析发现，原来家里的太太们让丈夫们去超市给孩子买尿布，而丈夫们在买尿布的时候往往顺便买上几瓶啤酒回去喝。这样就产生了这个比较奇怪的现象。191.4数据挖掘啤酒与尿布的故事某201.4数据挖掘啤酒与尿布的故事

沃尔玛早年利用NCR数据仓库技术，对商品进行市场类组分析，即分析哪些商品顾客最有希望一起购买。沃尔玛利用NCR自动数据挖掘工具(模式识别软件)对一年多详细的原始交易数据进行分析和挖掘。一个意外的发现就是：跟尿布一起购买最多的商品竟是啤酒！沃尔玛就在它的一个个商店里将它们并排摆放在一起，结果是尿布与啤酒的销售量双双增长。201.4数据挖掘啤酒与尿布的故事211.4数据挖掘清晰地定义出业务问题1.确定业务对象取出一个问题相关的样板数据子集2.数据的选择数据集成和数据清理3.数据的预处理转换成一个针对挖掘算法建立的分析模型4.数据的转换进行关联规则、序列模式、分类、聚集等各项分析5.数据挖掘用图表、图形曲线等为用户提供清晰、直观的结果描述6.结果的解释及评价数据挖掘的过程211.4数据挖掘清晰地定义出业务问题1.确221.4数据挖掘在证券业的应用：可处理客户分析、帐户分析、证券交易数据分析、非资金交易分析等多个业界关心的主题，为客户提供针对其个人习惯、投资组合的投资建议，从而真正作到对客户的贴心服务。在税务领域的应用：

可以解决三个方面的问题：一是查出应税未报者和瞒税漏税者，并对其进行跟踪；二是对不同行业、产品和市场中纳税人的行为特性进行描述，找出普遍规律，谋求因势利导的税务征稽策略；三是对不同行业、产品和市场应收税款进行预测，制定最有效的征收计划。数据挖掘的应用领域221.4数据挖掘在证券业的应用：数据挖掘的应用231.4数据挖掘在银行领域的应用：

防范银行的经营风险、实现科学管理以及进行决策.

在保险业的应用：

满足保险行业日益增长的各种查询、统计、报表以及分析的需求，提高防范和化解经营风险的能力，有效利用这些数据来实现经营目标，预测保险业的发展趋势，甚至利用这些数据来设计保险企业的发展宏图，在激烈的竞争中赢得先机.数据挖掘的应用领域231.4数据挖掘在银行领域的应用：数据挖掘的应谢谢观看！管理信息系统谢谢观看！管理信息系统24数据管理技术管理信息系统数据管理技术管理信息系统2526引例

举一个简单的例子，我们每个人都有不少亲朋好友，为了保持与他们的联系，我们常常用一个笔记本将他们的姓名、地址、电话等信息都记录下来，这样，要查谁的电话或地址就很方便了。这个“通讯录”就是一个最简单的“数据库”，每个人的姓名、地址、电话等信息就是这个数据库中的“数据”。我们可以在笔记本这个“数据库”中添加新朋友的个人信息，也可以由于某个朋友的电话变动而修改他的电话号码这个“数据”。当然，如果你没有什么秘密的话，你的朋友也可以通过这个笔记本查找相关信息。1.1数据管理技术概述2引例举一个简单的例子，我们每个人都有不少亲朋27

在我们的生活中这样的“数据库”随处可见。图书管理员在查找一本书时，首先要通过目录检索找到那本书的分类号和书号，然后在书库找到那一类书的书架，并在那个书架上按照书号的大小次序查找，这样很快就能找到我所需要的书。数据库里的数据像图书馆里的图书一样，也要让人能够很方便地找到才行。如果所有的书都不按规则，胡乱堆在各个书架上，那么借书的人根本就没有办法找到他们想要的书。同样的道理，如果把很多数据胡乱地堆放在一起，让人无法查找，这种数据集合也不能称为“数据库”。1.1数据管理技术概述

存储在计算机内的、为实现一定目的而按某种规则组织起来的、可共享的“数据”的“集合”。数据库3在我们的生活中这样的“数据库”随处可见。图书管理281.1数据管理技术概述

人工系统、文件系统、数据库管理数据管理技术的发展程序1数据集1程序2数据集2程序n数据集n……数据库程序1程序2程序3DBMS文件1文件1文件1程序1程序2程序3文件系统41.1数据管理技术概述人工系统28291.2数据库的特点

数据结构化是数据库与文件系统的根本区别。数据库系统中，数据具有整体的结构化。不仅数据是结构化的，而且存取数据的方式也很灵活，可以存取数据库中的某一个数据项、一组数据项。一个记录或一组记录。1.数据结构化例如，一个学生人事记录文件，每个记录都有如图的记录格式。学号姓名性别系别年龄政治面貌……00001张三男管理19团员00002王东男经济18团员51.2数据库的特点数据结构化是数据库29301.2数据库的特点

数据共享可以大大减少数据冗余，节约存储空间。数据共享还能够避免数据之间的不相容性与不一致性。2.数据的共享性高，冗余度低，易扩充包括数据的物理独立性和数据的逻辑独立性3.数据独立性高

①数据的安全性保护②数据的完整性检查

③并发控制④数据库恢复4.数据由DBMS统一管理和控制61.2数据库的特点数据共享可以大大减少3031引语

当你听到“数据仓库（DataWarehousing）”这个词时会想到什么呢？你会想到这也许是一个满是货架的房间，但货架上的物品是很特殊的，它们是按一定次序存放的各种信息，等待用户提取。1.3数据仓库

假设你确实是这么想的，那么恭喜你已经向数据仓库迈进了一步。那到底数据仓库和传统仓库相比有什么不同呢

7引语当你听到“数据仓库（DataWareh32

首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。1.3数据仓库

是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据仓库（DataWarehouse）8首先，数据仓库用于支持决策，面向分析型数据处理，它不331.3数据仓库数据仓库中的数据是按照一定的主题域进行组织1.面向主题的数据仓库内的信息是关于整个企业的一致的全局信息2.集成的RDBMS的数据通常实时更新。数据仓库中有大量的查询操作，修改和删除操作很少，只需要定期地加载和刷新。3.相对稳定的

数据仓库中通常包含历史信息，记录了企业从过去某一时点到目前的各个阶段的信息。4.反映历史变化的数据仓库的特点91.3数据仓库数据仓库中的数据是按照一定的主题域进行组3334思考

为什么要建“数据仓库（DataWarehousing）”？1.3数据仓库

数据仓库具有将信息转换成知识的潜在能力，顾客的深层次信息可以潜在地传送给经理。1.管理中的问题

现有系统不合适，以及缺少商业信息。许多产品系统无法满足商业用户的需要。2.现有系统的现状10思考为什么要建“数据仓库（DataWar351.3数据仓库

数据仓库收集的只是那些进行决策所需的信息。比如MasterCard（万事达）公司和它的数据仓库，以及MasterCard的联机系统。该公司的数据仓库除了其是世界上最大的数据仓库这一事实之外，还可以为与它合作的银行、商店、饭店等合作伙伴挖掘有价值的信息。如果你正在为一家饭店工作，并想以赠机票的方式作为促销活动的一部分，那么MasterCard的数据仓库可以为顾客建立这样的联机分析查询：“那些经常最少一月两次来往我们饭店的顾客，他们喜欢去的目的地是哪儿？”111.3数据仓库数据仓库收集36思考

为什么需要数据挖掘（DataMining）？1.4数据挖掘

当今数据库的容量已经达到上万亿（T）的水平——1，000，000，000，000个字节。在这些大量数据的背后隐藏了很多具有决策意义的信息，那么怎么得到这些“知识”呢？也就是怎样通过一颗颗的树木了解到整个森林的情况呢？12思考为什么需要数据挖掘（DataMini37人们在日常生活中经常会遇到这样的情况：超市的经营者希望将经常被同时购买的商品放在一起，以增加销售；保险公司想知道购买保险的客户一般具有哪些特征；医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助；……1.4数据挖掘13人们在日常生活中经常会遇到这样的情况：1.4数据挖掘381.4数据挖掘如何在堆积如山的企业交易数据中发现具有商业价值的闪光点？如何使您的企业或组织在激烈的市场竞争中保持对客户的吸引力？如何预先发现和避免企业运作过程中不易察觉的商业风险？141.4数据挖掘如何在堆积如山的企业交易数据中391.4数据挖掘

随着网络技术的发展，电子化数据越来越多，据估计，全球的信息量每20个月翻一番。人们正面临着“数据丰富而知识贫乏”的状况。然而，人们目前所使用的数据库技术无法将隐藏在数据背后的重要信息挖掘出来利用。所以如何迅速、准确、有效但适量地提供用户所需的信息，发现信息之间潜在的联系，支持管理决策就是数据挖掘和数据仓库要解决的课题。我们会淹死在数据中,但却为信息、知识所饿!20年前因为数据太少而查不到数据，20年后因为数据太多而查不到数据151.4数据挖掘随着网络技术的发展，电子化数401.4数据挖掘

计算机科学对这个问题给出的最新回答就是：数据挖掘，在“数据矿山”中找到蕴藏的“知识金块”，帮助企业减少不必要投资的同时提高资金回报。数据挖掘给企业带来的潜在的投资回报几乎是无止境的。世界范围内具有创新性的公司都开始采用数据挖掘技术来判断哪些是他们的最有价值客户，重新制定他们的产品推广策略（把产品推广给最需要他们的人），以用最小的花费得到最好的销售。161.4数据挖掘计算机科学对41

在数据挖掘中发现的知识，并不是崭新的自然科学定理或者数学公式，而是数据之间存在的某一种关联。这种关联对不同的人呈现出完全不同的价值，比如，购买果酱的人60%同时购买了面包，对超市经营者是非常难得的商业信息，而对消费者而言，几乎没有任何意义。

从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先难以预计的，潜在的有价值信息和知识的过程。数据挖掘（DataWarehouse）1.4数据挖掘17在数据挖掘中发现的知识，并不是崭新的自然科学定理42

1.4数据挖掘案例阅读

阅读书中案例，体会什么是数据挖掘？数据挖掘经典案例——啤酒与尿布181.4数据挖掘案例阅读阅读书中案例，431.4数据挖掘啤酒与尿布的故事

某大型超市发现每到周末，啤酒与尿布的销量就会同时大增，这是什么原因呢？经过研究人员分析发现，原来家里的太太们让丈夫们去超市给孩子买尿布，而丈夫们在买尿布的时候往往顺便买上几瓶啤酒回去喝。这样就产生了这个比较