第八章 电子商务中的数据处理技术

1、数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的定义数据仓库的定义数据仓库是：用于管理决策支持的面向主题、集成、数据仓库是：用于管理决策支持的面向主题、集成、稳定、随时间变化的数据集合稳定、随时间变化的数据集合 。数据仓库的特点：面向主题、集成、时变，不可修改。数据仓库的特点：面向主题、集成、时变，不可修改。数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能

2、的应用商业智能的应用数据集市是一种更小、更集中的数据仓库，是为企业数据集市是一种更小、更集中的数据仓库，是为企业提供分析企业数据的一条廉价途径提供分析企业数据的一条廉价途径 。元数据是关于数据的数据，它描述了数据仓库的数据元数据是关于数据的数据，它描述了数据仓库的数据和环境。和环境。 多维数据库就是以多维方式在组织数据多维数据库就是以多维方式在组织数据 。外部数据是不能在联机事务处理（外部数据是不能在联机事务处理（OLTP）系统中）系统中找到，但为增强数据仓库中信息质量而所需的数据。找到，但为增强数据仓库中信息质量而所需的数据。数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据

3、仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内

4、涵商业智能的应用商业智能的应用数据仓库组织和管理数据的方法与普通数据库不同。主要表现在以下3个方面。 它依据决策要求，只从数据库中抽取那些需要的数据，并进行一定的处理。 数据仓库是多维的，即数据仓库中数据的组织方式有多层的行和列。 它采用分析型的数据处理而非普通的操作型的数据处理方式，支持决策处理 而非常规事务处理。操作型数据的特点分析型数据的特点细节的综合的、经过提炼的在存取的瞬间是准确的代表过去的数据可更新不更新操作需求通常事先可知分析需求通常事先不知道生命周期符合SDLC生命周期不同于SDLC对性能（如操作时延）要求高对性能要求较宽一个时刻操作一个数据单元一个时刻操作一个数据集合事物驱动

5、分析驱动面向应用面向分析一次操作数据量小一次操作数据量很大支持日常操作需求支持管理需求操作型数据和分析型数据的区别高性能的数据库服务器高性能的数据库服务器数据库互操作技术数据库互操作技术并行数据库技术并行数据库技术数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据仓库的特性数据仓库的特性数据仓库的

6、数据是集成的。数据仓库的数据是集成的。 数据仓库的数据是不可更新的数据仓库的数据是不可更新的 。 数据仓库的数据是面向主题的数据仓库的数据是面向主题的 。数据仓库的数据是随时间不断变化的数据仓库的数据是随时间不断变化的 。数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用优化企业内部管理控制：数据仓库

7、的第二类应用目标是对企业的管优化企业内部管理控制：数据仓库的第二类应用目标是对企业的管理控制进行优化，包括产品生产和人员管理。理控制进行优化，包括产品生产和人员管理。 为企业增加商业机会：数据仓库的第三类应用目标是为了企业增加为企业增加商业机会：数据仓库的第三类应用目标是为了企业增加商业机会。商业机会。 作为企业的核心业务：以核心业务为主要目标的数据仓库是关键业作为企业的核心业务：以核心业务为主要目标的数据仓库是关键业务驱动的。务驱动的。 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术

8、数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用 产品的生产制造数据仓库的数据处理目的为客户和消费者提供他们

9、所需的产品为某些分析目标提供他们所需的面向主题的，集成的，相对稳定的和随时间变化的数据集合库存存货：维护存货和过多的存货会导致效率低下，成本高昂孤立的数据：孤立的数据就像存货一样维护起来成本昂贵，只有将其转变成能传递给用户使用的知识，这些数据才有用。设计设计蓝图和原材料：对产品进行概念描述和设计，研究和确定需要什么原材料，哪些原材料能生产出最好的产品模型和数据元：对应用目标进行建模描述，研究和确定需要什么数据，哪些数据更能满足目标需求，并将这些数据集合成数据元生产部件：将这些原材料制成部件主题数据仓库：将数据元组合成主题数据仓库组装产品：将部件装配成产品数据中心：由主题数据仓库生成数据中心销售

10、分销渠道：产品经由各种渠道（批发，直销，代销，零售等）销售出去分发途径：数据通过各种途径（因特网，内部网，报告，计算机程序等）分发出去产品完善产品使用过程：反馈，改进，升级，增强，淘汰数据使用过程：调用，增强，升级，废弃数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据仓库数据仓库数据仓库概念及特

11、点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用联机分析处理联机分析处理 (OLAP)OLAPOLAP是在联机事务处理（是在联机事务处理（OLTPOLTP）基础上发展起来的。）基础上发展起来的。 OLAPOLAP工具可分为两大类，一类是基于多维数据库的，另一工具可分为两大类，一类是基于多维数据库的，另一类是基于关系数据库的。类是基

12、于关系数据库的。 联机分析处理技术也称多维分析，它是一种数据分析联机分析处理技术也称多维分析，它是一种数据分析技术，能够完成基于某种数据存储的数据分析功能。技术，能够完成基于某种数据存储的数据分析功能。 OLAP服务器是一个高容量和多用户的数据操作引擎服务器是一个高容量和多用户的数据操作引擎, 用用于支持和操作多维数据结构。于支持和操作多维数据结构。 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商

13、业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用联机分析处理联机分析处理 (OLAP)数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用OLAP分析中的维度与事实分析中的维度与事实 维表的本质是多维分析空间在某个角度上的投影，多个维表的本质是多维分

14、析空间在某个角度上的投影，多个维表共同建立一个多维的分析空间。维表共同建立一个多维的分析空间。 在在OLAP分析中有一些常用的维度分析中有一些常用的维度：时间维时间维 、地理维地理维 、机构维机构维 、客户维客户维 、产品维产品维 。模型中的事实一般用维表来描述。模型中的事实一般用维表来描述。事实是各个维度的交点，是对某个特定事件的度量。事实是各个维度的交点，是对某个特定事件的度量。 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代

15、数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用多维多维OLAP分析图分析图 产品时间财务指标卷烟销售分析国产烟进口烟T1T2T3T4收入开销数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用钻取钻取 收入开销产品

16、时间财务指标卷烟销售分析进口烟国产烟Q1Q2Q3Q4杭产烟上海烟中华双喜数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用切片切片 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数

17、据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用旋转旋转 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据挖掘的定义数据挖掘的定义 数据挖掘是从数据中抽取正确的、有用

18、的、以前未知数据挖掘是从数据中抽取正确的、有用的、以前未知的和综合的可理解的信息，并使用该信息作商业决策的和综合的可理解的信息，并使用该信息作商业决策的过程。的过程。数据挖掘的意义数据挖掘的意义 数据挖掘是一种决策支持的过程数据挖掘是一种决策支持的过程 ，能高度自动地分析能高度自动地分析企业原有的数据，进行归纳推理，从中挖掘出潜在的企业原有的数据，进行归纳推理，从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调整市场模式，预测客户的行为，帮助企业的决策者调整市场策略，从而减少风险，辅助做出正确的决策。策略，从而减少风险，辅助做出正确的决策。 数据仓库数据仓库数据仓库概念及特点数据仓库概念

19、及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用联机分析处理的局限联机分析处理的局限 联机分析处理需要对用户的需求有全面而深入的了解联机分析处理需要对用户的需求有全面而深入的了解 。抽取信息的质量依赖于用户对结果的解释抽取信息的质量依赖于用户对结果的解释 。 常常需要以假设为基础。常常需要以假设为基础。 数据仓库数据仓库数据仓库概念及特点数据仓

20、库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用

21、商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和

22、内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联

23、机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用现代数据库技术的优越性现代数据库技术的优越性 联机分析处理从数据仓库中的集成数据出发，联机分析处理从数据仓库中的集成数据出发，实现了实现了分析方法和数据结构的分离。分析方法和数据结构的分离。数据挖掘以数据仓库和多维数据库中的大量数据为基础，数据挖掘以数据仓库和多维数据库中的大量数据为基础，自动地发现数据中的潜在模式自动地发现数据中的潜在模式 。

24、 数据仓库解决了数据不统一的问题。数据仓库解决了数据不统一的问题。 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖

25、掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据挖掘技术数据挖掘技术决策者分析工具浏览器数据仓库Web数据库内部业务EDI单证Web数据库业务数据库数据收集与发布Web系统决策支持系统决策EDI系统管理信息系统数据收集 数据格式转化 数据的收集、存储和组织数据的收集、存储和组织 决策支持决策支持 对对EDIEDI的支持的支持 对对WebWeb支持支持 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结

26、构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用商业智能商业智能 BI 系统的最终目标是使用户能够消费大量有关数据，对系统的最终目标是使用户能够消费大量有关数据，对其进行分析从而使企业有机会增加收入或者节省成本。其进行分析从而使企业有机会增加收入或者节省成本。 商业智能（商业智能（BI）系统使组织能够通过利用客户、供应商）系统使组织能够通过利用客户、供应商以及内部业务操作

27、的有关信息来提高商业性能。以及内部业务操作的有关信息来提高商业性能。 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据

28、挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用用户面临激烈的市场竞争。用户面临激烈的市场竞争。 户在户在ITIT方面必须有足够的的资

29、金。方面必须有足够的的资金。 用户的数据积累已达到一定规模。用户的数据积累已达到一定规模。 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用商业智能系统的主要优点商业智能系统的主要优点 商业智能系统着眼于终端用户对业务数据的访问和商业智能系统着眼于终端用户对业务数据的访问和业务数据的传送，它同时为信

30、息提供者和信息消费者业务数据的传送，它同时为信息提供者和信息消费者提供了支持。提供了支持。商业智能系统支持对所有格式商务信息的访问，而不商业智能系统支持对所有格式商务信息的访问，而不仅仅是那些存储在数据仓库中的信息。仅仅是那些存储在数据仓库中的信息。商业智能系统不仅支持最新的商业智能系统不仅支持最新的ITIT技术，同时也提供了技术，同时也提供了一系列的应用解决方案。一系列的应用解决方案。数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商业智能商业智能的商业智能的特点和作用特点和作用商业智能的内涵商业智能的内涵商业智能的应用商业智能的应用商业智能的管理方式商业智能的管理方式 基于例外的管理方式。基于例外的管理方式。 基于事实的管理方式。基于事实的管理方式。 基于目标的管理方式。基于目标的管理方式。 数据仓库数据仓库数据仓库概念及特点数据仓库概念及特点数据仓库的数据仓库的结构及功能结构及功能联机分析处理技术联机分析处理技术（OLAPOLAP）数据挖掘技术数据挖掘技术数据挖掘的数据挖掘的概念和内涵概念和内涵现代数据库技术现代数据库技术商业智能商