电商商务概论（第5版）第八章 电子商务中的数据处理技术

数据仓库数据仓库概念及特点数据仓库的定义数据仓库是：用于管理决策支持的面向主题、集成、稳定、随时间变化的数据集合。数据仓库的特点：面向主题、集成、时变，不可修改。数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据数据集市是一种更小、更集中的数据仓库，是为企业提供分析企业数据的一条廉价途径。元数据是关于数据的数据，它描述了数据仓库的数据和环境。多维数据库就是以多维方式在组织数据。外部数据是不能在联机事务处理（OLTP）系统中找到，但为增强数据仓库中信息质量而所需的数据。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据数据仓库与数据库的区别数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能数据仓库组织和管理数据的方法与普通数据库不同。主要表现在以下3个方面。①它依据决策要求，只从数据库中抽取那些需要的数据，并进行一定的处理。②数据仓库是多维的，即数据仓库中数据的组织方式有多层的行和列。③它采用分析型的数据处理而非普通的操作型的数据处理方式，支持决策处理而非常规事务处理。操作型数据的特点分析型数据的特点细节的综合的、经过提炼的在存取的瞬间是准确的代表过去的数据可更新不更新操作需求通常事先可知分析需求通常事先不知道生命周期符合SDLC生命周期不同于SDLC对性能（如操作时延）要求高对性能要求较宽一个时刻操作一个数据单元一个时刻操作一个数据集合事物驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量很大支持日常操作需求支持管理需求操作型数据和分析型数据的区别大数据数据仓库的技术支持高性能的数据库服务器数据库互操作技术并行数据库技术数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据数据仓库的特性数据仓库的数据是集成的。

数据仓库的数据是不可更新的。数据仓库的数据是面向主题的。数据仓库的数据是随时间不断变化的。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据数据仓库的应用目标优化企业内部管理控制：数据仓库的第二类应用目标是对企业的管理控制进行优化，包括产品生产和人员管理。为企业增加商业机会：数据仓库的第三类应用目标是为了企业增加商业机会。

作为企业的核心业务：以核心业务为主要目标的数据仓库是关键业务驱动的。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能数据仓库的体系结构大数据产品的生产过程与数据仓库的数据处理过程的对比

产品的生产制造数据仓库的数据处理目的为客户和消费者提供他们所需的产品为某些分析目标提供他们所需的面向主题的，集成的，相对稳定的和随时间变化的数据集合库存存货：维护存货和过多的存货会导致效率低下，成本高昂孤立的数据：孤立的数据就像存货一样维护起来成本昂贵，只有将其转变成能传递给用户使用的知识，这些数据才有用。设计设计蓝图和原材料：对产品进行概念描述和设计，研究和确定需要什么原材料，哪些原材料能生产出最好的产品模型和数据元：对应用目标进行建模描述，研究和确定需要什么数据，哪些数据更能满足目标需求，并将这些数据集合成数据元生产部件：将这些原材料制成部件主题数据仓库：将数据元组合成主题数据仓库组装产品：将部件装配成产品数据中心：由主题数据仓库生成数据中心销售分销渠道：产品经由各种渠道（批发，直销，代销，零售等）销售出去分发途径：数据通过各种途径（因特网，内部网，报告，计算机程序等）分发出去产品完善产品使用过程：反馈，改进，升级，增强，淘汰数据使用过程：调用，增强，升级，废弃数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据

数据仓库的功能

数据的抽取、转换和加载功能

数据仓库的功能

数据的清洗、融合与集成功能

数据存储管理和查询功能

运行维护功能

数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据联机分析处理(OLAP)OLAP是在联机事务处理（OLTP）基础上发展起来的。

OLAP工具可分为两大类，一类是基于多维数据库的，另一类是基于关系数据库的。联机分析处理技术也称多维分析，它是一种数据分析技术，能够完成基于某种数据存储的数据分析功能。OLAP服务器是一个高容量和多用户的数据操作引擎,用于支持和操作多维数据结构。数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据联机分析处理(OLAP)数据源：可以是操作型数据库、历史数据

、外部数据或从己有的数据仓库环境所得的信息。

抽取/传播：是从各种数据源和不同的平台收集数据并将它们移动到数据仓库的过程。

相关概念转换/清洗：转换主要用于合并不同数据源的数据。清洗确保数据仓库具有正确的、有用的和有意义的信息。数据提炼：创建数据仓库的一个子集、创建计算域/虚拟域、汇总信息和聚合信息。数据存储与访问

数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据OLAP分析中的维度与事实

维表的本质是多维分析空间在某个角度上的投影，多个维表共同建立一个多维的分析空间。

在OLAP分析中有一些常用的维度：时间维、地理维、机构维、客户维、产品维。模型中的事实一般用维表来描述。事实是各个维度的交点，是对某个特定事件的度量。

数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据多维OLAP分析图

产品时间财务指标卷烟销售分析国产烟进口烟T1T2T3T4收入开销数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据钻取

收入开销产品时间财务指标卷烟销售分析进口烟国产烟Q1Q2Q3Q4杭产烟上海烟中华双喜数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据切片

数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据旋转

数据仓库数据仓库概念及特点数据仓库的结构及功能联机分析处理技术（OLAP）数据挖掘技术商业智能大数据数据挖掘的定义

数据挖掘是从数据中抽取正确的、有用的、以前未知的和综合的可理解的信息，并使用该信息作商业决策的过程。数据挖掘的意义

数据挖掘是一种决策支持的过程，能高度自动地分析企业原有的数据，进行归纳推理，从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调整市场策略，从而减少风险，辅助做出正确的决策。

数据仓库数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能大数据联机分析处理的局限联机分析处理需要对用户的需求有全面而深入的了解。抽取信息的质量依赖于用户对结果的解释。常常需要以假设为基础。

数据仓库数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能大数据概念描述功能关联分析功能数据挖掘的功能分类和预测功能聚类功能检测功能演变分析功能数据仓库数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能大数据金融业：分析金融企业影响业务的关键因素银行业：辅助金融政策的制定数据挖掘技术的应用保险业：发现客户，防止欺诈零售业：了解各户购买行为医疗与保健：找到特定疾病的治疗方法物流业：优化物流网络电信业：确定电信模式，捕捉盗用行为数据仓库数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能大数据数据挖掘的过程

数据仓库数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能大数据数据挖掘关键技术

分类：为一个事件或对象归类，即预测一个特定的对象属于哪一类。

聚类：根据一定的聚类规则把整个数据分成不同的组，即将具有某种相同特征的数据聚在一起。关联技术：从大量的商务事务记录中发现潜在的关联关系，可以帮助人们作出正确的商务决策。关联规则关联分析“啤酒与尿布”的故事

购物篮分析

数据仓库数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能大数据以数据仓库为中心的商务数据库系统

数据仓库数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能大数据现代数据库技术的优越性联机分析处理从数据仓库中的集成数据出发，实现了分析方法和数据结构的分离。数据挖掘以数据仓库和多维数据库中的大量数据为基础，自动地发现数据中的潜在模式。数据仓库解决了数据不统一的问题。数据仓库数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能大数据数据仓库数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能数据库技术对电子商务系统的支持数据仓库数据仓库概念及特点数据挖掘技术决策者分析工具浏览器数据仓库Web数据库内部业务EDI单证Web数据库业务数据库数据收集与发布Web系统决策支持系统决策EDI系统管理信息系统数据收集

数据格式转化商务企业数据库系统大数据数据库技术对电子商务系统的支持

数据的收集、存储和组织决策支持对EDI的支持对Web支持数据仓库数据挖掘技术数据挖掘的概念和内涵现代数据库技术商业智能大数据商业智能BI系统的最终目标是使用户能够消费大量有关数据，对其进行分析从而使企业有机会增加收入或者节省成本。

商业智能（BI）系统使组织能够通过利用客户、供应商以及内部业务操作的有关信息来提高商业性能。

数据仓库数据挖掘技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用大数据从多个来源收集数据集结、组织以及标准化仓库中的信息

商业智能系统

提供分析工具

绩效信息架构能根据基础指标设定企业目标数据仓库数据挖掘技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用大数据商业智能系统组成图数据仓库数据挖掘技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用大数据实现商务智能的业务规则和条件用户面临激烈的市场竞争。

户在IT方面必须有足够的的资金。用户的数据积累已达到一定规模。数据仓库数据挖掘技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用大数据商业智能系统的主要优点商业智能系统着眼于终端用户对业务数据的访问和业务数据的传送，它同时为信息提供者和信息消费者提供了支持。商业智能系统支持对所有格式商务信息的访问，而不仅仅是那些存储在数据仓库中的信息。商业智能系统不仅支持最新的IT技术，同时也提供了一系列的应用解决方案。数据仓库数据挖掘技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用大数据商业智能的管理方式基于例外的管理方式。

基于事实的管理方式。

基于目标的管理方式。

数据仓库数据挖掘技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用大数据商业智能系统功能

查询和分析数据传输预定义查询与报告数据仓库数据挖掘技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用大数据商业智能的作用帮助处理海量数据支持智能化信息处理BI能够帮助建立对供应商、客户，竞争对手和市场等的动态分折，不断地调整原有的计划，支持企业的管理决策活动。

数据仓库数据挖掘技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用大数据商业智能的实施

（2）集结、组合和标准化

（3）分析和报告

（1）抽取、转换和装入（ETL）

数据仓库数据挖掘技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用大数据在政府部门大型制造业

商业智能的应用前景

零售业金融业电信业数据仓库数据挖掘技术商业智能商业智能的特点和作用商业智能的内涵商业智能的应用大数据数据仓库数据挖掘技术商业智能大数据应用的关键技术大数据的特征大数据大数据的内涵大数据应用的实践流程1.技术属性麦肯锡全球研究所对大数据（BigData）做出如下定义：“大数据指的是规模己经超过了传统数据库软件获取、存储、管理和分析能力的数据集，并不是大于一个特定数据量的数据才能被定义为大数据，因为随着技术的不断发展，符合大数据标准的数据集规模也会增长，并且该定义在不同的行业中也会有变化，这依赖于在一个特定行业中的常用软件和数据集的规模。”EMC公司则这样描述大数据：“大数据并不是一个准确的术语；相反，它是对各种数据（其中大多数是非结构化的）永不休止的积聚的一种表征。它用以描述那些呈指数级增长，并且因太大、太原始或非结构化程度太高而无法使用关系数据库方法进行分析的数据集。”数据仓库数据挖掘技术商业智能大数据应用的关键技术大数据的特征大数据大数据的内涵大数据应用的实践流程2.社会属性大数据的社会属性是指大数据受社会影响所衍生出来的属性"。大数据的社会属性主要体现在以下四个方面。新权益中心：数据作为“新的石油"，蕴藏着前所未有的巨大价值交互回应性：大数据体现了回应与双向交互性事物关联性：大数据时代特别强调事物之间的关联性，这是由于大数据的预测和决策，往往是基于相关关系而不是因果关系制定的需求个性化：大数据时代，信息技术的进步使过去无法测量和记录的数据得以量化，这些数据累积到一定程度时，将会呈现一定的秩序和规律

数据仓库数据挖掘技术商业智能大数据应用的关键技术大数据的特征大数据大数据的内涵大数据应用的实践流程3.哲学属性2012年，著名摄影师兼作家里克·斯莫兰（RickSmolan在EMC公司的赞助下开展了一个名为《大数据的人类面孔》（TheHumanFaceofBigData）的项目。斯莫兰从哲学角度出发对大数据做出如下定义：大数据的产生是帮助地球建构神经系统的一个过程，每个人用自己的智能手机都可以为这个神经系统贡献各种各样的数据和信息，我们人类“不过是这个系统中的一种传感器”。

数据仓库数据挖掘技术商业智能大数据应用的关键技术大数据的特征大数据大数据的内涵大数据应用的实践流程4.科研属性从大数据的价值角度出发，也可以将其理解为一种新的研究方法。格雷将之称为“数据密集型科研（Data-IntensiveScientificDiscovery）”，即以数据考察为基础，联合理论、实验和模拟一体的数据密集计算的范式。科学家不仅通过数据采集和分析解决难以解决的科学问题，还将数据视为科学研究的对象和工具，加以思考、设计并实施研究。科学研究的第四范式呼吁研究者关注数据的采集、描述、保存、分析和复用，同时发挥互联网的交互性和开放性，是一种基于数据的、开放协同的研究与创新模式。数据仓库数据挖掘技术商业智能大数据应用的关键技术大数据的特征大数据大数据的内涵大数据应用的实践流程5.其他属性大数据是不同的数据类型：大数据是由交易数据、互动数据和观察数据组成的新数据形态。恩·康诺利（ShaunConnolly）大数据是新的信号：大数据在事件发生之前给出先兆或提示，便于人们采取行动干预事态发展。斯蒂夫·卢卡斯（SteveLucas）大数据是新的机遇：马特·阿斯利（MattSettle）形容大数据为“过去因科技限制而被忽略的数据"。数据仓库数据挖掘技术商业智能大数据的特征大数据的内涵大数据应用的关键技术大数据应用的实践流程

大数据的特征1.数据规模巨大（Volume）

2.数据种类繁多（Variety）

3.价值难以挖掘（Value）

4.处理速度要求高（Velocity）

大数据存储框架大数据处理框架大数据访问框架大数据业务流程处理框架大数据分析和展现框架数据仓库数据挖掘技术商业智能大数据的内涵大数据应用的实践流程大数据的特征大数据大数据应用的关键技术大数据连接框架大数据管理、安全和备份恢复框架大数据应用总体架构各框架层次中涉及的关键技术HDFS，即Hadoop分布式文件系统MapReduce分布式并行计算软件框架Pig、Hive、SqoopHBase，ZooKeeper，Flume和OozieMahout和HamaELTAmbari，Chukwa业务需求定义大数据应用现状分析与标杆比较大数据应用架构规划和设计大数据技术切入与实施大数据应用试点和评估数据仓库数据挖掘技术商业智能大数据的内涵大数据应用的实践流程大数据的特征大数据大数据应用的关键技术大数据应用推广

大数据应用的实践流程

数据仓库数据挖掘技术商业智能大数据的内涵大数据应用的实践流程大数据的特征大数据大数据应用的关键技术1.业务需求定义确定最佳的应用场景，使大数据应用能够更好地服务用户，完成业务使命并节省应用运营成本；找到关键的业务需求，制定应用过程中处理这些业务需求的具体方案；评价大数据是否能够满足预设的应用场景需求；创立一个战略愿景，将该愿景分解为若干个阶段性战略目标；在初始阶段中难以用大数据解决所有问题，对关键业务需求的分析和把握是这一环节行动的重中之重。数据仓库数据挖掘技术商业智能大数据的内涵大数据应用的实践流程大数据的特征大数据大数据应用的关键技术2.大数据应用现状分析与标杆比较确定最佳的应用场景，使大数据应用能够更好地服务用户，完成业务使命并节省应用运营成本；找到关键的业务需求，制定应用过程中处理这些业务需求的具体方案；评价大数据是否能够满足预设的应用场景需求；创立一个战略愿景，将该愿景分解为若干个阶段性战略目标；在初始阶段中难以用大数据解决所有问题，对关键业务需求的分析和把握是这一环节行动的重中之重。数据仓库数据挖掘技术商业智能大数据的内涵大数据应用的实践流程大数据的特征大数据大数据应用的关键技术3.大数据应用架构规划和设计规划相关机构或组织的整体大数据战略，其中包含组织的大数据愿景、战略目标和要求；规划