第5章 电子商务中的数据仓库技术

1、第5章 电子商务中的数据仓库技术主要内容： CIF与电子商务 识别电子商务用户 电子商务与企业数据的整合 数据仓库在电子商务中的应用、探索与变化10/14/20221武汉大学信息管理学院5.1CIF和电子子商务本节主要要内容：CIF的的组成部部分定义电子子商务体体系结构构需求理解点击击流数据据利用元数数据转化化语言来来解释信信息理解CIF和电电子商务务接口3/1/20202武汉大学学信息管管理学院院5.1.1CIF组组成部分分CIF：企业信信息工厂厂，CorporateInformationFactory，CIF基基础设施施包括以以下组成成部分：因特网（Internet）企业网站站（Corpo

2、rateWebSite）防火墙（Firewall）企业操作作型系统统（Corporateoperationalsystem）粒度管理理器（Granualritymanager）3/1/20203武汉大学学信息管管理学院院企业数据据仓库（ Enterprisedatawarehouse）企业数据据集市环环境（Corporatedatamart environment）探索环境境（Exploration environment）可选存储储/近线线存储环环境（Alternativestorage/nearlinestorage environment）企业操作作型数据据存储环环境（Corporate

3、operationaldatastore）3/1/20204武汉大学学信息管管理学院院3/1/20205武汉大学学信息管管理学院院（一）定定义WEB环境境WEB环环境三要要素：Internet防火墙网站本身身除了这些些外，WEB环环境还要要包括一一些内容容：3/1/20206武汉大学学信息管管理学院院1.企业业操作型型系统企业操作作型系统统负责运运行日常常操作,这些操操作通常常是在某某种媒介介上进行行。企业业操作型型系统主主要用来来管理事事务。消消费者或或者代理理可以直直接提交交这些事事务。数据是通通过集成成/转化化（I/T）程程序来提提供的，I/T程序也也称作抽取、转转化、和和装载（ETL，

4、Extract,Transform,Load）程序。它们负负责将这这些来自自许多程程序的数数据转化化为一种种统一的的格式和和结构，从而将将电子商商务数据据无缝地地集成到到企业中中来。3/1/20207武汉大学学信息管管理学院院2.粒度度管理器器粒度管理理器是一一种用于于对网站站数据进进行预处处理以便便让数据据进入CIF的的软件。负责组组织网站站数据，以便这这些数据据可以有有效应用用于整个个系统中中。有些情况况下，需需要丢弃弃一些数数据，而而在另外外一些情情况下，则需要要合并相相似类型型的数据据，因此此必须谨谨慎使用用粒度管管理器，以免破破坏数据据。3/1/20208武汉大学学信息管管理学院院3

5、.企业业数据仓仓库企业数据据仓库（EnterpriseData Warehouse，EDW）位于整整个处理理过程的的中心。所有数数据都曾曾经存储储在企业业数据仓仓库中，包括：粒状数据据历历史数据据集成数据据企企业数据据3/1/20209武汉大学学信息管管理学院院粒状数据据这是最低低的细节节级，可可以转化化为不同同的形式式和结构构。历史数据据近5年的的数据均均可以保保存，这这些数据据可用于于直接分分析。集成数据据这种数据据是消除除了应用用偏差的的数据。企业数据据通常包括括这些数数据：易易于访问问，易于于修改。3/1/202010武汉大学学信息管管理学院院4.企业业数据集集市环境境企业数据据仓库包

6、包含了一一些粒度度非常小小而非常常详细的的数据。一个组组织内的的不同部部门需要要根据特特定需要要查看不不同形式式组织的的数据。这样就就要建立立物理上上独立的的数据库库数数据集市市。经常需要要拥有自自己的数数据集市市的部门门：销售：用于销销售报表表。营销：用于确确定市场场潜力和和渗透力力。财务：用于在在开支上上进行下下钻。会计：用于建建立报表表和修正正。人力资源源：用于满满足管理理需求。工程：用于提提供产品品跟踪。保险精算算：用于风风险管理理。3/1/202011武汉大学学信息管管理学院院探索型数数据仓库库探索型数数据仓库库允许探探索者随随心所欲欲地进行大量量探索处处理，而而不会对对数据仓仓库环

7、境的其他他用户造造成负面面影响。来自WEB环环境中的数数据可以以通过起起一数据据仓库进进入探索型数据据仓库。探索型数数据仓库库对WEB用户户而言非非常重要，当当业务模模式发生生变化时时，探索索型数据仓库会会最先并并且最清清楚地察察觉到这这些变化。3/1/202012武汉大学学信息管管理学院院6.可选选存储虽然使用用高性能能磁盘存存储，从从技术上上对企业业数据仓仓库意义义非常大大，但是是下列2个因素素使得这这种存储储并不是是最佳方方案：数据仓库库的信息息量急剧剧增加，电子商商务中非非常明显显需要将数数据分类类：经常常使用的的数据、很少使使用的数数据因此，有有必要将将EDW开展到到高性能能磁盘存存

8、储以外外的介质质上。即即：可选选二级存存储，与与高性能能磁盘存存储相比比，可选选存储比比较廉价价，但存存取速度度也较慢慢。当数数据仓库库被扩展展到二级级存储时时，数据据可以以以最低节节级、最最高粒度度存入数数据仓库库。3/1/202013武汉大学学信息管管理学院院7.操作作型数据据存储（ODS）Web环环境中，ODS（OperationalData Store)是CIF中中最重要要的结构构之一。ODS的特征征就是一一种能够够处理混混合负载载的操作作系统和和数据库库管理系系统。两种ODS类型型：WebODS：存在在于Web环境境内部，核心部部分是一一台普通通规模的的计算机机企业ODS：存存在于C

9、IF内内部，核核心部分分是一台台大型计计算机这两种ODS分分别针对对不同的的目的而而设计。企业ODS是是一个真真正的“产业实实力”处处理器，它能够够容纳比比WEB ODS多的的数据，是一种种“全局局的”ODS。WebODS只只为源于于Web服务器器内部的的事务提提供服务务，是一一种“局局部的”ODS。利用粒度度管理器器，ODS可以以适应不不同级别别的数据据粒度（0级、1级、2级）。3/1/202014武汉大学学信息管管理学院院3/1/202015武汉大学学信息管管理学院院3/1/202016武汉大学学信息管管理学院院3/1/202017武汉大学学信息管管理学院院（二）定定义电子子商务体体系结构

10、构需求什么是电电子商务务基础设设施什么是点点击流数数据在web用户与与网站交交互过程程中发生生了什么么行为和和活动？这些行行为和活活动如何何影响总总的体系系结构和和模型？什么是信信息和元元数据转转化语言言？XML、HTML和XHMTL语言如如何作用用于数据据和元数数据转化化？应该如何何来处理理海量数数据？3/1/202018武汉大学学信息管管理学院院建立电子子商务基基础设施施在初始阶阶段，企企业一般般从一到到两太用用于支持持网站的服服务器开开始，在在创建电电子商务务环境的的早期，网页主要要包含了了描述性性的静态态信息；随着业业务不断断扩大，使使用多个个服务器器支持在在线环境境，收集集Web日志

11、信息和和向用户户传送任任何类型型的内容容；为了了满足需需求，开始始建立一一个由企企业本身身控制的的在线环环境，首首先考虑转转移到代代理服务务器，当当需要额额外的服服务器来来处理特殊殊工作时时，网站站就会成成为集中中式的或或者分布布式的。3/1/202019武汉大学学信息管管理学院院5.1.2理理解点击击流数据据1、点击击流数据据Web日日志里包包含的数数据被称称作点击击流数据据。是用用户在与与网站交交互活动动中产生生的。Web日日志包含含了以下下数据：Web用用户的唯唯一在线线标识符符或者Internet地址址用户来自自哪里的的网络用户用哪哪些查询询来打开开网页。Web日日志的使使用分为为三种

12、级级别（三三种粒度度级别），所有有级别都都是ODS的一一部分。0级：最最低立地地级别，在电子子商务环环境中表表示为Web日日志中包包含的数数据，用用于及时时分析。常驻在在ODS中1级：包包含0级级数据的的简单聚聚集，这这种聚集集是在与与其他企企业数据据进行集集成基础础上创建建的2级：包包含那些些被聚集集或汇总总的表主主要用于于报表3/1/202020武汉大学学信息管管理学院院来自Web日志志的数据据可以以以多种方方式使用用：作为即时时分析的的基础用于非即即时分析析（Web日志志收集后后的15分钟1个小小时）分析Web日志志数据以以获得关关于网站站客户的的更多知知识3/1/202021武汉大学学

13、信息管管理学院院3/1/202022武汉大学学信息管管理学院院识别形式式：客户IP地址客户或用用户标识识符认证用户户要素日期和时时间戳关于统一一支援定定位符的的服务器器请求信信息请求状态态发送字节节数3/1/202023武汉大学学信息管管理学院院2、使用用先前站站点信息息说明用户户访问当当前网站站之前访访问的那那个网站站的相关关信息。3、与ODS结结合起来来Web、个性化化引擎、内容服服务器、两种操操作型数数据存储储以及数数据仓库库之间的的交互如如图所示示。3/1/202024武汉大学学信息管管理学院院3/1/202025武汉大学学信息管管理学院院5.1.3利利用元数数据转化化语言来来解释信信

14、息企业应用用集成（EAI）一种接口口，它与与不同平平台和软软件合作作以便将将数据集集成到同同一数据据存储中中。它为为应用程程序之间间的交互互提供了了必要的的基础。EAI策略需需要的三三种形式式的软件件：应用交换换技术数据转化化技术XML、HTML和XHTML技术术3/1/202026武汉大学学信息管管理学院院（四）理理解CIF和电电子商务务接口Web环环境发送送需要在在操作型型环境中中执行的的事务。Web环环境通过过粒度管管理器传传送数据据到企业业数据仓仓库中。Web环环境通过过ODS接受数数据到网网络服务务器中。3/1/202027武汉大学学信息管管理学院院3/1/202028武汉大学学信息

15、管管理学院院通向CIF的三三种接口口3/1/202029武汉大学学信息管管理学院院发送事务务到操作作型环境境中3/1/202030武汉大学学信息管管理学院院数据经过过粒度管管理器3/1/202031武汉大学学信息管管理学院院3/1/202032武汉大学学信息管管理学院院数据经过过ODS3/1/202033武汉大学学信息管管理学院院3/1/202034武汉大学学信息管管理学院院5.2识识别电电子商务务用户识别内部部用户群群体识别外部部用户群群体获得过程程支持所有有用户3/1/202035武汉大学学信息管管理学院院5.2.1内内部用户户：分析型用用户：“农夫”出出现在管管理人员员和业务务计划小小组

16、中，有着一一致的、定义完完整的需需求。“旅行者者”管理和和行政级级别上的的用户。“探索者者”非传统统的思考考者。“挖掘者者”在大范范围的、高度集集中的数数据集上上进行深深入研究究。“操作员员”最普通通的用户户。3/1/202036武汉大学学信息管管理学院院3/1/202037武汉大学学信息管管理学院院终端用户户群体：这类内部部用户团团体包含含分析型型用户，他们使使用很多多相同的的业务智智能工具具；但是是工作的的协作特特性还需需要一些些其他的的工具、格式和和通道（包括网网站、点点击流数数据和遥遥测技术术）。工作组通常常由管理理人员组组成、其其主要工工作是送送货和提提供服务务。实践团队队以分分组学

17、习习活动、共享与与工作有有关的焦焦点问题题为特性性。3/1/202038武汉大学学信息管管理学院院3/1/202039武汉大学学信息管管理学院院3/1/202040武汉大学学信息管管理学院院5.2.2外外部用户户：业务合作作伙伴有效的电电子商务务合作关关系以综综合的、用户可可定制的的服务为为中心，包括个个性化的的界面、专门的的定价、广泛的的客户支支持、技技术信息息、软件件升级、产品配配置工具具、故障障诊断支支持、在在线培训训和认证证课程。3/1/202041武汉大学学信息管管理学院院消费者商业人员员要建立立和客户户之间相相互满意意的关系系以获得得客户的的信任，就必须须把重点点放在为为客户提提供

18、最满满意的服服务上。研究人员员最懂懂计算机机的、注注意力最最集中和和最顽强强的一类类人员。购物者主要要被价格格和产品品可用性性等因素素驱动。采购员注意意力更为为集中的的、目的的性更强强的购物物者。3/1/202042武汉大学学信息管管理学院院3/1/202043武汉大学学信息管管理学院院3/1/202044武汉大学学信息管管理学院院社区在最好的的环境下下，“社社区”建建立了一一种对于于产品供供应方面面的紧密密关系和和信任感感觉。第一层好好处：聚聚集个人人的兴趣趣和活动动另两个好好处：社社区作作为CRM的目目标社区作为为协作的的基础3/1/202045武汉大学学信息管管理学院院3/1/20204

19、6武汉大学学信息管管理学院院3/1/202047武汉大学学信息管管理学院院5.2.3获获得过程程获得过程程（procurement）是指指获得企企业运转转所需要要的商品品和服务务，以及及为流线线型业务务过程提提供最为为丰厚的的回报的的过程。将注意力力集中在在获得过过程的业业务用户户，和与与之对应应的消费费者相比比，显著著的不同同有：购买优先先级；定制功能能选项的范范围供应链链上的合合作关系系3/1/202048武汉大学学信息管管理学院院5.2.4支支持所有有用户知识管理理和CIF：以以结构化化方式归归档企业业中所有有的智能能资产的的过程。1.知识识映射作为为知识管管理的补补充，是是一种信信息映

20、射射的扩展展形式。2.培训训和教育育要要素：智智能课课程丰富的媒媒体集3/1/202049武汉大学学信息管管理学院院3/1/202050武汉大学学信息管管理学院院3/1/202051武汉大学学信息管管理学院院5.3电电子商商务与企企业数据据的整合合粒度级别别数据模型型的作用用模型之间间的关系系3/1/202052武汉大学学信息管管理学院院5.3.1Web站站点数据据模型主题域域模型企业逻逻辑数据据模型数据仓仓库和数数据集市市模型Web站点ODS模模型企业ODS模模型3/1/202053武汉大学学信息管管理学院院主题域模模型用于更更好地理理解各个个领域的的情况。围绕的的主题通通常为：客户、产品、

21、交易和和财务。可帮助助开发企企业逻辑辑数据模模型。企业逻辑辑数据模模型用于将将不同主主题域关关联起来来。可以以用来设设计数据据仓库和和ODS数据模模型。3/1/202054武汉大学学信息管管理学院院3/1/202055武汉大学学信息管管理学院院3/1/202056武汉大学学信息管管理学院院数据仓库库和数据据集市模模型用于满满足目的的性强的的操作型型需要。是面向向主题的的、集成成的、非非易失的的、时变变的数据据集合。特征模模式（profile）Web站站点ODS模型型用用于利用用Web站点日日志路径径信息。局部WebODS负责在在网站内内部直接接响应来来自网站站的交易易请求。第0级级：Web日志

22、志3/1/202057武汉大学学信息管管理学院院3/1/202058武汉大学学信息管管理学院院Web站站点ODS模型型第0级：Web日志3/1/202059武汉大学学信息管管理学院院3/1/202060武汉大学学信息管管理学院院3/1/202061武汉大学学信息管管理学院院企业ODS模型型用用于整合合Web数据和和其他企企业数据据。第1级：企业ODS类型1ODS：源数数据系统统数据的的集成是是实时进进行类型2ODS：源数数据系统统数据与与ODS的集成成是一天天中按一一定时间间间隔进进行类型3ODS：源数数据系统统数据是是每天集集成一次次类型4ODS：根据据需要从从数据仓仓库或数数据集市市中进行

23、行更新，即：从从源数据据系统中中的更新新至少每每天一次次地进行行，并且且只根据据需要从从数据仓仓库或数数据集市市中更新新第二级：日常聚聚集3/1/202062武汉大学学信息管管理学院院3/1/202063武汉大学学信息管管理学院院3/1/202064武汉大学学信息管管理学院院3/1/202065武汉大学学信息管管理学院院5.3.2模模型之间间的关系系：3/1/202066武汉大学学信息管管理学院院5.4数数据仓仓库在电电子商务务中的应应用定义分析析型应用用网站滞留留时间：确立网网站有效效性准则则网站内基基于内容容的分析析3/1/202067武汉大学学信息管管理学院院5.4.1定定义分析析型应用

24、用分析型应应用时将将数据转转化为有有用的商商业信息息的第一一级。电子商务务中的分分析型应应用与其其他商业业中的分分析型应应用没有有特别的的不同之之处，主主要的区区别是由由于电子子商务本本身的不不稳定性性所引起起的。3/1/202068武汉大学学信息管管理学院院经典财务务和操作作型报表表以客户为为中心的的报表（流失分分析；客客户亲密密关系分分析）以产品为为中心的的报表（存货号号；主页页是网站站生的最最高速的的区域）事务分析析（向量分分析属于于数据仓仓库工程程探索范范围而非非经典分分析的范范围）纯信息型型网站分分析（衡量网网站的影影响力）网站内部部导航分分析（资格鉴鉴定）3/1/202069武汉大

25、学学信息管管理学院院3/1/202070武汉大学学信息管管理学院院5.5数数据仓仓库在电电子商务务中的探探索时间操作型探探索经典商业业价值和和探索建立模型型在探索中中确定客客户的价价值3/1/202071武汉大学学信息管管理学院院5.5.1时时间电子商务务环境中中快速的的变化迫迫使信息息利用方方面的行行为也随随之不断断变化。电子商务务对个体体事件的的影响是是非常敏敏感的，如果要要求能够够有效地地制定决决策，探探索句必必须把重重点放在在更短的的时间单单元里面面。3/1/202072武汉大学学信息管管理学院院5.5.2操操作型探探索在电子商商务中，需要根根据需求求来分配配资源许多的电电子商务务网站

26、总总是处在在一种连连续的状状态变化化过程中中。在企业转转变的过过程中，一般都都以商业业计划为为指导。3/1/202073武汉大学学信息管管理学院院5.5.3探探索方法法的重要要性Web交交易中的的方法所所分析的的问题包包括：指向网站站的链接接、网站站的点击击率、交交易人的的特征信信息。在新环境境中，客客户可能能通过多多种途径径到达网网站，更更重要的的是客户户可能做做一系列列操作，包括接接触并前前进、接接近、着着陆。第二个问问题是如如何发现现用户特特征3/1/202074武汉大学学信息管管理学院院5.5.4建建立模型型：定义探索索的目标标（如收收入的增增长的识识别）定义接近近的模式式初始的接接触

27、和联联系推断性关关联3/1/202075武汉大学学信息管管理学院院5.5.5在探探索中确确定客户户的价值值电子商务务中的同同属家庭庭处理同属家庭庭处理计算算一个经经济单元元的过程程最常用的的技术为为HarteHanks公公司拥有有。探索不同同的地址址联系使用地址址作为联联系越来来越重要要，不仅仅用于同同属家庭庭处理中中，而且且在探索索分析中中成为接接近路径径的向量量因素。事件和时时间3/1/202076武汉大学学信息管管理学院院5.6适适应电电子商务务的变化化品牌淡化化和损失失对电子商商务灵活活性的需需求电子商务务灵活性性面临的的挑战电子商务务起步阶阶段的特特点企业性能能：盈利利能力的的水平为

28、企业性性能而管管理信息息资产3/1/202077武汉大学学信息管管理学院院对于那些些无法或或者不愿愿意建立立电子商商务的企企业，也也可以采采用一些些可用的的分时技技术，例例如应用用服务提提供商，来提供供相应的的一套复复杂技术术。电子商务务需要企企业各方方面的信信息资源源，它们们不能与与企业中中的其他他资源及及已分配配的独占占性资源源分离开开来，否否则就会会失败。3/1/202078武汉大学学信息管管理学院院3/1/202079武汉大学学信息管管理学院院5.6.1品品牌淡化化和损失失将在线经经营和物物理渠道道分离开开来并各各自独立立运作时时一种错错误的做做法。基本品牌牌理论说说明了尊尊重和维维护

29、品牌牌的一致致经营的的重要性性。有效地用用电子形形式提升升物理品品牌的价价值的唯唯一途径径就是创创立电子子品牌，并使其其成为已已有成绩绩的有机机延伸。3/1/202080武汉大学学信息管管理学院院5.6.2对电电子商务务灵活性性的需求求电子商务务的灵活活性就是是指其不不断调整整和改变变的能力力。主要要包括：移动化化、敏感感度3/1/202081武汉大学学信息管管理学院院移动化电子商务务资源移移动化（Mobilization）需要要：对客户偏偏好和使使用模式式的了解解跨越不同同渠道来来集中客客户注意意力的策策略客户偏好好经常随随着经济济环境和和可用选选择而变变化。从集成的的、移动动的资源源集合到

30、到反应迅迅速的资资源集合合的转换换时电子子商务灵灵活性面面临的下下一个挑挑战。3/1/202082武汉大学学信息管管理学院院3/1/202083武汉大学学信息管管理学院院敏感度电子商务务灵活性性致力于于使信息息资源对对两种反反馈类型型敏感。第一种是是状态和和控制敏敏感度。它跟踪踪正在进进行的起起步阶段段的状态态并控制制其进展展过程，同时还还需要经经常对信信息进行行更新。第二种反反馈形式式更加广广泛，跨跨越了更更宽的时时间范围围。管理理必须跟跟踪起步步阶段的的总功效效来判断断起步阶阶段与预预期目的的的“吻吻合程度度”。预预期的目目的和范范围也要要认真地地进行考考虑。3/1/202084武汉大学学

31、信息管管理学院院3/1/202085武汉大学学信息管管理学院院5.6.3电子子商务灵灵活性面面临的挑挑战建立电子子商务灵灵活性基基础的三三个步骤骤：对信息资资产进行行分类，评估它它们的性性能特征征。确定当前前和将来来的信息息流价值值配置CIF以适适应当前前需要，并且能能保持足足够的灵灵活性来来适应将将来的需需求。电子商商务灵活活性的巨巨大优势势3/1/202086武汉大学学信息管管理学院院5.6.4电子子商务起起步阶段段的特点点电子商务务起步阶阶段是根根据“新新经济”的期望望来设计计、认可并实实现的。这些都都被一种种对立即即回报的的急切渴渴望和“我我们现在在需要在在线销售售”的需需求所驱驱动“现在就就需要”的特点点通常包包括：马上让企企业的投投资者满满意回答安全全和保密密问题支持通常常难以估估计的增增长率使用相对对新的有有时是外外来的技技术应付由于于内部技技术资源源不足带带来的问问题应付资金金分配机机制的不不确定性性3/1/202087武汉大学学信息管管理学院院新旧经济济的比较较1.位置置上的传传送物理度量量标准在在一个级级别上是是相似的的：产品品传送的的位置方方面。同店销售售一直是衡衡量零售售业成功功与否的的一个重重要标准准。电子子商务中中的同店店销售正正在成为为Web到商店店的连接接。2.合作作系数合作系数数是一种种用来衡衡量