商务智能开发实例PPT教案

1、商务智能开发实例商务智能开发实例第1页/共72页第2页/共72页第3页/共72页第4页/共72页第5页/共72页第6页/共72页第7页/共72页日期商品促销客户门市商品营销第8页/共72页第9页/共72页超市营销主题日期关键字门市关键字商品关键字促销关键字商品销售编号商品销售量商品销售额商品成本商品销售利润日期维日 期 关键字商品维商 品 关键字门市维门 市 关键字促销维促 销 关键字客户维客 户 关 键字第10页/共72页第11页/共72页第12页/共72页第13页/共72页第14页/共72页第15页/共72页日期维度日期维度销售事实销售事实日期关键字日期关键字日期关键字日期关键字星期星期商

2、品关键字商品关键字日历日期编号日历日期编号门市关键字门市关键字日历周编号日历周编号促销关键字促销关键字日历月编号日历月编号客户关键字客户关键字纪元日编号纪元日编号POS事务编号事务编号纪元周编号纪元周编号销售量销售量纪元月编号纪元月编号销售额销售额财政月日编号财政月日编号成本额成本额年度日历周数年度日历周数利润金额利润金额年度日历月数年度日历月数日历年月日历年月(YYYY-MM)日历季度日历季度日历年季度日历年季度日历半年度日历半年度第16页/共72页日历年日历年财政周财政周年度财政周数年度财政周数财政月财政月年度财政月数年度财政月数财政年月财政年月财政季度财政季度财政年季度财政年季度财政半年

3、度财政半年度财政年财政年节假日指示符节假日指示符星期指示符星期指示符销售时节销售时节重大事件重大事件第17页/共72页第18页/共72页第19页/共72页第20页/共72页第21页/共72页第22页/共72页第23页/共72页第24页/共72页第25页/共72页 销售主题元数据名称名称Sales描述描述整个超市中每个门市中每个整个超市中每个门市中每个POS机所记载的商品销售状况机所记载的商品销售状况目的目的用于进行超市销售状况和促销情况的分析用于进行超市销售状况和促销情况的分析联系人联系人各个门市销售经理各个门市销售经理维维时间、商品、客户、商店、促销时间、商品、客户、商店、促销事实事实销售事

4、实表销售事实表度量值度量值销售成本、销售额、销售利润、销售量销售成本、销售额、销售利润、销售量第26页/共72页名称名称Sales_Fact_年份年份描述描述记录每个门市每个记录每个门市每个POS机所发生的销售数据机所发生的销售数据目的目的作为销售主题的分析事实作为销售主题的分析事实使用状况使用状况每天平均查询次数每天平均查询次数每天平均查询返回行数每天平均查询返回行数每天查询平均执行时间（分钟）每天查询平均执行时间（分钟）每天最大查询次数每天最大查询次数每天查询返回最大行数每天查询返回最大行数每天查询最大执行时间（分钟）每天查询最大执行时间（分钟）存档规则存档规则每个月将前每个月将前36个月

5、的数据存档个月的数据存档存档状况存档状况最近存档处理日期最近存档处理日期已经存档数据日期已经存档数据日期更新规则更新规则每个月将前每个月将前60个月的数据从数据仓库中删除个月的数据从数据仓库中删除更新状况更新状况最近更新处理日期最近更新处理日期已更新数据日期已更新数据日期第27页/共72页数据质量要求及数据质量要求及确认确认由于从各个门市由于从各个门市POS机上所产生的数据可能会由于极机上所产生的数据可能会由于极少的人工输入，而使数据质量不能得到保证，但也少的人工输入，而使数据质量不能得到保证，但也真实地反映了销售现状，不能随意修改，应被认可。真实地反映了销售现状，不能随意修改，应被认可。数据

6、准确性要求数据准确性要求必须百分百地反映各个门市销售状况必须百分百地反映各个门市销售状况数据粒度数据粒度要求能够反映每一项商品的销售状况，不对数据进要求能够反映每一项商品的销售状况，不对数据进行汇总行汇总表键表键事实表的键是时间、商品、客户、商店和促销维中事实表的键是时间、商品、客户、商店和促销维中键的组合键的组合数据来源数据来源超市销售业务系统中的销售表超市销售业务系统中的销售表(sales_fact_年份年份)加载周期加载周期每天一次每天一次加载状况加载状况最后加载日期最后加载日期加载的行数加载的行数加载规则加载规则每天清晨每天清晨3:00将各个超市门市中前一天的销售事实数将各个超市门市中

7、前一天的销售事实数据拷贝到本表，拷贝过程中要根据各个数据成员所据拷贝到本表，拷贝过程中要根据各个数据成员所定义的加载规则进行筛选和清理定义的加载规则进行筛选和清理第28页/共72页名称名称客户（客户（Customer）定义定义从超市任何一个门市购买货物的任何个人或组织都称为客户，从超市任何一个门市购买货物的任何个人或组织都称为客户，一个客户可以与多个销售地区发生联系一个客户可以与多个销售地区发生联系(即出现在地理维的即出现在地理维的不同层次体系中不同层次体系中)层次结构层次结构一个客户的数据可以在一个客户的数据可以在3个级别上进行统计：最低级别是出现个级别上进行统计：最低级别是出现在客户所在的

8、县在客户所在的县/区，其上为市、省区，其上为市、省更改规则更改规则新的客户位置作为新的一行插入维中。对已有位置的修改，则新的客户位置作为新的一行插入维中。对已有位置的修改，则在原处更新在原处更新加载频率加载频率每天一次每天一次加载统计数据加载统计数据最后加载日期最后加载日期加载的行数加载的行数使用的统计数使用的统计数据据每天平均查询个数每天平均查询个数每天查询返回的平均行数每天查询返回的平均行数每天查询平均执行时间（分钟）每天查询平均执行时间（分钟）每天最大的查询个数每天最大的查询个数每天查询返回的最大行数每天查询返回的最大行数每天查询执行的最长时间（分钟）每天查询执行的最长时间（分钟）第29

9、页/共72页存档规则存档规则每个月将前每个月将前36个月的数据存档个月的数据存档已经存档数据日期已经存档数据日期更新规则更新规则每个月将前每个月将前60个月的数据从数据仓库中删除个月的数据从数据仓库中删除更新状况更新状况最近更新处理日期最近更新处理日期已经更新数据日期已经更新数据日期数据质量数据质量增加一个新客户时，先检查是否已在其他地方和该客户做增加一个新客户时，先检查是否已在其他地方和该客户做过交易。少数情况下，由于检查失败，会将一个客户的不过交易。少数情况下，由于检查失败，会将一个客户的不同部门作为不同客户保存。直到客户注意到在不同的地方同部门作为不同客户保存。直到客户注意到在不同的地方

10、与公司交易时，以前的记录仍保持不变。地区属性并不是与公司交易时，以前的记录仍保持不变。地区属性并不是销售业务系统原有的，而是根据送货地址属性中的邮政编销售业务系统原有的，而是根据送货地址属性中的邮政编码进行区分码进行区分数据的准确数据的准确程度程度一个客户与其地理位置的关联出错的可能性在某一百分比一个客户与其地理位置的关联出错的可能性在某一百分比以下，该百分比大小要根据对业务数据的研究情况确定以下，该百分比大小要根据对业务数据的研究情况确定关键字关键字客户维的关键字是系统产生的数字客户维的关键字是系统产生的数字第30页/共72页产生关键产生关键字的方法字的方法从销售业务系统中拷贝一个客户时，将

11、检查转换表，检查该从销售业务系统中拷贝一个客户时，将检查转换表，检查该客户是否已经存在于数据仓库中。如果否，就产生一个新的客户是否已经存在于数据仓库中。如果否，就产生一个新的关键字。然后将这个关键字和销售业务系统中的关键字。然后将这个关键字和销售业务系统中的CustomID和地区和地区ID插入转换表中。如果该客户和位置已经存在于转插入转换表中。如果该客户和位置已经存在于转换表，就根据表中的关键字决定数据仓库中要更新的记录换表，就根据表中的关键字决定数据仓库中要更新的记录源表名称源表名称超市销售业务系统中的超市销售业务系统中的Customer表表加载规则加载规则每天拷贝每个每天拷贝每个Custo

12、mer表中的行。对于已存在的客户，进表中的行。对于已存在的客户，进行更新。对于新客户，确定其所在地理位置之后，产生一个行更新。对于新客户，确定其所在地理位置之后，产生一个关键字，然后插入一行新记录。在更新插入操作之前，需关键字，然后插入一行新记录。在更新插入操作之前，需要检查是否有重复的客户名。如果有，则在客户名后增加一要检查是否有重复的客户名。如果有，则在客户名后增加一个顺序号，直到名字以及名字和顺序号的组合都没有重复为个顺序号，直到名字以及名字和顺序号的组合都没有重复为止。止。加载规则加载规则只选择新的和发生变化的行只选择新的和发生变化的行源表名称源表名称Customer_Location

13、表表转换规则转换规则每天拷贝一次每天拷贝一次Customer_Location表。对于已存在的客户，表。对于已存在的客户，更新其送货地址；对于新的客户，则产生一个键，并插入一更新其送货地址；对于新的客户，则产生一个键，并插入一行。行。第31页/共72页名称名称客户关键字（客户关键字（Customer_ID）定义定义用以唯一标识客户和位置的值用以唯一标识客户和位置的值更新规则更新规则一旦分配，就不改变一旦分配，就不改变数据类型数据类型数值型数值型值域值域1999，999，999产生规则产生规则由系统自动产生，将当前最大值增由系统自动产生，将当前最大值增l来源来源系统自动生成系统自动生成第32页/

14、共72页名称名称客户名称（客户名称（Customer_Name）定义定义客户的名称客户的名称更新规则更新规则 客户名称发生改变时，就在原来的记录上更新客户名称发生改变时，就在原来的记录上更新数据类型数据类型 Char(30)值域值域保证能区分不同客户的名称。对不同而具有相同名称的保证能区分不同客户的名称。对不同而具有相同名称的客户，可在名称后依次加客户，可在名称后依次加1来区分相同名称来区分相同名称来源来源超市销售业务系统中超市销售业务系统中Customer表中的表中的Name产生规则产生规则 对于零售客户，其名称由姓和名组成。对于公司，则将对于零售客户，其名称由姓和名组成。对于公司，则将公司

15、名作为客户名称公司名作为客户名称第33页/共72页9.2.1 数据仓库开发工具数据仓库开发工具目前已有许多数据仓库开发工具供应商，可以提供各种构建数目前已有许多数据仓库开发工具供应商，可以提供各种构建数据仓库的工具。但有些数据仓库开发工具还要结合第三方供应商据仓库的工具。但有些数据仓库开发工具还要结合第三方供应商工具才能完成整个数据仓库的构建。工具才能完成整个数据仓库的构建。1.Oracle1.Oracle商务智能开发工具商务智能开发工具OracleOracle数据库数据库10g10g是一个基于标准的独立平台，可满足服务器是一个基于标准的独立平台，可满足服务器一侧商务智能和数据仓库的各种要求，

16、包括提取、转换和装载一侧商务智能和数据仓库的各种要求，包括提取、转换和装载（ETLETL），在线分析处理（），在线分析处理（OLAPOLAP）和数据挖掘。）和数据挖掘。 OracleOracle还推出了针对中小型企业的需求打包和配置的、完全集还推出了针对中小型企业的需求打包和配置的、完全集成的成的BIBI系统系统Oracle Business Intelligence Standard Oracle Business Intelligence Standard Edition OneEdition One。 第34页/共72页一整套面向商业智能应用的软件产品包一整套面向商业智能应用的软件产品包

17、IBM DB2 DWE（Data Warehouse Edition），包含十多个工具，给商业智能提供了全面、坚实的支持），包含十多个工具，给商业智能提供了全面、坚实的支持 ，DB2 Alphablox是新版的是新版的DWE，是一套基于，是一套基于Java开发的分析组件开发的分析组件 DB2 Cube Views是是DB2通用数据库的附加功能部件通用数据库的附加功能部件 DB2 UDB Data Warehouse Edition(WDE)是一个用于灵活、可伸缩和集成的数据仓库和分析应用程序的业务智能平台。是一个用于灵活、可伸缩和集成的数据仓库和分析应用程序的业务智能平台。 第35页/共72页

18、数据仓库解决方案为数据仓库解决方案为Warehouse StudioWarehouse Studio，包括数据仓库的建模、数据抽，包括数据仓库的建模、数据抽取与转换、数据存储与管理、元数据管理以及可视化数据分析等工具。其取与转换、数据存储与管理、元数据管理以及可视化数据分析等工具。其中，中，Warehouse ArchitectWarehouse Architect是是Power DesignerPower Designer中的一个设计模块，它支持星中的一个设计模块，它支持星形模型、雪花模型和形模型、雪花模型和ERER模型；数据抽取与转换工具包括模型；数据抽取与转换工具包括Power Stag

19、ePower Stage、Replication ServerReplication Server、Carleton PASSPORTCarleton PASSPORT Adaptive Server EnterpriseAdaptive Server Enterprise是是SybaseSybase企业级关系数据库，企业级关系数据库，Adaptive Adaptive Server IQServer IQ是是SybaseSybase公司专为数据仓库设计的关系数据库公司专为数据仓库设计的关系数据库Sybase IQSybase IQ支持各支持各种流行的前端展现工具，如种流行的前端展现工具，如C

20、ognos ImpromptuCognos Impromptu、Business ObjectsBusiness Objects、Brio Brio QueryQuery等。数据分析与展现工具包括等。数据分析与展现工具包括Power DimensionsPower Dimensions、English WizardEnglish Wizard、Info MakerInfo Maker、Power DynamoPower Dynamo等，等，Power DimensionsPower Dimensions是图形化的是图形化的OLAPOLAP分析工分析工具，支持具，支持SMPSMP和多维缓存技术，

21、能够集成异构的关系型数据仓库和分布式数和多维缓存技术，能够集成异构的关系型数据仓库和分布式数据集市。数据仓库的维护与管理工具包括据集市。数据仓库的维护与管理工具包括Warehouse Control CenterWarehouse Control Center、Sybase CentralSybase Central、Distribution DirectorDistribution Director，其中，其中Warehouse Control Warehouse Control CenterCenter是为数据仓库开发人员提供的元数据管理工具。是为数据仓库开发人员提供的元数据管理工具。 第

22、36页/共72页2006年年9月宣布推出全新月宣布推出全新Teradata Warehouse 8.2版，这是一套包括硬件、软件以及专业咨询服务的全面套件，为前端操作、客户服务和策略计划提供实时商业智能，以支持策略决策和数以万计的日常运营事务。版，这是一套包括硬件、软件以及专业咨询服务的全面套件，为前端操作、客户服务和策略计划提供实时商业智能，以支持策略决策和数以万计的日常运营事务。 Teradata数据挖掘器（数据挖掘器（Teradata Warehouse Miner）专为分析大规模数据而设计，工作在）专为分析大规模数据而设计，工作在Teradata数据库中数据库中 Teradata数据加

23、载工具允许从任何平台的任何数据源中导入或导出数据数据加载工具允许从任何平台的任何数据源中导入或导出数据 Teradata Parallel Transporter允许并行多功能装载环境允许并行多功能装载环境 Teradata Fast Load用来将从通道或联网客户机的数据源上收集到的大量数据装入到用来将从通道或联网客户机的数据源上收集到的大量数据装入到Teradata数据库中的空表中数据库中的空表中 Teradata Fast Export可以快速地将数据从可以快速地将数据从Teradata数据库中的表或视图导出到客户机系统数据库中的表或视图导出到客户机系统Teradata Tpump用来连

24、续地将数据从数据源导入用来连续地将数据从数据源导入Teradata表中，表中，第37页/共72页SAS提供的工具包括提供的工具包括30多个专用模块。其中：多个专用模块。其中：SAS/WA（Warehouse Administrator）是建立数据仓库的集成管理工具；）是建立数据仓库的集成管理工具；SAS/MDDB是是SAS用于在线分析的多维数据库服务器；用于在线分析的多维数据库服务器；SAS/AF提供了屏幕设计功能和用于开发的提供了屏幕设计功能和用于开发的SCL（屏幕控制语言）。（屏幕控制语言）。SAS公司的增强数据挖掘软件公司的增强数据挖掘软件Enterprise Miner集成了一套丰富的

25、数据挖掘工具集成了一套丰富的数据挖掘工具SAS Text Miner扩展了数据挖掘功能，包括文本数据的大规模存储。扩展了数据挖掘功能，包括文本数据的大规模存储。SAS借助于借助于100多个多个native访问引擎，涵盖所有数据库、操作系统、外部数据源、电子数据源等，。访问引擎，涵盖所有数据库、操作系统、外部数据源、电子数据源等，。SAS是唯一在数据质量和是唯一在数据质量和ETL方面提供全面集成的供应商，称之为方面提供全面集成的供应商，称之为ETL to the Power of Q(ETLQ)。仓库数据还可以存储到第三方层次和关系数据库中。仓库数据还可以存储到第三方层次和关系数据库中。SAS/

26、ACCESS接口提供了工具，可以快速、有效地进行数据加载。接口提供了工具，可以快速、有效地进行数据加载。 第38页/共72页Business ObjectsBusiness Objects的商务智能平台提供了一组公共服务包含有的商务智能平台提供了一组公共服务包含有合作伙伴集成工具包，使用户能够直接从企业应用程序中访问合作伙伴集成工具包，使用户能够直接从企业应用程序中访问BIBI信信息。息。Business Objects EnterpriseBusiness Objects Enterprise还提供了一种能够深入了解最还提供了一种能够深入了解最终用户的创新环境，并能够进行灵活的系统管理，快速

27、部署标准化终用户的创新环境，并能够进行灵活的系统管理，快速部署标准化BIBI产品。产品。Business Objects EnterpriseBusiness Objects Enterprise为所有主要数据库平台、应用程为所有主要数据库平台、应用程序和格式提供了端到端的元数据和广泛的数据访问功能。对开发人序和格式提供了端到端的元数据和广泛的数据访问功能。对开发人员来讲，员来讲，Business Objects EnterpriseBusiness Objects Enterprise具备功能强大的一套具备功能强大的一套BIBI服服务，并通过务，并通过JavaJava、.NET.NET和和W

28、ebWeb服务软件开发工具（服务软件开发工具（SDKSDK）来为开发人）来为开发人员提供帮助。这些工具可以将员提供帮助。这些工具可以将BIBI紧密地集成到应用程序和门户中。紧密地集成到应用程序和门户中。Business ObjectsBusiness Objects还提供了一系列分析引擎还提供了一系列分析引擎Set AnalysisSet Analysis、Predicable AnalysisPredicable Analysis和和Statistics Process ControlStatistics Process Control，可以强化，可以强化管理仪表盘和平衡记分卡。管理仪表盘和

29、平衡记分卡。第39页/共72页Microsoft公司的公司的SQL Server 2005是一套完全的数据仓库和数据分析解决方案，使用户可以快速地由数据库向可扩展电子商务和数据仓库解决方案扩充。是一套完全的数据仓库和数据分析解决方案，使用户可以快速地由数据库向可扩展电子商务和数据仓库解决方案扩充。 数据仓库工具名称数据仓库工具名称在数据仓库中的作用在数据仓库中的作用关系型数据库关系型数据库数据转换工具数据转换工具数据复制工具数据复制工具OLE DBAnalysis ServicesEnglish QueryMeta Data ServicesPivotTable数据仓库的创建和维护数据仓库的创

30、建和维护数据仓库的数据加载数据仓库的数据加载分布式数据仓库的数据发布、加载分布式数据仓库的数据发布、加载应用系统与数据源的接口应用系统与数据源的接口数据挖掘与分析数据挖掘与分析数据仓库的语言查询数据仓库的语言查询数据仓库的元数据浏览数据仓库的元数据浏览客户端多维数据的定制与操作客户端多维数据的定制与操作第40页/共72页1.1.创建数据准备区创建数据准备区数据准备区的创建可以利用SQL Server中的数据库创建与表创建工具实现。2.创建数据仓库创建数据仓库数据仓库的框架通常由事实表和一些维表组成，可以用SQL Server中的数据库创建工具和表创建工具完成。3.从业务系统提取数据从业务系统提

31、取数据SQL Server中的数据抽取工具主要有Transact-SQL、分布式查询、DTS、命令行应用程序、bcp实用工具、从文本文件加载的BULK Insert语句和ActiveX脚本。4.清理和转换数据清理和转换数据SQL Server提供了Transact-SQL查询、DTS包、命令行应用程序、ActiveX脚本等工具完成清理工作，并对数据进行必要的转换。5.将数据加载进数据仓库SQL Server提供的Transact-SQL、DTS和bcp工具实现数据加载。6.将数据发布到数据集市SQL Server提供了数据复制技术来完成数据集市的初始装载，并提供了各种数据加载工具对数据集市进行数据加载。第41页/共72页7.SQL查询SQL Server提供了Transact-SQL来实现SQL查询。9.OLAP应用SQL Serv