数据仓库、数据挖掘与商业智能BI

1、数据仓库的体系结构数据仓库的体系结构数据仓库的概念结构数据仓库的概念结构 从数据仓库的概念结构看，应该包含：数据源、数据准备区、数据仓库、数据集市/知识挖掘库以及各种管理工具和应用工具。 数据源业务业务系统系统外部数外部数据源据源数数据据准准备备区区数数据据仓仓库库应用工具应用工具管理工具管理工具数据数据集市集市/知识知识挖掘挖掘库库应用工具应用工具数据数据集市集市/知识知识挖掘挖掘库库数据仓库的概念结构数据仓库的概念结构数据库设计数据库设计：OLTP系统采用E-R模型和面向应用的数据库设计OLAP系统采用星型或雪花模型和面向主题的数据库设计视图视图：OLTP系统主要关注一个企业或部门内部的当

2、前当前数据，而不涉及历史数据或不同组织的数据。OLAP系统由于组织的变化常常跨越数据库模式的多个版本。OLAP系统也处理来自不同组织的信息，由多个数据存储集成的信息。由于数据量巨大，OLAP数据也存放在多个存储介质上。 以三维角度三维角度观察该连锁商店的销售数据。例如，根据time，item和location城市城市观察数据。location是Chicago， New York，Toronto和Vancouver。location“Chicago” ；location“New York” .（该市上述二维表 略） （该市上述二维表 略） 在星型模式中，每一维只用一个表表示，每个表包含一组属性。

3、例如，location维表包含属性集location_key， street， city， province_or_state， country。 该连锁商店sales的雪花模型在下图给出。这里，sales事实表与上面的星型模型相同。两个模式的主要不同是维表。 星型模型中的item的单个维表在雪花模型中被规范化，导致新的item表和supplier供应商供应商表。例如，现在item维表包含属性item_key， item_name， brand ，type和supplier_key，supplier_key连接到supplier维表。而supplier维表包含信息supplier_key和su

4、pplier_type。 类似地，星型模型中location的单个维表被规范化成两个表：新的新的location和和city。新的location表中的location_key现在连接到city维。根据需要雪花模型还可以进一步规范化。 参考参考 深圳索迪科技有限公司深圳索迪科技有限公司 夏华学夏华学 二五年十月二五年十月v 业务系统相互独立业务系统相互独立 现行各业务系统各自独立互不协调各业务系统各自独立互不协调；从而导致很多统计口径和统统计口径和统计指标在不同的系统存在各自不同的表达计指标在不同的系统存在各自不同的表达，在统计上极易造成混乱。v 统计工作重复、分散统计工作重复、分散部门间的统

5、计报表有交叉，有些同名统计指标的表达不一致。并且数据分布在不同的系统中，而业务决策部门的要求往往是全面的数据统计，致使信息中心疲于奔命，尚不能满足业务决策部门的统计需要。v 无法有效地利用现有数据无法有效地利用现有数据 一方面，业务决策部门业务决策部门不能及时掌握全面的业务信息； 另一方面，信息中心信息中心完善了面向于操作的业务系统，基本满足业务操作的需要，积累了大量的基础业务数据；但由于由于数据过于零散数据过于零散而而且且分布在各个独立的系统分布在各个独立的系统中中，造成虽然有各种各样的数据但不能集成不能集成到一起来满足管理层决策的需要到一起来满足管理层决策的需要。 说起商业智能，大家也许会

6、想起啤酒与尿布啤酒与尿布的例子，其实那是商业智能在商品摆放分析方面的一个应用案例，商业智能是什么?狭义的解释：能够帮助用户对自身业务经营做出正确决策的工具。广义的说商业智能商业智能是集数据仓库技术、在线分析技术以及数据挖掘等于一体的经营分析以及决策支持的数据应用体系。商业智能的技术体系主要有q数据仓库（数据仓库（DW）q在线分析处理（在线分析处理（OLAP）q数据挖掘（数据挖掘（DM） 数据仓库是商业智能的基础,许多基本报表可以由此生成,但它更大的用处是作为进一步分析的数据源。所谓数据仓库（DW）就是面向主题的、集成的、稳定的、不同时间的数据集合，用以支持经营管理中的决策制定过程。多维分析和数

7、据挖掘是最常听到的例子,数据仓库能供给它们所需要的、整齐一致的数据。在线分析处理（OLAP）技术则帮助分析人员、管理人员从多种角度把从原始数据中转化出来、能够真正为用户所理解的、并真实反映数据维特性的信息，进行快速、一致、交互地访问，从而获得对数据的更深入了解的一类软件技术。数据挖掘（DM）是一种决策支持过程，它主要基于AI、机器学习、统计学等技术，高度自动化地分析企业原有的数据，做出归纳性的推理，从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调整市场策略，减少风险，做出正确的决策。企业上商业智能系统的条件条件：用户面临激烈的市场竞争用户面临激烈的市场竞争 用户的数据积累已达到一定规模

8、用户的数据积累已达到一定规模用户在系统建设的资金能得到保障用户在系统建设的资金能得到保障用户用户基础业务信息化建设已经完成基础业务信息化建设已经完成资金资金企业上商业智能系统的意义：v整合业务系统，提升企业管理水平v建立企业数据中心 ，挖掘企业信息价值v建立企业综合查询以及决策支持中心统一数据定义统一数据定义统一处理要求统一处理要求统一系统指标统一系统指标POS系统系统MIS系统系统财务系统财务系统其他系统其他系统POS系统系统MIS系统系统财务系统财务系统其他系统其他系统建立企业建立企业数据中心数据中心建立企业绩效考核中心建立企业绩效考核中心建立企业综合查询中心建立企业综合查询中心建立企业决

9、策支持中心数据整合数据整合数据应用数据应用数据应用数据应用数据应用数据应用短期效益短期效益 系统建设的短期效益就是通过对 商品销售情况商品销售情况 库存情况库存情况 采购情况采购情况 成本情况成本情况 费用情况费用情况等直接关系到企业效益的经营业务数据进行分析，逐步优化产品的结构来提高提高商品销售金额销售金额、合理控制库存合理控制库存降低降低库存成库存成本本、对费用进行分析对费用进行分析控制费用控制费用以及对现金流现金流进行分析来控制控制安全的现金流安全的现金流。通过对以上经营情况进行分析来提高销售、降低成本以实现提高企业的经营效益经营效益和经营效率经营效率，增强企业的竞争优势的目的！通过对员

10、工的绩效绩效、部门的计划计划完成情况、用户的达成达成率率等绩效的考核控制，逐步建立一套完成的企业绩效考核体系，提升企业经营管理水平，增强企业的竞争力。通过对商品的销售趋势销售趋势分析、商品结构商品结构变化分析以及财财务分析务分析（如：成本分析、现金流分析）建立一套完整的监监控预警控预警以及决策支持体系决策支持体系，及时调整企业经营策略，增强企业抗风险能力。 系统建设的长期效益主要体现在如下两个方面： 长期效益长期效益第第1层数据源层数据源各个部门的业务系统（业务数据与标准数据对照）第第2层数据加工整理层数据抽取、数据清理、数层数据加工整理层数据抽取、数据清理、数据加工据加工第第3层数据中心层次

11、层数据中心层次数据存储、数据汇总数据存储、数据汇总第第5层企业应用层层企业应用层面向企业的应用服务（报告、邮件）权限、角色面向企业的应用服务（报告、邮件）权限、角色第第4层商业应用层层商业应用层数据建模、数据分析、报表生成、数据查询数据建模、数据分析、报表生成、数据查询数据层数据层企业应用层企业应用层商业应用层商业应用层 尽管零售业商业智能受到全球零售业的关注，热衷程度也逐渐升高。但是对企业而言，因为涉及的范围及层级甚广，包括信信息技术息技术、投资金额投资金额、业务流程业务流程、资料完整性资料完整性等，项目的风险性极项目的风险性极高高。综观国外，仍然不乏有成功案例；反观国内，零售业者对于商业智

12、能的信息技术与解决方案尚属萌芽阶段。 零售业商业智能零售业商业智能一般包括：客户关系管理、商店经营管理、客户关系管理、商店经营管理、商品组合、商品推广、财务分析商品组合、商品推广、财务分析与电子商务电子商务等分析范围。 在项目实施过程中由于涉及到数据的完整性、应用的重视程度、分析模型的准确性等多方面因素，所以项目存在一定的风险，我们将通过以下手段来控制项目风险：v 充分调研，充分了解企业管理以及绩效管理的焦点，充分调研，充分了解企业管理以及绩效管理的焦点，建设能满足分析需求的数据分析模型。建设能满足分析需求的数据分析模型。v 认真了解业务系统，充分把握业务系统数据，提高数认真了解业务系统，充分

13、把握业务系统数据，提高数据的准确性和完整性。据的准确性和完整性。v 企业领导亲自负责，通过企业领导亲自负责来提高系企业领导亲自负责，通过企业领导亲自负责来提高系统的应用重视程度。统的应用重视程度。 分析方法分析方法可进行的分析可进行的分析对比分析对比分析同比分析（去年同期）、环比分析（上月同期）、基比分析（与报告期进行比较）、类比分析（同类商品进行对比分析）。结构分析结构分析分析商品大类销售结构、楼层结构、利润贡献主要构成情况、供应商主要构成情况等等，常见的分析主要有饼图分析、帕雷托图（ABC）分析相关分析相关分析主要分析商品的相关性，即商品之间的促进关系和竞争关系分析，常见于商品微观分析。统

14、计分析统计分析对商品价格区间和销售区间等分析，主要对商品特征和消费群体的消费习惯进行分析。趋势分析及趋势分析及预测预测对商品的销售周期进行分析以及根据以往的销售数据预测未来的销售走势进度分析进度分析主要分析计划完成进度情况预警监控预警监控预警监控商品存货情况以及对租户的达成率等进行监控POS系统 采购采购系统 财务财务系统 人事人事系统 其他其他系统数据字典、数据字典、外部信息外部信息信息应用(门户、角色、权限)数据仓库数据加工数据加工应用应用模型模型 以商业销售数据为分析对象，分析商业销售情况，商品类型的销售结构、广场分布结构、供货商销售毛利贡献排行情况、品种毛利贡献情况、销售金额增长趋势、

15、销售毛利增长趋势、销售毛利率变化趋势、主要商品销售趋势、供应商销售金额区间分析、商品品种销售金额区间分析、库区销售规模区间分析等。主要分析超市各项销售指标，例如商品销售数量、商品销售金额、会员卡销售金额、会员卡销售比商品销售数量、商品销售金额、会员卡销售金额、会员卡销售比重、商品累计销售金额、销售金额同比、销售金额同比增加、销售金额同比增长、重、商品累计销售金额、销售金额同比、销售金额同比增加、销售金额同比增长、毛利、毛利同比、商品销售单价、单价同比毛利、毛利同比、商品销售单价、单价同比等销售分析模型销售分析模型 而分析维又可从管理架构（企业组织）、时间维度、商品属性、经营方式等维度进行分析。

16、 类型的销售结构广场分布结构销售分析供货商销售毛利贡献排行情况商品品种毛利贡献情况 销售金额增长趋势销售毛利增长趋势销售毛利率变化趋势主要商品销售趋势供应商销售金额区间分析品种销售金额区间分析主体品种区间分析会员卡消费趋势经营类型结构分析可进行的分析可进行的分析分析内容分析内容：库存直接反映企业经营状况和资金周转效率，所以对库存进行分析能够有效控制库存、降低经营风险、降低经营成本和提高经营效益。主要分析各项库存指标主要分析各项库存指标，例如：商品库存数量、库存对比情况、库存结构情况、库存金商品库存数量、库存对比情况、库存结构情况、库存金额情况、库存变化情况、商品存销比、库存销售天数、库存安全情

17、况、库存盘点情况、额情况、库存变化情况、商品存销比、库存销售天数、库存安全情况、库存盘点情况、库存损耗情况库存损耗情况等；分析维度分析维度 v 管理架构（企业组织）管理架构（企业组织）v 时间维度时间维度v 商品属性商品属性v 经营方式经营方式 库存分析模型库存分析模型库存分析库存分析库存变化库存变化情况分析情况分析 库存与效益库存与效益情况分析情况分析 合理库存合理库存区间分析区间分析 库存流动与库存流动与库存量比较分析库存量比较分析 库存结构库存结构情况分析情况分析 当前库存当前库存健康状况健康状况 库存情况与库存情况与销售情况分析销售情况分析 库存损耗分析库存损耗分析 可进行的分析促销分

18、析模型促销分析模型分析内容分析内容： 促销前进行促销效果预测促销前进行促销效果预测 促销后进行促销效果分析促销后进行促销效果分析 指标设计指标设计：销售金额、毛利、促销对比期金额、促销对比期毛利。 可进行的分析可进行的分析促销可行性分析促销可行性分析促销情况分析促销情况分析促销影响分析（对比）促销影响分析（对比）促销商品的相关商品分析促销商品的相关商品分析 坪效分析模型坪效分析模型分析内容分析内容：以商业销售数据、营业面积为分析对象，分析商业销售情况，广场分布结构、营业绩效情况、营业绩效增长趋势、单位面积销售金额增长趋势、单位面积销售毛利增长趋势、单位面积库区销售规模区间分析等。 指标设计指标

19、设计：销售金额、毛利、营业面积、单位面积的销售金额以及毛利。 维度设计维度设计： 时间时间维度：年、季度、月。 组织结构组织结构维度：部门、楼层 商品属性商品属性维度：商品分类、商品大类、商品供应商 经营方式经营方式维度：经营类型 单位面积的销售结构广场分布结构单位面积毛利贡献排行情况广场机构毛利贡献情况销售金额增长趋势销售毛利增长趋势 单位面积毛利变化趋势 单位面积主题主打商品销售趋势 单位面积销售金额区间分析广场销售规模区间分析可进行的分析可进行的分析其他分析模型其他分析模型经营分析模型经营分析模型经营分析模型经营分析模型财务分析模型财务分析模型采购分析模型 客流以及销售特征分析毛利贡献分

20、析 会员卡分析价格趋势分析经营坪效分析人均经营贡献分析经营计划进度分析现金流分析成本分析费用分析应收应付账款分析 多维数据分析系统多维数据分析系统MDDAS（Multi-Dimensionality Data Analyze System）是一种按照路径求解模式的数据分析系统，用户可以从不同的路径查询分析数据。 2001年实施中国烟草专卖局的经济运行分析系统时，用户是中国烟草专卖局经济运行司根据实际需求提出很多有建设意义的软件需求，例如：分析风格的自定义、自动生成文字报告、例行分析的生成到后来的分析摸板的生成等等，及时的丰富和完善了路径求解模式的产品。 2002年的时候，在进一步实施商业智能项

21、目的时候，发现路径求解模式虽然有它的优势，但是不能解决用户的其他的需求，例如：交叉表的实现、数据展开分析、数据元的选择等等，就着手维度求解模式产品的开发，及时开发出了新的产品，不仅如此，还集成了很多数据统计算法和数据分析算法，数据导出成文件等等新的功能，进一步完善了产品，形成了现在的MDDAS。MDDAS采用国际上最前沿的软件基础框架标准 XML Web Servicess（Web环境分布式组件技术）和ActiveX技术，把各种商业智能技术整合到一个集成环境中，为企业提供新一代协同工作的商业智能环境。MDDAS另外一种集成方式是采用应用程序集成，其数据连接采用Remote ServerRemo

22、te Server,具有成本低、定制灵活等特点，适合中小型企业应用。 JDBCODBCBDEODBCDataWarehouseserverOLAP ServerRDBMSOther Data Warehouse ServerData ConnectserverWeb ServicesRemote ServerWeb ServerBrowserHTMLJSPASPActiveXClientApplicationMIDASS o c k e t ServerSOAPHTTPIBM Web SphereBEA Web Logic Portal数据展开数据展开数数据据钻钻取取数据交叉数据交叉一、灵活的

23、数据展现功能一、灵活的数据展现功能二、丰富的图形分析功能二、丰富的图形分析功能饼图：常用于结构分析饼图：常用于结构分析面积图：常用于累计差异分析面积图：常用于累计差异分析帕雷托图：常用于帕雷托图：常用于ABC分析分析又名又名8-2分析分析线图：常用于趋势分析和预测线图：常用于趋势分析和预测 一介差分分析图：常用于波动分析一介差分分析图：常用于波动分析柱状图：常用于对比分析柱状图：常用于对比分析三、专业的统计分析功能三、专业的统计分析功能单变量统计分析单变量统计分析回归分析回归分析相关分析相关分析聚类分析聚类分析时间序列分析时间序列分析进度分析及监控预警进度分析及监控预警 单变量分析是描述某个指

24、标分布特征。计算出的测度值反映统计分布的集中趋势。线性回归分析是侧重考虑变量之间的相互关系，并通过回归方程，来描述这种关系，进而确定一个或几个变量之间的变化对另一个变量的影响程度，为预测提供科学的理论依据。相关分析就是一种测度事物间统计关系强弱的一种手段和工具，衡量变量之间线性相关程度的强弱。聚类分析实质是一种建立分类的方法，它能够将一批样本数据，在没有先验知识的情况下，按照它们在性质上的亲疏程度进行分类。时间序列分析法是依据预测对象过去的统计数据，找到其随时间变化的规律，建立时序模型，以推断未来数值的预测方法。进度分析用于考核指标的完成情况。预警分析是根据经济运行数据，为烟草行业的生产经营及

25、时提供预警信号。我们将数据仓库按BKR模型设计成三个层次，即B层、K层和R层，B层为基础业务数据层，主要存放基础业务数据，它是数据仓库的数据基础和数据缓冲，数据仓库的数据通过数据抓取汇集到B层，这种抓取是定期抓取，不是实时抓取，数据抓取到 B层之后通过数据整合到K层；K层是关键指标（KPI：Key Performance Indicators）层次，R层是灵活应用层次，其主要服务对象是报表等应用。它们的计算关系可以用如下表达式表示：K=f(B,K); R=f(B,K) f(.)表示函数关系。 数据中心层次图数据中心层次图如下： K表体系设计表体系设计每个分析主题均对应一个K层的基表，但是K层的

26、基表的数据量庞大，不利于在线查询分析。我们在K层基表的基础上定义数据的维度、粒度属性，建立数据汇集路径，然后使用工具将建立好的模型自动生成数据立方体和数据管理中心，这样将K层的基表衍生为一个菱形的K表体系，然后通过数据管理中心智能搜索数据，数据管理中心就是将数据的维度、粒度和数据的定位做对应，即根据数据的维度和粒度智能搜索其最优的数据定位，以提高查询分析的效率。 K K表体系图表体系图如下： 一、功能模块权限控制一、功能模块权限控制二、操作功能权限控制二、操作功能权限控制三、维度访问权限控制三、维度访问权限控制四、分析数据权限控制四、分析数据权限控制 功能模块权限控制是控制用户能访问的功能，例如销售部经理能访问的就是销售分析模型、财务经理能访问的就是现金流、成本、费用、应收应付账款等模型而公司领导则能