商务智能 第二章 商务智能体系结构

1、2022/7/29 The Institute of Business Intelligence, HFUT1/56第二章 商务智能体系结构1. 商务智能整体框架2. 数据仓库3. OLAP技术2022/7/29 The Institute of Business Intelligence, HFUT2/56数据ETL数据仓库数据挖掘可视化OLAP数据知识决策模式趋势事实关系模型关联规则序列目标市场资金分配贸易选择在哪儿做广告销售的地理位置金融经济POS人口统计生命周期商务智能的概念2022/7/29 The Institute of Business Intelligence, HFUT3/

2、56数据质量控制数据重新组织EII解决方案数据展现数据管理数据获取数据迁移作业分配数据清洗数据仓库元数据管理数据集市管理安全性、分析管理最终用户数据质量控制数据重新组织ETL/DQ解决方案数据抽取、迁移、加载周数据加载日常数据增加日周期数据源ETL/EII数据存储管理业务模型数据展现利润成本分析 资产分析 营销分析投资组合分析平衡计分卡/KPI解决的业务问题数据分析采购系统生产系统销售系统财务系统即席查询Intranet/Internet产品报告数据挖掘例外分析随即查询报表例外分析数据挖掘决策人员管理人员分析人员业务人员实时增量 虚拟 数据仓库数据仓库 企业数据模型MDMBW2022/7/29

3、 The Institute of Business Intelligence, HFUT4/56企业商务智能体系架构规划2022/7/29 The Institute of Business Intelligence, HFUT5/56IBM 商务智能解决方案2022/7/29 The Institute of Business Intelligence, HFUT6/56企业数据仓库ETL(抽取、转换、加载)即席查询、预定义报表、自定义报表、OLAP、数据挖掘、专题分析模型元数据管理Web服务器客户端客户端客户端客户端客户端大客户分析数据集市财务分析数据集市客户分析数据集市.模型库业务数据

4、库业务数据库业务数据库业务数据库业务数据库业务发展分析客户分析大客户分析用户发展分析收益情况分析服务质量分析营销管理分析财务分析渠道分析反欺诈专题分析客户流失专题分析.2022/7/29 The Institute of Business Intelligence, HFUT7/56第二章 商务智能体系结构1. 商务智能整体框架2. 数据仓库3. OLAP技术2022/7/29 The Institute of Business Intelligence, HFUT8/56赛博公司数据仓库系统 赛博公司是一家以生产、销售服装产品为主营业务的电子商务企业，下设生产、销售、市场、客服、财务等不同职

5、能部门。 虽然各职能部门均采用信息系统支持相关业务的处理，但是由于建设的初期缺乏严格的整体规划，数据缺乏标准化和完整性，各职能部门都有独立的数据库系统。2022/7/29 The Institute of Business Intelligence, HFUT9/56DB2OracleSQLServerExcelspreadsheetXMLdocumentData managementlayerApplicationlayer赛博公司数据仓库系统2022/7/29 The Institute of Business Intelligence, HFUT10/56赛博公司数据仓库系统 随着公司业

6、务的快速发展，公司的业务数据量快速增加。如果要存储上述数据，需要庞大的存储空间，消耗大量的系统资源。 交易数据、客户服务数据以及各种网络数据等错综复杂的数据源使得公司数据结构错综复杂，结构化和非结构化数据大量存在。 此外，业务数据中，数据遗漏、数据错误等情况时有发生，严重影响了公司的数据利用效果和决策质量。(存储？删除？长期？短期？)(能否共享？如何统一？)(噪音数据如何处理？)2022/7/29 The Institute of Business Intelligence, HFUT11/56 赛博公司决定采用数据仓库建立集成的数据平台，以整合各分布系统的数据，提高公司的数据管理和利用能力。

7、(1) 确定公司的决策分析主题 通过对公司主要业务的分析，确定公司业务主要围绕产品、消费者、销售和客服等方面展开。在各主题下，公司需要面临具体的决策任务。赛博公司数据仓库实施步骤2022/7/29 The Institute of Business Intelligence, HFUT12/56(2) 基于决策主题，对业务数据进行重新组织 从各职能部门业务数据源中，获得所有与消费者相关的数据，对结构化和非结构化数据进行转换，对错误数据进行识别并修正，对缺失数据进行补充(ETL过程)。形成公司层面的、面向主题的数据仓库。赛博公司数据仓库实施步骤2022/7/29 The Institute of

8、 Business Intelligence, HFUT13/56(3)建立面向具体业务部门的数据集市 为了适应不同业务部门的具体需求，减少不同部门对数据仓库资源的争夺，在数据仓库的基础上，构建面向具体业务部门的数据集市，如构建面向市场部门的市场需求数据集市、面向客服部门的售后服务数据集市。赛博公司数据仓库实施步骤2022/7/29 The Institute of Business Intelligence, HFUT14/56实时交易交易历史顾客信息售后服务产品数据网站信息评论信息顾客销售服务产品市场需求数据集市售后服务数据集市客服部门销售部门ETL过程抽取转换装载数据仓库数据集市业务数据

9、赛博公司数据仓库系统2022/7/29 The Institute of Business Intelligence, HFUT15/56 什么是数据仓库？ 赛博公司数据仓库的构建步骤？ 数据仓库构建过程中需要解决哪些困难？ 数据集市与独立的业务部门数据有何区别？问题分析2022/7/29 The Institute of Business Intelligence, HFUT16/56数据仓库(Data Warehouse)概念 数据仓库用来保存从多个数据库或其它信息源选取的数据, 并为上层应用提供统一用户接口，完成数据查询和分析。 主要特点是包含大量面向整个企业的综合信息。2022/7/2

10、9 The Institute of Business Intelligence, HFUT17/56 以1992年W.H.Inmon出版Building the Data Warehouse为标志，数据仓库发展速度很快。 W. H.Inmon被誉为数据仓库之父。 W.H.Inmon对数据仓库所下的定义：数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。数据仓库(Data Warehouse)概念2022/7/29 The Institute of Business Intelligence, HFUT18/56数据仓库(Data Warehouse)概念De

11、fined in many different ways, but not rigorously.A decision support database that is maintained separately from the organizations operational databaseSupport information processing by providing a solid platform of consolidated, historical data for analysis.“A data warehouse is a subject-oriented, in

12、tegrated, time-variant, and nonvolatile collection of data in support of managements decision-making process.”W. H. InmonData warehousing:The process of constructing and using data warehouses2022/7/29 The Institute of Business Intelligence, HFUT19/56面向主题 数据仓库中的数据是按照各种主题来组织的。主题是企业决策分析的一个对象，是对业务数据的一个提

13、升和概括。如保险公司按照应用组织可能是汽车保险、生命保险、伤亡保险，而数据仓库是按照客户、政策、保险金和索赔来组织数据。 面向主题的数据组织方式可在较高层次上对分析对象的数据给出完整、一致的描述，能完整、统一的刻画各个分析对象所涉及的企业的各项数据以及数据之间的联系，从而适应企业各个部门的业务活动特点和企业数据的动态特征，从根本上实现数据与应用的分离。2022/7/29 The Institute of Business Intelligence, HFUT20/56Data WarehouseSubject-OrientedOrganized around major subjects, s

14、uch as customer, product, salesFocusing on the modeling and analysis of data for decision makers, not on daily operations or transaction processingProvide a simple and concise view around particular subject issues by excluding data that are not useful in the decision support process2022/7/29 The Ins

15、titute of Business Intelligence, HFUT21/56集成性 数据仓库中的数据是从原有分散的源数据库中提取出来的，其每一个主题所对应的源数据在原有的数据库中有许多冗余和不一致，且与不同的应用逻辑相关。 为了创建一个有效的主题域，必须将这些来自不同数据源的数据集成起来，使之遵循统一的编码规则。2022/7/29 The Institute of Business Intelligence, HFUT22/56Data WarehouseIntegratedConstructed by integrating multiple, heterogeneous data

16、sourcesrelational databases, flat files, on-line transaction recordsData cleaning and data integration techniques are applied.Ensure consistency in naming conventions, encoding structures, attribute measures, etc. among different data sourcesE.g., Hotel price: currency, tax, breakfast covered, etc.W

17、hen data is moved to the warehouse, it is converted. 2022/7/29 The Institute of Business Intelligence, HFUT23/56稳定性 数据仓库内的数据有很长的时间跨度，通常是5-10年。 数据仓库中的数据反映的是一段时间内历史数据的内容，是不同时点的数据库快照的集合。主要供企业高层决策分析之用，所涉及的数据操作主要是查询，一般情况下并不进行修改操作. 数据仓库中的数据是不可实时更新的，仅当超过规定的存储期限，才将其从数据仓库中删除，提取新的数据经集成后输入数据仓库。2022/7/29 The In

18、stitute of Business Intelligence, HFUT24/56Data WarehouseNonvolatileA physically separate store of data transformed from the operational environmentOperational update of data does not occur in the data warehouse environmentDoes not require transaction processing, recovery, and concurrency control me

19、chanismsRequires only two operations in data accessing: initial loading of data and access of data2022/7/29 The Institute of Business Intelligence, HFUT25/56时变性 许多商业分析要求对发展趋势做出预测，对发展趋势的分析需要访问历史数据。 因此数据仓库必须不断捕捉业务数据库中变化的数据，生成数据库的快照，经集成后增加到数据仓库中去；另外数据仓库还需要随时间的变化删去过期的、对分析没有帮助的数据，并且还需要按规定的时间段增加综合数据。2022/

20、7/29 The Institute of Business Intelligence, HFUT26/56Data WarehouseTime VariantThe time horizon for the data warehouse is significantly longer than that of operational systemsOperational database: current value dataData warehouse data: provide information from a historical perspective (e.g., past 5

21、-10 years)Every key structure in the data warehouseContains an element of time, explicitly or implicitlyBut the key of operational data may or may not contain “time element”OLTP即联机事务处理，就是我们经常说的关系数据库，意即记录即时的增、删、改、查，就是我们经常应用的东西，这是数据库的基础；OLAP即联机分析处理，是数据仓库的核心部心，所谓数据仓库是对于大量已经由OLTP形成的数据的一种分析型的数据库，用于处理商业智能

22、、决策支持等重要的决策信息；数据仓库是在数据库应用到一定程序之后而对历史数据的加工与分析；是处理两种不同用途的工具而已2022/7/29 The Institute of Business Intelligence, HFUT28/56OLTP vs. OLAP2022/7/29 The Institute of Business Intelligence, HFUT29/56ETL概述 ETL 顾名思义，即数据抽取(Extraction)、转换(Transformation)、装载(Load)的过程，它是构建数据仓库的重要环节。 ETL目的是将企业中的分散、零乱、标准不统一的数据整合到一起，

23、为企业的决策提供分析依据。2022/7/29 The Institute of Business Intelligence, HFUT30/56ETL设计1数据抽取任务做大量的前期调研工作，搞清楚为了构建数据仓库的某一主题，需要哪些数据(表、字段)？这些数据存储在哪些数据库中？如果一个电子商务企业要构建顾客价值主题，可能从哪些部门的数据库中抽取数据？2022/7/29 The Institute of Business Intelligence, HFUT31/56与DW数据库系统相同的数据源 DBMS都会提供数据库链接功能，在DW数据库服务器和原业务系统之间建立直接的链接关系就可以写Sele

24、ct语句直接访问.与DW数据库系统不同的数据源 一般情况下也可以通过ODBC的方式建立数据库链接。如果不能建立数据库链接，可以有两种方式完成，一种是通过工具将源数据导出成.txt或者是.xls文件，然后再将这些源系统文件导入到ODS中。另外一种方法是通过程序接口来完成。对于文件类型数据源(.txt,.xls)，可以培训业务人员利用数据库工具将这些数据导入到指定的数据库，然后从指定的数据库中抽取。ETL设计1数据抽取2022/7/29 The Institute of Business Intelligence, HFUT32/56ETL设计2数据转换 对业务数据库中缺失的、错误的、重复的、格式

25、不一致的数据进行补齐、修正、转换或删除。 不完整数据的处理：这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。2022/7/29 The Institute of Business Intelligence, HFUT33/56年龄收入(万)工作时间(年)顾客类型25102优293优3296良387120良361813中3015优ETL设计2数据转换2022/7/29 The Institute of Business Intelligence, HFUT34/56错误数据的修正：这一类错误产生的原因是业务系统不够健全，在

26、接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、数值越界等。年龄收入(万)工作时间(年)顾客类型25102优293优3296良387120良361813中3015优ETL设计2数据转换2022/7/29 The Institute of Business Intelligence, HFUT35/56 重复数据删除：数据重复一方面是由于反复录入同样的记录导致的，另一方面，对同一记录经常存在于不同部门的数据库中。例如，某一顾客的记录可能同时存在于市场部门和客服部门的数据库中。 数据冲突处理：源数据中某些字段值必须是兼容的

27、，例如消费者所在的城市和邮政编码(电话区号)。数据冲突包括同一数据源内部的冲突和不同数据源之间的冲突。 网络环境下，数据的错误、冲突等情况更加严重。 ETL设计2数据转换2022/7/29 The Institute of Business Intelligence, HFUT36/56 数据格式的转换 不一致数据转换：将不同业务系统的相同类型的数据统一，比如同一个供应商在结算系统的编码是XX0001,而在CRM中编码是YY0001。 不一致粒度的转换：业务系统一般存储非常明细的数据，而数据仓库中数据是用来分析的，不需要非常明细的数据，需要将业务系统数据按照数据仓库粒度进行聚合。ETL设计2数

28、据转换2022/7/29 The Institute of Business Intelligence, HFUT37/56ETL设计3数据装载 数据经抽取和转换后，需要装载到数据仓库中，数据装载通常包括如下形式：初次装载：相关数据的首次装载；增量装载：定期更新数据仓库中的某些数据，保持数据仓库与源数据变化的周期性。完全刷新：周期性的对数据仓库中的某些数据进行重写。2022/7/29 The Institute of Business Intelligence, HFUT38/56ETL设计 ETL是BI项目重要的一个环节。通常情况下，在BI项目中ETL会花掉整个项目的1/3的时间，ETL设计

29、的好坏直接关接到BI项目的成败。2022/7/29 The Institute of Business Intelligence, HFUT39/56赛博公司数据仓库系统实时交易交易历史顾客信息售后服务产品数据网站信息评论信息顾客销售服务产品市场需求数据集市售后服务数据集市客服部门销售部门ETL过程抽取转换装载数据仓库数据集市业务数据2022/7/29 The Institute of Business Intelligence, HFUT40/56数据仓库与数据集市数据仓库是企业级的，能为整个企业各部门的运行提供决策支持手段。而数据集市（ Data Mart ）是部门级别的，一般只能为某个局

30、部范围内的管理人员服务，也称为部门级的数据仓库。2022/7/29 The Institute of Business Intelligence, HFUT41/56数据集市数据集市有两种：独立的数据集市和从属的数据集市。2022/7/29 The Institute of Business Intelligence, HFUT42/56为什么需要数据集市？不同部门争夺数据仓库资源构建数据仓库周期长、成本高2022/7/29 The Institute of Business Intelligence, HFUT43/56数据仓库设计自上而下（Top-Down）自底而上（Bottom Up）混

31、合的方法数据仓库建模2022/7/29 The Institute of Business Intelligence, HFUT44/56自上而下Local Data MartExternal DataLocal Data MartOperational DataEnterprise WarehouseBuild Enterprise data warehouseCommon central data modelData re-engineering performed onceMinimize redundancy and inconsistencyDetailed and history

32、data; global data discoveryBuild datamarts from the Enterprise Data Warehouse (EDW)Subset of EDW relevant to departmentMostly summarized dataDirect dependency on EDW data availability2022/7/29 The Institute of Business Intelligence, HFUT45/56自下而上局部数据集市外部数据操作型数据 (全部)操作型数据(局部)操作型数据(局部)局部数据集市企业数据仓库EDB创

33、建部门的数据集市范围局限于一个主题区域快速的 ROI - 局部的商业需求得到满足本部门自治 - 设计上具有灵活性对其他部门数据集市是一个好的指导容易复制到其他部门 需要为每个部门做数据重建有一定级别的冗余和不一致性一个切实可行的方法扩大到企业数据仓库创建EDB作为一个长期的目标1、星型模型星型模型是一种由一点向外辐射的建模范例，中间有一单一对象沿半径向外连接到多个对象。星型模型反映 了最终用户对商务查询的看法:销售事实、赔偿、付款和货物的托运都用一维或多维描述(按月、产品、地理位置)。星型模型中心的对象称为“事实表”，与之相连的对象称为“维表”。对事实表的查询就是获取指向维表的指针表，当对事实

34、表的查询与对维表的查询结合在一起时，就可以检索大量的信息。通过联合，维表可以对查找标准细剖和聚集。2、雪花模型雪花模型是对星型模型的扩展，每一个点都沿半径向外连接到多个点.雪花模型对星型的维表进一步标准化，它的优点是通过最大限度的减少数据存储量以及把较小的标准化表(而不是大的非标准化表)联合在一起来改善查询性能。化及维的较低的粒度，雪花模型增加了应用程序的灵活性。3、混合模型混合模型是星型模型和雪花模型的一种折衷模式，其中星型模型由事实表和标准化的维表组成，雪花模型的所有维表都进行了标准化。在混合模型中，只有最大的维表才进行标准化，这些表一般包含一列列完全标准化的(重复的)数据。2022/7/

35、29 The Institute of Business Intelligence, HFUT47/56数据仓库建模星型模式DateMonthYearDateCustIdCustNameCustCityCustCountryCustSales Fact Table Date Product Store Customer unit_sales dollar_sales Yen_salesMeasurementsProductNoProdNameProdDescCategoryQOHProductStoreIDCityStateCountryRegionStore2022/7/29 The Ins

36、titute of Business Intelligence, HFUT48/56数据仓库建模雪片模式 DateMonthDateCustIdCustNameCustCityCustCountryCustSales Fact Table Date Product Store Customer unit_sales dollar_sales Yen_salesMeasurementsProductNoProdNameProdDescCategoryQOHProductMonthYearMonthYearYearCityStateCityCountryRegionCountryStateCoun

37、tryStateStoreIDCityStore2022/7/29 The Institute of Business Intelligence, HFUT49/56操作型（OLTP）数据源 - 销售库2022/7/29 The Institute of Business Intelligence, HFUT50/56数据仓库建模星形模式2022/7/29 The Institute of Business Intelligence, HFUT51/56多维模型事实度量(Metrics)时间维时间维的属性2022/7/29 The Institute of Business Intellige

38、nce, HFUT52/56第二章 商务智能体系结构1. 商务智能整体框架2. 数据仓库3. OLAP技术2022/7/29 The Institute of Business Intelligence, HFUT53/56OLAP简介On-line Analytical Processing在线分析处理技术，1993年E.F. Codd 及其同事首次提出OLAP是使管理人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映业务持续性的信息进行快速、一致和交互的存取，从而获得对数据更深入的理解。多维分析，构建数据(超)立方体2022/7/29 The Institute

39、 of Business Intelligence, HFUT54/56OLAP基本概念维：是人们观察数据的特定角度，考虑问题时的一类属性集合构成一个维(时间维、产品维) 。维的层次：人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维：日期、月份、季度、年)。维的成员：维的层次的一个取值。是数据项在某维中位置的描述。(“2012年3月”)。2012年第一季度海尔彩电在合肥地区的销售量！2022/7/29 The Institute of Business Intelligence, HFUT55/56OLAP简介2022/7/29 The Institute o

40、f Business Intelligence, HFUT56/56销售数据的4-D表示 2022/7/29 The Institute of Business Intelligence, HFUT57/56OLAP操作切片和切块(Slice and Dice)在多维数据结构中,按二维进行切片，按三维进行切块，可得到所需要的数据。如在“城市、产品、时间”三维立方体中进行切块和切片,可得到各城市、各产品的销售情况。钻取(Drill) 钻取包含向下钻取(Drill-down)和向上钻取(Drill-up)/上卷(Roll-up)操作，钻取的深度与维所划分的层次相对应。 旋转(Rotate)/旋转(

41、Pivot)通过旋转可以得到不同视角的数据。2022/7/29 The Institute of Business Intelligence, HFUT58/56切片、切块2022/7/29 The Institute of Business Intelligence, HFUT59/56钻取2022/7/29 The Institute of Business Intelligence, HFUT60/56旋转时间产品财务指标财务指标产品时间2022/7/29 The Institute of Business Intelligence, HFUT61/56证券公司风险管理商务智能系统 目前

42、，我国证券公司的主营业务有证券经纪、证券承销、证券自营、资产管理、兼并收购、基金代销和投资咨询等，其经营风险也主要来自于这些业务，如经纪业务风险、承销业务风险、自营业务风险和资产管理风险等。 证券公司风险管理商务智能系统设计架构：业务层、数据层、分析层、应用层和界面层。 业务层是风险管理系统实施的基础，所有系统分析中的数据都与这些业务密切相关。2022/7/29 The Institute of Business Intelligence, HFUT62/56证券公司风险管理商务智能系统2022/7/29 The Institute of Business Intelligence, HFUT63/56证券公司风险管理商务智能系统 在证券公司风险管理商务智能系统开发的过程中，数据格式的规范化是数据仓库建立的基础，它为各种应用开发提供支撑，而逻辑模型的设计是数据仓库建立的关键。 证券公司风险管理系统的智能性体现在其自适应能力上，今日准确的风险预测模型不一定能够满足明日风险管理的需要。 2022/7