数据库仓库和BI企业级技术课件

为什么选择数据仓库随着信息化建设的不断推进，产生了大量的数据。必须合理科学的应用这些数据，为业务决策提供强有力的数据支持。简单的报表应用已经无法满足需求，因此需要使用更强大数据仓库及其相关应用。平台作为财政数据平台有着标准化的存储结构和全面多样的业务数据，可以作为财政数据仓库的可靠数据来源。为什么选择数据仓库随着信息化建设的不断推进，产生了大量的数据1数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系结构主流数据仓库产品对比分析实例介绍数据仓库数据仓库、商业智能(BI)的概念2数据仓库概念历史

数据仓库概念始于上世纪80年代中期，首次出现是在被誉为“数据仓库之父”WilliamH.Inmon的《建立数据仓库》一书中。定义

数据仓库是在管理和决策中面向主题的、集成的、随时间变化的、相对稳定的数据集合按技术划分抽取、存储与管理、数据的表现决策支持系统(DSS,DecisionSupportSystem)准确、安全、可靠地取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。数据仓库概念历史3商业智能的概念（BI）

商业智能的核心内容是从业务处理系统的数据中，提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL

过程，整合到一个企业级的数据仓库里，从而得到企业信息的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具等对数据仓库里的数据进行分析和处理，形成信息，甚至进一步把信息提炼出辅助决策的知识，最后把知识呈现给管理者，为管理者的决策过程提供支持。商业智能的概念（BI）商业智能的核心内4商业智能的概念（BI）商业智能的概念（BI）5传统的决策模式传统的决策模式6商业智能环境下的决策流程商业智能环境下的决策流程7数据仓库与商业智能关系数据仓库是商业智能的基础。数据仓库

数据仓库从概念上更多地侧重在对各类信息的整合工作，包括了数据的迁移，数据的组织和存储，数据的管理与维护这些我们平常称之为后台的基础性的数据准备工作。商业智能商业智能则侧重在数据查询和报告、多维/联机数据分析、数据挖掘和数据可视化工具这些平常称之为所谓前台的数据应用方面，其中数据挖掘是商业智能中比较高层次的一种应用。数据仓库与商业智能关系数据仓库是商业智能的基础。8数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系结构主流数据仓库产品对比分析实例介绍数据仓库数据仓库、商业智能(BI)的概念9数据库仓库和BI企业级技术10数据仓库、商业智能的体系结构数据源ETL数据仓库数据集市元数据OLAP数据仓库、商业智能的体系结构数据源111.数据源平台数据库外部数据（格式：txt、excel、dbf等文件格式）其它数据库1.数据源平台数据库122、ETLE:Extract从源数据抽取数据T:Transform把抽取的数据进行转换L:Load把转换好的数据装载到数据仓库中。2、ETLE:Extract从源数据抽取数据133、数据仓库数据仓库的一个目的就是把企业的信息访问基础从一种非结构化的改变成一种结构化、发展中的环境改变成规划良好的环境。业务处理系统是面向应用来设计的，更准确地说是面向交易来设计。而数据仓库一般来说是按主题(Subject)来建模,是面向查询主题的。3、数据仓库数据仓库的一个目的就是把企业的信息访问基础从一种143.数据仓库数据仓库的关键特征星型模式粒度分割3.数据仓库数据仓库的关键特征153.数据仓库--关键特征面向主题的（subject-oriented）集成的（integrated）时变的（time-variant）非易失的（nonvolatile）数据仓库是一种语义上一致的数据存

储，它充当决策支持数据模型的物理实现，并存放业务决策所需信息。数据仓库通过将异种数据源中的数据集成在一起而构造，支持结构化的和专门的查询、分析报告和决策。3.数据仓库--关键特征面向主题的（subject-orie163.数据仓库--星型模式3.数据仓库--星型模式173.数据仓库--星型模式3.数据仓库--星型模式183.数据仓库--粒度粒度是对数据仓库中的数据的汇总程度高低的一个度量，（按省级汇总或按市级汇总就是不同的粒度）它既影响数据仓库中的数据量的多少，也影响数据仓库所能回答询问信息的种类。在数据仓库中，多维粒度是必不可少的。由于数据仓库的主要作用是多维分析，因而绝大多数查询都基于一定程度的汇总数据之上的，只有极少数查询涉及到细节。3.数据仓库--粒度19分割分割，目的在于提高效率。它是将数据分散到各自的物理单元中去,以便能分别独立处理，以实现查询操作的并行。有许多数据分割的标准可供参考:如时间、地域、业务领域等等,也可以是其组合。一般而言,分割标准总应包括一些能让它十分自然而且分割均匀的项目，例如时间项。分割分割，目的在于提高效率。它是将数据分散到各自的204、数据集市数据集市分两种，独立的数据集市（IndependentDataMart）和从属的数据集市（DependentDataMart）。4、数据集市数据集市分两种，独立的数据集市（Inde21两种数据集市对比对比优点缺点从属数据集市保证数据一致性；架构比较理想，可扩展能力强依赖与中心数据仓库的实施；实施周期长；实施成本高；独立数据集市实施周期短；实施成本低；没有消除信息分割；可扩展能力弱；后期整合困难。财政领域应用在平台实施的基础上以从属数据集市为主。两种数据集市对比对比优点缺点从属数据集市保证数据一致性；依225.元数据(Meta-data)

定义:“关于数据的数据”，是描述和管理数据仓库自身内容对象、用来表示数据项的意义及其在系统各组成部件之间的关系的数据。数据仓库的元数据包括：（1）数据资源：包括各个数据源的模型，描述源数据表字段属性及业务含义，源数据到数据仓库的映射关系；（2）数据组织：数据仓库、数据集市表的结构、属性及业务含义，多维结构等；（3）数据应用：查询与报表输出格式描述、OLAP、数据挖掘等的数据模型的信息展现、商业术语；（4）数据管理：这里包括数据仓库过程以及数据仓库操作结果的模型，包括描述数据抽取和清洗规则、数据加载控制、临时表结构、用途和使用情况、数据汇总控制。5.元数据(Meta-data)定义:235.元数据类型业务元数据用业务名称、定义、描述和别名来表示数据仓库和业务系统中的各种属性，直接供最终用户使用。业务元数据使最终用户能够更好理解、使用数据仓库，成为最终用户在数据仓库中的业务信息地图。技术元数据技术元数据描述了源系统、数据转换、抽取过程、工作流、加载策略以及目标数据库的定义等。用来进行影响分析、变化管理、数据库优化、任务调度和安全管理等。操作元数据操作元数据描述了目标表中的信息，如粒度、创建目标表和索引的信息、刷新时间、记录数、按时执行任务的设置以及有权访问数据的用户。操作元数据用于数据仓库的维护和分布。5.元数据类型业务元数据24多维分析OLAPOLAP

(On-LineanalyticalProcessing)在线分析处理切片和切块(SliceandDice)钻取(Drill)旋转(Rotate)多维分析OLAPOLAP(On-Lineanalyti256、OLAP分析是一类软件技术分析人员能从多个角度获得对数据的更深入了解特点：快速、一致、交互多维视图分析数据的工具根据用户常用的多种分析角度，事先计算好一些辅助结构，以便在查询时能尽快访问到所要的汇总数字，并快速地从一维转变到另一维，将不同角度的信息以数字、直方图、饼图、曲线等等方式展现在用户面前。6、OLAP分析是一类软件技术26切片和切块(SliceandDice)切片 取二维数据，称为切片。切块取三维数据，称为切块。切片和切块(SliceandDice)切片27切片和切块(SliceandDice)切片和切块(SliceandDice)28钻取(Drill)

钻取包含向下钻取(Drill-down)和向上钻取(Drill-up)操作，钻取的深度与维所划分的层次相对应。钻取(Drill)钻取包含向下钻取(Drill-dow29旋转(Rotate)旋转(Rotate)30数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系结构主流数据仓库产品对比分析实例介绍数据仓库数据仓库、商业智能(BI)的概念31主流数据仓库产品对比分析1.数据仓库产品介绍2.产品支撑技术主流数据仓库产品对比分析1.数据仓库产品介绍32主要数据仓库产品供应商介绍OracleIBMMicrosoftSASTeradataSybaseBusinessObjects(SAP)主要数据仓库产品供应商介绍Oracle33Oracle介绍

Oracle公司的数据仓库解决方案包含了数据库平台、开发工具和应用系统，能够提供一系列的数据仓库工具集和服务，具有多用户数据仓库管理能力，多种分区方式，与OLAP工具的交互能力，及数据移动机制等特性。Oracle的优势在于大多数业务系统采用oracle数据库。Oracle介绍Oracle公司34IBM介绍

IBM公司的数据仓库产品称为DB2DataWarehouseEdition，它结合了DB2数据服务器的长处和IBM的商业智能基础设施，集成了用于仓库管理、数据转换、数据挖掘以及OLAP分析和报告的核心组件，提供了一套基于可视数据仓库的商业智能解决方案。IBM的优势在于解决方案比较完善。IBM介绍IBM公司的数据仓库产品35Microsoft介绍

微软的SQLServer提供了三大服务和一个工具来实现数据仓库系统的整合，为用户提供了可用于构建典型和创新的分析应用程序所需的各种特性、工具和功能，可以实现建模、ETL、建立查询分析或图表、定制KPI、建立报表和构造数据挖掘应用及发布等功能。微软的优势在于简单易用。Microsoft介绍微软的SQL36SAS

SAS公司的数据仓库解决方案是一个由30多个专用模块构成的架构体系，适应于对企业级的数据进行重新整合，支持多维、快速查询，提供服务于OLAP操作和决策支持的数据采集、管理、处理和展现功能。SAS优势在于数据挖掘和统计分析。SASSAS公司的数据仓库解决方案是37Teradata

Teradata公司提出了可扩展数据仓库基本架构，包括数据装载、数据管理和信息访问几个部分，是高端数据仓库市场最有力竞争者，主要运行在基于Unix操作系统平台的NCR硬件设备上,在银行领域应用广泛。TeradataTeradata公司38Sybase介绍

Sybase提供了称为WarehouseStudio的一整套覆盖整个数据仓库建立周期的产品包，包括数据仓库的建模、数据集成和转换、数据存储和管理、元数据管理和数据可视化分析等产品。Sybase介绍Sybase提供了39BusinessObjects（SAP）介绍

BusinessObjects是BI工具，集查询、报表和OLAP技术为一身的智能决策支持系统，具有较好的查询和报表功能，提供多维分析技术，支持多种数据库，同时它还支持基于Web浏览器的查询、报表和分析决策。被SAP收购后，目前还没有完整数据仓库解决方案。BusinessObjects（SAP）介绍40主流数据仓库产品对比分析数据仓库产品介绍支撑技术主流数据仓库产品对比分析数据仓库产品介绍41数据仓库技术1、数据库技术2、ETL技术3、OLAP技术4、报表技术5、数据挖掘技术数据仓库技术1、数据库技术42数据库技术

数据库技术是支撑数据仓库技术的基础技术。尽管在数据仓库技术存储模型方面，基于数据库技术而发展的关系模式的理念已经被颠覆，取而代之是各种各样的数据仓库数据模型，如星型模型，雪花模型等。然而，在已有的数据仓库实践中，关系数据库仍然是实质的数据库存储工具，只是将数据库表改称为了事实表和维表，将属性域之间的关系重新定义为维度，量度，层次，粒度等。数据库技术数据库技术是支撑数据仓库技43数据仓库后台数据库比较产品供应商数据库产品效率兼容性管理磁盘空间OracleOracle优IBMDB2优MicrosoftSQLServer优SASTeradataTeradata差差SybaseSybaseIQ优优SAP数据仓库后台数据库比较产品供应商数据库产品效率兼容性管理磁盘44ETL技术

数据仓库系统是集成的、与时间相关的数据集合，ETL作为数据仓库的核心，负责将分布的、异构数据源中的数据进行抽取、清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。要实现数据仓库中数据的自动更新运转，ETL技术是必不可少的关键技术之一。ETL技术数据仓库系统是集成的、与时45产品供应商ETL工具特点OracleOracleWarehouseBuilder(OWB)数据仓库组件IBMIBMWebSphereDataStage整个ETL过程提供了一个图形化的开发环境，支持对多种操作数据源的数据抽取、转换和维护，并将其输入数据集或数据仓库MicrosoftIntegrationServices数据仓库组件SASETLStudio管理ETL流程和建立数据仓库、数据集市和OLAP结构的单控制点TeradataETLAutomation利用Teradata数据库本身的并行处理能力，通过SQL语句实现数据的转换，提供对ETL流程的支持，包括前后依赖、执行和监控等SybaseDataIntegrationSuite数据仓库组件SAPDataIntegrator数据仓库组件InformaticaPowerCenter二次开发、集成和开放性强于其它产品供应商ETL工具特点OracleOracleWare46OLAP技术

联机分析处理(OLAP)是针对特定问题的联机数据访问和分析，通过对信息进行快速、稳定、一致和交互式的存取，对数据进行多层次、多阶段的分析处理，以获得高度归纳的分析结果。联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要，SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求，由此出现了多维数据库和多维分析的概念。OLAP技术联机分析处理(OLAP)是47产品供应商OLAP产品OLAP分析工具数据库特点OracleExpress/Discoverer支持DB2，Oracle，SQLServer，Sybase等对自己的数据库产品的支持均好于其它数据库，分析工具基于开放的OLEDB标准，可以访问支持OLEDB标准的数据立方体IBMCOGNOSMicrosoftAnalysisServicesSASOLAPServerTeradata提供了相关技术，用于提升运行于Teradata数据库上的OLAP应用系统的性能SybasePowerDimension标准OLAPAPI能够对Microsoft、IBM等OLAP数据进行划分、钻取等处理，兼容第三方报表和展现工具SAPOLAPIntelligence产品供应商OLAP产品OLAP分析工具数据库特点Oracle48报表技术

报表技术主要是将集成在数据模型里的数据，按照复杂的格式、指定行列统计项，计算形成的特殊表格。一般的简单报表可以使用通用的前台展现技术实现，而复杂的报表则需要使用特定的报表技术。主流的报表技术都可以灵活的制定各种报表模版库和指标库，并根据每个区块或单元格的需要引用指标，实现一系列复杂的符合要求的报表的自动生成。报表技术报表技术主要是将集成在数据模型49产品供应商报表工具特点OracleOracleReports提供了自由的数据格式方式，可以自动生成个性化字母或矩阵风格的布局，包括动态、数据驱动的图表IBMCOGNOS覆盖了各种报表需求，包括管理报表、商业报表、账单和发票等。基于Olapserver实现查询分析操作.MicrosoftReportingServices(SSRS)（含）处理组件、一整套可用于创建和管理报表的工具、在自定义应用程序中集成和扩展数据和报表处理的APISASReportStudio功能、性能、二次开发等方面都还存在着一定的差距TeradataBTEQSybaseInfoMakerSAPCrystalReports提供了一个完整的企业报表解决方案CrystalReportsServer，支持通过Web快速便捷的创建、管理和交付报表产品供应商报表工具特点OracleOracleReport50数据挖掘技术

当数据积累到一定数量时，某些潜在联系、分类、推导结果和待发现价值隐藏在其中，可以使用数据发掘工具帮助发现这些有价值的数据。数据挖掘就是从海量数据中，提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。通过数据挖掘能找出数据库中隐藏的信息，实现用模型来拟合数据、探索型数据分析，数据驱动型的发现，演绎型学习等功能。数据挖掘技术当数据积累到一定数量时，51产品供应商挖掘工具特点OracleOracleDataMiner提供图形用户界面，通过向导来指导完成数据准备、数据挖掘、模型评估和模型评价过程，根据需要自动生成将数据挖掘步骤转换成一个集成的数据挖掘/BI应用程序所需的代码IBMIBMIntelligentMiner数据集自动生成、关联发现、序列规律发现、概念性分类和可视化呈现，可以自动实现数据选择、数据转换、数据发掘和结果呈现这一整套数据发掘操作Microsoft数据挖掘平台不同于传统数据挖掘应用程序，它支持组织中数据的整个开发生命周期，允许第三方添加自定义算法以支持特定的挖掘需求，支持实时根据挖掘的数据集进行数据验证。SASSASEnterpriseMiner数据挖掘过程简单流程化，支持关联、聚类、决策树、神经元网络和经典的统计回归技术TeradataTeradataWarehouseMiner将数据挖掘技术整合到数据仓库来简化数据挖掘流程，还可实现将多家厂商的数据挖掘技术嵌入Teradata企业级数据仓库环境中运行Sybase无SAP无产品供应商挖掘工具特点OracleOracleDataM52数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系结构主流数据仓库产品对比分析实例介绍数据仓库数据仓库、商业智能(BI)的概念53实例介绍1、数据建模2、ETL过程3、Cognos84、与Portal整合实例介绍1、数据建模54数据仓库创建过程1、数据建模2、ETL过程3、Cognos84、与Portal整合数据仓库创建过程1、数据建模55数据建模业务梳理整理并提取出维度、度量和事实表建立模型数据建模业务梳理56数据建模---业务系统数据库结构关系型数据库1.指标表单位代码功能分类id项目编码经济分类id金额001001203010120080101301010120333.002.计划表单位代码功能分类id项目编码经济分类id金额0010012030101200801013010101444.003.支付表单位代码功能分类id项目编码经济分类id金额0010012030101200801013010101333.00数据建模---业务系统数据库结构关系型数据库1.指标表单位代57模型---星型模型预算单位

业务表（事实表）功能分类指标来源资金性质业务处室指标类型预算项目支付方式模型---星型模型58数据建模过程业务系统数据库数据仓库1.指标表单位代码功能分类id项目编码经济分类id金额001001203010120080101301010120333.002.计划表单位代码功能分类id项目编码经济分类id金额0010012030101200801013010101444.003.支付表单位代码功能分类id项目编码经济分类id金额0010012030101200801013010101333.00数据建模过程业务系统数据库数据仓库1.指标表单位代码功能分类59数据仓库创建过程1、数据建模2、ETL过程3、Cognos84、与Portal整合数据仓库创建过程1、数据建模60ETL的本质ETL代表抽取(Extract)，转换(Transform)，装载(Load)，ETL的过程就是数据流动的过程，从不同的异构数据源流向统一的目标数据，其间，数据的抽取、清洗、转换和装载形成串行或并行的过程。ETL的本质ETL代表抽取(Extract)，转换(Tran61数据仓库中ETL的特点数据同步ETL周期性的，经常性的活动，不是一次性完成的。数据量

ETL的数据量一般都是巨大的，值得将数据流动过程拆分为E、T、L。数据仓库中ETL的特点数据同步62项目实施中ETL的特点实施时间长整个项目实施工作量的60%－70%过程复杂贯穿整个业务建模和存储的整个过程决定项目成败的关键数据的准确性、过程的执行成功与否项目实施中ETL的特点实施时间长63ETL设计策略切实可行的ETL设计策略抽取策略在数据抽取分析时需要对业务深刻理解不能简单的了解，哪一个表取不是随便的、简单的，一定要理解其中的含义这就需要对业务非常的清楚转换策略将数据由原来的格式转换成数据仓库格式。包括数据格式转换数据类型、转换数据汇总计算、数据拼接等等，但这些工作可以在不同的过程中处理视具体情况而定比如可以在数据抽取时转换可以在数据加载时转换……装载策略ETL设计策略切实可行的ETL设计策略64维表加载策略维表加载策略65事实表加载策略事实表加载策略66引用约束问题引用约束问题67数据仓库创建过程1、数据建模2、ETL过程3、Cognos4、与Portal整合数据仓库创建过程1、数据建模68COGNOS主要模块QueryStudio

查询：自助报表生成工具ReportStudio

查询：专有报表构筑工具

AnalysisStudio分析：多维数据展示工具

Transformer

分析：多维数据设计工具

FrameworkManager

查询：业务数据组织工具COGNOS主要模块QueryStudio查询69几个模块在Cognos体系中的位置应用（Consumer）

专业（profession）查询QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformer几个模块在Cognos体系中的位置应用70FrameworkManagerFrameworkManager是一个元数据建模工具，它使用数据查询来获取数据，模型中能包含多个数据源的各种物理信息和业务信息的元数据，以满足报表显现和数据分析的需要。FrameworkManager能根据业务需求创建面向报表的关系型，或面向OLAP分析和报表的维度化建模关系型(DMR)。FrameworkManagerFramework71FrameworkManager工作流程

FrameworkManager将生成的模型发布到ContentStore中，这些模型为Tansformer或前端展现工具提供数据服务。FrameworkManager工作流程72几个模块在Cognos体系中的位置应用（Consumer）

专业（profession）查询QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformer几个模块在Cognos体系中的位置应用73TransformerTransformer是CognosBI的数据建模工具，用户能使用它建立一个多数据源的多维业务模型。在选定了语言、维度、度量和业务视图后，Transformer将以这些条件建立数据方（pq），这些数据方被发布到Cognos的ContentStore中后，前端展现工具，如AnalysisStudio等，能围绕这些PwoerCube进行各种OLAP分析。TransformerTransformer是Cog74Transformer的工作界面Transformer的工作界面75理解CognosConnectionCognosConnection

是Cognos8的门户。QueryStudio，ReportStudio和AnalysisStudio的入口都被组织在了这个门户中。进入门户：http://<服务器名>/Cognos8在CognosConnection

门户中可以：

（1）创建和运行报表（2）执行管理性任务，例如调度报表可以通过在文件夹中创建和储存条目来对CognosConnection中的数据进行组织。理解CognosConnectionCognosConn76Cognos的工作区Cognos的工作区77QueryStudio应用（Consumer）

专业（profession）查询QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformerQueryStudio应用78QueryStudioQueryStudio是业务人员即时查询数据的日常工具，此工具一般使用直接数据源，可以对业务系统或数据仓库中的某类或某条明细信息进行检索，可将这些查询保存，以供日后再次使用。此工具提供了最简单的非正式的报表功能，报表在设计的同时即展现出报表结果。QueryStudioQueryStudio是业务79进入QueryStudio在QueryStudio中创建报表进入QueryStudio在QueryStudio80ReportStudio应用（Consumer）

专业（profession）查询QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformerReportStudio应用81ReportStudioReportStudio是用来制作更加精细的专有报表的工具,专有报表的设计和运行两个过程是分开的。ReportStudio中能够建立列表，交叉表，图表等各种类型的报表，并能实现报表的钻取功能。对于报表的数据源，可以设置复杂的汇总、过滤、分组、重新计算等操作。表样可精细加工成用户所需要的样式。ReportStudioReportStudio是82进入ReportStudio进入ReportStudio83用ReportStudio创建报表用ReportStudio创建报表84ReportStudio交叉表界面ReportStudio交叉表界面85定义交叉表行定义交叉表行86定义交叉表列定义交叉表列87定义交叉表度量定义交叉表度量88交叉表运行效果交叉表运行效果89表样一：预算指标执行情况表表样一：预算指标执行情况表90表样二：用款计划执行情况表表样二：用款计划执行情况表91表样三：预算支出情况表表样三：预算支出情况表92图表结合报表第一步先制定相应的交叉表第二步插入图图表结合报表第一步先制定相应的交叉表第二步插入图93图表结合报表图表结合报表94表样四：部门月度计划表样四：部门月度计划95表样五：业务数据对比表样五：业务数据对比96表样六：业务指标对比表样六：业务指标对比97AnalysisStudio应用（Consumer）

专业（profession）查询QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformerAnalysisStudio应用98什么是AnalysisStudio?

AnalysisStudio是Cognos8业务智能(BI)分析解决方案中的OLAP分析软件，它继承了之前的CognosPowerPlay的多维分析和报表功能。 用AnalysisStudio可以快速轻松地开展多维分析的工作；高效访问并分析大型数据集，并确保可获得快速的响应；长期察看趋势；分析并探察问题；钻取到细节并在维度或信息层之间转移。

AnalysisStudio通过向下钻取、切片和切块、排名和排序等传统的多维分析功能，简化了大型数据集的复杂分析流程。什么是AnalysisStudio? Analysis99维度结构：层和类别类别是在维度中层上的数据项维度结构：层和类别类别是在维度中层上的数据项100表样一：按功能分类时间分析表样一：按功能分类时间分析101分析工具的使用向下和向上钻取（DrillDown&DrillUp)扩展下一层展开下一层添加上下文数据过滤

1、抑制零过滤

2、行、列和上下文过滤

3、最高或最低过滤

4、排除过滤

5、自定义过滤排序隐藏分析工具的使用向下和向上钻取（DrillDown&Dri102分析工具的使用—计算分析工具的使用—计算103表样二：饼图表样二：饼图104组合维度组合维度105嵌套维度嵌套维度106数据仓库创建过程1、数据建模2、ETL过程3、Cognos84、与Portal整合数据仓库创建过程1、数据建模107为什么要与portal整合决策支持系统做为一个应用系统，也应该基于一个统一的应用门户实现系统登录和权限控制等功能。所有系统间的数据查询都可以通过平台的数据仓库实现，portal提供一个信息集成的基础容器。为什么要与portal整合决策支持系统做为一个应用系统，也应108与Portal整合1.选择“设置属性”

设置属性查看路径2.选择“查看搜索路径、ID和URL”

与Portal整合1.选择“设置属性”

设置属性查看路径2.109与Portal整合3.得到URL4.修改URL、提供给Poratlhttp://localhost:80/cognos8/cgi-bin/cognos.cgi?b_action=cognosViewer&ui.action=run&ui.object=%2fcontent%2fpackage%5b%40name%3d%27BudgetEnforceCube%27%5d%2ffolder%5b%40name%3d%27Report%20Studio%27%5d%2freport%5b%40name%3d%27%e4%b8%9a%e5%8a%a1%e5%a4%84%e5%ae%a4%e5%90%84%e5%b9%b4%e5%ba%a6%e6%8c%87%e6%a0%87%27%5d&=%e4%b8%9a%e5%8a%a1%e5%a4%84%e5%ae%a4%e5%90%84%e5%b9%b4%e5%ba%a6%e6%8c%87%e6%a0%87&run.outputFormat=&mpt=true改为服务器IP或与Portal整合3.得到URL4.修改URL、提供给Por110谢谢！谢谢！111为什么选择数据仓库随着信息化建设的不断推进，产生了大量的数据。必须合理科学的应用这些数据，为业务决策提供强有力的数据支持。简单的报表应用已经无法满足需求，因此需要使用更强大数据仓库及其相关应用。平台作为财政数据平台有着标准化的存储结构和全面多样的业务数据，可以作为财政数据仓库的可靠数据来源。为什么选择数据仓库随着信息化建设的不断推进，产生了大量的数据112数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系结构主流数据仓库产品对比分析实例介绍数据仓库数据仓库、商业智能(BI)的概念113数据仓库概念历史

数据仓库概念始于上世纪80年代中期，首次出现是在被誉为“数据仓库之父”WilliamH.Inmon的《建立数据仓库》一书中。定义

数据仓库是在管理和决策中面向主题的、集成的、随时间变化的、相对稳定的数据集合按技术划分抽取、存储与管理、数据的表现决策支持系统(DSS,DecisionSupportSystem)准确、安全、可靠地取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。数据仓库概念历史114商业智能的概念（BI）

商业智能的核心内容是从业务处理系统的数据中，提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL

过程，整合到一个企业级的数据仓库里，从而得到企业信息的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具等对数据仓库里的数据进行分析和处理，形成信息，甚至进一步把信息提炼出辅助决策的知识，最后把知识呈现给管理者，为管理者的决策过程提供支持。商业智能的概念（BI）商业智能的核心内115商业智能的概念（BI）商业智能的概念（BI）116传统的决策模式传统的决策模式117商业智能环境下的决策流程商业智能环境下的决策流程118数据仓库与商业智能关系数据仓库是商业智能的基础。数据仓库

数据仓库从概念上更多地侧重在对各类信息的整合工作，包括了数据的迁移，数据的组织和存储，数据的管理与维护这些我们平常称之为后台的基础性的数据准备工作。商业智能商业智能则侧重在数据查询和报告、多维/联机数据分析、数据挖掘和数据可视化工具这些平常称之为所谓前台的数据应用方面，其中数据挖掘是商业智能中比较高层次的一种应用。数据仓库与商业智能关系数据仓库是商业智能的基础。119数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系结构主流数据仓库产品对比分析实例介绍数据仓库数据仓库、商业智能(BI)的概念120数据库仓库和BI企业级技术121数据仓库、商业智能的体系结构数据源ETL数据仓库数据集市元数据OLAP数据仓库、商业智能的体系结构数据源1221.数据源平台数据库外部数据（格式：txt、excel、dbf等文件格式）其它数据库1.数据源平台数据库1232、ETLE:Extract从源数据抽取数据T:Transform把抽取的数据进行转换L:Load把转换好的数据装载到数据仓库中。2、ETLE:Extract从源数据抽取数据1243、数据仓库数据仓库的一个目的就是把企业的信息访问基础从一种非结构化的改变成一种结构化、发展中的环境改变成规划良好的环境。业务处理系统是面向应用来设计的，更准确地说是面向交易来设计。而数据仓库一般来说是按主题(Subject)来建模,是面向查询主题的。3、数据仓库数据仓库的一个目的就是把企业的信息访问基础从一种1253.数据仓库数据仓库的关键特征星型模式粒度分割3.数据仓库数据仓库的关键特征1263.数据仓库--关键特征面向主题的（subject-oriented）集成的（integrated）时变的（time-variant）非易失的（nonvolatile）数据仓库是一种语义上一致的数据存

储，它充当决策支持数据模型的物理实现，并存放业务决策所需信息。数据仓库通过将异种数据源中的数据集成在一起而构造，支持结构化的和专门的查询、分析报告和决策。3.数据仓库--关键特征面向主题的（subject-orie1273.数据仓库--星型模式3.数据仓库--星型模式1283.数据仓库--星型模式3.数据仓库--星型模式1293.数据仓库--粒度粒度是对数据仓库中的数据的汇总程度高低的一个度量，（按省级汇总或按市级汇总就是不同的粒度）它既影响数据仓库中的数据量的多少，也影响数据仓库所能回答询问信息的种类。在数据仓库中，多维粒度是必不可少的。由于数据仓库的主要作用是多维分析，因而绝大多数查询都基于一定程度的汇总数据之上的，只有极少数查询涉及到细节。3.数据仓库--粒度130分割分割，目的在于提高效率。它是将数据分散到各自的物理单元中去,以便能分别独立处理，以实现查询操作的并行。有许多数据分割的标准可供参考:如时间、地域、业务领域等等,也可以是其组合。一般而言,分割标准总应包括一些能让它十分自然而且分割均匀的项目，例如时间项。分割分割，目的在于提高效率。它是将数据分散到各自的1314、数据集市数据集市分两种，独立的数据集市（IndependentDataMart）和从属的数据集市（DependentDataMart）。4、数据集市数据集市分两种，独立的数据集市（Inde132两种数据集市对比对比优点缺点从属数据集市保证数据一致性；架构比较理想，可扩展能力强依赖与中心数据仓库的实施；实施周期长；实施成本高；独立数据集市实施周期短；实施成本低；没有消除信息分割；可扩展能力弱；后期整合困难。财政领域应用在平台实施的基础上以从属数据集市为主。两种数据集市对比对比优点缺点从属数据集市保证数据一致性；依1335.元数据(Meta-data)

定义:“关于数据的数据”，是描述和管理数据仓库自身内容对象、用来表示数据项的意义及其在系统各组成部件之间的关系的数据。数据仓库的元数据包括：（1）数据资源：包括各个数据源的模型，描述源数据表字段属性及业务含义，源数据到数据仓库的映射关系；（2）数据组织：数据仓库、数据集市表的结构、属性及业务含义，多维结构等；（3）数据应用：查询与报表输出格式描述、OLAP、数据挖掘等的数据模型的信息展现、商业术语；（4）数据管理：这里包括数据仓库过程以及数据仓库操作结果的模型，包括描述数据抽取和清洗规则、数据加载控制、临时表结构、用途和使用情况、数据汇总控制。5.元数据(Meta-data)定义:1345.元数据类型业务元数据用业务名称、定义、描述和别名来表示数据仓库和业务系统中的各种属性，直接供最终用户使用。业务元数据使最终用户能够更好理解、使用数据仓库，成为最终用户在数据仓库中的业务信息地图。技术元数据技术元数据描述了源系统、数据转换、抽取过程、工作流、加载策略以及目标数据库的定义等。用来进行影响分析、变化管理、数据库优化、任务调度和安全管理等。操作元数据操作元数据描述了目标表中的信息，如粒度、创建目标表和索引的信息、刷新时间、记录数、按时执行任务的设置以及有权访问数据的用户。操作元数据用于数据仓库的维护和分布。5.元数据类型业务元数据135多维分析OLAPOLAP

(On-LineanalyticalProcessing)在线分析处理切片和切块(SliceandDice)钻取(Drill)旋转(Rotate)多维分析OLAPOLAP(On-Lineanalyti1366、OLAP分析是一类软件技术分析人员能从多个角度获得对数据的更深入了解特点：快速、一致、交互多维视图分析数据的工具根据用户常用的多种分析角度，事先计算好一些辅助结构，以便在查询时能尽快访问到所要的汇总数字，并快速地从一维转变到另一维，将不同角度的信息以数字、直方图、饼图、曲线等等方式展现在用户面前。6、OLAP分析是一类软件技术137切片和切块(SliceandDice)切片 取二维数据，称为切片。切块取三维数据，称为切块。切片和切块(SliceandDice)切片138切片和切块(SliceandDice)切片和切块(SliceandDice)139钻取(Drill)

钻取包含向下钻取(Drill-down)和向上钻取(Drill-up)操作，钻取的深度与维所划分的层次相对应。钻取(Drill)钻取包含向下钻取(Drill-dow140旋转(Rotate)旋转(Rotate)141数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系结构主流数据仓库产品对比分析实例介绍数据仓库数据仓库、商业智能(BI)的概念142主流数据仓库产品对比分析1.数据仓库产品介绍2.产品支撑技术主流数据仓库产品对比分析1.数据仓库产品介绍143主要数据仓库产品供应商介绍OracleIBMMicrosoftSASTeradataSybaseBusinessObjects(SAP)主要数据仓库产品供应商介绍Oracle144Oracle介绍

Oracle公司的数据仓库解决方案包含了数据库平台、开发工具和应用系统，能够提供一系列的数据仓库工具集和服务，具有多用户数据仓库管理能力，多种分区方式，与OLAP工具的交互能力，及数据移动机制等特性。Oracle的优势在于大多数业务系统采用oracle数据库。Oracle介绍Oracle公司145IBM介绍

IBM公司的数据仓库产品称为DB2DataWarehouseEdition，它结合了DB2数据服务器的长处和IBM的商业智能基础设施，集成了用于仓库管理、数据转换、数据挖掘以及OLAP分析和报告的核心组件，提供了一套基于可视数据仓库的商业智能解决方案。IBM的优势在于解决方案比较完善。IBM介绍IBM公司的数据仓库产品146Microsoft介绍

微软的SQLServer提供了三大服务和一个工具来实现数据仓库系统的整合，为用户提供了可用于构建典型和创新的分析应用程序所需的各种特性、工具和功能，可以实现建模、ETL、建立查询分析或图表、定制KPI、建立报表和构造数据挖掘应用及发布等功能。微软的优势在于简单易用。Microsoft介绍微软的SQL147SAS

SAS公司的数据仓库解决方案是一个由30多个专用模块构成的架构体系，适应于对企业级的数据进行重新整合，支持多维、快速查询，提供服务于OLAP操作和决策支持的数据采集、管理、处理和展现功能。SAS优势在于数据挖掘和统计分析。SASSAS公司的数据仓库解决方案是148Teradata

Teradata公司提出了可扩展数据仓库基本架构，包括数据装载、数据管理和信息访问几个部分，是高端数据仓库市场最有力竞争者，主要运行在基于Unix操作系统平台的NCR硬件设备上,在银行领域应用广泛。TeradataTeradata公司149Sybase介绍

Sybase提供了称为WarehouseStudio的一整套覆盖整个数据仓库建立周期的产品包，包括数据仓库的建模、数据集成和转换、数据存储和管理、元数据管理和数据可视化分析等产品。Sybase介绍Sybase提供了150BusinessObjects（SAP）介绍

BusinessObjects是BI工具，集查询、报表和OLAP技术为一身的智能决策支持系统，具有较好的查询和报表功能，提供多维分析技术，支持多种数据库，同时它还支持基于Web浏览器的查询、报表和分析决策。被SAP收购后，目前还没有完整数据仓库解决方案。BusinessObjects（SAP）介绍151主流数据仓库产品对比分析数据仓库产品介绍支撑技术主流数据仓库产品对比分析数据仓库产品介绍152数据仓库技术1、数据库技术2、ETL技术3、OLAP技术4、报表技术5、数据挖掘技术数据仓库技术1、数据库技术153数据库技术

数据库技术是支撑数据仓库技术的基础技术。尽管在数据仓库技术存储模型方面，基于数据库技术而发展的关系模式的理念已经被颠覆，取而代之是各种各样的数据仓库数据模型，如星型模型，雪花模型等。然而，在已有的数据仓库实践中，关系数据库仍然是实质的数据库存储工具，只是将数据库表改称为了事实表和维表，将属性域之间的关系重新定义为维度，量度，层次，粒度等。数据库技术数据库技术是支撑数据仓库技154数据仓库后台数据库比较产品供应商数据库产品效率兼容性管理磁盘空间OracleOracle优IBMDB2优MicrosoftSQLServer优SASTeradataTeradata差差SybaseSybaseIQ优优SAP数据仓库后台数据库比较产品供应商数据库产品效率兼容性管理磁盘155ETL技术

数据仓库系统是集成的、与时间相关的数据集合，ETL作为数据仓库的核心，负责将分布的、异构数据源中的数据进行抽取、清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。要实现数据仓库中数据的自动更新运转，ETL技术是必不可少的关键技术之一。ETL技术数据仓库系统是集成的、与时156产品供应商ETL工具特点OracleOracleWarehouseBuilder(OWB)数据仓库组件IBMIBMWebSphereDataStage整个ETL过程提供了一个图形化的开发环境，支持对多种操作数据源的数据抽取、转换和维护，并将其输入数据集或数据仓库MicrosoftIntegrationServices数据仓库组件SASETLStudio管理ETL流程和建立数据仓库、数据集市和OLAP结构的单控制点TeradataETLAutomation利用Teradata数据库本身的并行处理能力，通过SQL语句实现数据的转换，提供对ETL流程的支持，包括前后依赖、执行和监控等SybaseDataIntegrationSuite数据仓库组件SAPDataIntegrator数据仓库组件InformaticaPowerCenter二次开发、集成和开放性强于其它产品供应商ETL工具特点OracleOracleWare157OLAP技术

联机分析处理(OLAP)是针对特定问题的联机数据访问和分析，通过对信息进行快速、稳定、一致和交互式的存取，对数据进行多层次、多阶段的分析处理，以获得高度归纳的分析结果。联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要，SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求，由此出现了多维数据库和多维分析的概念。OLAP技术联机分析处理(OLAP)是158产品供应商OLAP产品OLAP分析工具数据库特点OracleExpress/Discoverer支持DB2，Oracle，SQLServer，Sybase等对自己的数据库产品的支持均好于其它数据库，分析工具基于开放的OLEDB标准，可以访问支持OLEDB标准的数据立方体IBMCOGNOSMicrosoftAnalysisServicesSASOLAPServerTeradata提供了相关技术，用于提升运行于Teradata数据库上的OLAP应用系统的性能SybasePowerDimension标准OLAPAPI能够对Microsoft、IBM等OLAP数据进行划分、钻取等处理，兼容第三方报表和展现工具SAPOLAPIntelligence产品供应商OLAP产品OLAP分析工具数据库特点Oracle159报表技术

报表技术主要是将集成在数据模型里的数据，按照复杂的格式、指定行列统计项，计算形成的特殊表格。一般的简单报表可以使用通用的前台展现技术实现，而复杂的报表则需要使用特定的报表技术。主流的报表技术都可以灵活的制定各种报表模版库和指标库，并根据每个区块或单元格的需要引用指标，实现一系列复杂的符合要求的报表的自动生成。报表技术报表技术主要是将集成在数据模型160产品供应商报表工具特点OracleOracleReports提供了自由的数据格式方式，可以自动生成个性化字母或矩阵风格的布局，包括动态、数据驱动的图表IBMCOGNOS覆盖了各种报表需求，包括管理报表、商业报表、账单和发票等。基于Olapserver实现查询分析操作.MicrosoftReportingServices(SSRS)（含）处理组件、一整套可用于创建和管理报表的工具、在自定义应用程序中集成和扩展数据和报表处理的APISASReportStudio功能、性能、二次开发等方面都还存在着一定的差距TeradataBTEQSybaseInfoMakerSAPCrystalReports提供了一个完整的企业报表解决方案CrystalReportsServer，支持通过Web快速便捷的创建、管理和交付报表产品供应商报表工具特点OracleOracleReport161数据挖掘技术

当数据积累到一定数量时，某些潜在联系、分类、推导结果和待发现价值隐藏在其中，可以使用数据发掘工具帮助发现这些有价值的数据。数据挖掘就是从海量数据中，提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。通过数据挖掘能找出数据库中隐藏的信息，实现用模型来拟合数据、探索型数据分析，数据驱动型的发现，演绎型学习等功能。数据挖掘技术当数据积累到一定数量时，162产品供应商挖掘工具特点OracleOracleDataMiner提供图形用户界面，通过向导来指导完成数据准备、数据挖掘、模型评估和模型评价过程，根据需要自动生成将数据挖掘步骤转换成一个集成的数据挖掘/BI应用程序所需的代码IBMIBMIntelligentMiner数据集自动生成、关联发现、序列规律发现、概念性分类和可视化呈现，可以自动实现数据选择、数据转换、数据发掘和结果呈现这一整套数据发掘操作Microsoft数据挖掘平台不同于传统数据挖掘应用程序，它支持组织中数据的整个开发生命周期，允许第三方添加自定义算法以支持特定的挖掘需求，支持实时根据挖掘的数据集进行数据验证。SASSASEnterpriseMiner数据挖掘过程简单流程化，支持关联、聚类、决策树、神经元网络和经典的统计回归技术TeradataTeradataWarehouseMiner将数据挖掘技术整合到数据仓库来简化数据挖掘流程，还可实现将多家厂商的数据挖掘技术嵌入Teradata企业级数据仓库环境中运行Sybase无SAP无产品供应商挖掘工具特点OracleOracleDataM163数据仓库数据仓库、商业智能(BI)的概念数据仓库、商业智能(BI)的体系结构主流数据仓库产品对比分析实例介绍数据仓库数据仓库、商业智能(BI)的概念164实例介绍1、数据建模2、ETL过程3、Cognos84、与Portal整合实例介绍1、数据建模165数据仓库创建过程1、数据建模2、ETL过程3、Cognos84、与Portal整合数据仓库创建过程1、数据建模166数据建模业务梳理整理并提取出维度、度量和事实表建立模型数据建模业务梳理167数据建模---业务系统数据库结构关系型数据库1.指标表单位代码功能分类id项目编码经济分类id金额001001203010120080101301010120333.002.计划表单位代码功能分类id项目编码经济分类id金额0010012030101200801013010101444.003.支付表单位代码功能分类id项目编码经济分类id金额0010012030101200801013010101333.00数据建模---业务系统数据库结构关系型数据库1.指标表单位代168模型---星型模型预算单位

业务表（事实表）功能分类指标来源资金性质业务处室指标类型预算项目支付方式模型---星型模型169数据建模过程业务系统数据库数据仓库1.指标表单位代码功能分类id项目编码经济分类id金额001001203010120080101301010120333.002.计划表单位代码功能分类id项目编码经济分类id金额0010012030101200801013010101444.003.支付表单位代码功能分类id项目编码经济分类id金额0010012030101200801013010101333.00数据建模过程业务系统数据库数据仓库1.指标表单位代码功能分类170数据仓库创建过程1、数据建模2、ETL过程3、Cognos84、与Portal整合数据仓库创建过程1、数据建模171ETL的本质ETL代表抽取(Extract)，转换(Transform)，装载(Load)，ETL的过程就是数据流动的过程，从不同的异构数据源流向统一的目标数据，其间，数据的抽取、清洗、转换和装载形成串行或并行的过程。ETL的本质ETL代表抽取(Extract)，转换(Tran172数据仓库中ETL的特点数据同步ETL周期性的，经常性的活动，不是一次性完成的。数据量

ETL的数据量一般都是巨大的，值得将数据流动过程拆分为E、T、L。数据仓库中ETL的特点数据同步173项目实施中ETL的特点实施时间长整个项目实施工作量的60%－70%过程复杂贯穿整个业务建模和存储的整个过程决定项目成败的关键数据的准确性、过程的执行成功与否项目实施中ETL的特点实施时间长174ETL设计策略切实可行的ETL设计策略抽取策略在数据抽取分析时需要对业务深刻理解不能简单的了解，哪一个表取不是随便的、简单的，一定要理解其中的含义这就需要对业务非常的清楚转换策略将数据由原来的格式转换成数据仓库格式。包括数据格式转换数据类型、转换数据汇总计算、数据拼接等等，但这些工作可以在不同的过程中处理视具体情况而定比如可以在数据抽取时转换可以在数据加载时转换……装载策略ETL设计策略切实可行的ETL设计策略175维表加载策略维表加载策略176事实表加载策略事实表加载策略177引用约束问题引用约束问题178数据仓库创建过程1、数据建模2、ETL过程3、Cognos4、与Portal整合数据仓库创建过程1、数据建模179COGNOS主要模块QueryStudio

查询：自助报表生成工具ReportStudio

查询：专有报表构筑工具

AnalysisStudio分析：多维数据展示工具

Transformer

分析：多维数据设计工具

FrameworkManager

查询：业务数据组织工具COGNOS主要模块QueryStudio查询180几个模块在Cognos体系中的位置应用（Consumer）

专业（profession）查询QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformer几个模块在Cognos体系中的位置应用181FrameworkManagerFrameworkManager是一个元数据建模工具，它使用数据查询来获取数据，模型中能包含多个数据源的各种物理信息和业务信息的元数据，以满足报表显现和数据分析的需要。FrameworkManager能根据业务需求创建面向报表的关系型，或面向OLAP分析和报表的维度化建模关系型(DMR)。FrameworkManagerFramework182FrameworkManager工作流程

FrameworkManager将生成的模型发布到ContentStore中，这些模型为Tansformer或前端展现工具提供数据服务。FrameworkManager工作流程183几个模块在Cognos体系中的位置应用（Consumer）

专业（profession）查询QueryStudioReportStudioFrameworkManager分析AnalysisStudioTransformer几个模块在Cognos体系中的位置应用184TransformerTransformer是CognosBI的数据建模工具，用户能使用它建立一个多数据源的多维业务模型。在选定了语言、维度、度量和业务视图后，Transformer将以这些条件建