BI基础知识.ppt

1、BI基础知识,BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具,主题,各种概念之间的关系,Data Warehouse,Artificial Intelligence,Data Mart,OLAP,Decision Support System,Data Mining,Operation Database,Business Intelligent System,Database System,BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具,主题,BI 是将数据转换成信息的过程，然后通过发现将信息转化为知识。 Gartne

2、r Group BI 是将数据转换成知识并将知识应用到商业行为上的一个过程。 Data Warehouse Institute 商业智能领域：DSS、OLAP、数据仓库、ETL、数据集市、数据挖掘、商业建模.为提高企业运营性能而采用的一系列方法、技术和软件的总和,商业智能Business Intelligence,BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具,主题,企业数据仓库EDW,数据仓库的特点,数据仓库领域的两位大师,Bill Inmon 数据仓库之父，数据仓库概念的创始人 理论： Corporate Information Factory(CIF

3、) 主要著作：数据仓库、企业信息工厂 http:/,主要著作：数据仓库工具箱维度建模的完全指南、 数据仓库生命周期工具箱 设计、开发和部署数据仓库的专家方法 http:/,Ralph Kimball 数据仓库方面的知名学者 理论：Mutildimensional Architecture(MD,企业信息工厂,数据仓库总线,企业总线,总线架构矩阵,数据架构形态,各数据架构比较,Inmon vs Kimball,BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具,主题,OLTP与OLAP,针对特定问题的联机数据访问和数据分析技术 满足对数据进行多角度、快速、一致、

4、交互、深入观察 使用预定义的多维数据视图对数据进行分析处理，支持对数据的切片、切块、钻取。 多维数据库是一种以多维数据存储形式来组织数据的数据管理系统，在使用时需要将数据从关系数据库中转载到多维数据库中方可访问,也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答。也称为实时系统(Real time System)。衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间(Response Time)，即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的

5、时间。OLTP 数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务,On-Line Analytical Processing,On-Line Transaction Processing,OLTP与OLAP,ROLAP表示基于关系数据库的OLAP实现（Relational OLAP,MOLAP表示基于多维数据组织的OLAP实现（Multidimensional OLAP,ROLAP vs MOLAP,BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具,主题,DSS产品,BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智

6、能工具,主题,数据挖掘,改变未来世界的十大新兴技术 机器与人脑的接口 塑胶晶体管 数据挖掘（Data Mining） 数字权利管理 生物测定学（Biometrics） 语言识别处理 微光学技术（Microphotonics） 解开程序代码（Untangling Code） 机器人设计 微应用流体学（Microfluidics） 资料来源：Technology Review（麻省理工学院2002年1月出刊,什么是数据挖掘,定义： 从海量的数据库中选择、探索、识别出有效的、新颖的、具有潜在效用的乃至最终可理解的模式以获取商业利益的非平凡的过程 -Fayyad，Piatetsky-Shapiro 特

7、征： 处理海量的数据； 揭示企业运作中的内在规律； 为企业运作提供直接决策分析，并为企业带来巨大经济效益,Data,Information,Knowledge,Wisdom,Data + context,Information + rules,Knowledge + experience,数据挖掘涉及领域,数据挖掘基本概念,模型（Model） vs 模式（Pattern） 数据挖掘的根本目的就是把样本数据中隐含的结构泛化（Generalize）到总体（Population）上去 模型：对数据集的一种全局性的整体特征的描述或概括，适用于数据空间中的所有点，例如聚类分析 模式：对数据集的一种局部性

8、的有限特征的描述或概括，适用于数据空间的一个子集，例如关联分析 算法（Algorithm）：一个定义完备（well-defined）的过程，它以数据作为输入并产生模型或模式形式的输出 描述型挖掘（Descriptive） vs 预测型挖掘（Predictive） 描述型挖掘：对数据进行概括，以方便的形式呈现数据的重要特征 预测型挖掘：根据观察到的对象特征值来预测它的其他特征值 描述型挖掘可以是目的，也可以是手段,几类基本的挖掘算法,关联规则（模式、描述型） 发现数据集中的频繁模式 例如：buy(x,”diapers”) buy(x,”beers”) 0.5%, 60% 分类与预测（模型、预测型

9、） 发现能够区分或预测目标变量（唯一的）的规则或者函数 分类的目标变量一般是范畴型的，而预测则是数量型的，并不必然带有任何时间延续型的暗示 例如：股票市值的预测，病人病情的判断 聚类（模型、描述型） 对数据分组以形成新类，类标记是未知的 例如：市场细分 孤立点探测（Outlier Detection）（模式、预测型） 分析异常或噪声数据的行为模式 例如：欺诈检测,BI各概念关系 商业智能 数据仓库 OLAP技术 DSS产品 数据挖掘 商业智能工具,主题,工具分类,建模工具：Powerdesigner、Erwin ETL工具：用于数据的集成和处理Datastage、Infomatic、Automation 数据质量工具：一般集成在ETL工具中 分析工具： 报表工具：BO、COGNOS、OBI