基于CWM的数据仓库体系结构设计PPT学习课件

基于CWM的数据仓库体系结构设计,1,我的工作,提出了一个基于CWM的数据仓库体系结构基于该体系结构，参与设计和实现了一个电信综合业务信息服务平台,2,提纲,背景介绍数据仓库、元数据理论介绍CWM、MOF、UML、XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计,3,背景介绍,数据仓库的应用越来越广泛不同数据仓库工具之间无法进行数据交换企业的应用受到工具的限制利用元数据可以实现数据交换,4,提纲,背景介绍数据仓库、元数据理论介绍CWM、MOF、UML、XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计,5,数据仓库理论,数据仓库的定义数据仓库的建设数据仓库的应用国内数据仓库建设的问题,6,元数据,定义描述数据的数据研究元数据的原因管理、使用数据的需求系统分布和互通的要求元数据重用、共享的要求,7,元数据的建模和标准化,建模的两大方向元数据参考模型元数据模型标准化OMGMDC,8,提纲,背景介绍数据仓库、元数据理论介绍CWM、MOF、UML、XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计,9,元数据的层次,10,OMG规范和元数据层次的关系,11,CWM和相关规范的关系,CWM和MOF的关系CWM和UML的关系直接继承了UML核心元模型使用UML图形标记使用UML中的OCL（对象约束语言）CWM和XMI的关系,12,CWM的组成,CWM元模型基础包资源包分析包管理包CWMDTD和CWMXMLCWMIDL,13,提纲,背景介绍数据仓库、元数据理论介绍CWM、MOF、UML、XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计,14,基于CWM的数据仓库体系结构,15,数据源,OLTP数据库遗留数据内部办公系统数据外部数据,16,数据源,多种类型：关系型、多维、记录、XML以及其它一些工具类型关系型：模式，物理表，视图，字段，索引，触发器，外关键字，主关键字，数据类型，字段值，数据记录，记录的集合,17,Relational元模型,18,Relational元模型（续1）,19,Relational元模型（续2）,20,21,关系型数据源的主要接口,BaseTable：查询和修改表的属性、触发器和结构Catalog：查询和修改包含的元素Column：查询和设置属性Row：查询和修改一条记录的内容RowSet：查询和修改包含的记录,22,ETL,读取数据清洁数据转换数据装载数据,23,ETL组件的接口,黑盒变换：Transformation，DataObjectSet，TransformationUse白盒变换：FeatureMap，ClassifierMap，ClassifierFeatureMap，TransformationMap变换的执行顺序控制：TransformationTask，TransformationStep，TransformationActivity，StepPrecedence，PrecedenceConstraint,24,中央数据仓库,数据粒度最细且多层次数据是历史的数据是时间相关的大数据量数据是整合的通用的、全局的,25,操作数据存储ODS,26,数据集市,27,数据集市的特点,面向部门应用规模小，投资少使用方便且成本低,28,元数据库,类型：中央元数据库本地元数据库内容：抽取过程：任务、执行顺序、映射关系、转换规则描述数据：方位图、数据之间的商业关系、商业规则、数据的改变数据仓库管理：安全性、运行状态、抽取过程的调度、I/O对象及其关系,29,数据仓库管理,访问控制和安全性管理数据增长管理抽取过程的管理性能管理故障恢复扩充和演变管理,30,数据仓库管理接口,抽取过程的调度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent）抽取过程的执行（TransformationExecution，StepExecution，ActivityExecution）数据元素的变化（Measurement，ChangeRequest）,31,OLAP组件接口,立方体的定义：Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsure，LevelBasedHierarchy，HierarchyLevelAsso，ValueBasedHierarchy，MemberSelection，MemberSelGrp，立方体到物理数据源的映射StructureMap，LevelBasedHierarchy，ValueBasedHierarchy,32,数据挖掘组件的主要类及接口,MiningModel：模型属性和模型的输入MiningSettings：对象属性，输入参数的说明ApplicationInputSpecification，ApplicationAttribute：使用模型时的参数MiningModelResult：挖掘的结果SupervisedMiningModel:描述预言性算法产生的模型StatisticsSettings,AssociationRulesSettings,ClusteringSettings,ClassificationSettings,RegressionSettings：对应模型的设置,33,基于CWM的数据仓库体系结构的特点及优点,统一的数据集市和数据仓库中央元数据库驱动机制灵活高效的数据交换方式易于升级高度的可集成性高度的