商业智慧-技术根基内部资料

CHAPTER5商业智慧的技术根基从数据仓储到数据整合工具第五章内容大纲商业智慧的架构和基础建设架构资料仓储资料超市营运数据店元资料撷取/转换/载入工具恩门的企业信息工厂数据源：/cif/扎克曼架构美国资料仓储研究院的商业智能架构数据源：美国资料仓储研究院()Gartner公司的商业智慧架构交易基础建设功能

企业商务企业资源规划时间上的点即时撷取、转换与加载资料仓储整合经纪人

营运数据店商业智慧平台,企业商业智慧套件,资料采矿资讯技术部门为中心/用户驱动商业智能软件:策略型、营运型、分析型查询+报告:标准的、预备的、特设的.用户驱动绩效管理、前端后端信息文化（包容、排外）、用户类型、商业智能方法论、技能与商业智能组织关键趋势:全球化、虚拟化、透明化

效率

有效性

可用度竞争力客户关系管理供应炼管理

既存系统商业智慧技术基础建设评估1.评估既有平台2.评估并选择新的产品3.写作技术基础建设评估报告4.扩展目前的平台

商业智能软件厂商的架构举例BusinessObjects公司的商业智慧架构MicrosStrategy公司的商业智慧架构BusinessObjects公司的商业智慧架构MicrosStrategy公司的商业智慧架构第五章章内内容容大纲纲商业智智慧的的架构构和基基础建建设架架构资料仓仓储资料超超市营运数数据店店元资料料撷取/转换/载入工工具数据仓仓储的的定义义数据仓仓储的的概念念是由由比尔尔·恩门和和拉夫夫·金宝两两位先先驱者者最早早界定定的。。1990年，恩恩门是是这样样定义义数据据仓储储的：：“支支持管管理层层的决决策过过程的的、具具有主主题导导向、、整合合、具具时间间性、、累积积等特特性的的数据据集合合”。。Gartner公司的的资料料仓储储架构构营运系统

撷取、转换与载入工具资料仓储

企业商业智慧套件

资料超市时期产品指标资料超市

在线交易处理系统在线交易处理系统在线交易处理资料在线交易处理数据在线交易处理工具转换、整合与清理主体甲主体乙主体丙逻辑视图数据库

管理系统

企业商业智慧套件终端用户图5.8Gartner公司总总结的的资料料仓储储架构构KenOrrInstitute资料仓仓储的的架构构数据源：/dwpaper.html资料仓仓储的的商业业利益益（以以制药药公司司为例例）推动间接直接资料

仓储资料采矿试用的资料有效.避免了信息技术成本参与者

/诊所分析下拉&例外建立新的生意更高的命中率资料更加准确、更加一致改善的决策减少了参与者的选择时间发现药品的新用途根源分析储存了额外的资料减少了管理的努力数据源：Gartner公司敏捷性性资料料仓储储的到到来分析型应用软件包外部的合作性资料

合作性的商业智慧资料仓储电子商务资料

（点击流资料）策略性合作伙伴的资料来自策略性顾客的资料新的“策略性”的应用软件，例如顾客关系管理用户压力!因特网数据源：Gartner公司企业管管理风风格对对数据据仓储储的影影响

策略

战术不灵活敏捷信息技术与商务策略之间的联系资源上的承诺与支持灵活的基础建设架构

(着眼于未来）动态与竞争性的市场

跨越业务线的相互利用机会持续的商务流程改进业务线与信息技术之间的联系压倒性的业务线或业务需求驱动执行很强的业务线信息技术文化

缺乏机会主义的愿景

信息技术与商务战略之间缺乏整合信息技术是必要的“邪恶”致力于战术问题单一产品或业务线缺乏资源

导向于业务线或某一商务领域缺乏跨越业务线的相互利用

不平衡的资源

频繁的合并与兼并活动市场领导者“政治”领导力“乱中取胜”业务线信息技术“独裁”技术公司愿景数据源：Gartner公司数据仓仓储就就绪程程度评评估一一览表表公司的承诺与支持．负责任的、高层的经理．各个商业部门的支持．信息技术和用户的分类（进取型、随波逐流型和落伍型）．支持以分析结果改造商业流程的文化信息技术的重要性和信息技术与公司策略之间的联系．有部署信息技术并获得好处的历史．信息部门在用户中有很好的声望公司内部是否有足够的技术．内部有专门人才或把业务外包．人力资源的全力支持．应用软件提供团队合作厂商和技术的生命力．成功也许会偏离“公司的标准”．技术不能解决所有问题数据仓仓储和和商业业智能能的执执行步步骤发现和探索监视并分析事实接触信息识别并收集资料创造模型改变流程分享与合作发展决策的备选方案终端用户执行分析准备/

调整选择工具终端用户积极主动信息技术部门和终端用户都积极主动

合作商务流程改造占成本的70%数据源：Gartner公司资料仓仓储的的“拓扑结结构”虚拟数据仓储

（例如，普遍的资料介入）

2.许多资料超市DWDMDMDMDMDM营运性来源3.用户不能直接连结资料仓储DWDMDMDMDMDMDMDMDMDWDM4.有限几个资料超市，用户可以直接连接资料仓储DWDMDM中间件对众多营运性来源的动态查询数据源：Gartner公司数据仓仓储的的整合合类型型例一(多个资料仓储)•大的持股公司•多样化的业务•兼并与撤资•不确定的市场交叉•模糊的企业识别和使命例二(跨业务线的资料仓储)

•跨国性的市场领导者•各事业部做接近或相关的业务•所有权和策略稳定•有利用顾客的机会•很强的企业文化(比如，架构上的张力)例三(单一跨资料仓储)•独立的全国性公司•技术专长集中•信息技术和业务部门联系紧密

•整合完好的系统•很少机会主义式的决定数据源：Gartner公司资料仓仓储项项目失失败的的三个个原因因缺乏沟沟通缺乏适适当的的专业业技术术建议议缺乏适适当的的项目目计划划创投不不支持持数据据仓储储的原原因数据仓仓储是是架构构而不不是技技术资料仓仓储倾倾向于于基础础建设设资料仓仓储不不是在在硅谷谷发明明的投资者者很难难从数数据仓仓储中中获取取利益益了解数数据仓仓储能能为公公司做做什么么，了了解整整合的的作用用和历历史价价值是是一项项复杂杂的任任务资料仓仓储的的回收收期是是长期期的、、间接接的资料仓仓储的的益处处是不不易见见的创投喜喜欢“干净的的方案案”创投喜喜欢追追求流流行选择数数据仓仓储的的厂商商和产产品所所面临临的挑挑战挑战结果明确要求．全面的评估．潜在的关键性的替换．时间超标．资源问题．资金问题．错误决定．犹豫不决确定结构与权数．合并分散的标准．进行适当的优先安排了解厂商的表现．客户参考．同辈网络．分析师社群数据仓仓储和和商业业智能能产品品选择择的基基本标标准产品与价格问题大约是总问题的60%功能

27%技术架构

19%成本

15%厂商生命力

18%服务

12%愿景

9%资料仓储数据源：Gartner公司数据仓仓储数数据库库的选选择标标准详细资料的数量资料模型的复杂性查询的复杂性同时使用的用户的数量数据源：Gartner公司Gartner公司关关于用用于数数据仓仓储的的数据据库厂厂商的的“神神奇象象限””挑战者领导者占据利基者拥有愿景者2003年1月愿景的完整性数据源：Gartner公司执行能力Gartner公司的的资料料仓储储发展展趋势势图数据库管理系统复杂查询之优化实时数据更新（营运性商业智能与数据仓储之合并）数据库管理系统推展的资料采矿数据库管理系统混合工作量管理数据超市合并可扩展的撷取、转换与载入工具联邦式的资料仓储数据仓库仪器企业资源规划之资料仓储

虚拟数据仓储

星型结构

数据库管理系统推展的在线分析处理元数据工具

加载数据库管理系统的撷取、转换与加载工具

单一厂商之解决方案与多个厂商之技术解决方案

2003年5月

标示键︰到达平原的时间不到两年两到五年在到达平原之前被淘汰可见度成熟度技术之诱因期望膨胀之尖峰幻想破灭之低谷启蒙之斜坡劳动生产率之平台数据源：Gartner公司2002年资料料仓储储的十十大发发展趋趋势盈亏问问题隐隐现，，革新新仍在在继续续10.越来越越注重重盈亏亏问题题9.强调应应用程程序VS资料仓仓储8.越来越越了解解如何何对““成功功或失失败””问题题做出出正确确分析析7.非结构构化信信息的的增长长6.快速反反应的的决策策支持持5.EAI和ETL工具的整合合4.厂商的整合合3.客户数据整整合2.数据超市整整合1.数据仓储规规模不断增增长资料仓储的的原则1.数据仓储的的其他方案案不能满足足商业要求求2.其他备选方方案也面临临显著的技技术挑战3.数据仓储的的花费并不不一定最多多4.确保从商业业智慧中获获得最大程程度的好处处第五章内内容大纲纲商业智慧的的架构和基基础建设架架构资料仓储资料超市营运数据店店元资料撷取/转换/载入工具数据超市的的定义数据仓储涵涵盖整个企企业的数据据与人员，，而数据超超市只包含含特定范围围的数据。。数据仓储储的工作是是储存大量量的数据，，很少考虑虑或不考虑虑企业怎样样观看数据据，而数据据超市的主主要考虑恰恰恰相反，，它聚焦于于易使用性性、敏感数数据的分离离、报告速速度和数据据的总体展展现。因此此它可以更更快速与低低成本建立立。资料超市的的益处1.递增式开发发2.便于用户了了解3.便于管理的的片段4.容易操纵5.更好的报告告效果6.使用分布式式技术7.能随时随地地使用第三三方工具数据仓储与与数据超市市的关系数据源：Gartner公司数据仓储与与数据超市市间的差异异资料仓储资料超市范围．在应用软件方面是中立的．集中的、分享的．跨业务/整个企业的．有架构的．有具体的应用软件的要求．业务线、部门或用户领域的．业务流程导向的．有重复数据的多个数据库数据角度．历史性的、详尽的资料．有一些总结性的数据．详尽的（有一定历史性）．总结性的资料数据主题．多个主题领域．单一主题．多个局部的主题领域．营运来源快照数据源．多个．营运性、外部的资料．来源少．营运性、外部资料．在线事务处理数据库快照建立的时间架构．第一阶段9~18个月（2~3个主题领域）．多阶段的建立过程．4~12个月特征．灵活的．持久的/策略性的．以数据为导向的限制性的短暂的/战术性的资料超市的的迷思1.资料超市是是小的2.数据超市可可以更容易易地建立，，更快速地部部署3.数据超市容容易成长为为资料仓储储资料超市的的指导原则则为数据超市市项目建立立与数据仓仓储项目分分开的人才才团队把数据超市市的计划工工作为资料料仓储项目目所用对急需战术术性方案的的商业领域域之敏锐感感受力把数据源的的数量限制制在3个以下建立防止资资料超市泛泛滥的政策策资料超市的的成本图5.21资料超市的的高昂成本本成本资料超市的数量资料超市机会损失四到八个资料超市资料仓储数据源：Gartner公司第五章内容容大纲商业智慧的的架构和基基础建设架架构资料仓储资料超市营运数据店店元资料撷取/转换/载入工具营运数据店店的定义营运数据店店是通常用用做数据仓仓储的暂时时储存区的的一种数据据库。跟含含有静态数数据的数据据仓储不一一样，其内内容在商业业营运的过过程中不断断更新，是是针对快速速、小量数数据的基础础上进行相相对简单的的查询而设设计的，与与在数据仓仓储中大量量数据的基基础上进行行的复杂查查询不同。。营运数据据店特别像像人的大脑脑中只储存存最近信息息的短期记记忆，相反反地，数据据仓储更像像储存那些些相对较久久信息的长长期记忆。。营运数据店店的架构营运决策支援既存应用软件营运数据店具有主题导向的、整合的、变动的、当前值的只有细节的资料仓储数据源：营运数据店店与资料仓仓储间的差差异数据模型和和使用状况况上的差异异价值新鲜度度方面的差差异资料移动及及时性的差差异详尽程度方方面的差异异营运数据店店的种类一级营运数数据店这种营运资资料店是同同步更新的的，通常处处于高效能能的、交易易主导的环环境中；二级营运数数据店这种营运资资料店储存存数据并向向前更新；；三级营运数数据店非同步地、、分批地、、超过24小时才更新新的营运数数据店。营运数据店店的应用适合运用营营运数据店店的情况主题领域报报告功能性的整整合不适合运用用营运数据据店的情况况作为数据仓仓储中所有有数据的单单一来源营运资料店店只被用做做具体到部部门的应用用软件营运数据店店与实时企企业间的关关系数据仓储里里面的高质质量数据适适合进行策策略性的决决策，但由由于数据延延迟而不适适合进行实实时的分析析。营运数数据店的信信息通常是是最新的，，对于实时时分析和各各种营运性性、战术性性的决策来来说是至关关重要的。。数据仓储储和营运数数据店都是是实时企业业整体架构构中重要的的组成元素素。但是，，对于实时时分析而言言，营运数数据店是不不可替代的的。尽管二二者都能够够使用户认认识到数据据中的意涵涵，但营运运数据店能能够提供实实时性。这这种实时分分析的能力力促进了快快速、符合合时间要求求的决策。。完善营运运数据店的的建设，为为企业快速速反应机制制打下坚实实的基础。。第五章内内容大纲纲商业智慧的的架构和基基础建设架架构资料仓储资料超市营运数据店店元资料撷取/转换/载入工具Metadata的定义用来描述其其他数据的的数据，在在数据仓储储中用来描描述数据的的撷取、转转换规则和和自动化、、安全方面面的信息。。Metadata应至少具备备两个特征征才对企业业有意义：：被企业视为为值得追踪踪和管理的的一项资产产；是关于某一一项资产的的抽象层面面的信息，，而不是所所有的细节节信息。Metadata与非Metadata的条件

服务顾客

数据库接入顾客名字

顾客代号

顾客电话

顾客

数据库含有顾客数据库中

的行（资料）(Data)名字=张三

代号=1234567

电话=888-123-4567元资料(Metadata)是=否=数据源：Gartner公司全面的Metadata库商务架构技术架构应用软件架构

多重架构之框架分类学/方法商务流程分析物件导向/统一模型语言/

资料分析和设计结构化分析/结构化设计元资料(Metadata)库服务数据源：Gartner公司Metadata的9个类别商务架构应用软件架构

技术架构

逻辑层次

实体层次

概念层次

123456789数据源：Gartner公司架构划分与与Metadata库类别矩阵阵Metadata的类别架构上的划分

123456789世界地图商务架构技术架构

应用软件架构.服务导向的软件开发

资料架构

资料仓储=架构划分的核心Metadata

=与架构划分相关的、可有可无的Metadata

数据源：Gartner公司莫斯和阿特特瑞对Metadata的分类3规则和政策1所有权4实体特征2描叙性特征

资料拥有者

应用软件拥有者技术资料特性

应用软件特性商务规则商业智慧商务资料商务流程数据源：Gartner公司Metadata组成部份按按优先性分分3类1.必需的2.重要的（有有益但并不不是必需的的）3.可有可无的的（可以延延迟到未来来的商业智智能应用软软件中）Metadata库的分析活活动2.分析Metadata库的接口上的要求3.分析Metadata库的接入和报告方面的要求分析Metadata库的要求4.建立逻辑的Meta模型5.创造Metadata-Metadata

Metadata库在分析过程程中的注意事事项Metadata库的使用情况况Metadata模型的要求Metadata库安全性Metadata的撷取Metadata的递送人员问题Metadata库的设计步骤骤设计Metadata库的数据库2.安装并测试Metadata库产品4.设计Metadata应用3.设计Metadata移动流程或Metadata库在设计时的的注意事项已有的Metadata库Metadata库产品界面人员Metadata库开发的步骤骤4.测试Metadata库计划或产品功能1.建立Metadata库的数据库2.建立Metadata库迁移过程并对每一个单位进行测试3.建立Metadata运用并对每一个单位进行测试5.为生产准备Metadata库6.提供Metadata库培训Metadata库在开发时的的注意事项Metadata库产品需要的的是什么样的的接口定制的Metadata库人员为生产做准备备资料仓储Metadata的整合方式数据库设计方面的Metadata数据转换方面的Metadata商业智慧Metadata1.撘桥2.从实体上整合3.撷取4.整合检视Metadata检视整合器信息技术Metadata库

用户建立的Metadata样本

数据源：Gartner公司第五章内内容大纲商业智慧的架架构和基础建建设架构资料仓储资料超市营运数据店元资料撷取/转换/载入工具数据撷取、转转换与加载的的定义撷取、转换与与加载是指整整合源数据并并把它加载到到数据仓储的的方法。在通通常情况下，，这三种独立立的功能结合合在单一的工工具中。首先先，“撷取”功能从确定的的源数据库中中读取数据，，并从中撷取取出想要的子子集；然后，，“转换”功能利用规则则或查阅表把把获得的数据据转换成理想想的状态，或或者先把获得得的数据与其其他数据结合合起来，再把把它们转换成成理想的状态态；最后，“载入”功能把所产生生的数据写进进目标数据库库中。撷取、、转换与加载载过程的目的的在于把各个个不同的平台台的数据；依依标准格式合合并到决策支支持环境下的的商业智能数数据库。数据撷取、转转换与加载的的设计步骤2.测试资料撷取、转换与载入工具的功能3.设计数据撷取、转换与加载的流程

创造来源到目标的定义档4.设计数据撷取、转换与载入的软体5.建立资料撷取、转换与载入的暂存区域数据撷取、转转换与加载在在设计时的的注意事项工具数据撷取、转转换与加载的的暂存资料撷取、转转换与加载的的流程效能考虑调解质量指针数据撷取、转转换与加载的的设计步骤2.对撷取、转换与加载过程进行整合或回归测试3.对撷取、转换与加载过程进行效能测试

4.对撷取、转换与加载过程进行品保测试5.对撷取、转换与加载过程进行接受度测试建立撷取、转换与加载过程并对每一个单位进行测试数据撷取、转转换与加载在在设计的注注意事项源资料撷取资料撷取、转转换与加载工工具资料撷取、转转换与加载过过程的依赖性性资料撷取、转转换与加载测测试资料撷取、转转换与加载的的技术考虑数据补捉与移移动工具的能能力高数据源的复杂性低资料新鲜度复制管理资料再生数据库复制撷取转换整合经纪人数据库软件程序界面与信道

低高数据源：Gartner公司整合经纪人和和撷取、转换换与加载工具具之间的异同同整合经纪人撷取、转换与载入工具强变换器转换商务流程管理管理服务智慧传导资讯仓储Metadata库运输机制

开发语言实时整合大量数据移动弱数据源：Gartner公司选择合适的数数据撷取、转转换与加载产产品的考虑因因素扩展性容易使用效能价格验证Gartner公司关于数据据撷取、转换换与加载厂商商的神奇象限限数据源：Gartner公司数据撷取、转转换与加载工工具的市场趋趋势数据撷取、转转换与加载产产品的市场曾曾经十分辉煌煌，2000年的软件授权权收入比前一一年增长20%。但是，从2001年开始，市场场增长趋于缓缓慢，2002和2003年增长都只是是一位数。据据Dataquest的预测，该市市场从2003年到2005年的复合年均均增长率只有有3.3%。数据撷取、转转换与加载产产品跟整个信信息技术行业业一样处于高高峰之后的低低谷。但是，，随着企业对对资料仓储和和商业智能的的投资程度的的提高，在数数据仓储以外外的信息管理理领域找到使使用需求，数数据撷取、转转换与加载技技术和工具未未来的天空还还是很明朗的的。9、静静夜夜四四无无邻邻，，荒荒居居旧旧业业贫贫。。。。1月月-231月月-23Friday,January6,202310、雨中黄黄叶树，，灯下白白头人。。。00:33:1100:33:1100:331/6/202312:33:11AM11、以我独沈沈久，愧君君相见频。。。1月-2300:33:1100:33Jan-2306-Jan-2312、故人江江海别，，几度隔隔山川。。。00:33:1100:33:1100:33Friday,January6,202313、乍乍见见翻翻疑疑梦梦，，相相悲悲各各问问年年。。。。1月月-231月月-2300:33:1100:33:11January6,202314、他乡生生白发，，旧国见见青山。。。06一一月202312:33:11上上午00:33:111月-2315、比不了得就就不比，得不不到的就不要要。。。一月2312:33上上午1月-2300:33January6,202316、行动出成成果，工作作出财富。。。2023/1/60:33:1100:33:1106January202317、做做前前，，能能够够环环视视四四周周；；做做时时，，你你只只能能或或者者最最好好沿沿着着以以脚脚为为起起点点的的射射线线向向前前。。。。12:33:11上上午午12:33上上午午00:33:111月月-239、没有有失败败，只只有暂暂时停停止成成功！！。1月-231月-23Friday,January6,202310、很多事情情努力了未未必有结果果，但是不不努力却什什么改变也也没有。。。00:33:1100:33:1100:331/6/202312:33:11AM11、成功就是日日复一日那一一点点小小努努力的积累。。。1月-2300:33:1100:33Jan-2306-Jan-2312、世间间成事事，不不求其其绝对对圆满满，留留一份份不足足，可可得无无限完完美