BI-数据仓库基础

1、1BI办Busin靶ess I鞍ntell稗igenc爱e翱，即商业智坝能，商务智暗能综合企业伴所有沉淀下来的信息，扒用科学的分隘析方法，为摆企业领导办提供科学决板策拜信息的过程唉。绊H。鞍BOSS板业务运营支捌撑系拔BPM邦企业绩效管蔼理白BPR胺业务流程重昂整肮CRM皑客户关系管扳理巴CUBE蔼立方体柏DM按（背Datam百art鞍）般数据集市 疤数据仓库的盎子集百，它含有较肮少的主题域疤且历史时间扮更短数据量盎更少，一般扮只能为某个吧局部范围内伴的管理人员办服务，因此板也称之为部案门级数据仓癌库。皑b。疤DM隘（癌DataM般ine扒）瓣数据挖掘敖DSS埃决策支持系爸统班EDM柏企业数据

2、模翱型3ERP背En版terpr罢ise R跋esour昂se Pl八annin靶g懊企业资源规白划按。它是一个瓣以版管理会计岸为核心的信八息系统，柏A。坝识别和规划爱企业资源，板从而获取客版户订单，完昂成加工和交翱付，最后得坝到客户付款板。换言佰Z。班之，啊ERP笆将企业内部颁所有资源整吧合在一起，邦对颁八个般采购、生产敖、成本、库拜存、分销、败运输、芭n。扳财务、人力肮资源进行规捌划，从而达胺到最佳资源绊组合，取得岸最佳效益。4ETL靶数据昂抽取扒（爱Extra傲ct霸）、敖转换般（半Trans熬form）、佰清洗爱（半Clean巴sing昂）、澳装载按（爱Load袄）的过皑E。伴程。构建

3、数捌据仓库的重鞍要一环，用板户从数据源艾抽取出所需败的数据，经搬过数据清洗巴，最终拜K。斑按照预先定稗义好的数据哎仓库模型，阿将数据加载瓣到数据仓库敖中去。肮KDD安数据库中知捌识发现5 KPI安企业关键业背绩指标背(KPI癌：疤KeyPr坝ocess懊Indic爱ation靶)捌是通过对组吧织俺内部流程的白输入端拌、搬输出澳Y。翱端的关键参岸数进行设置捌、取样、计熬算、分析，捌衡量流程绩案效的一种吧目标式量化敖管理般指标，凹S。板是把企业的鞍战略目标分隘解为可操作跋的工作目标唉的工具，是版企业绩效管敖理的基础。哀g。柏LDM笆逻辑数据模挨型6 MDD般多维数据库埃（半Multi按 Dime熬

4、siona般l Dat拜abase白,MDD巴）可以简单胺地理解为：肮将数据存放盎在一唉5。癌个奥n板维数组奥中，而不是懊像关系数据懊库那样以记邦录的形式存啊放。因此它百存在大量蔼稀疏矩阵办，奥T。吧人们可以通岸过多维笆视图捌来观察数据办。多维数据暗库增加了一凹个芭时间维板，与关系数癌据库相比，摆c。艾它的优势在艾于可以提高拌数据处理速坝度，加快反耙应时间，斑提高查询效败率俺。挨C。懊Metad艾ata肮(拔元数据)，它是阿“翱关于数据的伴数跋据颁，爱其内容主要扮包括数据仓捌库的罢数据字典岸、数据的哀定义唉、数据的板抽取规则扒、数据的哎转换规则霸、数据罢加载频率挨等信息。昂7。班MOLAP扳自

5、行建立了隘多维数据库暗，来存放联扒机分析系统唉数据白7班 胺ODS摆（四个特点笆）矮(Opra碍tiona熬l Dat把a Sto拜re)艾操作型数据扒存储暗，扮是建立在靶数据准备区啊和数据仓库氨之间的一个笆部件。用来佰满足企业集拜成的、综合碍的操作型处艾理需要版，操作数据暗存储是个百可选氨的部件。伴对于一些准唉实时的业务碍数据库当中埃的数据的暂耙时存储，支暗持一些同时袄关连到历史版数据与实时袄数据分析的板数据暂时存袄储区域安。澳C。爱8 什么是数据集市白DM埃数据集市可矮以看作是数拔据仓库的一霸个子集，它疤含有较少的癌主题域且历背史时间更短敖数据量更少奥，一般只能瓣为某个局部傲范围内的管八理

6、人员服务哎，因此也称爱之为部门级蔼数据仓库。靶d。半二 办数据仓库DW背Dataw白areho跋use埃，数据仓库疤是一个百集合暗或过程埃，4要素唉面向主题败，柏集成巴，时间相关胺（捌反映历史变斑化矮）， （稳定班）不可修改板的数据集合傲。阿X。胺数据仓库是挨在企业管理矮和决策中面搬向主题的、肮集成的、与跋时间相关的爸、不可修改氨的数据集合安。与其他数凹据库应用不扒同的是，数隘据仓库更像叭一种过程，半对分布在企碍业内部各处伴的业务数据按的整合、加跋工和分析的哀过程。班Y。特点传统操作型数据库数据仓库面向主题菜市场按功能来分类每一个模块就如一个小摊位，萝卜，青菜都有超市按类型分类如都为利润的分为

7、一个事实表事实表和维表的分类集成的与特定的应用相关，数据库之间独立的有联系，ETL的过程已经是将多个数据库联系统一，去除之间的不一致性。相对稳定通常实时更新，数据根据需要及时发生变化供企业决策分析之用，数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常定期的加载、刷新。反映历史变化主要关心当前某一个时间段内的数据包含历史信息，系统记录了企业从过去某一时点岸下图是一个澳典型的企业皑数据仓库系阿统，通常包半含胺数据源哀、伴数据存储与耙管理佰、敖数据的访问矮三个部分：哎A。安最为重要的办一张图背这张图可以哀看

8、出四个特巴点中，面向胺对象，集成盎，白数据源敖：是指企业板操作型数据八库凹中的各种生哀产运营数据皑 即邦OLIP颁 耙数据的存储颁与管理摆：数据仓库爸的存储主要半由袄元数据疤的存储及伴数据的存储败两部分组袄b。暗成。元数据芭是关于数据岸的数据，其办内容主要包拌括数据仓库翱的爱数据字典拔、数据的罢定义唉、数啊A。皑据的袄抽取规则胺、数据的转埃换规则、数哀据加载频率懊等信息。各唉操作数据库哎中的数据按按照元埃l。阿数据库中定版义的规则，伴经过抽取、隘清理、转换胺、集成，按疤照主题重新把组织，依照摆相应的挨x。把存储结构进疤行存储伴数据的访问靶：由跋OLAP澳(柏联机分析处半理傲)隘、数据挖掘伴、统

9、计报表哀、即席查询办等几部分组懊R。芭成。例如懊OLAP霸：针对特定颁的分析主题绊，设计多种捌可能的观察板形式，设计吧相应的分析敖主题奥y。唉结构（即进行事实表和鞍维表的设计扮），使管理阿决策人员在哎多维数据模凹型的基础上绊进行快八z。邦速、稳定和肮交互性的访靶问，并进行霸各种复杂的瓣分析和预测暗工作。隘按照存储方扳式来分，芭OLAP吧可以分成办MOLAP靶以及癌ROLAP白等方式暗,碍b。盎MOLAP吧 芭(Mult叭i-Dim挨ensio翱n OLA矮P)拔将蔼OLAP傲分析所需的背数据存放在隘多维数据库伴中。分析主爱题的数据可伴以形成一个懊或多个多维盎立方体斑。隘k。阿ROLAP哀(Re

10、la爱tiona巴l OLA版P)癌将颁OLAP版分析所需的笆数据存放在吧关系型数据阿库吧中。分析主颁题的数据以八“碍事实表百-昂维表扮”氨的拜星型模式稗组织。r。拌三 耙企业信息工捌厂蔼企业信息工芭厂跋（奥Corpo奥rate 般Infor蔼matio啊n Fac叭tory癌，简称唉EIF案）是一种矮构建数据仓跋库的架构。颁o。拌企业信息工坝厂半主要包括疤五个暗集成转换层挨（耙I&T袄）、操作数捌据存储（凹ODS熬）、企业级啊数据仓氨9。阿库（败EDW捌）、数据集版市（跋DM佰）、探索仓埃库（肮EW艾）等部件。肮这些部件有邦机的结合在暗一起，凹D。翱为企业提供阿信息服务。霸企业级数据唉仓库是

11、企业邦信息工厂的澳核心部件奥，用来保存八整个企业的懊数据。一般芭，也柏6。捌称数据仓库矮，是用来满拜足企业战略版决策的需要疤。数据仓库俺的数据吧来自数据准艾备区和操作矮9。数据存储。数据集市翱的数据来源奥是数据仓库岸。企业信息岸工厂中的数癌据集市一般板来说是非规版范化的、定罢制的和靶q。搬汇总的。而敖多维体系架按构中的数据熬集市分为两澳种，分别是把原子数据集伴市和聚集数艾据集市。耙P。隘一般来说，盎企业信息工隘厂中的数据翱集市相当于芭多维体系架氨构中的聚集傲数据集市。蔼D。岸企业信息工盎厂中的数据蔼流向一般是百从源系统到鞍数据准备区搬到操作数据搬存储到数据z。熬仓库到数据懊集市凹维般Dimen

12、笆sion岸维，是人们艾观察数据的岸特定角度佰，是考虑问坝题时的一类唉属性，属性隘集合构成一个维。商店矮、时间和产柏品都是维。八各个商店的败集合是一个半维，时间的凹集合是一个唉维，商品的集合也是一岸个维。碍T。八代理关键字柏（维ID）摆代理关键字啊一般是指维阿度表中使用盎顺序（序列拔）分配的整埃数值作为主瓣键，也称为鞍“耙代理键芭”胺。半X。艾代理关键字绊用于维度表芭和事实表的八连接。搬使用代理关白键字可以用案来处理罢缓慢变化维跋。维度表数暗据的历史变挨化信息的保翱存是安K。奥数据仓库设案计的实施中般非常重要的皑一部分。案Kimba啊ll把的缓慢变化扒维处理策略霸的核心就是啊V。搬使用代理关版

13、键字。优点1缓冲2性能扮3建不存在翱的维度记录拌4缓慢变化懊维处理白缓慢变化维鞍（能力的体隘现）罢随着时间的岸流失发生缓蔼慢的变化拜处理缓慢变挨化维的方法靶通常有爸三种把方式：岸第一种方式隘是直接搬覆盖原值斑。这样处理背，最容易实胺现，但是没办有保留历史澳数据，无俺B。哀法分析历史挨变化信息。俺第一种方式拌通常简称为瓣“摆TYPE 盎1绊”巴。巴第二种方式耙是芭添加维度行傲。这样处理敖，需要代理耙键的支持。吧实现方式是般当有维度属盎f。袄性发生变化板时，生成一疤条新的维度绊记录，主键阿是新分配的搬代理键，通挨过自然键可凹以和原疤A。安维度记录保凹持关联。第碍二种方式通柏常简称为跋“埃TYPE

14、拌2艾”凹。氨第三种方式暗是跋添加属性列拔。这种处理懊的实现方式熬是对于需要鞍分析历史信绊息的属性添板z。俺加一列，来般记录该属性暗变化前的值安，而本属性敖字段使用扳TYPE 疤1哀来直接覆盖耙。这种方式按P。鞍的优点是可伴以同时分析扮当前及前一吧次变化的属唉性值，缺点隘是只保留了翱最后一次变半化信败x。爸息。第三种把方式通常简隘称为啊“芭TYPE 扳3暗”肮。退化维度案事实表中的败部分ID如拜订单号，但安他没有对应捌的维度表，瓣这编号称为爱退化维熬o。微型维度昂为了搬解决快变超八大维度昂，解决的方搬法是，将分肮析频率比较按高或者变化罢频率比较大疤的版字段提取矮出来，建立稗一个单独的扒维度表。

15、这案个单独的维靶度表就是微半型维度板U。表。敖多维体系结哀构碍（懊MD绊）中的三个绊关键性概念袄，叭一致性维度罢，跋总线架构唉（氨Bus A般rchit扮ectur坝e爱）和八一致性事实拜（伴Confo皑rmed 板Fact柏）安E。一致性维度八解决数据仓绊库的集成问办题扳在多维体系搬结构中，没翱有物理上的肮数据仓库，俺由物理上的拌数据集市组矮合成逻辑上拌的傲U。绊数据仓库。般而且数据集癌市的建立是澳可以逐步完安成的，最终哀组合在一起版，成为一个班数据仓搬N。罢库。如果分肮步建立数据拌集市的过程颁出现了问题蔼，数据集市唉就会变成孤爱立的集市，绊不能组俺Q。扒合成数据仓啊库，而一致芭性维度的提佰

16、出正式为了哀解决这个问捌题。皑一致性维度捌的范围是总爸线架构中的坝维一致性维度败建立的地点阿是多维体系颁结构的后台熬（百Back 办Room八），即斑数据准备区耙。搬R。啊在同一个集摆市内，一致疤性维度的意般思是两个维扒度如果有关耙系事实表胺，主要有三斑种事实表，凹分别是事务敖粒度事实表奥（澳Trans盎actio阿n Gra阿in Fa背ct Ta疤ble芭），周期快袄照粒度事实斑表（凹Perio皑dic S佰napsh伴ot Gr罢ain F半act啊z。岸Table扒）和累积快案照粒度事实瓣表（伴Accum把ulati颁ng Sn爸apsho巴t Gra版in Fact Ta败ble敖）

17、；从用途安f。耙的不同来说安，事实表可耙以分为三类矮，分别是原柏子事实表，搬聚集事实表搬和合并事实白表。盎7。粒度分类事务事实表艾（跋Trans岸actio氨n fac搬t tab芭le霸）记录的事澳务层面的事案实，保存的坝是最原子的哎数阿h。熬据，也称矮“胺原子事实表埃”肮周期快照事霸实表安（安Perio案dic s氨napsh鞍ot fa瓣ct ta扒ble懊）以具有规隘律性的、可蔼预见的时间唉间背T。半隔来记录事佰实，时间间佰隔如每天、啊每月、每年班等等用途分类罢聚集事实表凹（蔼Aggre拌gated阿 Fact百 Tabl癌e艾）是原子事氨实表上的汇安总数据，也岸称为汇总事按5。艾实表

18、盎如只有月度白维，求和，笆平均值等合并事实表百建立一个事跋实表，它的跋维度是两个懊或多个事实皑表的相同维巴度的集合艾聚集事实表班和合并事实绊表的拔主要差别跋是合并事实按表一般是从凹多个事实表俺合并而来。皑Z。哀但是它们的背差别不是绝板对的，一个拜事实表既是皑聚集事实表扮又是合并事凹实表是很有肮可能暗f。肮的。因为一疤般合并事实柏表需要按相霸同的维度合版并，所以很唉可能在做合阿并的同时需芭要进行摆h。俺聚集，即粒碍度变粗。非重点癌预连接聚集唉表（艾pre-j笆oined伴 aggr板egagte tab爱le疤）是通过对敖事实表和维艾度表的联合案查询伴e。蔼而生成的一百类汇总表。袄在预连接聚俺集

19、表中，保班存有维度表爱中的描述信凹息和事实表皑的事实背Z。值。切片事实表挨切片事实表疤的结构与相柏对应的基础熬表相同，数埃据来源于相白对应的基础蔼表。切片事版实敖4。碍表由于缩小邦了表中数据俺的记录数，巴所以查询的班效率得到了暗很大的提高蜈蚣事实表肮）是指那些斑一张事实表哀中有太多维瓣度的事实表袄 事实表相跋关的维度在拔15唉个以下为正常，如果维稗度个数超过瓣25凹个，就出现L。唉了维度过多败的蜈蚣事实笆表一致性事实敖一致性事实爱和一致性维坝度有些不同艾，一致性维板度是由专人按维护在后台胺（办Back 班Room八），稗F。芭发生修改时隘同步复制到鞍每个数据集矮市，而事实拜表一般不会疤在多个数

20、据岸集市间复制扮。需要捌D。跋查询多个数办据集市中的稗事实时，一摆般通过交叉胺探查（斑drill哎 acro百ss坝）来实现。昂l。肮1.5 阿 袄数据集市即席查询懊即席查询的埃位置通常是埃在关系型的鞍数据仓库中斑叭：操作数据败存储（版ODS阿）艾是拜面向主题胺的、凹集成蔼的、罢可变盎的、翱反映当前数矮据值柏的和详细的癌数据的集合百，用来满足般企艾T。啊业综合的、碍集成的以及败操作型的处般理需求。斑个人不建议挨ODS鞍保存相当长皑周期的数据八，同样疤ODS邦中的数据也澳尽量不做转昂换，而是原癌封不动地与昂业务数据库笆保持一致。按即柏ODS碍只是盎w。白业务数据库胺的一个备份半或者映像，耙目的是

21、为了翱使靶数据仓库的跋处理白和凹决策支持要扮求与叭U。版OLTP板系统相隔离柏，减少决策鞍支持要求对扮OLTP懊系统的影响埃。皑ODS跋的傲四个安作用拌在业务系啊统和数据仓办库之间形成熬一个哎隔离层拌班分担转移疤一部分业务啊系统细节查板询的功能袄绊完成数据仓罢库中不能完安成的一些功昂能跋ODS是百细节数据半仓库奥是扒汇总元数据澳随着数据仓按库（坝DW昂）技术的不敖断成熟，企暗业的数据逐矮渐变成了决罢策的主要依吧据。癌c。百数据仓库中跋的数据是从佰许多业务处邦理系统中抽扳取、转换而袄来，对于这绊样一个复杂拔的企业安p。按数据环境，俺如何以安全安、高效的方百式来对它们斑进行管理和扒访问就变得翱尤为

22、重要。耙解决这八C。胺一问题的关芭键就是建立翱数据仓库元案数据啊ETL柏（重点）败ETL/B搬I=1/3摆,巴 (BI的成败)翱T/ETL疤=2/3八 败so T/白Bi=2/敖91/肮4绊ETL邦是癌BI矮项目重要的哀一个环节。俺通常情况下背，在爱BI般项目中瓣ETL暗会花掉整个岸项目的袄1/3绊的时间版,ETL办设计的好坏背直接关接到版BI盎项目的成败唉。蔼ETL挨三个部分中奥，花费时间版最长的是阿“摆T邦”隘(Tran俺sform般，清洗、转拜换奥)矮的部分，一岸般情况暗w。八下这部分工岸作量是整个挨ETL笆的挨2/3耙。就是整个耙项目的/版差不多蔼四分之一邦d。版ETL肮的实现有多扮种

23、方法，常败用的有三种熬。一种是借澳助挨ETL捌工具实现，奥一种是柏SQL袄方颁V。鞍式实现，另唉外一种是啊ETL般工具和爱SQL板相结合拌数据抽取霸(三种情况佰)败1在矮DW瓣数据库服务敖器和原业务拌系统之间熬建立直接的按链接关系芭就可以写办selec碍t皑语句直接访芭问拜l。拜2霸不同的数据隘源解决方法笆：败ODBC矮的方式建立八数据库链接傲或方法三坝3坝 肮txt盎 背xml利用耙数据库工具班将这些数据百导入到指定岸的数据库癌，然后从指罢定的数据库皑中抽取熬d。半4增量更新皑的问题数据清洗笆1岸不完整的数把据鞍2靶错误的数据颁3啊重复的数据数据转换拜1不一致数癌据转换: 佰抽取过来之翱后统

24、一转换笆成一个编码艾2数据粒度啊的转换疤：爸业务系统数昂据按照数据版仓库粒度进肮行聚合。吧3商务规则把的计算阿：伴ETL败中将这些数芭据指标计算拜好了之后存白储在数据仓挨库中，以供懊分析使熬用翱M。昂数据加载癌策略八1靶时间戳方式2扒日志表方式笆3拜全表比对方澳式upse靶t岸4全表删除拔插入方式OLAP百On-Li叭ne Tr耙ansac拜tion 罢Proce罢ssing HYPERLINK /view/8028.htm 拜联机事务处扒理办系统(OL碍TP)熬i。爸也称为面向爱交易的处理搬系统，其基版本特征是顾翱客的原始数巴据可以立即绊传送到计算爸中心进行处般理，并在很凹短的时间内百给出处

25、理结澳果。这样做啊的最大优点俺是可以即时斑地处理输入吧的数据，及办时地回答。暗也称为败实时系统般(Real颁 time安 Syst隘em)。巴Z。颁OLAP熬 暗（联机分析处理系统）邦多维数据分搬析工具的集笆合背联机分析处扳理是使分析奥人员、管理斑人员或执行叭人员能够从碍多种角度艾对从原始数扒据中转化出哎来的、能够跋真正为用户叭所理解的、百并真实反映拜企业维特性碍的信息进行岸快速、一致凹、交互地存埃取，从而获把得对数据的把更深入扮6。哎了解的一类搬软件技术。凹钻取半(Dril艾l) 柏：它是岸改变维的层稗次，变换分阿析的粒度盎。钻取包含疤向下钻取啊(Dril拜l-dow颁n)癌0。昂和向上钻取

26、敖(Dril八l-up)白/败上卷胺(Roll拌-up)板操作，鞍roll 笆up拔是在某一维上将低层次爸的细节数据颁概袄s。凹括到高层次胺的汇总数据稗，或者减少叭维数；而扳drill挨 down翱则相反，它懊从汇总数据跋深入到细鞍p。败节数据进行扳观察或增加摆新维。捌OLAP暗的实现方法奥，根据存储癌数据的方式罢不同可以分拜为班ROLAP巴、瓣MOLAP拌、安HOLAP半M。拔表示基于关安系数据库的氨OLAP把实现邦ROLAP阿（事实表维盎度表的设计啊）板将多维数据胺库的多维结爸构划分为两爱类表：一类坝是事实表，八用来存储数敖据和维关键埃字；另一类板是维表，即百对每个维至啊少使用一个岸表来存

27、放维鞍的层次、成胺员类别等维耙的描述信息澳。维表和事伴实表通过主隘关键字和外碍关键字联系皑在一起，形罢成了靶“佰星型模型蔼”扳。对于层次翱复杂的维爸,半为避免冗余芭数据占用过柏大的存储空颁间，可以使罢用多个表来袄描述唉,伴这种笆星型模型扮的扩展称为拜“暗雪花模型柏”跋。百Q。MOLAP版表示基于多背维数据组织扒的懊OLAP搬实现（唉Multi阿dimen佰siona敖l OLA案P艾）。以多维稗数据组织方翱式为核心翱,唉也就是说败,MOLA芭P芭使用多维数罢组存储数据败。多维数据艾在存储中将跋形成懊“颁立方块矮（霸Cube矮）扮”耙的结构拌,澳在颁MOLAP哀中对立方块疤的叭“哎旋转翱”胺、氨

28、“鞍切块隘”疤、岸“艾切片稗”傲是产生多维稗数据报表的百主要技术。跋J。俺旋转 行列翱转换俺一条记录中昂的多个事实巴字段转化为多条记录切块碍切片百的字段结构肮和相应的基碍础表完全相癌同，差别在于坝存储的记录般的范围拜。切片事实八表中保存记懊录的是相应傲基础表中记柏录的摆子集半，记录数通岸常与某个维矮度记录数相跋同。百4。板OLAP拌存储方式优疤缺点熬多维存储方百式（颁MOLAP哎）吧MOLAP暗在服务器上班对数据立方敖体数组及其吧管理技术的哀实现，可以俺所有的信息凹查询都从鞍MOLAP艾服务器上获摆得。芭6。优势跋性能好、响氨应速度快；靶支持高性能昂的决策支持罢计算；挨复杂的跨维疤计算；颁多用户的读靶写操作。缺点拜占用的存储背空间较大把难以达到按TB 般级数据量；板需要进行预凹计算，可能般导致数据爆唉炸；巴无法支持维胺的动态变化八；背缺乏数据模岸型和数据访巴问的标准。八关系数据库鞍存储方式（按ROLAP暗）拔ROLAP拌充分利用关跋系数据库技叭术将明细数搬据和聚合数伴据存储在一昂个关系型结坝构中的存储矮方式。拜j。优势八没有大小限蔼制；现有的班关系数据库吧的技术可以岸沿用；佰可以通过办SQL昂实现详细数绊据与概要数捌据的储存；敖现有关系型百数据库已经颁对笆OLAP凹做了很多优凹化，包括并唉行存储、并白行查询、位肮图索引、霸SQl 办的邦OLAP岸扩展等大大叭提高了碍ROA