数据仓库处理实时数据

1随着信息技术的开展，数据仓库技术得到了前所未有的广泛应用，产生了巨大的经济效益。在美国，30％～40％的公司已经或正在建造数据仓库，其代表有AT&T公司、VERIZON移动通信、沃尔玛百货公司等。据国际权威统计机构IDC对欧洲和北美62家采用数据仓库技术的企业的调查分析发现，这些企业的3年平均投资回报率为401％，其中25％的企业的投资回报率超过600％。

近年来，我国大中型企业也逐步认识到利用数据仓库技术的重要性，并已开始建立自己的数据仓库系统，如中国移动、中国电信、中国联通、上海证券交易所和中国石油等。这些数据仓库系统已经开始在这些企业运营过程中发挥出显著的作用。例如，从2001年起，中国移动开始在全国范围内建设数据仓库系统，目前已建成数千TB级的分级式数据仓库，有数万用户在使用，年访问量达数千万人次。仅一项“重入网分析〞可以节约本钱数亿元。

但是，随着市场经济步伐的加快和竞争的日趋剧烈，传统的数据仓库技术已不能很好地满足企业开展和竞争的需要。传统数据仓库仅为企业高层决策者提供战略决策(strategicdecision)，效劳于宏观决策和长远规划，如市场细分、产品管理等。然而，企业越来越希望数据仓库在支持战略决策的同时，也能够为市场一线人员提供实时的战术决策(tacticaldecision)效劳，如实时营销、个性化效劳等。这种既效劳于战略决策又效劳于战术决策的数据仓库称之为实时主动数据仓库(real-timeactivedatawarehouse，RTADW)。根据Gartner的研究报告，RTADW已成为数据仓库开展的必然选择。然而，当前对RTADW的研究尚不成熟，许多关键技术急需进行深入研究，应用也仅是在局部企业尝试使用。

自2002年起，北京大学数据库研究室与中国移动集团公司在数据仓库的研究和建设方面开始了深入而密切的合作，在数据仓库和数据挖掘技术的研究开发和应用推广方面展开了大量卓有成效的工作，并于2006年5月在北京大学联合成立了“移动通信数据仓库联合实验室〞。以移动通信领域为背景，在北京大学一惠普中国实验室联合工程的支持下，目前我们正在开展面向大规模海量实时主动数据仓库的研究工作，在理论研究和系统开发方面已经取得了丰富的成果。

本文将重点介绍实时主动数据仓库的概念、特点、需要研究的问题以及一些典型的应用。1实时主动数据仓库

1.1实时主动数据仓库的概念帽

布

欺Ha秀is辟te置n怨提出彼了实临时主打动数针据仓岛库的钻概念躁：R灶TA暖DW熊是一口个关妇系型坚环境蒙的数普据仓聋库，震支持扇数据沙的实裙时更里新、吃快速桥的响发应时漫间、社基于疲钻取偿的聚门集数殖据查殖询能与力和习动态表的交叨互能颜力，睁用于质支持画不断翼变化虑的商疗业需短求。束与传利统数樱据仓汇库系星统相施比，生实时珠主动从数据嘉仓库满系统羡有许残多独帮有的喜特点狸(参秘见表党1)轿。

弦表1娘实眯时主谋动数贝据仓宵库与涛传统至数据广仓库锈的比渡较

寄

汇

是在R岭TA娱DW晕开展概的过乓程中塘，(期op驾er最at瞒io抖na域l真da直ta壶s草to慧re坦，O敢DS搅)是幕一个益重要坑的过撕渡阶辛段。规一些嚷企业是为支粱持战良术决秧策，森往往繁采用摇OD录S技机术。蚂总体虽而言堂，O娃DS在分3脑类：竞1)妇实时司OD爬S，邮它通返过消拉息中雅间件阻实施酱数据济的同仔步转披换和惠刷新赔，但申业务奔系统蓄不能泥太多叠，转允换数毒据量舌不能范太大允；2善)准眠实时粱OD时S，员它实拒现数究据同感步，汤以1终-2木h为厅周期般，系庄统负沿担较彼小，躺具有馅较好趋的灵孕活性氏；3教)传开统O比DS得，其猜代价蔑最小粥，目籍前在储传统轧数据报仓库列中常与见。煮

瓣

雕1.向2外实时鲜主动妥数据搏仓库像的特凡点和冷挑战绘

忍

条1.付2.眉1区实时洽数据乳的连遇续集典成眠

筛

漂为支掘持实右时的挽战术吹决策社，源训系统象(或驾称生返产系象统)条产生四的实穿时数豆据必滚须在错最小熄化对顽源系因统入肃侵程衬度、稀并保愚证实宅时数千据一届致性插和完四整性贫的情申况下疗，被筝实时戚高效堆地集待成到斜数据健仓库扎中。就挑战耐问题晌是：奔1)赏在保职证源贪系统铜性能驶不降循低的域情况揪下，芝对实乒时数学据在贸源系倍统的论任何喇变化阶进行迎实时巩的捕捆获；其2)搅保证队被连宜续分涌发数蛙据间赠次序心的一档致性酒和自末身的盒完整绞性；瘦3)升在保下证数谊据质股量要闲求的祝前提厕下，宜完成优实时至、高梳效的哄数据保加载悔。抹

次

箩1.燃2.筋2那实时睁数据亿和历风史数顾据的肺组织凶与管遣理筐

宇

胳提供拿RT编AD滑W中剂的实汁时数粗据和艘历史悲数据醉的有闷效的政组织产与管恒理策形略，状使之会高效斑地工先作在牵一种幅混合齿的工裂作负弯载环屈境(篮战略辅决策掘和战顾术决嘴策)论中。构所要竟研究配的挑膝战问面题：夫1)镜对实计时数限据和煤历史修数据珍(指消传统跌数据右仓库击中存悔储的罗数据怎)进沫行统捷一建晨模，退从而董对外较提供白统一睡的访稍问视荡图；剃2)疾研究厘对实苍时数贼据查号询所蚀产生呀的“阳查询起冲突提〞和埋“查拼询不蒜一致弓性〞获问题趟，保锣证查朋询处更理过艰程的杠无阻幸塞性尺和查观询结景果的询一致呜性；湾3)仰研究贝实时雅数据诵和历追史数灶据的境及时且信息采合并活技术汗，对鸡提交复的R腰TA著DW垦的任钳何查虽询提圾供“蛛透明秧〞的随一体亚化服宰务；固4)影对负答载的陡管理宪，使乘得R迈TA谷DW舒系统粒高效生的运作行。想

闲

烦1禾.2蝶.3娘主塑动的线效劳看决策图机制董

申

岭研究袭RT倚AD孔W的胞主动呼决策脸效劳坐机制困，提吼供对纹实时亭事件朝进行买主动和分析宁和处支理的讨能力粪。挑纯战问岔题包晚括：仙1)于研究敞实时他事件荷的主洞动捕所获机竟制，岛具备厦对外海界请秩求的偏实时仰响应扇能力配；2莲)研监究分播析决胸策过闭程的还自动为执行补机制沿，使限RT私AD渐W系锐统拥宋有主删动服驶务的梢能力叼。昨

吸

火1侵.3现实粥时主盒动数凯据仓丙库的子性能罚评价绕

统

显1)趁数据疾的新咐颖性烂

兴

矿实时鱼数据爸必须痒被及株时地坟加载铺到系加统当钩中，无从而畏支持灰战术湿查询迹分析敞。砍

畅

拳2粒)时瞒间的仗一致奋性蛋

恳

堤在连凑续数航据集酿成的吧环境档中，警会出亿现数剖据时男序的强不一嫌致性尺现象段，需冈建立套时序丘模型嫁进行裁时间半一致估性管之理。奥

铅

乳3)隶查询必结果朵的一在致性婶

否

舅由于浙数据伞的动糖态到盗达和离查询奇的持根续性旷，会减出现猛同一脚查询缸请求佳受不印同时柜刻不傻同查赛询状顺态的咬影响垃，出励现查退询结爱果的笛不一纪致性笼，需磁要查扮询过托程的刮一致伤性管吊理。从

碰

布4)辈主动疤决策蛾的及授时性哲

胶

跪RT准AD艰W系该统能取够实励时捕没获各叹种决坟策规杆那么限浆定的迎动作欧，并洪做出闯实时籍的反观应。肯

煤

相5鹿)可临扩展东性颈

须

与用户节数目旱和性梨能需既求随毫着R养TA拴DW待系统开分析冠应用牧的部书署增筑加而船增加叹。任2旁实时呈主动钉数据丧仓库缝的研烧究问罗题只华

叹

救在介粮绍研简究问痕题之返前，宪首先摸介绍合一个舒RT陡AD何W系衣统的灿参考觉结构殃，如挽图1辈所示侮：

虚图1洽实时侄主动默数据德仓库术的参很考结周构

攀

搜

骂如图竹1所贺示，括一个天RT暮AD句W系室统主嫁要包板含5闯个组疮成部澡分：活数据佛源、论数据引抽取碗、数铜据仓闻库、乳主动盒决策御局部绑和前贪端应刘用。害

场

赞数据凯源除欢了包著含传当统的龟静态伏局部疤之外吵，还鱼包含直实时樱的数杯据源那么局部解(如叫数据某流等沈)；疼数据糊抽取恋局部剑包含捉传统劲的E咽TL龟抽取绵和实匹时数抄据抽神取两筹局部排；数作据仓劫库除锹了存菌储传纸统的杯静态居数据戴之外渣，还乞存储岭实时摸的数范据部匀分，峰以及下它们痰之间肾的周采期性敬的转繁换和愿数据虎的实溜时合订并；饺主动扎决策顽局部乱主要鞭基于总触发租器的助根底扇上，土利用赛主动乔分析逼规那么封完成焰主动扔的决爱策分催析；霜前端泪的展翁现除番了传叙统展惰示方刃法外井，还淹包括伏一些朽实时转的监位控部舟件(甲如d虾as悼hb全oa怎rd秤等)售。艺

赶

茅2旱.1楼数成据集溉成研廉究问妖题稳

灾

虫RT兔AD司W要鸡集成舍的数亏据包撇括实尤时数撞据和秤历史享数据茄两部鸡分。胜历史炮数据戒采用汉传统辈的批芒处理选方法龄进行梢集成词，而重实时到数据纱局部腰那么需裁要进跌行实劫时的毁连续存集成奋。重感点研侧究问蒜题包冷括：刻

影

叔1)更实时红数据珠的主篮动变帽化捕久捉乘

挎

辩在传厘统数派据仓管库系戴统中隔，由姓源系柿统按屡预先涉约定裕的加肝载时谣间和态数据浮格式拦，定甩期把雪需要痕抽取搂的数戏据放淹到预浆先约鸭定的烈接口工中，姓然后赏由E雅TL仙引擎羊把这学局部酱数据逢加载尸到数聚据仓居库。欧但是刺，对喷RT戚AD炼W而龟言，摔要求鹿实时疗数据幻一旦气由源胀系统蚊产生晴就立价即加内载到很数据厉仓库瓣中，迫以便踩支持角实时拌战术局部析亚的需穗要。矛因此班，R挨TA退DW障系统念需要仇能够鼻对新微产生禁的实揭时数况据变岛化(着插入丸、更怠新等碑)进拨行实可时捕需获，敬从而弄及时惭进行镰数据挡加载恼。严

思

柳要重拼点研公究快穗速数酒据的纵变化红捕捉毒方法难，实矿现对棉源系追统中压的数拔据变版化进啄行有桥选择椒性的康定位予和捕饺捉(忽即仅衔捕获加实时份局部续的数绿据变杂化)巧，满袍足零飞延迟晋的要败求，苗最小旷化对洪源系捉统的息入侵确程度谅(即但对源匆系统吹性能资的影双响)舞，降坡低源前系统库的负匠载，掠确保以源系牺统性殊能不程下降匙、不衡当机俯。真

墓

遭2)聪支持绿数据班一致绿性和让完整世性的习实时币数据友分发绿

友

熄数据遥分发弹是指溜数据辈从源姜系统浮到数于据仓购库的警传播极过程壮。在课传统携数据幼仓库删中，呆数据拳分发优采用剂批量暴拷贝昨的方受式，团数据疼间的驱时间腥依赖森性和醋事务屿依赖永性在里数据芝批量收转移浑的过版程中盼不受面影响谜，可郑以保螺持数锯据的声一致砖性和占完整篇性。搁但在旨RT听AD靠W中老，捕饿捉到使的每腹个数芹据变显化都伴是以芦消息钓的形误式进算行分剖发，矮同一翅事务枯中包纵含多轨个数城据变历化，牧也就杏包含知了多应条消洒息，沈这些闭消息聪在网益络中佩进行万独立搬传输牌。因承而，游如何着保证素消息姨在传返输过病程中珠的完断整性悬，以焰及如冈何保膏持多系个消击息之负间的记正确茫顺序遵，从翁而有燥效地娱维护晶数据禁的事如务一管致性休和不酬同事气务间丈的依竭赖性阴。蔽

际

摄要重欢点研捉究高浙效的彻数据龟分发托机制巨，使饿每个稳捕捉恰到的香数据周变化商放入亭消息图队列朽后，飘由消棵息队台列完久成数橡据的烂分发掩，保乱证消奸息传坟输的记一致呈性和辱完整鼻性，情同时且有效疑地维拘护数面据的忘事务殃依赖山性和醒时间差依赖朴性。俭

我

浆3柔)实域时、掩高效闲的连末续数厉据加债载唱

剃

奶在R温TA岛DW争中，夫接收驰到的泳消息铜中是旬未经团处理牙的数徐据，凑如果梦对这丙些数训据进本行复沾杂地择清洗骑和转役换操乱作，浪将无纽法满抚足外叮部查犁询对境数舒据实陕时闷性的鹊要求曾；反计之，湾所包田含的示脏数置据全会严戏重影距响鸟数据招的质议量。啊如何腐在保鞋证数蹈据质坛量的踏前提工下实运现实核时、室高效样的数撞据加榴载是杰一个忆需要宅深入油研究幼的问税题。外

貌

胳要重帐点研探究连锐续高绿效的喷数据木加载拥技术硬实现滔实时追、高巡效的薪连续禽数据担加载钓。实低现对英数据砌的清蜂洗和主转换械过程粘所包滚含的概内部录子搂环节融进行科合理骂有效晃的组凤织，鹿从而尖提高番数据毛处理冈的速孔率和胖并发侵度。记同时财根据死用户蛮对数弄据质势量的至不同凡需求影，对智即时绩加载愚的数趣据进湿行区丙别对荒待，宋合理衔分配碗系统角资源君，提页高数换据加稳载性脱能。柿

偿

辰2.懒2武数据库的组角织与新管理筑

阳

淡研究帐RT格AD柜W系凤统中懒实时队数据振与历辜史数危据的示数据钞特性址，建户立有悟效的邀数据撞存储朵、组萍织与袭访问退策略炸，为肌高效霸的战偶略决冤策和喊战术冲决策毛的执苏行提肉供数括据平四台支妙撑。栽

随

胶2.测2.刃1及RT根AD随W中最的数伞据建奇模持

彩

丘传统田数据跃仓库衬中的胶数据园一般励在空泰闲时趣(如料夜间意)以典批处糟理的什方式锦进行贞更新励。由培于更攀新时惠不对慨外提赤供数岁据查郑询服孙务，临因而沈对更奋新的讲代价膝不做找过高讨要求矿。但论是，拉由于迟RT静AD底W中骨的实块时数坏据是怪以7驻×2震4的导工作介方式术对外投提供年效劳干，而斩且要舅求数些据的植实时遭更新怕和查受询结借果的筒实时纠反响点，所荐以传辨统静爬态数鸭据的们组织炊与管允理方作式冈不尖适合核于实捉时数态据。情

妻

召要重朽点研功究实菠时数葡据和愉历史斤数据让的有般效建叉模，蚕使得坛对于擦查询观工具灿而言视，只趁有一优个统蛛一的克逻辑陕视图逝，避攻免查赌询工暑具和嫂终端晌用户裹进行锈多表剩连接采操作陷的问旷题。稀

糟

猪2裤.2主.2狭实肥时数议据的平查询苹一致摆性维么护航

抗

侦在R团TA怎DW谨环境犁中，触数据翅仓库抱中数炕据是寇实时疫更新乞、不历断变初化的席。在怀这种船“动司态〞映的数筛据环壮境中厕使用帮OL陈AP硬分析骂和查且询工歪具，禾会使盗查询市所涉古及的维数据傻在读雪取过米程中岭不断礼发生少变化故，从阁而导赌致查朗询结赛果的体不一粪致性尸。珠

熟

复需要绝重点训研究烘在实债时数尼据环日境中兴的查暴询一慰致性怀问题筑，防锯止数塔据在污查询睛过程绿中被范修改轮，从既而保谋证查墓询的浅一致垦性。平同时乳保证蜘以后凝到达累的查爹询得抽到的律是更题新以币后的洗数据毫，保逆证了凉数据让的实霸时性城。呢

潮

监2定.2亲.3雅实摘时数罩据的救查询史冲突男解决喇

辈

条在R读TA程DW叛环境屋下，嫌由于史数据嚼的查耳询和乒更新糠同时窑进行膨，会潜导致忠在某木个时痒刻，切对于屈事实锅表中脱的某已些记茶录，插查询遍操作栏和更劣新操规作会烈发生干读写菜冲突底。岩当源默系统角的数翼据变正化过串于频主繁，缴数据硬仓库凯中的裕查询城数量降比拟趁多时等，这慧种冲亲突将剧更加非突显抄，甚贞至可优能使越系统祝发生浪阻塞跟，无揉法对涛外提腥供服睛务。杀

林

童需要舱重点全研究竹实时撑数据贫的查脉询冲球突问凡题，熄利用清不同逼用户镇查询表对数璃据实两时极性的致不同歇要求派，有河效分铅流不嚼同类阻型的狼查询仆负载饼，防扔止系绕统因糕查询准冲突馋而发辫生阻润塞，舞同时肾又能喂满足级不同帅类型轮查询阀的需渐求。哑

辫

构2汤.2掌.4懂实切时数揭据与凡历史哗数据妻的“闪无缝咏〞集尿成吃

贺

纵在R按TA食DW陆环境之下，通为了寒最大吨程度漠地减臭小查彻询冲沾突给肃系统焰带来怒的负通面影罩响，蜻保证残数据压仓库宴正常贡高效摩地运病行，均实时问数据蚊与历并史数面据通撇常分姿开存刺储。禽为了劣最小搁化对谋查询宅工具妖的影姓响，微不需协要查束询工哲具了钓解获左取不朝同类使型数死据的胃方法令，而臣是一绑旦提错出查劈询请聋求，只就可戏以得梳到“铅无缝挡集成泰〞后薯的数咱据。斑

倍

便需要尸重点点研究荣高效锡的集忌成技羞术，开实现缺实时蕉数据沸与历形史数划据的砌“无凑缝〞渴集成秆。能员够自镰动分遣析查胞询语岗句，窝从而屑确定举数据抖需求焰，并强从R杠TA识DW住的不今同部宵分提愁取所箩需的戴数据宁，合福并后庭供查西询工模具使杀用。算可以码自动抢分析夕所需满数据东中实宗时部假分和察历史阴局部饶的比孟例，叙从而届更好蠢地选都择数固据的育迁移驼策略给，减字少数染据传灾输，胸改善均效劳手性能恼。难

里

载2.看3羞主动旗决策鸦效劳奔

盒

奉研究叛RT加AD催W的逮主动馋决策买机制叨，从事而支炮持对好实时运事件探的主驴动探衰查，荡并根混据事厘件的岗特征肚进行济处理岔判断轨，从毛而触害发相陷应的鬼分析祖规那么尝。遭

敌

伙2.钱3.岩1端RT按AD赖W中盗事件厘的主投动探份查示

塔

萌在R萍TA喘DW夕系统得中，示为了丈支持合实时猜主动图的决殊策分絮析，惯从而赖满足喜系统第实时弃响应助的需仙求，算就需程要系影统具积备对锻各类援事件遭的主通动探卖查机贫制，杯从而犁熊够刮实时冷发现蝶各类躬异常港事件纸，并跨进行止相应维的处阴理。脏

绑

羡需要舒重点件研究并事件而主动音探查乒机制也，与狸RT绘AD豪W的胶应用形需求诚相结敲合，狗提高凑事件双的探布查速筋度，摧保证兵RT廊AD斥W的困实时钓性。丢研究族事件词的组禁织和介存储彻方式愿，使执得在绩探查导到事敌件后杰，能赤够迅贼速将斩事件期与相织应触驰发的蛋分析书规那么顾相匹殊配，暂防止剧了简犹单查写找所润产生昼的巨捷大代翅价，也进一煮步提施高事肯件的芝匹配叙效率敞。榆

名

削2.读3.筛2苍支持垮主动六决策侧的分泥析规双那么技昏术蝇

贞

录在R拿TA裤DW蛇的应谱用中果，常鞭常有骨大量岗的事旅件同踏时发芒生，搁导致京很多巧分析盼规那么端同时贩触发念，并戏且各灶个规竹那么间登通常轮有一独定的淘联系柔，一减些规悼那么的壤发生锄会导盼致其丛他规衣那么的挨触发认。这刺就使旅规那么骨的并柔发控赛制以壶及匹凝配的赢效率息成为朱影响相RT仗AD希W性牌能的辨重要衡问题嗓。目女前，者已有露的方推法并米不能肾完全姓解决境大量豪事件示并发杜时带留来的荷效率冷问题克，已哪有系茄统不沉能满暮足大矿量用伴户并抛发情贼况下竹的性浊能需测求。僚

异

要需要帆重点仪研究酷高效堤的分富析规嫌那么组披织方掌法，帽使分步析规千那么之腹间的踢关系廊明确否，规席那么的餐匹配三及规御那么触决发因岗果关访系的姐查找俊更加捷迅速哪，提双高分槐析规洁那么匹浅配的樱效率寻。研衡究有床效的劣分析毫规那么坊所产叙生的喘操作赔组织买方式粒，使伴得分淋析规仿那么触弯发时毅能够沾迅速羊、主臂动地雾找到略与之扣对应负的具率体操灾作，腔从而毕能够迎迅速竞对不崭同的洪源系洽统进扑行相缴应的创操作沾。责3害实时湿主动哈数据奋仓库拐的典栏型应砌用弹污

叨

顶下面沿列举科一些校典型浇的实喂时主避动数夫据仓钥库应节用。斤

板

桃3境.1旅在舌移动染通信商领域哨的应崭用让

班

懒实时距监控巷移动解呼叫刻数据否，防耻止欺华诈行流为发漆生。听据国暑际数岭据公获司I偶DC其统计威，每扩年全剂球电稿信领释域因华欺诈寒而造珠成的腥损失抄占电艇信服挡务总踢收入侧的5咏％～漂10伤％之仅多，斜对电还信运释营商呆的信求誉和靠正常姻业务宋运营蹦产生但了严粱重的申冲击怀。传偏统数丰据仓蜡库技址术因咽其数湿据延妥迟过铅大，晚不能趟实时角捕获死欺诈恋信息阶，所百以不荣能很烤好地阳解决肉这一跨难题海。利忌用R盖TA别DW能技术罢，把苏当前劳的实细时呼零叫信惑息和愧数据历仓库缎中的马历史挽行为泻信息天结合柔，借代助通午信企梯业提厅供的雕企业灭间共需享的慨欺诈讲人群棉信息衔，可献以有今效地粒判定记当前夹客户粒是否桌具有范发生医欺诈气行为蜘的可妙能性妙，从麻而进锻行实转时地引预防哄和监胁控，遭减少壮企业勉因欺助诈而酱造成鞠的损悲失。诞

枪

字3平.2滤在壶电子颜商务寒领域动的应粮用驳

厕

未根据阿用户减提交泡信息湿，实布时给花客户辈灵活练的定膨价和俩折扣欣。借剩助于馋网络撤技术问而蓬称勃发旷展起哈来的多电子苏商务勒应用治已日巨趋普凯及。姐但是宅，目俘前的鸡电子启商务召一般季不具或有个凳性化乓效劳像的能迷力，叠只能置在既鸟定规痰那么下福开展联不具维有针昏对性歪的服欣务，再不利价于提讨升客劝户服着务的坛能力递。R泛TA护DW论技术何可以规很好银地解旨决这吉一难梯题。麦对客粗户提毁交的割实时兴购物踩订单永，可沉以根通据客擦户的械当前猴行为度信息誓，借唉助于怀在数域据仓贞库中帖存储倦的该大客户泉的历鼓史消私费信次息来厌判断发客户籍的价筝值，档进行概实时掌又个偿性化届的定职价和制折扣球，从尖而提疯升客香户满椅意度司，增绞强企烈业的背竞争普力。越4般相关窜研究扁

腾

冻NC均R给勇出了团主动括数据缓仓库族的概唤念，少但其哗本质肌上也扶是O多DS出和传可统数浆据仓扛库的悦结合客。其趁他一肿些国宿际数勤据库盾研究筹机构即(如杰IB奶M，载Or段ac岂le忌，S稻yb会as臭e)锦也纷肤纷提壁出了杠自己袍的解漂决方泛案，崖共同姓点是调都采米用了咬OD涂S方拨案来矮存储胀实时北数据成，用须传统队数据源仓库立存放翠历史权数据娱，从将而是能OD腹S之混上解璃决对割实时店数据悟查询款的问刻题。迹但是盆，采盗用O掩DS犹解决挣方案消面临靠的最拼大问之题就嘴是所鼓有的硬数据威必须旱进行允实时尘的抽味取，然否那么股无法冶满足誉实时看性的毅需求斩。但抚是，痒根据岭国际肥权威孕机构奸Ga相rt胜er台的研奇究报翁告指死出，冷真实蒙业务筹对实沃时数贪据的隔需求倡量仅剖占所概有抽毁取数舱据量议的2君5％暴左右轿。因圣此，删对所奖有的槐数据夸都采愚用这箱种代有价高茂昂的慢实时厕抽取良处理恋方式笋，必偿然带娱来具叨体的到资源固(时犯间、蕉空间察等)宵的浪跌费。屡

对

财RT得AD吴W的殃实时结数据附连续独集成嗽主要筋有如谈下方滔法：匆1)贴脚本脾方法应。该蛇方法里使用押灵活辟且比辨较经腥济，逮很容赞易着弦手开省发和副进行害修改董，而绳且几链乎任橡何操草作系宇统和毅绝大暂局部惹DB板MS缸S都杰可以渔使用蜜脚本药。但渴是，帖该方泥法的音实施剩消耗揪开发盛者的且大量它的时码间和刊精力少，而史且不斤易于俭管理莲和操踢作以煤及不丹能满荒足服迫务水烛平协切议。纸2)倒ET识L方较法。辩该方硬法是到实现案大规额模数义据初嘴步加蛙载的趴理想大解决限方案毙，提唯供了苏高级划的转药换能戴力。绵但是锅该方身法通肤常都随是在扫“维愉护时亏间窗笨口〞瞎进行驾，在恋ET愉L任怪务执增行期泄间，骂数据馒源默抢认不绘会发拨生变馋化，窝从而轰不能驾满足私实时睁数据量集成漠。3堪)E泊AI锄方法间。该鉴方法领与E顽TL堂解决北方案摧并存口，并撇增强翼了E喷TL搬的功拍能，严能够麻支持略在源抖系统复和目畏标系疼统之趣间进望行连摇续的卸数据侧分发摩，并歪提供冤高级协的工悼作蹦流支独持程和基惕本的想数据捏转换执。但创是该溪方法踪受到赶数据血量的层限制并，不责适合贡数据奉量较腹大的稳环境湾。报

由

难当前眨，在旷实时妻数据死和历养史数器据的宾组织份与管钱理研汁究方剑面，嗓主要拿有以酱下一御些学苹术观最点：兴1)番无实遍时数租据存型储。缝该方门法把裂从源挥系统诊产生芒连续牺加载薄到数呼据仓敏库，耀可以沈直接暑在数涂据仓奉库事推实表扶中插屑入或废更新代数据捕，也律可以搜把数气据插壮入到乓实时匀分区卷当中芳的单源独的嫩事实旦表中艘。但希是，源该方宽法的艇缺点康是可兼扩展办性不别好，色复杂铁查询状和连遭续插幅入及丹更新睛混在痒一起元进行生会严替重影颗响数壶据库眼的性锈能。陷2)乘阶段闯存储缩表存江储实楚时数因据。潜该方颤法把蔽数据仪连续屡地注送入乏到阶晚段译存储毒表，押其结课构和卵数据纺仓库垫表的烟结构固相同立，其励内容佛会和依事实碌表周漆期性攀地进户行交奶换，孟采用距视图总集成瓦完成叼实时彼数据磁与历革史数需据集盘成。捞但是份，该网方法永的缺魔点是育在处瞎理数雀据交蔑换时恋，必堡须暂杏时停金止对划外提贡供实友时查蚕询服植务。虑3)躲实时做数据响缓存财。该嚷方法席可以从彻底让防止针对数迈据仓束库性改能的仪影响扁，不装用对裂现有逝的数西据仓铸库做乏出修嘴改，屠可以流是另趴一个纲专用司的数予据库窑效劳衰器，汽也可把以是透一个坑大的宣数据耍库系既统的易单独商的实判例，蔽把所今有那侦些需铜要实明时数备据的凳查询僚定向启到实页时数揉据缓追存，告或者充把某下个查夹询所具需要希的实寒时数燥据弃临时费地仔无缝咽隙地摩整合顺到传爱统的围数据习仓库慨中。稼该方耗法的帅缺点肺是要霞安装匀和维奶护一出个额嗽外的规单独尿的数狗据库秤。没

付

典主动跑规那么雪(a纳ct众iv圾e清ru处le币)作闲为实演现主积动决嘱策的均手段任已经舱被广认泛接名受。疼在处著理一增系列田复杂辟的任泥务和职对数白据的子自动丹管理影(包建括完昂整性渐约束五检验恶、转茂换、赞平安验等)导过程托中，妈使用努户的阀参与浓度降腿低到碰最小寒。主崖动的朱信息构管理俱具有粉基于湖“事屯件-玩条件恳-动勒作〞期(e往ve很nt牢-c拉on氏di健ti莫on争-a锁ct荡io谅n，例EC促A)园的规堂那么处巾理特剥性，才复杂俱的商裁业决捷策构殖造和设处理受不需刺要深务入到挨应用干程序洗和底陡层数思据库呜。主晨动数昨据仓蜡库(满AD机W)睛中使纲用E尖CA纲规那么损或者涨其他止事件丛驱动复机制型，是阳为了兼在传钓统数框据仓赏库环颗境中饲自动呜执行改日常炊决策建任务阵。固Th斑al愈ha惜mm厘er钞等人绸采用碗EC歉A规赴那么来叔模仿版分析财人员喇的工室作，后故称遮之为仪分析柴规那么黑(a恒na柱ly卖si腥s忘ru之le熟s)之。它捎结合泼了A败DB串、传侵统数地据仓讨库和掀OL昨AP盆良好梁的决脏策标满准，瓦从而煎满足恨决策恢过程烦的自柴动化婚。但歉是，膝它的宰数据袍集成涉过程蝇是基顶于传耐统的某批处购理方秀式工坛作的纠，这窄与实溪时的渣数据澡集成躲不符夫合，骗会在怒迟到界的数协据和致基于蛋不完串整信脱息的蓬决策赚制定悲中产秃生问恼题。沃实时案数据报仓库冒的定沃义那么大倘中列小触

2驱00蒜7-征2-灭25铺2治1:躬04出:1筝0

六

邪作者播：焦骆有章值

哲

胡【我藏要评栋论】盛本文虎关键闹字：墓盒BI礼唱学习往培训颗会数据冲仓库墙根底

捕

抱

认首先于，让迁我们唇了解魄一下剃根本随的数凯据仓脾库定败义。黎建立徒数据筐仓库旨是一产个创掘建、疫维护锯和查窗询的狼过程苍。帜Ra孔lp脸h瞎Ki忙mb巨al拌l甲将数董据仓港库定惊义为作“方满足还查询文和分桐析的霸事务搞处理丢数据留的拷体贝的危特定买结构陶〞乏。创良建数勺据仓耀库的躬过程趣包括亿数据宴仓库羡的逻质辑模补型和方物理率数据翅库。棉维护授的过鱼程包躬括耀ET匪L桨过程恳，即它将数闯据从庄OL纷TP残系统腿中抽追取到威数据圆仓库悔。查奶询的残过程袄是从颠数据笨仓库符中收匙集信斯息。育简单肺来说馒，数优据仓录库是克一个新从数耍据中渗获取烫信息丛的结概构。

曾

责

迈其次套，我役们需悉要区银分信幸息和停数据注之间分的差绩别。洲数据敏仅仅间是简饿单的订事实洞描述枣，分炭散的钢数据痛不存矮在有揉意义伴的信侍息。缝举例腰说明症：汤A改公司屋在抖20尘03货年庙1务月有晃10叙00心件小妈商品军位于哭北京闷地区件的仓迅库中剃。尽苦管有寺几个浊事实消包括风wh弄at现(巾小商形品崇),来w访he搜re植(蔽北京度地区势的仓萍库弄)暴和扒w乏he炎n后(2略00档3退年蛛1重月贝),较数义据中相仍然劣没有萌带来铺有意乔义的狡信息颤。另屠一方冰面，运信息刷是数蛛据的彻含义纳，信丘息来贼源于士数据培。继疾续蜂A各公司酒的例陶子：王在稳20掘03自年介2僻月，香A折公司脑在北狱京地须区的追仓库蓄里有服15模00纤种小篇商品捏。当金与前钳面的粒数据扔组合取起来塌，鄙20颂03怨年良1崇月有被10让00疯种小靠商品寸，我且们可停以从咐数据冒集成蚕中得夹到信棍息。槽其中选一条过是北动京地闭区的符仓库刑中的补小商废品的妖库存藏量从营1敌月到预2务月增料加了公50疾%乘。这闪条信状息让杀我们执有一站个疑舰问，教为什恐么一胆个月技中库蚊存增妥加了怠这么轧多？孝一月衬和二杀月之赞间业滚务上狱有什来么问笔题吗盐？置……雄情这条早信息羞让我荷们采样取相豪应的箱行动添，比扩如开批始控才制库乖存。害信息讨来源井于数营据，踢信息廊是继碍续提亩出问印题和廊采取愧行动秀的开私端。

接实时恭vs个.命近似庸实时

现

这

洲实时森vs渗.粉近似征实时测之间呈的区业别可置以下凯面一牢个词摔概括昨：反娘应时鼓间。怒反响嘉时间酱是指器行为馒的完魂成时定间和捉该行俩为的暂数据元在数召据仓阔库中勺可利窗用时让间之宗间的芒延迟蚁。实斤时情饶况下窄，反膏应时根间是馒可以扇忽略做不计营的；调在近杠似实脆时情冷况下委，反弯应时配间是瑞一段钩时间刚，比挡如婚2荷小时诉。为泳了使耽系统膛变得砍更精嫁确，最一些捐人使瓦用了阀"突实时逮"从这个秆概念吐。

维实时命OL耳TP侄

牺

耀

雾OL嫌TP秆中的辫实时壶性指章的是铺能通学过毕OL演TP谅系统求的即仗时响矮应速锅度让梢数据潮同步尺。比升如拨A萌公司恒有订夹单登魔记和邻订单撤处理吼的京OL返TP脆系统们。对辽于有警实时谈能力衣的抓OL卵TP辣系统音，当撑销售巩记录皂在订盐单登宴记系宣统中艺，同警时订倦单处恼理系尤统就凡已经折有了贱销售唉记录袍。数欠据仓扫库和旁OL蝇TP冬是不推同特貌征的理系统崭，不晃管他扶们是但否具史有实须时性垄。

盒实时辨数据岛仓库姜的定膏义

明

哥

住实时站数据农仓库乏是两端种事拥物的趣组合画：实菌时行拆为和财数据宿仓库掏。实耕时行籍为是聚一种喷即时盼发生户的行倦为。伏行为赚可以问是任抓何事仆情，盈如超楚市中器小商齿品的缠销售锐行为蒜。一询旦行庸为完职成，站就有愤关于韵它的乔数据擦。数局据仓输库捕姜获有饱关商胃业行扫为的双数据远，而聋实时茂数据闯仓库茎在商暂业行葬为发拥生时樱就捕间获数友据。谱当商仪业行鸡为完邮成时扶，相赤关数笨据就猫已经遣进入深到数裁据仓救库并园且能磨立即销使用疏。换放句话哗说，跨实时残数据邮仓库壁是这烤样一爷个系护统，络只要扬行为差发生速、数词据变响得可威用时丧，就电能从暖中获箱得信道息。白1穴、主磨动数谊据仓突库干1.巨1短、问当题的趣提出虏客户啦拨打裹呼叫幻中心慎，对忍某个巴产品捏或服贩务表但现出俘关心栽，你笛的客题户代皆表能雄否主准动的旱和客打户沟睛通，意提高思客户醒保持驴率？侦如果领你的粥网站蚁能够立及时馋的给找客户蛇返回扛信息膏，并史且客臂户朴每访伸问出3暴次后抓就给屠10茎％的尸折扣坟，将之能增浇加多晚少的寻客户狮忠诚虫度？表如果膀供给纺商能针够预陈测到忘假期稀每个斧商品漏会增男加多期少的头销售派量，睛并及呢时补悼充商共品，余将会金增加漂多少芒的销鬼售额叫？轻今天改，成龟功的阵商业华关系喉，无含论是笑客户挤、合翻作伙争伴或限者供奶应商匠，都君越来陷越依传靠集飘成了线企业螺所有邻数据载的数锋据仓忍库，汗分析乔出有双价值眨的信宪息，异并把忧信息拾分发删给每咸天做奔决策童的人退员。刑主动趁数据狭仓库擦转变职传统滋数据傍仓库寿解决怨方法匠的策唐略，销使企蓄业在移维系泡客户坦上变邪得更嚷加主稀动和过有效惩。坡1.凝2耻、变直革经拣济环疮境下刑的全暗新解感决方洲案自新经盾济环楼境下杰，有霜着新担的客机户期忽望值堤、新释的客贿户关叉系和忙新的兵商业搜时机庙，企求业需顷要具衔有主免动的孙决策交支持懒能力饮。今务天，有数据贺仓库膝的数昆据正症在发渣生演怒变，考数据毫仓库兰负担逃着客内户关辫系管翻理、但一对纤一营箩销和悼及时识制定含决策疏等效轮用，远进而烂成为暗具有箭控制答和影旦响市嚼场能话力的余工具久。滤图数据防仓库庙的初勉始阶弓段，思是面波向查续询批同处理辰的决滋策支僻持应雷用。凡数据鞋仓库兰的初扁始目谦的是庸收集效、清密理和拳集成浑组织豪内的猫数据起，这奉些数镰据用深来产坝生报涉表和泰查询疯，以垃支持燃决策差的制跨定。接比随着沙数据慎仓库安技术虹的成拖熟和荣应用享普及徐，越射来越牧多的检企业崖利用汤数据冰仓库锄技术标的特效性，忌以支谈持预泉测分析析以粪驱动捉商业来决策炼。数绸据仓谣库技冷术在构更大洲范围坟内得娇到应渴用，晋从分霜析市甘场将学要发够生什怒么变枯化，燕到分哲析市搁场正贞在发押生什超么变块化，株到基画于事棋件触孙发、宴控制阴市场胖朝着秧自己狂想要薄的方峰向去寿开展跳。璃

粘1.以3拴、主害动数挠据仓旁库的娱优势议主动忽数据婚仓库竞在市辣场快净速变源化和牙实时宇企业飞管理到决策多要求猫下出渔现的逗，是椒数据陡仓库症技术贵的新凉的分杆支。胁利用扔主动课数据舞仓库肺建立理应用跑，企笔业可削以改脚进与玻客户淡的及夕时沟辨通能献力，厅使分装支机陈构或冠者呼谅叫中氏心更匀好的赵与客鱼户进筹行联甜络。聚下面摸的这幕些应巩用在变传统短数据低仓库镇中是丘难以帐实现惠的，临但主还动数翠据仓捕库提叶供了来可能要：扒

区

集

宾

侧衔利靠用呼拨叫中杨心，方进行里自动涉的、祥直接供的客弯户营撞销；缝

忘

茧

辛

滤桥在忘信用略卡业四务处捎理过序程中杨，及删时进助行欺饭诈检袍测；知

坐

茂

龄

找迷飞机旅满座拿率低抄时，单可以独在洽飞机恨起飞漠前，劈让更宁多的场乘客闲坐上冷飞机难；梳

箭

粱

洽

金副基筒于当绢前的跪客户醉奉献先度和害价值秆度，嘱给客灿户灵骡活的被综合盟定价丝和折奖扣；柔

金

罪

炸

夕惩及时充决定笋运行法中卡柔车的狗最优暮线路并，降蔬低货历物运佳送时谜延，未并实要现对昌不同蜂客户船的不旋同服常务承依诺；尘

停

酷

赠

划居基绳于客菊户近土期的地信用没卡交称易情廉况、腔结合哥他们硬长期岂的购径买行等为，臂优化捎即将乖要送潜给客验户的虫交叉撒销售税购物津券送；猴传统劳数据父仓库锹解决笑方案盗主动假设数据葬仓库床解决戚方案碗只能俘支持沉战略岁决策草支持坦战略漫决策议和战勒术决仇策豆返回数很难帮测量栽的指罚标彻返回片日常楼运营销指标徐以天腿、周荣或月彩为周焦期获姨取数嘴据，咽并做览预先株聚合杨计算牛只包沙含明呈细数忙据，轧可能衫以分动钟为价周期盛获取丰新数娇据坡中等傲规模看用户灵数肉多用句户数狠并发励访问滑〔如叉10警00吗用户钩以上分〕岛只能雷得到面高度数限制梢的报今表，流使用躺预处扭理的奉聚合送表或锋数据捧集市磨灵活跑的即能席查猛询，集数据联挖掘热适用取于高盆级用益户，诸分析凝员，弟内部阵用户特适用项于操个作雇啊员，胞呼叫拢中心裂，外鄙部用栏户办表菊1特：传式统数烘据仓储库与肾主动向数据畅仓库腊的能隔力比教较暮显然纠，主爆动数殊据仓童库扩我展了亦传统耽数据锹仓库租的能恶力：堤

奏

霜

元

糟当外部舅人员芽可以男访问颈数据爷仓库销，如周合作期伙伴渣、供娇应商秃和客破户。膏

挎

纽

何

仅疯企业特的所饥有成杠员都裹可以盏直接团的访芒问数仙据仓售库，稼包括谢普通慌的雇叶员、建呼叫未中心毙的客大户代期表等色等。目

寺

谅

甚

谣祖集成漂、多宿主题存，交军叉渠爆道的嘉执行枣可以街帮助猾企业饰更快含更有舌效的配行动朝，拓欲展商果业机筐会。捆主动警数据纤仓库候支持屿战略滤和战亡术的施市场论决策瓜。意窑味着傍企业薪的战嚼略分午析结宏果可错以转净化为扔具体滴、详直细的轰条件置约束滩和操鸟作事胃务下解的行材动。道这样捞，发河挥了饭日常萄战术位决策臂的效战用，铲提高穴了数塔据仓畏库信静息的豆效率丰。最却终，幸对于张企业救来说茧，一锄致性钉的数心据使具职员巧和合岗作伙宰伴更耕好做砖出符榜合事欲实的蔑、精货确的蜻和有蛋见地扰的决坦策。惊建立封主动研数据雷仓库狗帮助带你更冻接近征你的遮客户握、优签化供爽应链思、提坡高制镰造质孝量和纱精准货地跟奉踪商音品流愚动，宏方案警和管组理成建功的声商业牧活动油，达慰成销粱售自陵动化垄，使刷得企观业具抗备新绑竞争哲环境届下的卸及时撞商业雅分析绕能力刻。班主动国数据皮仓库奴需要桨一个岔可扩控展的必、高恭性能绝的数森据仓夜库解棒决方选案，仍需要俱实时疮数据淡仓库苦的支笋持。破2额、实满时数咸据仓盒库和盘OD酱S利很多功数据旧仓库驾设计捞者认云为不烈可能克把现绞有的概24咏小时草运行烟周期候的汪ET圆L解改为蒜15鄙分钟讨的周谋期。疗因为傲即使山将数菜据清鲁理的尽步骤抵并行模处理只，最祖大的信事实色表和著维表摊的增蚕量加许载也每不一举定能娇在这潮么短除的时湖间内榨完成协。匙2.成1锋、疲OD顷S未的引产入承座规划像数据浊仓库泊时，托可以丝在常袖规的锹、静柄态的肤数据习仓库惑之外选，建末立一签个实枣时的猫分区织，这个个特绿别的辰分区眉在物很理上榜和管吃理上景独立针于传狭统的锐数据舞仓库取。事专实上情，实膊时分住区通秀常并创不是猪数据培库概姿念上域的表迈分区盒，而长是由丽一些序独立校的可败以在排其上捷进行想更新景和查院询操主作的圾表构滤成。吓。五存储敲实时绵分区何的系夏统就衡是贪OD虹S抱〔垮Op题er井at沃io星na处l捧Da苦ta锅S总to甩re献〕。灯OD乎S妨和实纱时分痕区是呆两大涌数据鸣仓库驰流派怀的不比同名逃词定墓义而估已，酷我们精姑且变将奴OD默S择理解糠为存战储和差管理姜实时昏分区敢的系持统。度OD晨S注处于雷业务钱系统渗和数夫据仓闷库之缘间，戚具有浩实时匙的、震常变铲的、背当前敞的、僻临时蚂的等波特点仅。引蔽入笋OD贪S着，通DW夸的体谢系结矮构变战为：骡源数丈据箭→型OD阶S委→阔DW蠢→针OL狡AP歌。增粱加危OD派S抽，还百需要硬前端民工具危的支暖持，漆才能背够进炮行无虎缝查寻询。天实时那分区蓬必须矿满足买如下恭的一逝些苛呈刻要仰求：缓

占

峡

埋

森惩在静利态数示据仓妖库更挖新前极，承朴担所闷有的线查询均操作甲；佛

这

还

松

共芬在粒醉度和搏内容戚上与伐静态价数据穿仓库风的事尖实表返能够删吻合键链接锣；辽

盆

尽

弟

洁岂支持软大量片并发个的查鹿询响寨应。魄2.样2要、实者事分猪区〔保OD屠S唇〕的吴应用蜻在维屿度模膊型中币，主厌要有恭三类升粒度间的事拍实表形：交投易粒效度〔色Tr夫an农sa砌ct僚io咽n愈Gr传ai扰n闲〕，粒周期剃性快速照粒估度〔形Pe水ri揪od磁ic榴S粘na队ps碧ho贫t虏Gr酒ai跳n铸〕，保增量南快照句粒度必〔榴Ac勿cu内mu摆la摊ti鹿ng老S测na窜ps寒ho刺t语Gr劲ai鬼n恶〕。酿实时熔分区旧在科3彼种类参型的扫粒度邻上有能不同巨的结置构。锹2.务2.弃1浆交易莲静态禁数据溪仓库结的事糟实表断就是乎交易锐粒度燕的，粒它包盲括源段系统互中的雪交易农记录恭。如例果在种某时奴间周玩期内贺源系雄统没暗有新恐的交鸣易，础那么没晃有新祖的记场录。翁相反嚼的，钢如果紧交易略很多疤很频诞繁，痒就会帖产生延大量兴的记增录。势实时铃分区译具有稠与静猴态争事实疮表维按度柴关联烛的数爽据模齿型结秧构。幕实时茶分区拢一般涌完全秃没有付