商业智慧 CHAPTER 5 商业智慧的技术根基

CHAPTER5商業智慧的技術根基從資料倉儲到資料整合工具第五章內容大綱■商業智慧的架構和基礎建設架構■資料倉儲■資料超市■營運資料店■元資料■擷取/轉換/載入工具恩門的企業資訊工廠IheCorporateInlbnniilionl\ickx>undthel；nvir<imncnl資料來源:/cif/紮克曼架構資料來源：/美國資料倉儲硏究院的商業智慧架構BlComponentl-rameworkEXIRACTCI.F；ANMOOR]TRANSFORMTRANSITRLOADDATAWAREHOUSINGLQlOYREPORTANALYZEM1NLVISUALIZEACTANAmKALLNVIRONMLNTihhniomnam3><C7bi-sinessUSERS資料來源：斧國資料倉做硏充院（>Gartner公司的商業智慧架構商務企業功能基礎建設交易競爭力可用度査詢+W告:標準的、捕性商業智慧平台，企菜商業智慧套件,資料採破績效管理、前端後端資訊文化（包容、排外），用戶類型、商業智慧方法論•技含旨與商業智慧組織全球化透明化商業智慧軟體：_„型-營運型、分析型預備的、特設的.用卢驅動商業智慧技術基礎建設評估1.評估既有平逯3.窃作技術基礎建設評估報告2.評估並選擇新的產品商業智慧軟體廠商的架構舉例■BusinessObjects公司的商業智慧架構■MicrosStrategy公司的商業智慧架構BusinessObjects公司的商業智慧架構OUPMicrosStrategy公司的商業智慧架構MooSMegiS<imvMucMrwgjrQua/Mmm•wnmuaWtmthTSrW~4INDUSTRIAUSTRENGTHBlPLATFORMScalablePureWebtdAIPGtod£JeSXIVUV者3esfjdjalea5izeleQOPMT53I/I呈icetanawozpy•Security♦CwMraitfMlAdmiiwgrrM*^•AtHrnmance•F»iitTotoranc*第五章內容大綱■商業智慧的架構和基礎建設架構■資料倉儲■資料超市■營運資料店■元資料■擷取/轉換/載入工具資料倉儲的定義■資料倉儲的槪念是由比爾•恩門和拉夫•金兩位先驅者最早界定的。1990年，恩門是這樣定義資料倉儲的：“支持管理層的決策過程的、具有主題導向、整合、具時間性、累積等特性的資料集合”。Gartner公司的資料倉儲架構齊迷系统资料倉儲企業商業柯鍊件主髓甲主惘乙資料超市指標:商業智慧套為上交上交易/爲上交易/爲上交療上交易，處理系学/處埋系妖/處理资科/處埋^fof/處理工#O邏輯視圖/產品時期资科库行理系统。擷取、轉換與載人工具资料超市1终端JW戶圖5.8Gartner公司總結的資料倉儲架構KenOrrInstitute資料倉儲的架構ISf□*□f□斗□*□<-n>*4D*nDtixiaiyFvmcik)>iPlOC«4«S111IL!Jl■-JL」IDAQ~►--►*—<—cab•ViaA國資料來源：/dwpaper.html更商的命中率减少了管理的努力F拉&例外直接問接改苦的决策建立新的生意推助發現槳品的新用途减少了参與者的遝擇時問参與者f診所分析資料史加啤確更加一致儲存了額外的資料試用的资料1效.資料來源：Gartner公司避免了資訊技術成本資料採礦敏捷性資料倉儲的到來資料來源：Ci_er公司企業管理風格對資料倉儲的影響業務線資訊技術••獨裁”策•業務線與資訊技術之間的聯繫•壓倒性的業務線或業務需求驅動執戸•很强的業務線資訊技術文化•缺乏機會主義的願景不靈活'•資訊技術與商務戰略之間缺乏整合•資訊技術是必要的“邪惡"•致力於戰術問題•單一產品或業務線•缺乏資源。亂中取勝”市場領導者•資訊技術與商務策略之間的聯繫-資源上的承諾與支持•靈活的基礎建設架構（著眼於未來）•動態與競爭性的市場•跨越業務線的相互利用機會•持續的商務流程改進.導向於業務線或某一商務領/址•缺乏跨越業務線的相互利用•不平衡的資源•頻繁的合倂與兼併活動“政治"領導力資料來源：Gartner公司戰術資料倉儲就緒程度評估一覽表公司的承諾與支持•負責任的，高層的經理•各個商業部門的支持•資訊技術和用戶的分類（進麵、隨觀流型和落麵）•支援以分析結果改造商業流程的文化資訊技術的重要性和資訊技術與公司策略之間的聯繫•有部署資訊技術並獲得好處的歷史•資訊部門在用戶中有很好的聲望公司內部是否有足夠的技術•內部有專門人才或把業務外包•人力資源的全力支持.應用軟體提供團隊合作廠商和技術的生命力•成功也許會偏離“公司的標準”-技術不能解決所有問題資料倉儲和商業智慧的執行步驟執行终端用户A發展决策的備選方案分享與合作改變流程發現和探索創造模型舐别並收集资料接觸资訊監視並分祈事實I|合作□霧流程占成本的70%□雲飄资訊技術部門□和终端用戶都資料來源：Gartner公司資料倉儲的“拓撲結構”資料來源：Gartner公司資料倉儲的整合類型例-（多個資料倉儲）•大的持股公司•多樣化的業務•兼併與撤資•不確定的市場交叉•模糊的企業識別和使命例二（跨業務線的資料倉儲）•跨國性的市場領導者•各事業部做接近或相關的業務•所有權和策略穩定•有利用顧荠的機會•很強的企業文化（比如，架構上的張力）例三（舉一跨資料倉儲）•獨立的全國性公司•技術專長集中•資訊技術和業務部門聯繫緊密•整合完好的系統•很少機會主義式的決定資料來源：Gartner公司資料倉儲專案失敗的三個原因■缺乏溝通■缺乏適當的專業技術建議■缺乏適當的專案計劃創投不支援資料倉儲的■資料倉儲是架構而不是技術■資料倉儲傾向於基礎建設■資料倉儲不是在矽谷發明的■投資者很難從資料倉儲中獲取利益■了解資料倉儲能爲公司做什麼，了解整合的作用和歷史價値是一項複雜的任務■資料倉儲的回收期是長期的、間接的■資料倉儲的益處是不易見的■創投喜歡“乾淨的方案”■創投喜歡追求流行選擇資料倉儲的廠商和產品所面臨的挑戰挑戰結果明確要求•時間超標.全面的評估•資源問題•潛在的關鍵性的替換•資金問題確定結構與權數-錯誤決定.合併分散的標準-進行適當的優先安排了解廠商的表現-客戶參考•同荣網路•分析師社群.猶豫不決資料倉儲和商業智慧產品選擇的基本標準產品與惯格問题大约是總問题的60%9%廠商生命力18%服務12%功能27%15%技術架構19%資料來源：Gartner公司資料倉儲資料庫的選擇標準詳细资料的败吊资料模型的複雜性同時使用的用戶的数量杏詢的梅雜性資料來源：Gartner公司Gartner公司關於用於資料倉儲的資料庫廠商的“神奇象限”挑戰者領導者估據利基者擁有願景者1SQLSeiver•Teradata•Oracle•Database2執行Univ❷

rsai能力•SybaseDatabaseNon-StopSQL2003年1月願景的完整性資料來源：Gartner公司Gartner公司的資料倉儲發展趨勢圖可兒度可«展的擷取、Mfi鑑施丁OOH資料雎管理系統推萌星型結構線上分析®理StarSchemkDBMS-enabledOLAPf<TechnologyPeakofInflatedTroughofSlopeofTriggerExpectationsDisillusionment幻想破滅之低谷Enlightenment技術之誘因期望膨阪之尖蜂Maturity成熟度K娶之斜坡3ingte-VondorSolutionvs.MultivendorTechnologyScfiubon車一廠商之解決方实輿多洞廠商之技術解決方案20)3年5月AsofMay2003~Plateauof1Productivity勞動生痒率之平蕞資料超市台併f資料倉庫儀器DataWarehouseAppliance元資料工具MetadataToch»ETLEmbeddedinDBMS載入資料1*管理系統的细取，轉換與載入C具DataMartConsolMatoonFederatedData]Warehousesi聯邦式的/資料食铺/Visibility標示鍵：到連平原_問O不到兩年O兩到五年®在到達平原之船被淘汰企業資源規劃之資料食《ERPDataWarehouses虛擬資料倉ttVirtualDateWarehouseReakTirneDataUpdates(MergingOperationalBlandDataWarehouse>即時資料更新k(s迷性商業智替與資料含儲之台併)資料摩管理系統複雜侖浦J之優化DBMSComplexQueryOptimu^tion資料庠®理系統推展的資棚Un她dDataMiningDBMSMixed-Workload>Management«資料庫管理系統/混台T作擞管理/資料米源:Gartner公司2002年資料倉儲的十大發展趨勢■盈虧問題隱現，革新仍在繼續■10.越來越注重盈虧問題■9.強調應用程式VS資料倉儲■8.越來越瞭解如何對“成功或失敗”問題做出正確分析■7.非結構化資訊的增長■6.快速反應的決策支援■5.EAI和ETL工具的整合■4.廠商的整合■3.客戶資料整合■2.資料超市整合■1.資料倉儲規模不斷增長資料倉儲的原則_____■1.資料倉儲的其他方案不能滿足商業要求■2.其他備選方案也面臨顯著的技術挑戰■3.資料倉儲的花費並不一定最多■4.確保從商業智慧中獲得最大程度的好處第五章內容大綱■商業智慧的架構和基礎建設架構■資料倉儲■資料超市■營運資料店■元資料■擷取/轉換/載入工具資料超市的定義■資料倉儲涵蓋整個企業的資料與人員，而資料超市只包含特定範圍的資料。資料倉儲的工作是儲存大量的資料，很少考慮或不考慮企業怎樣觀看資料，而資料超市的主要考慮恰1合相反，它聚焦于易使用性、敏感資料的分離、報告速度和資料的總體展現。因此它可以更快速與低成本建立。資料超市的益處_■1.遞增式開發■2.便於用戶了解■3.便於管理的片段■4.容易操縱■5.更好的報告效果■6J吏用分散式技術■7.能隨時隨地使用第三方工具資料倉儲與資料超市的關係資料來源：Gartner公司資料倉儲與資料超市間的差異資料倉儲資料超市範阐•在應用軟體方面是中立的•集中的'分享的•跨業務/整個企業的.有架構的•有M體的應用軟膊的要求•業務線-部門或用戶領_•業務流程導向的•有重複資料的多個資料庫資料角度.歷史性的，詳盡的資料•有一些離性的韻•詳盡的（有一定歷史性）.總結性的資料資料主題.多個主題領域•眾一主題.多個局部的主題領域•營運來源快照資料來源■多個•營運性、外部的資料•來源少.營連性'外部資料•線上交易處理資料_快照建立的時問架構.第一階段9~18個月（2-3個芏題領域）•多階段的建立過程•4-12個月行徽-靈活的.持久的/策略性的-以資料爲導向的限制性的短暫的/戰術性的資料超市的迷思___■1.資料超市是小的■2.資料超市可以更容易地建立，更快速地部署・3.資料超市容易成長爲資料倉儲資料超市的指導原貝______■爲資料超市專案建立與資料倉儲專案分開的人才團隊■把資料超市的計畫工作爲資料倉儲專案所用■對急需戰術性方案的商業領域之敏銳感受力■把資料來源的數量限制在3個以下■建立防止資料超市氾濫的政策資料超市的成本_____圖5.21資料超市的高昂成本機钤損失四到八個资料超市資科超市的败里資料來源：Gartner公司第五章內容大綱■商業智慧的架構和基礎建設架構■資料倉儲-資料超市■營運資料店■元資料■擷取/轉換/載入工具營運資料店的定義______-營運資料店是通常用做&陰儲的暫時儲存區的一種資料庫。跟含有靜態資料的資料倉儲不一樣，其內容在商業營運的過程中不斷更新，是針對快速、小量資料的基礎上進行相對簡單的查詢而設計的，與在資料倉儲中大量資料的基礎上進行的複雜查詢不同。營運資料店特別像人的大腦中只儲存最近資訊的短期記憶，相反地，資-倉儲更像儲存那些相對較久資訊的長期百d憶°營運資料店的架構既存應用軟件决策支援資料倉儲資料來源：營運資料店與資料倉儲間的差異■資料模型和使用狀況上的差異■價値新鮮度方面的差異■資料移動及時性的差異■詳盡程度方面的差異營運資料店的種類____■一級營運資料店■這種營運資料店是同步更新的，通常處於高效能的、交易主導的環境中；■二級營運資料店■這種營運資料店儲存資料並向前更新；■三級營運資料店■非同步地、分批地、超過24小時才更新的營運資料店。營運資料店的應用_____■適合運用營運資料店的情況■主題領域報告■功能性的整合■不適合運用營運資料店的情況■作爲資料倉儲中所有資料的單一來源■營運資料店只被用做具體到部門的應用軟體營運資料店與即時企業間的關係■資料倉儲裏面的高品質資料適合進行策略性的決策，但由於資料延遲而不適合進行即時的分析。營運資料店的資訊通常是最新的，對於即時分析和各種營運性、戰術性的決策來說是至關重要的。資料倉儲和營運資料店都是即時企業整體架構中重要的組成元素。但是，對於即時分析而言，營運資料店是不可替代的。儘管二者都能夠使用戶認識到資料中的意涵，但營運資料店能夠提供即時性。這種即時分析的能力促進了快速、符合時間要求的決策。完善營運資料店的建設，爲企業快速反應機制打下堅實的基礎。第五章內容大綱■商業智慧的架構和基礎建設架構■資料倉儲■資料超市■營運資料店■元資料■擷取/轉換/載入工具Metadata的定義______■用來描述其他資料的資料，在資料倉儲中用來描述資料的擷取、轉換規則和自動化、安全方面的資訊。■Metadata應至少具備兩個特徵才對企業有意義:■被企業視爲値得追蹤和管理的一項資產；■是關於某一項資產的抽象層面的資訊，而不是所有的細節資訊。Metadata與非Metadata的條件頼客资枓庫顧客名字顧客代號顧客電話元资料(Metadata)是=否=顧客资料庳中的行(资料)(Data)名字■張三代號=1234567電話=888-123-4567資料來源：Gartner公司全面的Metadata庫元资枓(Metadata)庳服務架框之構架多_法方等卿分術摘技架SS析分程流務商/言向諸裨型8物一统析分微化化構搆结结計和析分料资資料來源：Gartner公司Metadata的9個類別商務架構應用軟件架構技術架構123概念蝌次456逼輯層次789實慨喊次資料來源：Gartner公司架構劃分與Metadata庫類別矩陣Metadata的類别架構上的劃分123456789•=架構劃分的核心MetadataO=與架構剷分相關的，可有可無的Metadata世界地圖像••OOO商務架構參••O技術架構搴參O•應用軟件架構•O參O•O資料架構•O•參O資料倉儲•0•服務導向的軟體開發OOO•參•資料來源：Gartner公司莫斯和阿特瑞對Metadata的分今•商務規則•商業智慧所冇權3規則和政策2描敘性特徵4實體特徵v_z•商務裔料•商務流程•資料擁有者•應用軟件擁有者•技術資料特性•應用軟件特性資料來源：Gartner公司Metadata組成部份按優先性分3類■1.必需的■2.重要的（有益但並不是必需的）■3.可有可無的（可以延遲到未來的商業智慧應用軟體中）Metadata庫的分析活動Metadata庫在分析過程中的注意事項■Metadata庫的使用情況■Metadata模型的要求■Metadata庫安全性■Metadata的擷取■Metadata的遞送■人員問題Metadata庫的設計麵Metadata庫在設計時的注意事項■已有的Metadata庫■Metadata庫產品■介面•人員Metadata庫開發的步驟.測試Metadata!^計劃或產品功能5.爲生產準備Metadata庫3.建立Metadata運用並、對毎一個單位進行測試/6.提^^MetadatafiM培訓2.建立Metadata庫遷移過程並對每•個單位進行測試少Metadata庫在開發時的注意事項■Metadata庫產品需要的是什麼樣的介面■定制的Metadata庫■人員■爲生產做準備資料倉儲Metadata的整合方式資料來源：Gartnef公司第五章內容大綱__________________■商業智慧的架構和基礎建設架構■資料倉儲-資料超市■營運資料店■元資料■擷取/轉換/載入工具資料擷取、轉換與載入的定義■擷取、轉換與載入是指整合來源資料並把它載入到資料倉儲的方法。在通常情況下，這三種獨立的功能結合在單一的工具中。首先，“擷取”功能從確定的來源資料庫中讀取資料，並從中擷取出想要的子集；然後，“轉換”功能利用規則或查閱表把獲得的資料轉換成理想的狀態，或者先把獲得的資料與其他資料結合起來，再把它們轉換成理想的狀態：最後，“載入”功能把所產生的資料寫進目標資料庫中。擷取、轉換與載入過程的目的在於把各個不同的平臺的資料：依標準格式合倂到決策支援環境下的商業智慧資料庫。資料擷取、轉換與J創造來源到目標的定義檔3.設計資料擷取、轉換與載入的流程2.測試資料擷取、轉換與載入工具的功能R入的設計步驟4.設計資料擷取、轉換與載入的軟體5.建立資料擷取，轉換與載入的暫存區域資料擷取、轉換與載入在設計時的注意事項______■工具■資料擷取、轉換與載入的暫存・資料擷取、轉換與載入的流程■效能考慮■調解■品質指標資料擷取、轉換與載入的設計步驟.建立擷取、轉換掙載入過程並對每--個、車位進行測