信息化 BI 资料仓储与资料采矿

第24章

資料倉儲與資料採礦1第一節資料庫與資料庫管理系統運用資料庫管理系統的網站在一些出版社的網站，只要輸入書名、作者或某些關鍵字，就可以查到這本書的資訊，這就用到了資料庫的功能系統會去這個網站所連線到的資料庫傳回給你所需之資料，也是運用資料庫管理系統的網站一個好的資料庫管理系統不僅能提供使用者不同的觀點，十分簡易的方式存取資料，並能維護資料的完整性、安全性2資料庫管理系統3資料庫管理系統要件能有效率的提供企業所需的各項功能將資料重覆情形減至最低的程度提供完整一致的資料維護資料的安全性儲存的資料實體容易重新組織集中管理資料庫內之資料經由系統控制能容易將資料建立4第二節資料倉儲資料倉儲是特大型資料庫，將來自不同作業系統中之資料，在分析關聯性後，以具結構性之方式集中存放，作為應用程式與決策者分析的來源與依據從技術面與應用面來看資料倉儲所扮演的角色，一個是集中儲存電子資訊所在，一個是現代企業系統架構的核心前者是不同來源、不同型態的資料經過清理轉換後，以同一型態、組織排列，儲存於倉儲內，以供分析後者則是用以提供企業快速的、整合的、具分析性的資訊服務與決策能量5資料倉儲的特性主題導向(Subject-Oriented)資料倉儲會自動地將資料以相同的種類或主題分類在一起因此它的主要處理對象是屬於較高層次的且不重複的主題有別於交易處理業系統的流程導向資料倉儲是在解決決策分析的問題，而非交易導向的問題6資料倉儲的特性(續)整合性（Integration）資料倉儲的資料須有相當的整合性在一個企業中，同時擁有多個資料庫或不同系統平台是普遍的事資料倉儲便是整合企業多個資料庫透過跨越不同的平台，在資料轉換過程中，讓欄位名稱、測量變數、編碼方式、日期時間等主題的屬性，變成具有一致的格式7資料倉儲的特性(續)時間變化性（TimeVariation）只要作業系統在運作，隨時就會有新資料增加必須在某些特定的時間點到作業系統中擷取資料，以確保資料倉儲的可用性與時效性非揮發性（NonVolatilization）當資料被新增到資料倉儲中後，相對難以更動、修正或更新有偏向累積性和唯讀的性質8資料倉儲之效益由於資料透過整合，因此決策者不必透過資訊人員就可取得所須的決策報表，公司整體決策時效性可進一步提昇資料倉儲整合並集中企業內部及外部資訊，可提供企業制定有效決策、執行精密行銷攻勢9資料倉儲之效益(續)資料倉儲擁有充足的歷史資訊，可供企業從過去事件中找出特定行為模式與分析發展趨勢，進一步預測未來資料倉儲可支援資料採礦、連線分析(On-LineAnalyticalProcessing,OLAP)等分析工具，亦可幫助企業以新的視角與方式，進行資料分析與問題發掘企業決策者可直接獲取分析資料，不用透過資訊部門，不但可減輕資訊部門的工作負擔，還可以提升使用者的應用能力以及資料分析的效率10資料料倉倉儲儲與與傳傳統統資資料料庫庫的的差差異異傳統統資資料料庫庫主主要要是是處處理理交交易易導導向向的的問問題題，，也也就就是是處處理理各各項項業業務務，，只只是是單單純純的的完完成成一一個個指指令令的的動動作作，，處處理理一一個個作作業業流流程程的的交交易易系系統統，，強強調調的的是是交交易易資資料料新新增增、、刪刪除除、、修修改改的的快快速速、、穩穩定定及及精精確確，，提提供供詳詳細細資資料料的的查查詢詢資料料倉倉儲儲則則是是以以交交易易主主體體為為導導向向，，以以資資訊訊分分析析為為核核心心，，將將資資料料收收集集整整合合以以提提供供企企業業決決策策制制定定，，其其目目的的是是在在最最短短的的時時間間、、最最有有彈彈性性的的方方式式下下，，提提供供綜綜合合資資料料查查詢詢，，滿滿足足決決策策者者分分析析的的需需求求11資料料倉倉儲儲的的結結構構早期期的的資資料料倉倉儲儲是是從從建建構構單單一一的的資資料料庫庫，，提提供供使使用用者者查查詢詢之之用用後來來發發展展到到企企業業資資訊訊工工廠廠(CorporateInformationFactory,CIF)企業業資資訊訊工工廠廠是是資資料料庫庫企業業資資料料倉倉儲儲(EnterpriseDataWarehouse,EDW)作業業資資料料儲儲存存(OperationalDataStore,ODS)資料料超超市市(DataMart,DM)EDW是根根據據企企業業的的目目標標或或主主題題所所組組成成，，與與DM有較較相相同同的的特特性性企業業的的DM是根根據據查查詢詢的的目目的的不不同同，，可可能能有有很很多多個個EDW卻只只有有是是企企業業的的一一個個資資料料倉倉儲儲資資料料庫庫ODS則是是儲儲存存即即時時性性的的作作業業資資料料，，允允許許資資料料的的更更新新與與變變動動12資料料倉倉儲儲成成功功關關鍵鍵提供供分分析析資資料料以以適適切切的的解解決決問問題題或或避避免免意意外外具適適當當訓訓練練的的使使用用者者與與專專業業的的專專案案經經理理資料料管管理理者者有有能能力力進進行行跨跨組組織織的的整整合合活活動動使用用的的技技術術具具周周延延性性，，延延展展性性及及可可靠靠性性13資料料倉倉儲儲建建置置步步驟驟及及建建置置要要素素範圍圍界界定定：：界定定倉倉儲儲的的目目標標與與範範圍圍需求求分分析析：：擬定定預預算算與與專專案案計計畫畫，，成成立立專專案案團團隊隊現況況了了解解及及細細部部需需求求分分析析：：完成成倉倉儲儲之之細細部部功功能能規規格格，，以以雛雛型型開開發發方方式式輔輔助助使使用用單單位位對對需需求求的的了了解解系統統設設計計與與建建置置：：建置置倉倉儲儲系系統統並並執執行行系系統統的的調調整整與與測測試試資料料轉轉換換：：系統統上上線線前前資資料料的的轉轉換換系統統上上線線：：倉儲儲系系統統的的正正式式啟啟用用系統統維維護護：：操作作與與維維護護，，包包含含定定期期資資料料更更新新14建置資資料倉倉儲專專案關關鍵成成功要要素必須要要有明明確的的目標標和需需求範範圍企業對對資料料倉儲儲有正正確的的認知知內部高高層的的支持持部門間間需要要有良良好的的溝通通管道道專案支支援部部門的的設置置開放性性的資資料倉倉儲平平台具延展展性及及擴充充性的的倉儲儲架構構須有完完整且且豐富富的資資料前端交交易系系統資資料品品質及及穩定定性15第三節節資資料倉倉儲與與資料料採礦礦資料採採礦可可使得得分析析人士士有能能力得得以對對於原原始資資料加加以剖剖析，，以瞭瞭解資資料所所呈現現出之之不同同面向向，或或是瞭瞭解不不同構構面間間之相相關性性資料採採礦和和各項項分析析工具具主要要之區區分，，在於於資料料採礦礦更可可以針針對相相當大大量之之資料料加以以分析析，找找出資資料中中的隱隱性模模式(HiddenPatterns)也就是是顧客客之購購買行行為模模式例如顧顧客在在購買買啤酒酒後會會購買買尿布布等產產品之之間的的關連連性16進行資資料採採礦前前，須須先行行建置置資料料倉儲儲資料倉倉儲就就是儲儲存大大量資資料的的資料料庫，，不同同之處處在於於資料料庫中中儲存存之資資料通通常是是與營營運較較相關關之資資料這些資資料在在累積積一段段時間間後，，除儲儲存備備份外外，亦亦可加加以整整理後後移轉轉至另另一資資料系系統供供作資資料分分析之之用，，就是是資料料倉儲儲要將資資料庫庫中之之資料料經過過萃取取及重重新整整理才才能移移轉至至資料料倉儲儲因此資資料分分析師師可藉藉由相相關分分析工工具如如線上上分析析處理理工具具、統統計分分析，，以及及其他他如資資料採採礦之之分析析工具具以進進行資資料分分析資料倉倉儲與與資料料採礦礦17第四節節資資料採採礦資料採採礦（（DataMining），是是將消消費者者的消消費行行為化化為具具體的的數據據，之之後在在大量量的資資料庫庫中，，建立立消費費者相相關模模式利用人人工智智慧、、統計計科學學的方方法，，自動動萃取取出可可提供供預測測的資資訊資料採採礦所所以會會被稱稱為採採礦是是因為為要從從如山山一般般的龐龐大資資料中中，找找出可可用的的資料料，就就如同同挖寶寶一樣樣也被稱稱為資資料挖挖礦、、資料料挖掘掘或資資料探探勘。。資料庫庫管理理系統統和統統計學學的迴迴歸分分析雖雖是資資料採採礦的的概念念，但但因其其缺少少提供供資料料更進進一步步的分分析，，所以以對企企業來來說，，可以以發展展出商商業用用途的的資料料採礦礦較有有價值值18運用資資料採採礦最成功功的資資料採採礦方方法能能創意意地使使用資資料，，和重重覆使使用性性、小小量資資料、、經常常更新新的關關連式式資料料庫以以及線線上交交易處處理(On-LineTransactionProcessing,OLTP)系統統正好好成為為強烈烈的對對比在實務務上資資料礦礦採的的意思思是說說，資資料倉倉儲所所具有有的特特性，，可以以很清清楚的的區別別出來來首先資資料採採礦的的資料料是主主觀導導向，，它們們是組組織根根據經經理人人對資資料不不同的的看法法，而而不是是根據據特定定的功功能過過程或或應用用倉儲時時須以以一致致的命命名原原則整整合資資料其次這這些資資料必必須不不同時時間、、不停停的被被蒐集集和組組織，，以用用為比比較、、辨識識趨勢勢和預預測之之用資料是是非變變化性性的，，一旦旦資料料進入入資料料倉儲儲之後後，這這些資資料不不再被被更新新或改改變，，它們們只是是被重重新載載入和和擷取取以為為分析析之用用商業用用途的的資料料視覺覺呈現現是資資料採採礦主主要部部份19資料採採礦五五大模模型分類(Classification)根據不不同團團體的的屬性性變數數，當當新資資料進進來時時加以以判定定並分分類預測(Predictive)利用多多個變變數來來找出出一個個應變變數或或以歷歷史資資料來來決定定未來來可能能發生生的情情形群聚與與分群群(Clustering/Segmentation)以特定定變數數將團團體分分群組組的過過程，，目的的在找找出群群體間間的不不同或或群體體間的的相似似點關聯性性分析析(AssociationAnalysis)研究在在同一一筆交交易中中，兩兩種產產品同同時被被購買買的可可能性性有多多高，，購物物籃分分析就就是典典型的的關聯聯性分分析的的應用用順序(SequentialModeling)分析購購買行行為的的順序序而言言，購購買一一項產產品後後，引引導購購買另另一樣樣產品品的順順序或或間隔隔20資料採採礦於於網路路上的的應用用目前的的應用用程式式大多多利用用網路路增加加企業業與顧顧客間間之互互動資料採採礦在在網路路上的的應用用，與與一般般利用用資料料庫中中客戶戶資料料所作作的分分析有有所不不同當顧客客或潛潛在客客戶到到訪企企業網網站，，往往往能藉藉由顧顧客關關係管管理之之資訊訊軟體體進行行資料料蒐集集如顧客客所提提供的的個人人資料料、顧顧客點點選的的網頁頁內容容、於於不同同網頁頁所停停留的的時間間長短短、利利用搜搜尋引引擎時時所經經常使使用的的關鍵鍵字，，及顧顧客到到訪網網站的的時間間點等等企業可可藉由由這些些資訊訊分析析瞭解解顧客客行為為模式式，再再利用用資料料採礦礦之分分析工工具來來進行行資料料分析析，以以瞭解解顧客客對公公司所所提供供之產產品與與服務務的滿滿意度度21大部份份的網網站或或相關關軟體體均有有上述述的功功能，，但企企業本本身缺缺乏對對資料料進行行分析析之意意願，，以及及缺乏乏資料料分析析解讀讀的人人才，，才是是資料料採礦礦實務務上真真正的的困難難之處處要利用用資料料採礦礦的技技術分分析顧顧客於於網站站上之之行為為模式式的企企業，，首先先必須須建構構一套套機制制，用用以記記錄顧顧客對對於網網站產產品及及服務務的滿滿意度度並確認認進行行網路路資料料採礦礦之目目標，，再配配合整整體營營運策策略來來蒐集集完整整的顧顧客資資料資料採採礦實實務困困難22當訪客客與網網站產產生互互動時時，即即有機機會產產生資資料，，通常常可以以利用用地理理區隔隔、人人格特特質及及訪客客使用用之資資訊設設備等等方面面來區區分網網站訪訪客的的特質質訪客於於網頁頁中的的點選選順序序與落落點可可將顧顧客群群依照照產品品加以以分類類，以以分析析所提提供產產品與與服務務對顧顧客之之吸引引力這些均均可利利用不不同軟軟體與與網站站內容容促使使訪客客提供供相關關資料料這些資資料的的累積積可促促成企企業對對銷售售及整整體策策略的的分析析與擬擬定資料採採礦於於整體體策略略的應應用23顧客愈愈有效效利用用網站站資源源，就就表示示企業業網站站的設設立有有助於於其行行銷策策略之之推展展因此在在規劃劃網路路資料料採礦礦整體體策略略前，，最好好能夠夠有一一個明明確的的目標標，以以作為為整體體策略略之準準則如：增增加顧顧客平平均瀏瀏覽次次數、、增加加顧客客於網網路購購買的的意願願等，，才能能提昇昇企業業營運運的效效率多數企企業採採取網網路資資料採採礦技技術，，單純純為支支援公公司整整體行行銷策策略，，但亦亦有部部份企企業僅僅將網網路視視為其其行銷銷管道道之一一，並並將其其與傳傳統行行銷管管道區區隔資料採採礦於於行銷銷的應應用24資料採採礦的的應用用方向向開發新新顧客客根據顧顧客的的屬性性預測測其對對商品品或通通路設設計的的反應應，如如果預預測反反應正正確，，則能能吸引引尚未未成為為顧客客但有有可能能對產產品感感興趣趣的人人維繫舊舊顧客客維繫既既有顧顧客對對企業業來說說相當當重要要，有有些企企業常常常因因為太太專注注於開開發新新顧客客，而而造成成流失失舊顧顧客這這對企企業的的獲利利會造造成很很大的的威脅脅篩選顧顧客有些顧顧客接接收企企業對對其服服務而而沒有有任何何回饋饋時，，應考考慮停停止對對這些些客戶戶付出出努力力與成成本25資料採採礦的的應用用方向向(續續)購物籃籃分析析分析消消費者者購買買產品品的種種類及及數量量會為為公司司帶來來多少少經濟濟效益益，或或稱為為關聯聯性分