中华资料采矿协会理事长课件

1、Technology Review雜誌雜誌（麻省理工學院（麻省理工學院2002年年1月出刊）月出刊）Protocols: Loosely CoupledAPIs: Tightly Coupled分析服務分析服務(Data Mining)整合性服務整合性服務(SSIS) SSIS 分析服務分析服務 報表服務報表服務資料來源資料來源檢視表檢視表(DataSourceView)定義企業問題定義企業問題資料準備資料準備資料檢視資料檢視模型的建立模型的建立模型評估模型評估佈屬與應用佈屬與應用資料源資料源資料源資料源電信用戶忠誠度逐年下降.產品良率持續下降零售點庫存情況成長保戶詐欺狀況不斷升高卡戶剪卡比例

2、增加 客戶呆帳發生數暴增客戶轉貸頻率提升 TrainingValidationTestTrainingValidationTest使用 訓練資料集訓練資料集 建立預測模型.使用 鑑效資料集鑑效資料集 來避免模型對於訓練資料集產生記憶效應使用測試資料集測試資料集來選擇模型以及測量模型在預測未知資料的能力Database TheoryArtificial IntelligenceMachine LearningStatisticsData WarehousingData MiningReports (動態動態 & Ad hoc)Data MiningBusiness KnowledgeEa

3、sy Difficult使用容易度使用容易度OLAP Reports (靜態靜態)商 業 價 值資料來源資料來源:Microsoft TaiwanSQL Server 2000已提供文字資料採礦文字資料採礦透過提供企業所有所有成員商業洞察力，以提昇企業組織能夠更快速、更正確的產生營運決策 整合異質資料來源:文字檔案 大型主機試算表 關連式資料庫快速更新資料倉儲與資料超市載入資料前可以清除錯誤資料可以高效率進行線上交易處理系(OLTP) 與線上分析處理的資料(OLAP)轉換作業回報作業成功與失敗的狀態透過整合服務可以不用在資料轉換過程中需要暫存資料庫處理作業包含資料自動管理功能CRM: semi

4、 structuredLegacy data: binary filesApplication databaseETLWarehouseReportsMobiledata Data miningAlerts & escalation資料整合與資料倉儲建立過程中需要額外的暫存性資料區資料整合與資料倉儲建立過程中需要額外的暫存性資料區(Stage)與作業與作業(如彙總如彙總)資料處理需要不同多種工具資料處理需要不同多種工具(如如CRM系統的文字採礦工具系統的文字採礦工具) 且工具間且工具間有有相容相容性性問題存在問題存在回報機制與問題層級提升的速度緩慢回報機制與問題層級提升的速度緩慢資料過

5、多時往往會造成該策略無法運作資料過多時往往會造成該策略無法運作HandcodingStagingText Mining ETLStagingCleansing &ETLStagingETLCRM Semi-structured dataLegacy data: binary filesApplication databaseAlerts & escalation使用使用Integration Services可以在作業過程將原需要資料庫處理的部分，直接處理完畢可以在作業過程將原需要資料庫處理的部分，直接處理完畢.所有的作業包括文字採礦、彙總、合併、資料比對等都可以整合在同一個服

6、務中所有的作業包括文字採礦、彙總、合併、資料比對等都可以整合在同一個服務中分離增加資料庫與分離增加資料庫與ETL工具的作業範圍，強化資料庫的高可用度工具的作業範圍，強化資料庫的高可用度直接透過直接透過Integration Services進行問題的警示與回報進行問題的警示與回報SQL Server Integration ServicesText miningcomponentsCustomsourceStandardsourcesData cleansingcomponentsMergesData miningcomponentsWarehouseReportsMobiledatal設定資

7、料源可以是多種不同來源，也可以包含客制化來源或是設定檔如設定資料源可以是多種不同來源，也可以包含客制化來源或是設定檔如 *.udll使用轉換作業進行資料轉換如使用轉換作業進行資料轉換如Merge、Aggregate、Sort等等l資料可以根據規則進行分類或是合併如資料可以根據規則進行分類或是合併如Multicast、Conditional Split等等l資料處理流程可以根據企業規則複雜化但是不影響資料的同時性存取資料處理流程可以根據企業規則複雜化但是不影響資料的同時性存取l最後資料可以同時寫入到不同的檔案格式如最後資料可以同時寫入到不同的檔案格式如Excel、Flat File、Databa

8、se等等數位儀表板數位儀表板固定式報表固定式報表BI 前端工具前端工具EXCEL試算表試算表Ad Hoc 報表報表AnalysisServicesMicrosoft Office Business Scorecard Manager 提供組織以下的功能提供組織以下的功能強化的計分卡平台強化的計分卡平台洞悉企業問題洞悉企業問題協同組織分析與協調作業協同組織分析與協調作業提供前端使用者強大分析功能提供前端使用者強大分析功能擴充性平台擴充性平台SQL Server 2005 提供提供 Business Scorecard Manager 以下功能以下功能 集中化管理與指標集中化管理與指標 多維度計分

9、卡多維度計分卡 提供提供KPI 給前端應用程式給前端應用程式 利用利用UDM整合資料處理整合資料處理監控指標監控指標分析問題分析問題協同作業協同作業定義目標定義目標SQL Server 2000已提供文字資料採礦文字資料採礦採礦模型檢視器採礦模型檢視器放大 /縮小複製圖Cluster在群集2中，則無”0-1 Miles”的資料在群集3中 ”0-1 Miles”的比例最高，有74%群集圖表群集圖表群集設定檔群集設定檔說明：說明：了解各群集中，各變數的分佈比例，以圖中為例，群集2中，距離為”0-1 Miles”的有0.4%、 ”1-2 Miles”的有25.7%、 ”2-5 Miles”的有13.

10、6%、 ”5-10 Miles”的有32%、 ”10+Miles”的有28.3%採礦模型檢視器採礦模型檢視器滑 鼠 右 鍵檢視檢視BukeBuyer的比例及其條件式的比例及其條件式觀察屬於該節點之觀測值觀察屬於該節點之觀測值相依性網路相依性網路主要目的在於了解各產品間的關聯性項目項目Touring-3000 = 現有的, Water Bottle = 現有的 Road Bottle Cage = 現有的群集設定檔群集設定檔列出各群集中所有產品比例僅列出各群中比例較高之產品 及 其 比 例各 群 集 之 個 數預測期數顯示預測誤差區間趨勢圖、預測圖各變數之係數該時間序列方程式Input類神經網路

11、類神經網路模型模型OutputNaive Bayesian can only accept categorical attributes.You need to discrete the numerical Attributes into the categorical one.No parameters need to be adjusted in SSAS.線性迴歸係數線性迴歸模型資料來源資料來源:Microsoft Taiwan詞彙索引前 置 處 理既有詞彙擷取文件新生詞彙擷取關鍵詞彙篩選及排名(Ranking)概念式分類/分群多國語言中(簡繁体字)英日德俄 詞庫式斷詞專家斷詞領域相關經

12、驗法則指引式文件分類文件自動分類(相似)資訊截取(InformationExtraction)概念式搜尋資訊分享統計斷詞關聯與相依分析(Association &Dependent Analysis)專家校正圖形模式 貝氏機制特徵向量特徵向量 資料向量化資料向量化排序排序分數分數 評量評量拒絕拒絕 接受接受 否是文件文件差異化差異化臨界值臨界值調整調整評估函數評估函數 OntologyOntology定義向量初值定義向量初值臨界值設定臨界值設定特徵粹取特徵粹取分數分數 ? ?臨界值臨界值 依關聯調整依關聯調整 關聯校正關聯校正 文獻文獻知識表達方式之轉換知識表達方式之轉換資料探勘技術資

13、料探勘技術Clustering k-means, EM, agglomerative,Categorization kNN, DT, Bayes,.表達方式之處理表達方式之處理藉以取得運算矩陣藉以取得運算矩陣概念階層概念階層Concept Hierarchical Analysis自動分群/分類類別1類別2類別n專家分類器分類器議題關聯相關議題關聯相關議題法則議題法則法則推論法則推論文獻文獻相似分析相似分析/ /相依原理相依原理法則邏輯推論法則邏輯推論選擇“vTargetMail(dbo)”勾選需要比較之模型說明：說明：在進行模型效益評估前必須先選入資料表，並在模型中勾選要進行評估比較之模型分

14、類矩陣分類矩陣藉由分類矩陣進一步比較，判別兩模型的預測能力，由決策樹模型發現，預測正確的資料有7103+5857=12960；而群集分析模型的正確預測資料為5395+5308=10703，也可看出決策樹決策樹分類結果較群集分析群集分析分類結果好增益圖增益圖增益圖：增益圖：主要展現在整體的百分上所累積的效益狀況收益圖收益圖收益圖：收益圖：可根據所設定之固定成本、單位成本以及單位營收加以計算，找出最佳獲利點散佈圖散佈圖散佈圖：散佈圖：了解各模型之預測值、預測趨勢以及實際值高擴充性報表伺服器高擴充性報表伺服器 豐富, 企業級的報表平台 (靜態與互動式報表)多重資料來源搭配多重格式輸出選項整合 Web Services架構，強化報表規模與管理功能可排時程,報表快照,報表快取, 高整合性開發工具高整合性開發工具利用Visual Studio環境進行開發報表定義語言(RDL)使用XML規格可以利用3rd party 元件支援前端使用者報表開發支援前端使用者報表開發強大的管理支援強大的管理支援提供 SOAP Web Service 程式介面提供報表管理入口網站提供高安全性管理模式整合分析服務與整合服務等管理工具Microsoft Office Business Scorecard Manager 提供組織以下的功能提供組織以下的功能強化的計分卡平台強化的計