数据挖掘软件clementine中文教程

1、 資料採礦在crm的應用spss clementine 中文版中文版研討會內容研討會內容 一一 資料採礦的秘辛資料採礦的秘辛資料採礦觀念資料採礦到底是什麼？為什麼要做資料採礦？data mining 和統計及olap有什麼不同？data mining 和 data warehousing 的關係data mining 的方法與特徵怎麼做好data mining？何謂crisp-dm及其重要性研討會內容研討會內容二二 clementine中文版功能說明中文版功能說明clementine的工作環境及其方便容易的操作能力完全中文化的介面和crisp-dm的結合協助整理串流跟輸出的管理員用串流方式做資

2、料採礦超級節點研討會內容研討會內容二二 clementine中文版功能說明中文版功能說明對應crisp-dm，clementine有哪些功能(一) clementine 在商業理解階段提供的功能(二) clementine 在資料理解階段提供的功能(三) clementine 在資料預備階段提供的功能(四) clementine 在塑模階段提供的功能(五) clementine 在評估階段提供的功能(六) clementine 在部署階段提供的功能資料採礦的秘辛data mining 是什麼？是什麼？data mining是從資料中找出有用珍貴知識的一個過程何謂珍貴？何謂過程？why whow

3、hat whenwhere how何謂過程？n 增加銷售n 交叉銷售n 減少流失n 降低成本n 忠誠的客戶n 警察找出罪犯n 醫學找出疾病n 國稅局找逃稅 何謂珍貴？許多技術知識的融合（統計、人工智慧、未來的基因演算法等），並非一個演算法就可以解決全部問題資料資料資訊資訊知識知識將沈睡的資料中的資訊轉變為活的知識 ，進而成為決策的智慧為什麼要做為什麼要做 data mining？競爭日益劇烈，了解客戶需求才能佔有優勢過去及現在和客戶互動方式的改變過去過去n互動單純n直接了解客戶個人化需求現在現在n互動複雜n難直接了解客戶個人化需求n電子化data mining 和統計不同？和統計不同？data

4、 mining沒有事先假設多數狀況下母體參數已知資料量越大越好，小資料也可以挖只是較不可靠融合各種知識，包括統計、machine learning、人工智慧、基因等統計統計先假設再檢定母體參數未知資料量不可太大data mining 和和 olap 不同？不同？data mining包括對手邊資料的呈現，以及olap無法呈現的隱藏行為模式除了分析過去資料，也可以預測未來olapon-line analytical process對手邊資料的多維度呈現，無法呈現隱藏行為模式對現有資料的分析data mining 和資料倉儲的關係和資料倉儲的關係何謂資料倉儲 (data warehousing)？

5、將現有資料、歷史資料、外部資料等經過有系統的整合，把資料選取、分類、轉換達到最佳化後，融入一個設計好的關連式資料庫中，以利資料分析者存取，大量改進效率。data mining 及 olap 都是由資料倉儲中取出資料分析data mining 為何要從資料倉儲開始？也可以從檔案、資料庫中存取資料資料倉儲提供的資料量更足夠從多種資料檔或資料庫中取出檔案可能遭遇格式不符不一致的問題，要多花時間在整合上，若有資料倉儲，可以省去不少麻煩。資料採礦的定位資料採礦的定位business valuetimequery &reportingolapdata miningreal-timepersonal

6、izationmeasurement (historical)prediction (future)我們流失了多少客戶?這些流失客戶是位於哪個地區?哪些是高風險客戶以及原因是?我們應該即時提供這位客戶什麼服務?from spss white paperdata mining 的方法的方法classificationclusteringestimationpredictionmarket basket analysisdescription預測和分類推估類似，不同在於是預測未來，將新資料帶入既有資料建立的模型預測結果銀行新申請信用卡的客戶要給多少額度推估和分類的不同在於目標變數為連續值，常和分類

7、配合用分類判斷為會貸款客戶後，再推估會貸款的金額群集非監督式，未知有幾類，將性質類似的資料加以區隔把顧客資料分群對不同群體採用不同推銷手法分類目標變數（依變數、反應變數）為類別的狀況信用卡公司將既有資料分為偽卡非偽卡找出偽卡的模式購物籃分析找出哪些事件會一起發生超級市場發現男性客戶會一起購買啤酒跟尿布描述增進對於資料的認識，圖形視覺化呈現，或規則、決策樹等相關技術相關技術類神經決策樹 (c5.0 c&rt)logistic 迴歸等等相關技術相關技術k-means兩步驟kohonen等等相關技術相關技術迴歸c&rt等等相關技術相關技術分類跟估計的所有方法相關技術相關技術aprio

8、rigri等等相關技術相關技術決策樹規則各類圖表等等data mining 的其他特徵的其他特徵interactive 互動性automation 電腦自動化continuing 連續性，是動態的團隊分工合作具有決策功能，使企業組織創新、再造目標：一對一個人化（personalize）怎樣才能做好怎樣才能做好 data miningprocess符合 data mining 的程序，如 crisp-dmenvironment企業組織內部要有共識從管理階層、資訊部門、行銷企劃單位、基層執行單位等都要能分工合作tools好的 data mining 工具才能讓data mining發揮功效配合資料

9、倉儲crisp-dm 標準流程標準流程cross-industry standard process for data miningspss 和 ncr 在 1996 年為克萊斯勒做資料採礦時訂出的一套標準程序，並參加了專家意見修訂，目前版本為1.01.商業理解 (business understanding)2.資料理解 (data understanding)3.資料預備 (data preparation)4.塑模 (modeling)5.評估 (evaluation)6.部署(或佈署) (deployment)1. business understanding了解企業方針及要解決的問題

10、何在訂定 data mining 計畫2. data understanding收集初步資料簡單了解資料確認資料品質3. data preparation資料清理、整合格式設定，為下一步建立模型做準備4. modeling選定要建立的模型用上一步驟的資料建立模型並測試5. evaluation評估模型及回顧整個過程決定是否進入下一階段6. deployment計畫要怎麼部署監控部署過程產出報告並檢討crisp-dm 流程圖流程圖以資料為中心不斷循環不是從頭做到尾，有需要時可以往回clementine 中文版中文版現代淘金者的最佳資料採礦工具功能介紹功能介紹工作環境工作環境完全中文化完全中文化工

11、作環境工作環境介面介紹介面介紹操作管理區：管理操作時期產生的stream, 輸出, 模型串流工作區：實際上用來建構dm流程的所有的動作、設定的區域節點調色版：不同的node代表不同功能的工具，不同的活頁代表不同的dm 流程的工具集合專案管理區：以dm專案的角度來管理stream, 輸出, 模型工作環境工作環境專案管理專案管理一個專案可以包括多個串流、圖表、各種外部檔案，全部可以利用右下角的專案管理員整理起來。優點：不用每次都去找要用的檔案跟相關串流，直接開啟專案，所有相關物件都會出現在專案管理員中。工作環境工作環境配合配合crisp-dm流程流程可將各種檔案及流程圖分門別類整理在六個crisp

12、-dm步驟的資料夾中，方便任何使用人員隨時存取。很清楚所做過的流程，有架構不紊亂。即使非原始的建立者也可以迅速進入狀況。也可依自己需求增減資料夾工作環境工作環境管理員管理員clementine會自動將所有流程放在串列區，跑出的圖表放在輸出區，建立的模型則放在模型區，隨時可以點選不用重跑一遍。且這些結果都可儲存保留。工作環境工作環境用串流方式呈現用串流方式呈現上使用者在工作區自由發揮，利用豐富的工具，設計出最符合實際需要的流程。彈性大、自由度高。工作環境工作環境 windows 作業環境作業環境配合基本的windows功能如剪貼、滑鼠拖曳、右鍵功能表、鍵盤快速鍵直接操作等，讓熟悉windows的

13、使用者可以馬上上手。基本功能基本功能自動配置自動配置基本功能基本功能加入節點註解加入節點註解加入註解，滑鼠游標移過去就可以看到註解。基本功能基本功能超級節點超級節點基本功能基本功能超級節點超級節點crisp-dm 中的中的clementine功能功能clementine中文版在中文版在商業理解商業理解(i)提供的提供的功能功能把計畫、專業術語相關檔案直接存放在專案中，任何使用 clementine 7.2 中文版的人員都可以隨時輕鬆查閱。商業理解商業理解(i)外部檔案外部檔案把術語對照表、計畫專案文件等放入專案中，任何計畫參與者都可以隨時隨地開啟這些檔案查詢閱覽。crisp-dm 中的中的cl

14、ementine功能功能clementine中文版在中文版在資料理解資料理解(ii)提供提供的功能的功能各式各樣的前端資料輸入統計敘述、表格、標記、檢查遺漏狀況豐富的圖形種類圖形多變化，依照所需呈現資料資料理解資料理解(ii)讀取資料讀取資料資料理解資料理解(ii)檢視資料檢視資料利用表格節點，可以隨時看見資料在串流中任何步驟的狀況。資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)直方圖直方圖連續變數的分佈。資料理解資料理解(ii)散佈圖散佈圖兩個連續變數的分

15、佈。資料理解資料理解(ii)散佈圖散佈圖也可以用散佈圖畫類別變數資料理解資料理解(ii)分佈圖分佈圖資料理解資料理解(ii)關聯網關聯網類別變數間的關聯crisp-dm 中的中的clementine功能功能clementine中文版在中文版在資料預備資料預備(iii)提供提供的功能的功能列處理功能行處理功能設定全域變數供其他節點使用透過圖形產生衍生變數，省去自己撰寫的時間資料預備資料預備(iii)列處理列處理(選取選取)資料預備資料預備(iii)列處理列處理(抽樣抽樣)資料預備資料預備(iii)列處理列處理(平衡平衡)資料預備資料預備(iii)列處理列處理(整合整合)資料預備資料預備(iii)

16、列處理列處理(合併合併)資料預備資料預備(iii)行處理行處理(類型類型)資料預備資料預備(iii)行處理行處理(過濾器過濾器)資料預備資料預備(iii)行處理行處理(導出導出)資料預備資料預備(iii)行處理行處理(填入器填入器)資料預備資料預備(iii)行處理行處理(設成旗標設成旗標)資料預備資料預備(iii)自動產生複雜節點自動產生複雜節點資料預備資料預備(iii)其他功能其他功能此外，資料預備階段還有提供以下功能：合併- 將這個月與下個月記錄合併排序- 將資料根據某些欄位排序整體- 將某個變數的值（最大值、平均數等）設定為global變數。歷史- 用於時間序列資料等等crisp-dm

17、中的中的clementine功能功能clementine中文版在中文版在塑模塑模(iv)提供的功能提供的功能多種群集、分類、預測、關聯規則模型分類樹一覽無遺的瀏覽器詳盡的統計報表將預測結果隨心所欲呈現混合式模型一點也不難塑模塑模(iv)關聯規則關聯規則塑模塑模(iv)kohonen塑模塑模(iv)k-means塑模塑模(iv)類神經網路類神經網路塑模塑模(iv)c5.0塑模塑模(iv)logistic 迴歸迴歸塑模塑模(iv)主成分主成分/因子因子塑模塑模(iv)混合式模型混合式模型crisp-dm 中的中的clementine功能功能clementine中文版在中文版在評估評估(v)提供的功

18、提供的功能能多樣化的評估圖形同時將多個模型的結果做比較評估評估(v)比較預測準確度比較預測準確度評估評估(v)評估圖形評估圖形crisp-dm 中的中的clementine功能功能clementine中文版在中文版在部署部署(vi)提供的功能提供的功能各種格式的檔案輸出自動化產生設計好的報告格式和 solution publisher 結合部署(vi)自動產生報告自動產生報告部署部署(vi)各種檔案輸出各種檔案輸出內建應用範例說明內建應用範例說明 catclementine application templatetelco(針對電信業所做的範本)建立churn與cross-selling 模

19、型crm(針對百貨零售業所做的範本)建立顧客價值區隔與特性、郵寄行銷的模型、顧客在不同區隔間變化的模型web-mining(針對電子商務網站所做的範本)以瀏覽者與顧客不同層級的資料並結合多個web log的資料處理方法建立多個模組take a breakclementine中文版中文版在在data mining的應用案例的應用案例研討會內容研討會內容三三 clementine 中文版在中文版在data mining的應用案例的應用案例data mining的應用範疇clementine中文版如何應用於crm?crm 的成長趨勢為什麼要進行crm?何謂crm?clementine 對於crm的機

20、會點在哪裡?clementine 在crm中的應用有哪些?各產業的應用層面配合crisp-dm之應用案例展示clementine豐富的部署應用data mining 應用於crm中產生的無形效益data mining的應用範疇的應用範疇客戶關係管理(crm)犯罪(criminal)教育(education)醫療(health care)科學研究(research)製程管理(process management)clementine中文版如何應用於crm?crm 的成長趨勢的成長趨勢asia/pacific crm market ($m)02040608010012014016018020020

21、012007source: idc. 2003為什麼要進行為什麼要進行crm? ?過去購物以必要性為基準現在心理因素逐漸影響顧客的消費行為顧客的接觸管道多元化何謂何謂crm?發現需求 oltp = 企業/組織的眼與耳記憶偏好 database = 企業/組織的腦學習 data mining = 企業/組織的智慧行動 marketing = 企業/組織的手與腳clementine 對對crm的機會在哪裡的機會在哪裡?crm 了解客戶(client)操作型操作型crm (operational crm)分析型分析型crm (analytical crm)( (分析測量分析測量, , 預測並最佳化客

22、戶關係預測並最佳化客戶關係) )具有智慧型判斷能力 了解客户data mining 是crm的核心clementine 在在crm中的應用有哪些中的應用有哪些 ?潛在客戶分析 (customer acquisition)顧客區隔 (customer segmentation)交叉銷售再銷售 (cross-selling/up-selling)詐欺分析 (fraud detection)風險評估 (risk analysis)顧客挽留 (customer retention).各產業的應用層面各產業的應用層面電信業電信業客戶流失管理 顧客終身價值及利潤價值 行銷回應預測交叉銷售/再銷售 電子商務

23、電子商務顧客終身價值 交叉銷售/再銷售 瀏覽行為分析政府機構政府機構員工流失管理犯罪偵測零售業零售業 忠誠度及通路忠誠度行銷回應預測客戶產品偏好分析與鑑別 交叉銷售/再銷售 製造業製造業良率分析製程改善需求預測醫療業醫療業 病人流失管理 潛在新病人分析 病人屬性區隔各產業的應用層面各產業的應用層面生命科學生命科學 基因抗藥反應分析 基因序列分析 藥物區隔分析 藥物市場風險評估娛樂業娛樂業 客戶流失管理 目標客戶分析 客戶區隔 需求預測分析銀行銀行風險管理 行銷回應預測維持顧客模型 顧客終身價值及利潤價值 多通路行為管理 信用卡冒用偵測 保險業保險業交叉通路銷售 顧客終身價值及利潤價值 維持顧客

24、模型 詐欺理賠分析配合配合crisp-dm之應用案例展示之應用案例展示clementine中文版與中文版與crisp-dm結合結合crisp-dm(cross-industry standard process for dm)專案目標檔專案目標檔資料理資料理解解exploring streams資料預備資料預備preparing streams塑塑模模、評估評估modeling streams部署部署應用應用deploying streams案例展示：案例展示：crisp-dm中的資料採礦工作中的資料採礦工作clementine中文版在中文版在商業理解商業理解(i)階段：階段：將專案的目標、資料 的定義等外部檔案存 放於此專案夾中原始購買資料分佈狀 況，協助了解專案目標案例展示案例展示crisp-dm中的資料採礦工作中的資料採礦工作clementine中文版在中文版在資料理解資料理解(ii)階段：階段：欄位敘述、資料量、 類型定義、檢查遺漏 狀況各角度資料的圖 形分佈檢視各變數資料圖表分 佈，了解購買行為案例展示案例展示crisp-dm中的資料採礦工作中的資料採礦工作clementine中文版在中文版在資料預備資料預備(iii)階段：階段：產生衍生性變數並檢 視其分佈狀況整合總結、排序資料 並修改欄名稱篩選、切割並平衡資 料以提供模型建置使用