挖掘网路服务系统之探讨课件

資料挖掘網路服務系統之探討

第9組資四A報告組員：蔡政緯王偉哲吳全恩劉光磊

資料挖掘網路服務系統之探討1目錄1.緒論2.文獻探討3.研究方法4.系統實作5.結論目錄1.緒論21.緒論-研究動機

目前市面上已有許多獨立軟體開發廠商以及應用軟體服務供應商針對一般企業組織在資料挖掘上的需求，推出套裝資料挖掘軟體或是資料挖掘相關的服務與技術支援。企業在實際使用現有的資料挖掘軟體與服務時經常面臨以下的問題：一、企業部門間異質系統的整合與資料傳輸的相容性問題二、傳統資料挖掘軟體缺乏因應使用者的需求而進行流程彈性調整的能力三、軟體或服務的整合及維護成本過高1.緒論-研究動機目前市面上已有許多獨立軟體開發3研究目的

為了解決以上的問題，我們將提出一個具有跨平台能力，而且具有彈性流程調整能力的資料挖掘系統架構。具體而言，本研究的主要目的是在解決目前企業所面臨到的以下問題：一、克服異質系統與資料交換格式的問題二、提供彈性的資料挖掘流程三、降低軟體整合與維護成本研究目的為了解決以上的問題，我們將提出一個具有跨平台能42.文獻探討-資料挖掘「資料」(Data)、「資訊」(Information)與「知識」(Knowledge)等三者的定義與之間的關係。2.文獻探討-資料挖掘「資料」(Data)、「資訊」(I5資料挖掘的相關技術

一、分類(Classification)：分類是一種監督式學習(SupervisedLearning)，它的定義為根據一些已經有類別的歷史資料來分析它們的所有特徵，再依據這些特徵對未分類或是新的資料進行歸類，例如銀行根據某些規則將其顧客區分為高貢獻度族群、低貢獻度族群等類別。二、關聯法則(AssociationRule)：關聯法則的目的是從一堆看似無關的資料中，挖掘出不同項目之間發生的關聯性，探討在同一事件中某一項目出現時，另一個項目也在該事件出現的機率三、群集(Clustering)：群集就是將一大筆資料根據它們彼此間的相似程度，將類似的資料分在一群之中，而區隔不相似的資料。資料挖掘的相關技術一、分類(Classificat6資料挖掘的步驟學者Fong等人(2002)認為資料挖掘的過程一般可分為確認挖掘目標、資料選擇、資料準備、資料轉換、資料儲存、資料挖掘與結果評估等七大步驟資料挖掘的步驟學者Fong等人(2002)認為資料7資料前處理資料清理資料整合資料轉換資料簡化資料前處理資料清理8資料挖掘的應用-1資料挖掘的相關應用相當的廣泛與多樣化，在許多領域如生物醫學領域、財務金融業、製造零售業等各方面都可以發現資料挖掘的相關應用與研究。以生物醫學領域為例，近十年來生物醫學領域的相關研究呈現爆炸性的成長，從新藥物的開發、癌症療法的研究到人類DNA序列解析等研究領域，均藉助資訊科技與資料挖掘技術來處理龐大的資料。資料挖掘的應用-1資料挖掘的相關應用相當的廣泛與多樣9資料挖掘的應用-2資料挖掘技術出現不過短短十多年，但卻能迅速地應用於各種學術與商業領域，學者BerryandLinoff(1997)經過規納分析之後，認為以下五個因素促成了資料挖掘技術的崛起：一、大量資料的取得難度降低二、資料倉儲系統的發展成熟三、電腦運算速度的加強與網際網路的發展四、全球化商業競爭的壓力五、資料挖掘軟體的取得方便資料挖掘的應用-2資料挖掘技術出現不過短短十多年，但卻10企業應用整合與網路服務

學者Coyle(2001)則認為企業組織可以採取以下三種新技術來因應目前劇烈競爭的商業環境，它們分別為1.可延伸式標記語言2.網路服務3.無線技術

企業應用整合與網路服務學者Coyle11異質系統與資訊整合企業組織對於資訊整合的需求已從企業應用系統的整合提升至更廣泛的資訊來源的整合，微軟(2002)認為資訊系統整合的演進大致上可分成以下三大階段：一、資料整合二、應用程式整合三、服務整合

這三個資訊整合的階段清楚地表達出目前企業組織在系統整合與資料交換這兩大議題中所面臨到的限制所在，以及在不同階段中整合方式的差異之處。異質系統與資訊整合企業組織對於資訊整合的需求已從企業12企業應用整合企業應用整合(EnterpriseApplicationIntegration;EAI)的發展是提供企業組織一套完整系統整合架構的解決方案，以達成企業資訊的整合與分享。企業組織應用EAI來進行企業內部的資訊整合來自以下三個因素：一、電子商務二、企業合併與組織功能的強化三、企業資源規劃雖然EAI是以企業主體為出發點，強調企業流程與資訊系統之間的整合與自動化，藉著整體採用單一系統標準及軟體來達成企業組織內部應用程式的整合，但是所必須付出的成本依舊居高不下。而為了增加企業競爭優勢，與合作夥伴以及顧客之間的資訊整合在所難免，因此，企業資訊整合的發展，除了必須以服務為導向外，也必須跳脫特定標準或介面的限制，而保有系統的彈性以及未來擴充的能力。企業應用整合企業應用整合(Enterp13網路服務的應用

由於WebService具有即時、彈性、標準化等特色，目前許多廠商紛紛開始將WebService的相關技術與其原本的領域進行整合。WebService在資訊技術(IT)領域的應用大致上有以下所述的四個方面：一、入口網站二、企業應用程式整合三、分散式運算四、應用程式服務提供者與獨立軟體開發商網路服務的應用由於WebService具有即時、彈143.研究方法本研究將以WebService架構為基礎，將資料挖掘過程中的程序視為由一系列的WebServices所構成，並透過動態工作流程的概念，以敘述WebService流程的BPEL4WS語法，提供服務使用者得以根據實際上的需求自行編排資料挖掘WebService的整體流程，透過流程中各個WebService的執行來達成使用者的目標。3.研究方法本研究將以WebServ15系統概念-1

本研究所提出之系統架構是參考W3C所提出之服務導向架構的概念與基本架構修改而來。為了達成SOA的遠景，企業組織必須將系統或應用程式加以分割成為許多具有不同功能特性的分散式子系統模組，這些分散於企業組織內外部的子系統模組必須要支援統一的共通性標準，如此一來才能使得資訊毫無阻礙的在系統中傳遞，達成系統整合的目的。目前業界對於SOA架構的作法是將應用程式與系統建構在網際網路上，也就是將應用程式與系統加以「網路」化，而WebService架構正是目前SOA架構中最新的作法。系統概念-1本研究所提出之系統架構是參考W16系統概念-2W3C所提出SOA之基本架構圖系統概念-2174.實作-範例流程實作步驟過程4.實作-範例流程實作步驟過程18以下為三種不同品種蝴蝶花(Iris)之萼片與花瓣(Petal)的長度與寬度數值之集合以下為三種不同品種蝴蝶花(Iris)之萼片與花瓣(Petal19挖掘网路服务系统之探讨课件20

本步驟中所呼叫的遠端WebService採用的分群演算法為K-Means。K-Means是屬於一種直接將資料集合進行分割成為數個相互間無關聯的目標群集，屬最基本且典型的分割式群集演算法。此演算法的目的是將資料集合中之資料物件分割成為數個群集，而群集的結果須滿足以下條件：1.每個群集中至少要有一個以上的物件2.每個物件須完全的歸屬於某個群集3.每個物件與其所歸屬的群集質心間的歐基理德距離會小於與其他群集質心間的距離本步驟中所呼叫的遠端WebServ21挖掘网路服务系统之探讨课件22

我們可根據其所在位置、參與流程的目的與方法，將他們分為三種角色：1.具資料挖掘需求的系統使用者，也就是流程設計者與流程使用者2.於網際網路上提供對資料庫進行資料擷取和分群演算等WebServices的服務提供者3.作為上述兩者間的資料傳輸橋樑，由流程設計者所設計規劃完成的IrisFlow等我們可根據其所在位置、參與流程的目的與方23挖掘网路服务系统之探讨课件24挖掘网路服务系统之探讨课件25挖掘网路服务系统之探讨课件26挖掘网路服务系统之探讨课件275.結論此研究的貢獻可以歸納如以下幾點：1.導入WebService與XML相關技術做基礎，克服在傳統資料挖掘流程中所遇到的資料相容性問題2.以工作流程的觀念做基礎，結合WebService流程描述語言BPEL4WS，有系統的提供在資料挖掘流程中關於活動、流程順序等各方面的細節描述3.在資料挖掘流程中各步驟的演算活動是由多個功能各異的WebService元件所組成，在日後因需求改變而使資料挖掘流程需進行更新和修改時，較傳統資料挖掘軟體更具有流程變動上的彈性4.以統一且公開的資料挖掘模式描述語言PMML，作為描述資料挖掘模式的工具，不但是以具系統化的方式描述資料挖掘模式，並請提供使用者日後在其他軟體重新建置原有模式的參考5.結論此研究的貢獻可以歸納如以下幾點：28未來展望本研究未來之發展可朝以下幾個方向進行：1.機密資料傳輸安全的強化2.分散式運算架構的導入3.資料挖掘結果合併演算法的發展未來展望本研究未來之發展可朝以下幾個方向進行：29TheEnd!!TheEnd!!30資料挖掘網路服務系統之探討

第9組資四A報告組員：蔡政緯王偉哲吳全恩劉光磊

資料挖掘網路服務系統之探討31目錄1.緒論2.文獻探討3.研究方法4.系統實作5.結論目錄1.緒論321.緒論-研究動機

目前市面上已有許多獨立軟體開發廠商以及應用軟體服務供應商針對一般企業組織在資料挖掘上的需求，推出套裝資料挖掘軟體或是資料挖掘相關的服務與技術支援。企業在實際使用現有的資料挖掘軟體與服務時經常面臨以下的問題：一、企業部門間異質系統的整合與資料傳輸的相容性問題二、傳統資料挖掘軟體缺乏因應使用者的需求而進行流程彈性調整的能力三、軟體或服務的整合及維護成本過高1.緒論-研究動機目前市面上已有許多獨立軟體開發33研究目的

為了解決以上的問題，我們將提出一個具有跨平台能力，而且具有彈性流程調整能力的資料挖掘系統架構。具體而言，本研究的主要目的是在解決目前企業所面臨到的以下問題：一、克服異質系統與資料交換格式的問題二、提供彈性的資料挖掘流程三、降低軟體整合與維護成本研究目的為了解決以上的問題，我們將提出一個具有跨平台能342.文獻探討-資料挖掘「資料」(Data)、「資訊」(Information)與「知識」(Knowledge)等三者的定義與之間的關係。2.文獻探討-資料挖掘「資料」(Data)、「資訊」(I35資料挖掘的相關技術

一、分類(Classification)：分類是一種監督式學習(SupervisedLearning)，它的定義為根據一些已經有類別的歷史資料來分析它們的所有特徵，再依據這些特徵對未分類或是新的資料進行歸類，例如銀行根據某些規則將其顧客區分為高貢獻度族群、低貢獻度族群等類別。二、關聯法則(AssociationRule)：關聯法則的目的是從一堆看似無關的資料中，挖掘出不同項目之間發生的關聯性，探討在同一事件中某一項目出現時，另一個項目也在該事件出現的機率三、群集(Clustering)：群集就是將一大筆資料根據它們彼此間的相似程度，將類似的資料分在一群之中，而區隔不相似的資料。資料挖掘的相關技術一、分類(Classificat36資料挖掘的步驟學者Fong等人(2002)認為資料挖掘的過程一般可分為確認挖掘目標、資料選擇、資料準備、資料轉換、資料儲存、資料挖掘與結果評估等七大步驟資料挖掘的步驟學者Fong等人(2002)認為資料37資料前處理資料清理資料整合資料轉換資料簡化資料前處理資料清理38資料挖掘的應用-1資料挖掘的相關應用相當的廣泛與多樣化，在許多領域如生物醫學領域、財務金融業、製造零售業等各方面都可以發現資料挖掘的相關應用與研究。以生物醫學領域為例，近十年來生物醫學領域的相關研究呈現爆炸性的成長，從新藥物的開發、癌症療法的研究到人類DNA序列解析等研究領域，均藉助資訊科技與資料挖掘技術來處理龐大的資料。資料挖掘的應用-1資料挖掘的相關應用相當的廣泛與多樣39資料挖掘的應用-2資料挖掘技術出現不過短短十多年，但卻能迅速地應用於各種學術與商業領域，學者BerryandLinoff(1997)經過規納分析之後，認為以下五個因素促成了資料挖掘技術的崛起：一、大量資料的取得難度降低二、資料倉儲系統的發展成熟三、電腦運算速度的加強與網際網路的發展四、全球化商業競爭的壓力五、資料挖掘軟體的取得方便資料挖掘的應用-2資料挖掘技術出現不過短短十多年，但卻40企業應用整合與網路服務

學者Coyle(2001)則認為企業組織可以採取以下三種新技術來因應目前劇烈競爭的商業環境，它們分別為1.可延伸式標記語言2.網路服務3.無線技術

企業應用整合與網路服務學者Coyle41異質系統與資訊整合企業組織對於資訊整合的需求已從企業應用系統的整合提升至更廣泛的資訊來源的整合，微軟(2002)認為資訊系統整合的演進大致上可分成以下三大階段：一、資料整合二、應用程式整合三、服務整合

這三個資訊整合的階段清楚地表達出目前企業組織在系統整合與資料交換這兩大議題中所面臨到的限制所在，以及在不同階段中整合方式的差異之處。異質系統與資訊整合企業組織對於資訊整合的需求已從企業42企業應用整合企業應用整合(EnterpriseApplicationIntegration;EAI)的發展是提供企業組織一套完整系統整合架構的解決方案，以達成企業資訊的整合與分享。企業組織應用EAI來進行企業內部的資訊整合來自以下三個因素：一、電子商務二、企業合併與組織功能的強化三、企業資源規劃雖然EAI是以企業主體為出發點，強調企業流程與資訊系統之間的整合與自動化，藉著整體採用單一系統標準及軟體來達成企業組織內部應用程式的整合，但是所必須付出的成本依舊居高不下。而為了增加企業競爭優勢，與合作夥伴以及顧客之間的資訊整合在所難免，因此，企業資訊整合的發展，除了必須以服務為導向外，也必須跳脫特定標準或介面的限制，而保有系統的彈性以及未來擴充的能力。企業應用整合企業應用整合(Enterp43網路服務的應用

由於WebService具有即時、彈性、標準化等特色，目前許多廠商紛紛開始將WebService的相關技術與其原本的領域進行整合。WebService在資訊技術(IT)領域的應用大致上有以下所述的四個方面：一、入口網站二、企業應用程式整合三、分散式運算四、應用程式服務提供者與獨立軟體開發商網路服務的應用由於WebService具有即時、彈443.研究方法本研究將以WebService架構為基礎，將資料挖掘過程中的程序視為由一系列的WebServices所構成，並透過動態工作流程的概念，以敘述WebService流程的BPEL4WS語法，提供服務使用者得以根據實際上的需求自行編排資料挖掘WebService的整體流程，透過流程中各個WebService的執行來達成使用者的目標。3.研究方法本研究將以WebServ45系統概念-1

本研究所提出之系統架構是參考W3C所提出之服務導向架構的概念與基本架構修改而來。為了達成SOA的遠景，企業組織必須將系統或應用程式加以分割成為許多具有不同功能特性的分散式子系統模組，這些分散於企業組織內外部的子系統模組必須要支援統一的共通性標準，如此一來才能使得資訊毫無阻礙的在系統中傳遞，達成系統整合的目的。目前業界對於SOA架構的作法是將應用程式與系統建構在網際網路上，也就是將應用程式與系統加以「網路」化，而WebService架構正是目前SOA架構中最新的作法。系統概念-1本研究所提出之系統架構是參考W46系統概念-2W3C所提出SOA之基本架構圖系統概念-2474.實作-範例流程實作步驟過程4.實作-範例流程實作步驟過程48以下為三種不同品種蝴蝶花(Iris)之萼片與花瓣(Petal)的長度與寬度數值之集合以下為三種不同品種蝴蝶花(Iris)之萼片與花瓣(Petal49挖掘网路服务系统之探讨课件50

本步驟中所呼叫的遠端WebService採用的分群演算法為K-Means。K-Means是屬於一種直接將資料集合進行分割成為數個相互間無關聯的目標群集，屬最基本且典型的分割式群集演算法。此演算法的目的是將資料集合中之資料物件分割成為數個群集，而群集的結果須滿