商业智慧 -09 SSAS分析服务.ppt

MicrosoftSQLServer2005SSAS分析服務 Instructor Su HsienHuang 2 商業資料的特性 決策支援的需求比較特定期間內 各部門生產力成長的相對比率 依所選擇的產品線定義相關的市場佔有率定義廣告類型和銷售程度之間的關聯 而這個關聯可以運用於預測營運前台的資料龐大到無法人為解毒細節需要適度的彙總 Aggregate 把明細資料轉成有意義的資訊 透過報表呈現 3 傳統資料庫與資料倉儲資料的不同 4 商業智慧市場概況 1998 SQLServer7OLAPService2000 SQLServer2000AnalysisService2002年擊敗Hyperion成為多維度分析霸主市佔率由14 3 2001 20 2004 迫使IBM收購Informix 2000 並且與Hyperion維持OEM關係2003 BusinessObject收購CrystalDecision 原微軟夥伴 2003 Hyperion併購Brio 報表與ETL專家 動搖了IBM與Hyperion的合作基礎2005 IBM併購Alphablox並且與Hyperion分手2005 SQLServer2005AnalysisService 5 2005商業智慧市場概況 關聯式資料庫市場IBM 34 2 Oracle 33 9 Microsoft 20 0 NCR 3 0 Others 8 9 OLAP市場Microsoft 28 Hyperion 19 Cognos 14 BusinessObject 7 Microstrategy 7 SAP 6 6 6 OLAP市場概況 7 Inmonv s Kimball Inmon資料倉儲之父一個整合的全公司資料倉儲資料整合性高成本較高Kimball商業智慧之父創立starschema snowflakeschema dimensionarchitecture每個部門各自維持自己的資料超市 Datamart 資料分散成本較低查詢效率高 8 8 Inmon資料超市架構 Currentdetail OperationalTransformation Olddetail HighlySummarized LightlySummarized Datamart MonthlysalesByproductline1981 1992 WeeklysalesbySubproductline1984 1992 Salesdetail1990 1991 Salesdetail1984 1989 9 9 DataMart建立架構 來源一 來源二 來源三 資料倉儲 銷售Mart 員工Mart 財務Mart 資料來源固定 確保資料完整性資料格式與單位一致 確保跨不同DataMart分析的正確性DataMart可以共享欄位須花費較多時間來設計 Replication 10 10 DataWarehousing架構 DataSources DataAcquisition DataWarehouse DataDelivery DataConsumption operationalsystemstransactionalsystems ExtractionTransformationmodelingLoading centralrepositorysubject baseddatamartsmetadataoperationaldatastore BIdecision supportOLAPqueryingreporting SourceDatabase OtherSources files Excel etc ETL Metadata OperationalDataStore ServerApplications WebUserClients DesktopUserClients user facingappsreportgenerationsubject baseddatacubesdatamining DataMart 11 11 DimensionalDataModel DimensionalDataModel是提供user進行查詢分析 最受歡迎的資料結構 也是建置OLAPcube的基礎 OLAPcube是一種高效率的維度模型 DimensionalDataModel通常具備一個Facttables一套DimensiontablesDimensiontable和facttable組成 StarSchema 通常事實資料表資料量很大 維度資料表資料量很小 12 12 StarSchema source DatabaseSystems Design Implementation Management 5thEdition Rob Coronel 13 13 StarSchema 事實 Facts 是數值上的衡量 值 代表了特定的商業部份或活動 通常存在於事實資料表 事實表包含了經由其維度加以連結的實實 維度 Dimensions DSS資料幾乎都會以與其他資料關聯的角度來查看 維度是一般認可的分類 對給定的事實提供了額外的觀點 屬性 Attributes 每個維度表都包含了屬性 維度經由其屬性提供了關於事實的描述性特質 屬性階層 Attributehierarchies 屬性階層提供了由上而下的資料組織 它被用於聚集與資料鑽研 drill down 向上捲算 roll up 14 維度資料模型與ER模型比較 維度資料表 4tables v s ER資料表 11tables 15 ER模型轉換成維度模型 步驟一 找出需要匯總的資料成為事實資料表Eg Order資料表中的Quan 數量 與Price EA 價格 步驟二 根據分析的維度 把其他資料表反正規化Eg Date Date type Time維度表Eg Customer Cstomer Type City State Customer維度表Item Size Colors Materials Products維度表步驟三 把各維度表的主鍵加入事實資料表 16 16 資料立方體 DataCube source DatabaseSystems Design Implementation Management 5thEdition Rob Coronel 17 17 通常做決策支援分析時 為了利於統計分析 常常將一個基本的InformationObject分類成數個Hierarchies 也就是InformationObject間存在著一對多的邏輯關係 即MultipleHierarchies MultipleHierarchies的維度分類方式又可以分成兩種方式 ConsolidatedDimensionalHierarchies及SnowFlakeHierarchies 產品總類 產品類別 產品細項分類 產品名稱 文具禮品雜誌書籍 電腦類商業類小說類 文藝小說科幻小說武俠小說 天龍八部神雕俠侶倚天屠龍記 書店 書籍類別 小說類別 武俠小說 DimensionAttributeHierarchies 18 18 將不同Hierarchies的InformationObjects完成合併於同一個Dimension中 產品編號 產品名稱產品總類產品類別產品細類 產品類別分類 特色 查詢簡單 速度快需要較多的硬碟儲存空間 產品的DimensionTable StarSchema的Dimention 19 19 類似正規化 將所有類別以獨立的Table來儲存資料 再用PK及FK來維持彼此的關係 特色 節省硬碟儲存空間 做過正規化 資料不重複存在查詢較複雜 產品的DimensionTable SnowFlake的多階層Dimension 20 20 StarSchema與SnowFlake比較 21 21 多維度模型的設計步驟 定義OLAP的DataMartFact的選擇Dimension的建立Aggregation的設計 22 22 多維度模型的設計步驟 一 定義OLAP的DataMart著重於企業的單一商業行為 selectthebusinessprocess 決定單元資料的精細程度 Declarethegranularityofatomicdata 決定使用StarSchema或SnowFlake決定資料的時間需求 23 23 Fact的選擇Fact應與時間的階層相符Fact應符合所有Dimension的條件的分割資料設計時以最低Level來回應使用者查詢時非預期的需求 四種常見的FactTransactionFact 交易次數SnapShotFact 某一特定時間的特殊狀況LineItemFact 與企業相關的個別項目的所有Meansure條件Event StateFact 只觀察事情發生與否 多維度模型的設計步驟 二 24 24 Dimension的建立 要建立一個完整的維度模型 應該考慮三個構面 維度的共同特性 維度階層 維度資料異動 維度的共同特性 維度存在於關連式的Table中 因此包含了FK及支援的屬性 屬性與Fact相關密切 簡單及有用的文字資訊 解析過的時間 名字 或地址元素 SurrogateKey 代理鍵 另外新增一個額外的唯一鍵欄位 DegenerateDimension 退化維度 存在fact中 與實際dim並無關連 如訂單編號 DimensionTable特性 包含代理鍵的主鍵跟factTable有一對多的關係至少包含一個決策因子包含Multi Level的維度階層欄位包含隨時間變化的資料記錄欄 多維度模型的設計步驟 三 25 25 Aggregation的設計利用預先計算好的加總來提高分析的速度 因為Aggregation可以在提交查詢前 就先準備好以改善查詢的反應時間 因此可以降低擷取資料時 系統動態計算結果所造成的效能負荷 但是必須注意 動態建立Aggregation或在資料載入階段時建立AggregationAggregation可以儲存在資料倉儲中以便重複使用 或是在做每一次查詢時動態的建立起來 以儲存空間與處理時間為考慮因素 多維度模型的設計步驟 四 26 26 DataCell與AggregationCell DataCells 4 DataCells 4AggregationCells 5 為了加快終端決策者取得資料的反應時間 必須利用儲存空間將Aggregation資料事先算好並儲存起來 27 27 Cube範例 28 28 Cube範例 銷售分析架構 29 29 OLAPCube儲存模式 M multidimensional OLAP是將多維度資料及彙總資料Aggregation直接存放在特定的資料結構中如 CUBE 藉由事先運算及彙總存放於CUBE中使MOLAP的儲存可提供最快速的查詢回應時間R relational OLAP關聯式線上即時分析系統 藉由維度 Dimensions 直接的串聯關係存及Aggregation存放於關聯式資料庫 RDBMS 或說資料倉儲的資料庫中 提供有效的資料存放 不再另外建一CUBE H hybrid OLAPHOLAPcombinesMOLAPandROLAP itstoresaggregationinamultidimensionalstructurewithoutthecopyofsourcedata 30 30 OLAPfunctionalityUsesrelationalDBquerytoolsExtensionstoRDBMSMultidimensionaldataschemasupportDataaccesslanguageandqueryperformanceoptimizedformultidimensionaldataSupportforverylargedatabases VLDBs RelationalOLAP ROLAP 31 31 TypicalROLAPClient ServerArchitecture source DatabaseSystems Design Implementation Management 5thEdition Rob Coronel 32 32 OLAPfunctionalitytomultidimensionaldatabases MDBMS StoreddatainmultidimensionaldatacubeN dimensionalcubescalledhypercubesCubecachememoryspeedsprocessing MultidimensionalOLAP MOLAP 33 33 MOLAPClient ServerArchitecture source DatabaseSystems Design Implementation Management 5thEdition Rob Coronel 34 34 SQLServer2000 SQLServer2005 SQLServer2000ReportingServices BIHighavailabilityScalabilityAdhocReportingEnhancedSecurityDeveloperproductivityFirsttoincludeEnterpriseETLandDeepDataMining FirsttoincludeEnterpriseReportingsolutionRichReportDesign Deployment Management Real TimeOLAPFirstRDBMStoincludeDataMiningComprehensiveDimensionTypes64BitSupport SQLServer7 0 FirstRDBMStointegrateOLAPandETLExcelIntegrationMulti vendorsupportClusteringoutofthebox OLAPforEveryone 1stGeneration 2ndGeneration 3rdGeneration 微軟商業智慧 35 硬體配置圖 DW OLAPCube WebServer SourceData 1 2 3 35 36 36 UnifiedDimensionalModelPro activecachingAdvancedBusinessIntelligenceKPI PerspectivesCustom LimitedAggregationsandSemi AdditiveMeasuresWebservicesDataMiningintheplatformIntegratedDeveloperToolsFailoverClustering DecisionTrees Clustering TimeSeries SequenceClustering Association Na veBayes NeuralNet IntroducedinSQLServer2000 SSAS特色 plus LogisticRegressionLinearRegressionTextMining 37 SSAS特色 UnifiedDimensionalModel不需轉成星狀架構 直接由RDB資料對應簡化資料整合工作多維度物件擴充改用屬性作為為杜物件的底層架構多國語言轉換同一個報表可以用多國語言呈現提升商業智慧分析能力提供不同等級的快取模式 Proactivecaching 多種資料探勘演算法支援 38 38 SQLServer2005Ana