SQL Server 2000数据仓库设计与使用课件

1

SQLServer2000數據倉庫設計與使用2SQLServer2000的基本服務SQLServer2000關係資料庫引擎：是一個流行的、具有高度可伸縮性和高度可靠性的數據存儲引擎。該資料庫引擎將數據存儲在表中。每個表上都列出組織感興趣的一些對象，每個表上的列表示由表建模的對象的屬性，而表上的行則代表由表建模的這種對象的事例。應用程式可以將結構化查詢語言(SQL)的語句提交給資料庫引擎，後者將表格格式的結果集返回給應用程式。SQLServer支持的特定SQL語言稱為Transact-SQL。應用程式還可以提交SQL語句或XPath

查詢，並請求資料庫引擎以XML文檔形式返回結果。關係資料庫引擎具有高度的可伸縮性。SQLServer2000企業版可以支持多組資料庫伺服器相互協作，構成可供上千用戶同時訪問的TB大小的資料庫。該引擎能夠處理世界上任何Web站點的流量。該資料庫引擎還能自我調節，自動在連接到資料庫的用戶增多時獲取資源，並在用戶註銷後釋放資源。3SQLServer2000的基本服務關係資料庫引擎具有高可靠性。在資料庫引擎的早期版本中要求停止和啟動的管理操作現在可以在引擎運行當中執行，從而增加了可用性。資料庫引擎與Windows2000和WindowsNT®故障轉移群集的集成可定義虛擬伺服器，即使節點中的一臺物理伺服器出現故障，這些虛擬伺服器仍然保持運行。在適當的地方，日誌傳送可以用於維護熱備用伺服器。在故障發生的數分鐘內，熱備用伺服器可以代替生產伺服器運行。關係資料庫引擎具有高度的安全性。登錄身份驗證可以與Windows身份驗證集成在一起，這樣，密碼將不會存儲在SQLServer中，也不會通過網路發送而被網路嗅探器讀取。網站可以設置C2級審核，對所有訪問資料庫的用戶進行審核，還可以使用安全套接字層(SSL)加密的辦法，對所有在應用程式和數據庫間傳送的數據進行加密。4SQLServer2000的基本服務資料庫引擎的分佈式查詢功能。可以訪問所有可通過OLEDB訪問的數據源中的數據。在Transact-SQL語句中，可以像引用實際駐留在SQLServer資料庫中的表一樣引用遠程OLEDB數據源表。此外，全文檢索功能可以對SQLServer資料庫或Windows檔中存儲的文本數據進行複雜的模式匹配。關係資料庫引擎能夠存儲由頂層聯機事務處理(OLTP)系統生成的所有事務的詳細記錄。該資料庫引擎還可以支持最大的聯機分析(OLAP)數據倉庫中的事實數據表和維度表的嚴格處理要求。MicrosoftSQLServer2000AnalysisServices提供分析數據倉庫和數據集市中存儲的數據的工具。AnalysisServices以多維數據集的形式顯示事實數據表和維度表中的數據，從多維數據集中可以分析趨勢和其他對於規劃今後工作非常重要的資訊。在AnalysisServices多維數據集上處理OLAP查詢比試圖在OLTP資料庫中記錄的詳細數據上進行同樣的查詢要快得多。5SQLServer2000的特性Internet集成：SQLServer2000資料庫引擎提供完整的XML支持。它還具有構成最大的Web站點的數據存儲組件所需的可伸縮性、可用性和安全功能。其程式設計模型與WindowsDNA構架集成，用以開發Web應用程式，並且還支持EnglishQuery和Microsoft搜索服務等功能，在Web應用程式中包含了用戶友好的查詢和強大的搜索功能。可伸縮性和可用性：同一個數據庫引擎可以在不同的平臺上使用。SQLServer2000企業版支持聯合伺服器、索引視圖和大型記憶體支持等功能，使其得以升級到最大Web站點所需的性能級別。企業級數據庫功能：SQLServer2000關係資料庫引擎能充分保護數據完整性，同時將管理上千個併發修改資料庫的用戶的開銷減到最小。其分佈式查詢得以引用來自不同數據源的數據，就好象這些數據是SQLServer2000資料庫的一部分，同時分佈式事務支持充分保護任何分佈式數據更新的完整性。複製功能可維護多個數據複本，同時確保單獨的數據複本保持同步。6SQLServer2000的特性易於安裝、部署和使用：SQLServer2000中包括一系列管理和開發工具，這些工具可改進在多個站點上安裝、部署、管理和使用SQLServer的過程。SQLServer2000還支持基於標準的、與WindowsDNA集成的程式設計模型，使SQLServer資料庫和數據倉庫的使用成為生成強大的可伸縮系統的無縫部分。這些功能可以快速交付SQLServer應用程式，使客戶只需最少的安裝和管理開銷即可實現這些應用程式。數據倉庫：SQLServer2000中包括析取和分析匯總數據以進行聯機分析處理(OLAP)的工具。SQLServer中還包括一些工具，可用來直觀地設計資料庫並通過EnglishQuery來分析數據。7SQLServer2000組件關係圖

8SQLServer2000

數據倉庫工具

工具描述關係資料庫數據倉庫設計、構造、維護的基礎數據轉換服務(DTS)用於向數據倉庫加載數據數據複製用於分佈式數據倉庫數據分佈和加載數據OLEDB提供應用程式與數據源的介面APIAnalysisServices用於採集和分析數據倉庫中的數據EnglishQuery提供使用英語查詢數據倉庫MetaDataServices流覽數據倉庫中的元數據PivotTable服務用於制定操作多維數據的客戶端介面9關係型資料庫關係型資料庫是設計、構造、維護數據倉庫的基礎技術。MicrosoftSQLServer2000是一個關係型資料庫管理系統，它提供了強大的資料庫引擎和許多工具，這些工具不僅可以用於資料庫的管理，而且可以用於數據倉庫的管理，是數據倉庫的技術基礎。10數據轉換服務（DTS）提供數據轉換功能，例如數據引入、引出以及在SQLServer和任何OLEDB、ODBC或者文本各是檔之間轉換數據。利用DTS，通過互動式地或按照規劃自動地從多處異構數據源輸入數據，這樣便有可能在SQLServer上建立數據倉庫和數據市場。數據的來源特性允許用戶輸入查詢數據的輸入時間、地點及其計算方法。數據的引入引出是通過以相同的格式讀寫數據，在應用程式之間交換數據的過程。一次轉換是指在源數據被存儲到目的地之前，對其進行的一系列操作。轉換特性使得載引入引出中完成複雜數據的驗證、清除等功能變得非常簡單。定制轉換對象可以被創建並集成進第三方產品中。DTS支持多步封裝，其中大量檔能被單獨處理，最終被集成為一個單一的檔。在目的地，該檔的記錄能被系統分為多個記錄，或相反，多個記錄被集成為一個單一的記錄。DTS也與微軟的中心庫集成在一起，微軟數據中心庫存儲元數據、數據傳送包和數據源特性，許多獨立的軟體經銷商支持和共用這個元數據模型。數據轉換服務可以在SQLServer間移動數據結構、數據、觸發器、規則、默認、約束和用戶定義的數據類型，只有數據結構和數據可以在不同的異構數據源中間傳遞。11數據複製數據複製：是一種實現數據分佈的方法，就是指把一個系統中的數據通過網路分佈到另外一個或者多個地理位置不同的系統中，以適應可伸縮組織的需要，減輕主伺服器的工作負荷和提高數據的使用效率。數據複製的過程類似於報紙雜誌的出版過程，即把資訊從資訊源迅速傳送到資訊接受處。出版伺服器包含了將要複製的數據所在的資料庫，該伺服器負責制作將要出版的數據，然後將這些出版的數據的所有變化發送到分佈伺服器中。訂閱伺服器是數據複製的目標地，負責接收複製過來的數據，並且負責接收從出版伺服器上傳送過來的全部變化。分佈伺服器在出版伺服器和訂閱伺服器之間起仲介作用。分佈伺服器負責從出版伺服器中接受複製過來的數據，然後在該伺服器上的分佈資料庫中存儲這些變化，最後按照指定的時間間隔推向回應的訂閱伺服器。在複製過程中，把將要複製的數據稱為出版物和文章。文章是複製的基本單元，是組成出版物的最小單位。文章與資料庫中的表對應。文章既可以對應一個表中的全部數據，也可以指包括表中的一部分數據。出版物是一個完整的將要複製的內容，它包括一篇或多篇文章，是訂閱伺服器訂閱的對象。12OLEDBOLEDB式微軟開發的數據訪問編程介面。微軟已經定位OLEDB是ODBC繼承者，ODBC主要用於處理關係型數據。ODBC是基於SQL的，它可以很好的用於關係型資料庫訪問，但是它不能用於非關係型數據源。象ODBC一樣，OLEDB也提供對關係型數據的訪問，但是OLEDB擴展了由ODBC提供的功能。OLEDB的設計目的是用於所有數據類型的標準介面。除了關係型資料庫的訪問，OLEDB提供對各種各樣數據源的訪問，包括Excel電子錶格的數據，dBase的ISAM檔、電子郵件、新的NT的ActiveDirectory和IBM的DB2數據。使用OLEDB，用一個介面就可以訪問許多不同的數據源。OLEDB是微軟的數據訪問策略，稱為萬能數據訪問的基礎。萬能數據訪問指的是一組通用介面，它用來表示來自任何數據源的數據。OLEDB是使萬能訪問成為現實的技術。萬能數據訪問和OLEDB的另一方面是所有的對象都應該在資料庫中維護，不是企圖把商業要求的不同的數據移動到一個面向對象的資料庫中。OLEDB創建和理解企業數據並且在各種數據源中維護。13AnalysisServices在數據倉庫或者數據市場中的資訊可OLAP處理，OLAP可以有效的以維度和度量組成的立方體方式察看數據。維度是一種描述性分類，例如，維度可能是地理位置，也可能是產品類型。度量是一種定量數值，例如銷售額、庫存量或者總費用。來自於原始數據源的合計存儲在每一個立方體單元中，這種組織數據的方法可以輕易得過濾數據、有效的加快數據的查詢。然而，存在著這種問題：雖然OLAP合計是在數據倉庫中可以達到的查詢性能的關鍵因素，但是存儲這些合計數據的成本是磁片存儲量。事實上，合計數據量可以輕易的超過原有的數據量。另外，當維度和合計量提高時，所要求的OLAP數據存儲量也大大的提高。這種對存儲量的極大要求一般稱為數據爆炸。OLAP描述的是一種多維數據服務，這種服務的設計目的是保證分析員、經理和決策者針對特定的問題，通過快速、一致、互動式的即時數據訪問和分析。14AnalysisServicesMOLAP：多維型OLAP在一個用於壓縮索引的永久數據存儲中存儲維度數據和即時數據。合計存儲用來加快數據訪問。MOLAP查詢引擎是專有的，而且優化成由MOLAP數據存儲使用的存儲格式。MOLAP提供了比ROLAP更快的查詢處理速度，並且要求更少的存儲空間。然而，它不能較好的伸縮，並且要求使用單獨的資料庫來存儲。ROLAP：關係型OLAP在關係型數據表中存儲合計。ROLAP針對關係型資料庫的應用允許其利用已有的資料庫資源，並且允許ROLAP應用程式很好的伸縮。然而，ROLAP使用表存儲合計則要求比MOLAP更多的磁片空間，速度相對比較慢。HOLAP：正如其名稱所示，混合型OLAP介於MOLAP和ROLAP之間。象ROLAP一樣，HOLAP將主數據存儲在源資料庫中。象MOLAP一樣，HOLAP把合計存儲在一個永久性數據存儲的地方，它與主關係資料庫分開。這種混合形式使HOLAP可以具備MOLAP和ROLAP兩者的優點。15EnglishQuery微軟的英語查詢環境允許設計者將他們的關係資料庫轉移到英語查詢上來，這給最終用戶提供了使用英語提出問題而不是用SQL語言進行查詢的能力。EnglishQuery服務是利用英語查詢域編輯器創建的，提供了資料庫的有關資訊，從而使EnglishQuery可用於處理關於特殊表、域和數據的英語問題。16MetaDataServices在MicrosoftSQLServer2000中，許多工具把元數據存儲在位於msdb系統資料庫中的集中式中心倉庫中。這裏提到的元數據是指數據的數據，MetaDataServices提供流覽這些元數據的功能。數據中心庫提供了一個通用的位置：可以用來存放對象和對象之間的關係。通過使用一些軟體工具，可以描述面向對象的資訊：軟體工具使用各類對象組成的資訊。對象介面介面，介面由屬性、方法和集合組成，集合包含了對其他介面的關係，以及關聯對象。17PivotTable服務PivotTable服務和AnalysisServices一起為用戶提供客戶端對OLAP數據的存取。PivotTable服務運行於客戶端工作站上，它使得可以利用VisualBasic或其他語言來開發用戶程式，這些程式可以利用OLEDB技術，並使用AnalysisServices中的OLAP數據或直接取自關係資料庫的數據。當它和OLAP服務一起使用時，PivotTable服務可以自動將進程或緩衝記憶體分配到最合適的位置，並且允許多個客戶動態存取同一個立方體。PivotTable服務業能在本地客戶機上存儲數據，從而使用戶可以在不連接AnalysisServices的情況下對數據進行分析。這種移動式的解決方案允許分析者將數據帶回家或在途中進行分析。為最終用戶提供的OLAP數據分析和描述工具可以利用PivotTable服務進行開發。PivotTable服務也提供了開放的介面，獨立的軟體銷售商可以利用它來開發第三方應用的產品。18數據倉庫的實現步驟明確用戶需求設計和建立數據倉庫使用數據倉庫維護和優化數據倉庫19數據倉庫生命週期管理數據倉庫系統框架影響數據倉庫專案成功的因素數據倉庫的技術數據倉庫專案所需的角色20數據倉庫系統框架基本特點擁有為專案作出技術決策的觀察點擁有確定專案是否能夠完成的計量參照點擁有以靈活方式運用現有知識的能力分部分、分階段依靠多個工作小組協調完成四個階段設想階段規劃階段開發階段穩定階段21影響數據倉庫專案成功的因素數據倉庫創建前的影響因素管理層的信任從管理專案開始：面向主題交流實現目標任命一個面向用戶的專案經理數據倉庫創建時的影響因素採用成熟的技術注重查詢而不是注重事務只加載所需數據定義合適的數據源：元數據映射明確定義主題數據倉庫創建後的影響因素面向決策的使用者的信任22數據倉庫的技術管理大量的數據管理多介質索引和監視數據多種技術的介面對數據存放位置的控制數據的並行存儲和管理元數據管理技術語言介面數據的高效裝入高效索引的利用技術數據壓縮技術複合鍵碼技術變長數據鎖管理切換技術快速恢復技術其他技術：事務集成性、高速緩存、行/頁級鎖定、引用完整性、 數據視圖等23數據倉庫專案所需的角色管理角色專案主管專案經理技術角色數據提供專家體系結構設計者資料庫管理員數據遷移專家數據轉換專家數據集市開發的領導人品質保證/測試專家維護角色內行的用戶培訓教師技術文檔編寫人員工具專家銷售商聯繫人24創建數據倉庫嚮導25創建數據倉庫嚮導26創建數據倉庫嚮導27創建數據倉庫嚮導28完成創建數據倉庫29創建事實維度表

30創建事實維度表31屬性選項卡32屬性選項卡33創建資料庫關係圖嚮導34關係圖35多維數據集嚮導36多維數據集37多維數據集38數據倉庫軟體市場1993~1998平均年增23.9%,達22億美元。數據值入工具：從資料庫中提取數據，轉換為數據倉庫格式並送入數據倉庫中。數據過濾工具：對數據倉庫中的數據進行存放和管理。數據存取工具：讓用戶存取數據倉庫中的數據。數據倉庫市場劃分軟體總市場69493－124166@12。3%數據存取663-1258@13.7%第三代語言/公用程式3061-6019@14.5%CASE1751-3085@12.5%DBMS5801-11680%15.0%其他市場58163-102124@11.9%數據存取663-1258@13.7%數據提取/轉換31-232@49.3%數據管理59-708@64.3%數據倉庫753-2198@23.9%數據複製14-319@87.1%注:***-***@***%指1993年-1998年銷售額(M$)@

年遞增率39(1)動態可伸縮的資料庫系統(DSA)存放大量數據:幾個GB到幾個TBPDQ(並行數據查詢)技術:

實現數據查詢、索引掃描。索引建立、數據修改、備份恢復等資料庫操作的併發處理支持所有開放系統硬體環境:單CPUSMP(對稱多處理器)Cluster(松耦合群體系統)MPP(大規模並行系統)批處理運算元據事務處理運算元據外部數據數據倉庫管理軟體開放系統平臺元數據目標資料庫數據存取工具INFORMIX-ONLINE

動態伺服器INFORMIX的數據倉庫戰略40SybaseWarehouseWorks體系結構(1)C/S環境下的數據倉庫框架聯機事務處理子系統部門數據部門數據局部倉庫局部倉庫中央倉庫個人使用個人使用決策支持數據分佈的靈活性要求(2)Sybase支持數據分佈的方法EnterpriseCONNECT互操作體系結構:併發方法、異構數據分佈、資訊打包ReplicationServer的基於事件的事件捕捉功能基於時間調度方式的批時間拷貝方案(3)高速的時間訪問NavigationServer(導航伺服器)SQLServer中增加interactionQuery(IQ)Accelerator進行隨機高速查詢SybaseOmniSQLServer提供時間訪問透明性推薦125種無縫存取數據的工具41ORACLE

的數據倉庫實施戰略

決策支持應用系統OracleApplicationsDataWarehouse外部數據源析取、轉換、裝載工具數據倉庫管理工具數據分析工具數據集成工具數據挖掘並將數據切換到用戶自定義的視圖中數據挖掘數據切換多維視圖42ORACLE

的數據倉庫實施戰略針對多維數據的擴展Oracle7擴展Oracle7SpatialDat