SQLServerIntegrationServices架构概观

1、SQL Server Integration Services 架構概觀,大綱,概覽 Business Intelligence Development Studio 與設計 SSIS 封裝的各種流程 封裝設計的整體功能 封裝的部署與執行,SQL Server Integration Services 是什麼？,全新的 SQL Server 商業智慧應用程式 Data Transformation Services 的接續版本 高效能的資料整合平台 全新用 .NET 撰寫的架構，更豐富的功能 完善的資料檢視、單步除錯與錯誤處理 透過 pipeline 可以更豐富地加值資料，且全部在記憶體內完成

2、，不需要中介資料表 以封裝(Package)為執行單位，而非專案(Project),SSIS 與 DTS 的差異概觀,將資料流程與工作流程分開 以更豐富，更細緻的資料流程工作(Data Flow Task)取代 DTS 的資料轉換工作 以容器工作提供迴圈、執行順序與交易管理 以變數搭配 SSIS Expression 取代 DTS 的動態屬性工作 封裝改以 XML 的格式存放在 SQL Server 或檔案系統上，更方便做 Source Control 可以透過 DTS Migration Wizard 將舊的封裝轉換到新的 SSIS,SSIS 架構,SSIS 物件核心，提供原生及 .NET

3、的程式存取介面，可與 SSIS 所附的工具程式或自行開發的程式溝通。 執行封裝、容器、工作。提供執行記錄、設定中斷點、可彈性設定、管理連線、交易、事件處理,資料流程引擎，將資料從來源提取出來，經過各種工作完成轉換，再放入到目的。在流程中，你也可以加入自製的元件。,內含其他物件、如 Task、Container 等，提供群組物件、執行單元、迴圈、交易管理等服務,在 For Each Loop Container 可以透過不同的 enumerator 來取得各種集合內的物件，也可以自行撰寫 enumerator 類別 設計時管理各連線屬性，執行時實際建立出連線。SSIS 支援多種 Connecti

4、on Manager 型態，如 ADO、ADO.NET、Excel、File、OLE DB 各種可執行的物件，如封裝、Container、Task 會丟出事件，你可已撰寫事件處理函式來因應這些事件的發生,透過既有的工具，如設計環境、精靈、命令列工具或是自行開發的應用程式，經由標準的程式介面可以控制 SSIS 引擎,封裝、Container 以及 Task 都可以輸出執行過程紀錄，經由多種紀錄提供者，如文字逗號分隔檔(CSV)、Profiler Trace(trc)、SQL 檔案等等，可以記錄到不同的地方，你可以此監控、除錯 各種資料來源，可以提供資料給 SSIS,Windows 服務程式。用來

5、管理封裝儲存、遠端啟動執行與呈現當下執行的封裝。,提供新的資料倉儲處理架構(1/2),在以往的運作模式下，資料整合的流程大多只做簡單的轉換與載入的工作 在資料庫伺服器內執行彙總、排序等其他工作 在做上述的整理資料動作的同時會與一般使用者查詢搶資源，互相耗損系統效能 這種解決方案無法完成大規模、多重且複雜的彙總,傳統的資料倉儲載入資料方式,提供新的資料倉儲處理架構(2/2),現在，透過 SQL Server Integration Services 可以同時完成整合、彙總、排序等諸多資料處理動作，然後再載入到資料庫 讓資料庫伺服器可以專注在回答使用者的查詢 透過 64 位元版本的引擎，可以讓此方

6、案處理大規模資料量且複雜的彙總運算,透過 SQL Server Integration Services 載入資料到資料倉儲,大綱,概覽 Business Intelligence Development Studio 與設計 SSIS 封裝的各種流程 封裝設計的整體功能 封裝的部署與執行,SSIS 管線(Plumbing),工作流程,流程導向 前置條件(成功，失敗，或完成) 前置條件可以做 AND 和 OR 等布林運算 從環境輸入參數 File System Task、Execute SQL Task、Send Mail Task、Data Flow Task,Demo 工作流程,資料流程,

7、特殊的工作流程：Data Flow Task 資料處理導向，在記憶體中，以管線流程的概念(pipeline)處理資料 建立或使用資料紀錄 可以觀察資料變化的過程 Source Adapter、Transform、Destination Adapter,Demo 資料流程,事件處理流程,經由事件觸發的特殊流程 (例如：OnError、OnPostExecute) 階層的架構 可以簡單地寄發一封 e-mail 或是複雜地執行另外一段 dataflow task 以處理錯誤的資料紀錄 自訂的 components 從基礎類別自動繼承相關的事件 (OnError, OnWarning) Compone

8、nt 的建立者可以自訂他的事件(例如：OnFTPFileFinishedCopy),Demo 事件處理流程,大綱,概覽 Business Intelligence Development Studio 與設計 SSIS 封裝的各種流程 封裝設計的整體功能 封裝的部署與執行,變數,系統提供的變數：如 MachineName、StartName、ErrorDescription等等 使用者自定變數，定義 Namespace Scope 資料型態 初始值 可以在工作、程式碼、資料轉換將產生的資料集將值、物件儲存在變數中,Demo 使用變數,封裝除錯,設計時期 若發生設定錯誤，自動提供錯誤提示 檢視

9、XML 原始碼 (可提供搜尋，但不要編輯) 監控執行 編輯中斷點 使用 Watch Window 測試和除錯 停用 / 啟用某些工作 ForceExecutionResult 強制執行結果為：Success、Failure、Completion 會影響前置條件,交易管理,讓多個工作可以一起成功、失敗 多個資料來源可以一致地修改資料 連線到的資料來源需要支援分散式交易 交易屬性設定在 Container 上 Require、Supported、NotSupported 透過不同 Container 對交易屬性的設定，可以建立參予一同執行的交易，或是分開不同的交易。,Demo SSIS 的交易管理

10、,執行紀錄,支援多種記錄提供者 文字檔、SQL Server Profiler、寫到 SQL Server 資料庫內 sysdtslog90 資料表、Windows 事件、XML 檔案 透過 LoggingMode 屬性，設定各工作是否可以獨立設定記錄的事件 某些工作有特有的記錄事件 如指令碼工作的 ScriptTaskLogEntry,Demo 設定封裝執行的紀錄,大綱,概覽 Business Intelligence Development Studio 與設計 SSIS 封裝 封裝設計的整體功能 封裝的部署與執行,SSIS 生命週期相關的工具,設計 SSIS Package Busine

11、ss Intelligence Studio (Visual Studio) 為 SQL Server 2005 之前版本 packages 提供的 Migration wizard 整合版本控管 (VSS) 佈署/執行 複製 packages 的佈署工具(dtutil.exe) 命令列與使用者介面的執行工具 (dtexec.exe 和 dtexecui.exe) 彈性的設定選項 支援工具 豐富的 per-package Logging 透過 SQL Management Studio 監控正在執行的 packages 並組織管理 packages Checkpoint - Restartab

12、ility,SSIS 相關工具,BI Studio,匯入/匯出精靈,佈署,安裝相關的檔案群組,Dtexec.exe,Dtexecui.exe,Dtutil.exe,執行,檢視當下的執行狀況 與匯入/匯出,佈署,管理,SSIS Security 概觀,Package 可以透過 Package Protection level property 屬性設定加解密 (A) 若存放在 MSDB，再透過 SQL Database roles 限制可以存取者的角色 (B) 透過作業系統設定對於目錄和 package 檔案設定存取權限 利用程式碼簽署憑證替封裝簽章,對存放 Package 的 MSDB 具有Reader 和 Writer roles,作業系統 權限,SQL DB 角色,對於存放 Package 的檔案和目錄有存取權限,Package Protection Level 屬性,A,B,對具機密性的資料加密還是一般文字存放,Demo 設定 Package 加解密、簽章,SQL Management Studio,存取 SSIS service 監控正在執行的 packages 管理存放 package 的架構 Ad hoc 執行 package Agent Service 的作業步驟,Demo 以 SQL Management Studio 管理