Oracle系统架构基本概念

1、Oracle 系統架構基本概念 1 Outline Oracle 系統架構概觀Overview Oracle Instance Oracle Database Other Processes 漫談Oracle Instance 記憶體結構Background Processes 漫談Oracle Database StructuresPhysical Database StructuresLogical Database Structures2Oracle 系統架構概觀關於Oracle系統架構，是非常重要的基礎觀念，正所謂君子務本，本立而道生，有了踏實的基礎觀念之後，才能在往後學習Oracle

2、的路上，無往不利3電腦系統 Overview Oracle Server主要是由Oracle Instance與Database所組成，透過Server Process與User Process之間的交互運作，藉以達成使用者交付執行的工作。 Oracle ServerOracle Instance DatabaseUser ProcessesServer ProcessesPGA Query4例如，使用者可能想要在Oracle Server上查詢一筆人事資料，使用者將相關的SQL敘述輸入系統中，此時系統會產生相對應的User Process與Server Process，由Server Pro

3、cess負責向Oracle Server溝通，並將符合使用者所需的資料，從Oracle Server送至User Process，以完成該使用者下達的request。5Oracle Instance (Oracle資料庫引擎)Oracle資料庫中的任何動作都和它有關，是Oracle DB的心臟地帶。Oracle Instance主要包含： background process (背景處理程序)是一群常駐的服務常式 (service routine)，執行I/O Process 與非Oracle Process 的監控管理，針對目前的使用者所提出的request執行一些一般性的工作。每一個Pro

4、cess專責於一至兩項的工作System Global Area (SGA； 系統全域區)用來存放資料庫系統相關資訊的一塊共享記憶體資料區域，讓background process得以利用這些系統資訊，以提供適當的服務，處理外部的user request 。 6由於Oracle Instance掌控著處理Oracle Database所有運作的相關資訊。因此，當要存取或操作Oracle Database裏的資料時，必須先啟動Oracle Instance，才能對Oracle Database的內容加以處理 。 當Oracle Instance啟動時，電腦系統會先配置一塊記憶體空間給SGA (S

5、ystem Global Area)，並且載入相關的background process。 7Oracle Database Oracle Database可分為兩個部份來說明：實體結構邏輯結構 8實體結構Oracle Database的實體結構部份是由一個個的檔案所組合，主要的檔案包括Data files (資料檔)Redo Log files (重置日誌檔) - onlineControl files (控制檔)另外尚有：Password file (密碼檔)Parameter file (起始參數檔)Archived Redo Log files (重置日誌封存檔) - offline9

6、Control filesData files Archived log filesParameterfilePasswordfileRedo log filesDatabase10邏輯結構Oracle Database的邏輯結構部份，主要有Tablespace (表格空間)Segment (區段)Extent (延伸區塊)Block (區塊)11Other Processes 不屬於Oracle Instance內的Process皆稱為Other Process。是User和應用程式要連接Oracle DB Server的重要橋樑。如User Process、Server Process等主

7、要是反應使用者下達的request (即SQL敘述)，將其轉化為Oracle Server能看得懂的相關指令，從Oracle Database裏抓取資料，以反映使用者需求的資料。在Server Process中還有一個相當重要的資料結構PGA（Program Global Area)：PGA是一個memory buffer，存放相關Server Process的資料與控制資訊。當Server Process被呼叫啟動後，Oracle Server會為其建立一個所屬的PGA，使用者下達的SQL敘述，就是存放在這裏的。 12漫談Oracle Instance13第一部份我們曾談到所謂的Oracle

8、 Instance可分為：SGA（System Global Area）Background Processes 兩部份，並做了概略的說明。現在就分別針對SGA與Background Processes做更完整深入的說明。 14 記憶體結構SGA是Oracle Server在系統上所建立的一塊記憶體區塊，Oracle Server利用這塊記憶體結構，協同Oracle 的各種Processes來完成使用者所交付的工作。SGA主要是由幾種不同的資料區塊所組成Database Buffer CacheRedo Log BufferShared PoolLarge PoolJava Pool其它 (如

9、：Cursors等)SGADatabaseBufferCacheRedoLogBufferSharedPoolLargePoolJavaPoolOthers15Database Buffer Cache (資料庫緩衝快取區)資料庫系統擷取資料時的一個快取空間，其用途在於有效減少存取資料時造成的磁碟讀寫動作。(到硬碟從事I/O是很耗時的工作!)我們可以透過設定DB_BLOCK_BUFFERS這個參數值來設定Database Buffer Cache的大小。在Oracle的Database Buffer Cache中，尚有一些sub-caches:DB_CACHE_SIZEDB_KEEP_CACH

10、E_SIZEDB_RECYCLE_CACHE_SIZE我們可以透過DB_CACHE_ADVICE這個參數，藉由statistics的方式來對不同的cache size做預設。指令：Alter system set db_cache_advice = on16Oracle用所謂的LRU (Least Recently Used) 演算法來管理這塊記憶體空間。LRU：當這塊記憶體空間滿載時，Oracle Server將只保留最近有被使用過的資料，最不常用的資料則寫回磁碟中，並將該資料所佔用的記憶體空間釋放出來。 由於Database Buffer Cache關係著Oracle Server的I/O

11、動作頻繁與否，因此如何管理及設定Database Buffer Cache的大小，對於Oracle Server的效能調校，是相當重要的一項課題。17Redo Log Buffer (重置日誌緩衝區)當資料庫的內容有所異動時，Redo Log Buffer會記錄其相關異動的情形：做了什麼改變改變後的舊資料與新資料經過一定的時間週期或者是Redo Log Buffer滿載時，Oracle Server會將Redo Log Buffer的內容寫到Redo Log File裏，以追蹤整個資料庫的使用情形。當Oracle Server不幸當掉的話，就能利用這些記錄下來的資訊，進行資料庫的復原 (Rec

12、overy)。有關Redo Log Buffer的大小設定，可以透過設定參數LOG_BUFFER，改變Redo Log Buffer的大小。 18Shared Pool (共享區)當使用者將SQL、PL/SQL等操作指令送至Oracle資料庫後，系統會先解析 (Parse)語法是否正確。解析時，下列兩項資料將會放入Shared Pool中：解析時所需要用到的相關資訊解析後的結果當有不同的使用者執行相同的SQL指令，就可以共用Shared Pool中解析好的結果，以加速SQL指令執行的速度。Shared Pool內包含數種不同的區域，主要有下列兩類：Data Dictionary Cache 存

13、放解析時所需要的相關資訊，以供查詢之用Library Cache 存放各類指令解析後的結果，以供重覆使用Shared Pool亦是採LRU的記憶體管理演算法。Shared Pool的大小設定，是由SHARED_POOL_SIZE這個參數來控制 19Large Pool (大型區) Large Pool是Oracle針對一些需要大量記憶體空間的資料庫處理與運算工作所提供的一個額外選項，它可以讓SGA配置一個較大的記憶體空間，提供給處理Oracle的backup/restore、I/O、執行Oracle復原管理程式RMAN、 等。透過指定LARGE_POOL_SIZE這個參數，設定Large Po

14、ol的大小。 20Java Pool (Java區)當使用者有使用Java時，Oracle Server利用這塊記憶體空間，存放及Parse所使用的Java Code，藉以提供Oracle與Internet更高的整合性。透過指定JAVA_POOL_SIZE這個參數，來改變Java Pool的大小 。21 Background Processes Oracle Server 所提供的Processes可分為兩類：Server Processes 用以服務Client Processes，根據Client Processes的需求，由Oracle Server動態配置所產生的，用以服務Client

15、 Processes的需求 不被包含在Oracle Instance裏 在Server Processes裏，尚包含另一個重要的記憶體結構PGA (Program Global Area)，存放著Client Processes與Server Processes間的重要資訊 Background Processes用來管理Oracle Server所需的一些系統常式，諸如資料庫的I/O、Oracle Processes的管理等 包含於Oracle Instance中 22主要的Background Processes共有五個，只要有這五個Background Processes，Oracle

16、Server就可以正常地運作了，分別是：Database Writer (DBWR)Log Writer (LGWR)System Monitor (SMON)Process Monitor (PMON)Checkpoint Process (CKPT)其它尚有Archiver (ARCH)、Recoverer (RECO)、Dispatcher (Dnnn)、Lock (LCKn)、Job Queue (SNPn)及Queue Monitor (QMNn) 等Background Processes，它們主要是提供Oracle Server更進階的管理。如ARCH，它可以提供比LGWR更強的

17、資料庫回復能力。 23Database Writer (DBWR) DBWR 主要是負責管理Database Buffer Cache，將Database Buffer Cache中修改過的資料，整批寫入Data File裏，透過系統整批寫入的方式，可以提高整個系統的執行效率。 當使用者執行 DML 指令修改相關資料欄位，並執行commit指令時，Oracle本身並不是直接將修改過的資料直接寫入Data File裏，而是當Database Buffer Cache的內容即將滿載或是經過一定的時間區隔 (檢查點 Checkpoint; CKPT)，才將資料寫入Data File中。藉由減少相關的

18、I/O動作，以提高系統執行效能。使用write-ahead 的技術 24InstanceSGADatabase buffercacheDBWnControl filesData files Redo log filesDatabase25由於在大型線上交易 (OLTP) 系統，其資料庫異動情況可能十分頻繁。因此：一個Oracle Server可以有一個以上的DBWR Background Processes，可以依實際系統硬體與作業系統的特性，設定DB_WRITER_PROCESSES參數值，以獲得整個資料庫系統的最佳執行效能。當設定DB_WRITER_PROCESSES的內容值後，系統上有關

19、DBWR的名稱將會變為DBWn，n可為 09，如DBW0、DBW1、DBW2等。(系統預設只會啟動一個DBWn，即DBW0)。然而，在單一處理器的伺服器系統，配置額外的DBWn並無太多的實質幫助。26Log Writer (LGWR)LGWR主要是負責將Redo Log Buffer 的內容值，寫入online的Redo Log File中。 它與DBWR的運作方式不同點在於：DBWR在Database Buffer Cache即將滿載或是經過一定的時間區隔，才會將資料寫入Data File中，且是在有需要的時候才會對相關檔案做存取的動作LGWR是在資料庫的內容有異動且已被確認 (commit

20、) 時，如insert、update、delete等，就會被觸發，將異動的情形記錄到online Redo Log File中。因此，當資料庫crash時，就可以根據online Redo Log File內容，對資料庫進行還原的動作。LGWR一樣可以透過設定LGWR_IO_SLAVES這個參數值，提供非同步I/O模式的功能。 27LGWR 之動作時機：當使用者確認 (commit)某交易時，LGWR會遵循Write-ahead Protocol (先期寫入協定)，將Redo log butter內的資料異動記錄寫入。下列幾種情況：自動週期性地動作，如：間隔時間為3秒 (Checkpoint;

21、 CKPT)重置日誌緩衝區之剩餘空間不到2/3當DBWn回寫資料檔時，必要的時候LGWR也會動作 (Write-ahead Protocol)28InstanceSGADBWnRedo logbufferControl filesData files Redo log filesLGWRDatabase29何謂 Write-ahead?在DBWn回寫資料至Data File之前，Redo Log Buffer內相關資料都必須完成寫入動作 (即寫入Redo Log File)。若DBWn發現某些重置紀錄尚未寫入Redo Log File時，它會通知LGWR 前來處理。等到LGWR將Redo Lo

22、g Buffer的紀錄寫入完畢時，DBWn才會開始寫入資料檔。30為何要把Redo Log File稱為 online Redo Log File?因為Oracle把Redo Log File分為兩部份：online Redo Log Filearchive Redo Log File這兩個都是負責記錄、追蹤整個資料庫的異動情形。不同的是，archive Redo Log File是online Redo Log File的備份資料檔，由另一個Background Process Archiver (ARCH)負責管理。在預設的情況下，ARCH是不會啟動的，而是由LGWR記錄資料庫的異動情形，

23、將這些記錄資料寫到online Redo Log File裏。如果Oracle Server不幸掛了，此時的資料庫僅能復原online Redo Log File裏有記錄的資料。可是，其他的呢？這時候就要靠ARCH將online Redo Log File備份出來。31System Monitor (SMON) 如果是因為停電或是其它因素導致Oracle資料庫不正常被關閉， 下一次啟動資料庫時將由SMON進行必要的資料庫修復動作。主要的工作有：執行一些資料庫必要的修復工作 (如果有需要的話，SMON會使用online Redo Log File的內容)。定時清除資料庫系統中一些不必要的殘餘物件

24、，例如上次系統交易進行一半的資料或暫時性區間。執行整個系統儲存空間的管理，對於Tablespace上破碎的Extent，它會將這些較小的Extents予以合併，整理出一個較大的空間，以供系統日後的使用。 32InstanceSGASMONControl filesData files Redo log filesInstanceSGASMONDatabase33Process Monitor (PMON)當某個User Process異常中止時，PMON會執行程序修復 (Process Recovery)的動作，就是把已經失效的User Processes給趕出記憶體，並釋放該記憶體空間，留待

25、系統日後使用釋放該Process之前使用的系統資源，避免Deadlock發生。 PMON和SMON一樣，都是由Oracle資料庫系統週期性自動執行，檢查整個資料庫系統的運作情形。 34InstanceSGAPMONPGA area35Checkpoint (CKPT)在一個指定的時間區間裏，DBWR會對所有在Database Buffer Cache所做的異動，將其結果寫入到相關的Data Files以及Redo Log Files、Control Files，這樣的動作，就稱為產生 (設定) 一個checkpoint事件。CKPT Background Process就是扮演著一個通知者的角

26、色，經過一定的時間後，負責通知 DBWR 執行Checkpoint的動作。 CKPT會在適常時候產生一個Checkpoint事件，其意義為：確保Database Buffer Cache內經常被異動的資料也能夠定期被寫入硬碟的Data File。(LRU演算法)萬一Oracle需要進行Instance Recovery時，就不需要Checkpoint之前的Redo record，可縮短資料庫動新啟動的時間。36InstanceSGADWW0Redo LogBufferLGWRInstanceSGADBWnLGWRCKPTControl filesData files Redo log file

27、s37執行Checkpoint的時間區間，可以透過設定LOG_CHECKPOINT_INTERVAL這個參數，改變checkpoint的區間。然而，在設定LOG_CHECKPOINT_INTERVAL時，要注意的是：這個值設得太小的話，會造成系統額外I/O的負擔設得太大，超過online Redo Log File swap的時間時，LOG_CHECKPOINT_INTERVAL的值又會變得沒有意義因為Oracle會在swap online Redo Log File時，做一次checkpoint的動作。 38 Summary縱觀以上的說明，現在我們可以勾勒出整個Oracle Instance

28、的整個架構圖：系統記憶體大致上的配置情形有Database Buffer Cache、Redo Log Buffer、Shared Pool、Large Pool、Java Pool等。在Background Processes部份，計有DBWR、LGWR、SMON、PMON、CKPT等。 Background structuresMemory structuresSGARedo logbufferDatabase buffer cacheShared poolDBWRSMONPMONCKPTLGWROthersData DictionarycacheLibrarycacheInstance3

29、9InstanceSGARedo logbuffer cacheShared poolData Dict.cacheLibrarycacheDBWRSMONPMONCKPTLGWROthersUserprocessServerprocessPGAControl filesData files Archived log filesParameterfilePasswordfileRedo log filesDatabaseDatabasebuffer cache40漫談Oracle Database Structures41第一部份曾談到所謂的Oracle Database可分為：邏輯結構實體結

30、構 兩部份，並做了概略的說明。如果您有心成為一個頂尖的Oracle DBA ，那麼不僅要對以上兩結構內的各個項目如數家珍般熟悉，還要瞭解其內部運作與相互關係才行。現在就分別針對這兩部份做深入的說明。 42 邏輯結構 (Logical Database Structures )邏輯資料庫結構是Oracle所提供的一種抽象化的資料庫管理概念，透過一個Mapping的機制，管理Oracle Physical Database Structures。 由外至內，我們可以看到：整個Database是由一個以上的Tablespace (表空間) 組成；每個Tablespace存在著許多的Segment (

31、區段)；每個Segment內含許多的Extent (延伸區塊)；最後，則是構成整個Oracle Database的最小邏輯單位block (區塊)。 4344Tablespace (表空間) Oracle 資料庫允許DBA 自行規劃各種用途的資料表空間(Tablespace)，以便存放不同型態的資料與資料庫物件。例如：存放Oracle系統資訊的資料辭典(data dictionary)可放在 SYSTEM 表空間；使用者所存放的相關資料可存放在 USER 表空間；所有資料表的索引(Index)則可單獨存放在INDX 表空間。SYSTEM為Oracle資料庫預設的表空間；USER 與INDX 則

32、是由DBA 自行規劃建置的。45一般來說，Oracle資料庫至少應規劃出五個以上的資料表空間，如下圖所示：46Oracle Server其他相關的邏輯結構，均是經由Tablespace做統一集中的管理。Tablespace依其可存取的狀態，分為兩種狀態：on-line (在線)off-line (離線)再以其可存取的模式區分，可分為兩種式read-only (唯讀)read-write (讀寫)透過其存取狀態的控制以及存取模式的切換，將可使整個資料庫的管理更為方便。 47Tablespace的特性 Oracle Database是由數個Tablespace所構成。 一個Tablespace在同

33、一時間點上，僅能類歸於一個Database。即，Database與Tablespace之間的關係，是呈現一對多的關係。 除了SYSTEM Tablespace與存在作用中 (active) 的Rollback Segment的Tablespace外，其餘的Tablespace均可在Database尚在執行的時候，將其選擇性的off-line或on-line，以利資料庫的管理。 Tablespace能夠隨意切換其存取模式read-only及read-write模式。48Block (區塊)Oracle Database邏輯空間概念中最小的邏輯空間單位，有關Oracle Server對儲存空間所執

34、行的配置(allocate)、讀取 (read) 及寫入 (write)，均是以此為單位，進行資料庫的種種操作。且在新建Oracle 資料庫時就必須明確地定義。Oracle的區塊大小通常是數倍於 “作業系統的磁碟讀寫區塊”(O.S. blocks) 表示， Oracle在存取資料時是以自身的 block為最小讀取單位，而不是以O.S. block 為單位。它的參數設定透過參數DB_BLOCK_SIZE設定之。必須將 DB_BLOCK_SIZE 設定為 O.S.blocks的整數倍。49Extent (延伸區塊)雖然資料區塊是Oracle最小的資料讀寫單位，但值得注意的是：Oracle在 “配置

35、” 儲存空間時，並不是以資料區塊為單位，而是改採延伸區塊的方式來配置空間。它是由許多連續的 blocks所組成。一個Extent的相關資訊，僅能存在於同一個Data file中。50好處：減少資料庫空間配置的動作假定您準備在Oracle 資料庫內存放80 KB 的資料：當執行DDL指令建立資料庫物件時 (例如: CREATE TABLE )，Oracle會先配置出一連串的Blocks (即: Extent)，其大小可為單一Block (假設 8KB) 的5倍。當這些資料區塊全部存滿資料後，視實際需要再配置第二個 Extent (大小還是40KB)。只要兩次的空間配置動作就可以存放80KB 的資

36、料。反例如果Oracle 每次只配置8KB 的Block讓您存放資料，總共需要10 次空間配置動作才能放滿80 KB 的資料，比較沒有效率由此可見，Extent的確有其存在的必要性。51Segment (區段) Segment是僅次於Tablespace的邏輯空間單位。依照不同的資料處理性質，您可能需要在表空間內劃分出不同Segment，以存放不同資料。依其儲存、管理資料型態的不同，可大致分為：Data segment (資料區段)Index segment (索引區段)Temporary segment (暫時性區段)Rollback segment (退回區段)52從Oracle資料庫的邏

37、輯層面來看，我們知道：資料是存放在每個Block內，資料讀寫動作也將以Block為單位。空間配置的動作則是引用Extent的概念。一個Extent由一連串的Blocks所構成。依實際資料量多寡，資料 (或資料庫物件) 由多個Extent所組成。Tablespace內可劃分不同的Segment；而每個Segment內又包含許多Extents。在每個Oracle資料庫內可規劃不同的Tablespace，用以存放不同型態的資料。53 實體結構 (Physical Database Structures )Oracle Server實體結構概觀圖如下：整個Oracle Database的實體結構，主要

38、由三大部份所組成：Control filesData filesRedo log files其它Password file、Parameter file則是關於Oracle Server Security 及資料庫啟動設定檔Archived log files則與Database Recovery息息相關Control filesData files Archived log filesParameterfilePasswordfileRedo log filesOracle Database54資料庫的啟動順序如下：55Password file (密碼檔) Password File 是由

39、 DBA 建立的，儲存那些可以管理 Oracle 的登入密碼。可以用一個叫做 ORAPWD 的工具建立它。 ORAPWD 需要輸入三個參數： FILE - 這是 Password File 的儲存地方。 PASSWORD - 密碼，留意這個密碼也會同時成為 SYS 的密碼，如果之後您用 SYS 登入，發出 ALTER USER 的變更密碼指令，那就會同時變更 Password File 和 SYS 的密碼。 ENTRIES - 設定 Password File 有多少個用戶，即該資料庫最多可擁有多少個Administrators 。如果之後要增加這個數目，就要先把 Password File

40、刪除，然後再建立，這個動作是有風險的。 56Parameter file (參數檔) 啟動Oracle Server時，Oracle Server會先配置一塊記憶體空間，供Oracle Instance及Background processes使用。在這之前，Oracle Server會先讀取Parameter file內的相關設定，做為配置記憶體空間與Background processes時的設定值。Parameter file是一個文字檔，一般均是使用文字編輯器編輯該檔，修改Oracle Instance的設定值。前兩部份提及的許多參數，如：DB_BLOCK_BUFFERS、LOG_BU

41、FFER、SHARED_POOL_SIZE等，均可以在Parameter file中設定。參數名稱沒有大小寫之分，只是一般而言，均是以小寫字母為主。在改變Parameter file的相關設定時，要重新啟動Oracle的相關服務，所做的改變才能反映在系統中。 57有關Parameter file的Initialization parameters，依其使用時機、方式，大致可歸納成以下幾類：指定檔案所在位址及名稱，如CONTROL_FILES指定Database Control File的相關資訊。 設定區間限制，如LOG_CHECKPOINT_INTERVAL設定Database Checkp

42、oint的時間間隔。 指定有效的容量大小，如DB_BLOCK_BUFFERS設定Database Buffer Cache記憶空間的大小。這類參數又稱為Variable Parameter。58起始參數檔包含以下主要內容：SGA相關的組態設定其他各起始參數之名稱與設定值Control File的名稱與存放路徑Redo Log File之相關設定59Control file (控制檔) 一個Oracle Database至少要有一個Control file，記載著用來對整個Oracle Database實體結構maintain 與verify的相關資訊，如： Database name。 Dat

43、a files、Redo log files的名稱與所在位置。 Database建立的Time stamp。 每當資料庫被啟動時，Oracle 會在Instance啟動後立刻讀取Control File內容，待所有資料庫實體組成檔案之所在資訊都收集完畢，資料庫才會被開啟。60Control file掌控著所有Oracle Database實體檔案結構的相關資訊，新增、刪除、修改Data files或Redo log files，Oracle Server均會自動維護Control file的內容資訊。 為了避免控制檔毀損導致資料庫系統停擺，建議在實務應用上至少配置兩個Control File，

44、存放在不同實體硬碟，並以mirror (映射) 的方式，提供資料庫備援的機制。61Parameter file也有類似的系統資訊DB_NAME。Parameter file主要是給Oracle Instance看的，透過CONTROL_FILES 的指定，讓Instance（記憶體）與Database（實體的檔案結構）能夠彼此結合，提供資料庫的相關服務。因此，Parameter file必 須要搭配適當的Control file，否則將造成系統不可預期的錯誤。 62Data file (資料檔) Data Files包含在資料庫中的實際資料 (Actual Data)。一個Oracle Dat

45、abase至少會有一個以上的Data file來存放資料。 資料庫的資料大致上可以分為兩類：資料庫邏輯結構資訊（資料字典）資料字典包含資料庫邏輯結構的配置資訊，諸如Tables、Columns、Indexes、Tablespaces 等。使用者資料63一般說來，Data file有以下幾個特點： 一個Data file僅能對應一個Tablespace。 Data file有其屬性設定的集合如Auto-extend的設定: 當Data file的容量不足時，Oracle Server會自 動配置一額外的空間供其使用。 一個Tablespace可包含一或多個Data file 一個Segment只能存在於同一個Tablespace中；而一個Tablespace可能包含一個以上的Data file，因此，Segment是得以展延 (Span) 在其Tablespace所屬的Data file內。 6465Data file雖然是Oracle Server用來存放大量資料的實體檔案結構，但它並不是以直接存取Data file的模式，達成資料存取的目的，它是以類似Buffer的機制，間接存取Data file，以提高系統的整體運作效能。讀取資料時，它會先將Data file的