数位图书馆及博物馆之自动化资讯处理

1、1.5cm2.5cm中文字體限用新細明體，英文字體限用Times New Roman。 數位圖書館及博物館之自動化資訊處理Automatic Information Processing for Digital Library and Museum 14pt指導老師：陳淑媛 教授學生：程雅娟、姚正浩3cm3cm行距皆為倍行高系別：資訊工程學系12pt摘要 12pt中國是具有悠久歷史的文化大國，文物典藏非常龐大，如何藉由無遠弗屆的網際網路，讓所有有興趣者能在任何地點、任何時刻很方便地享有中國藝術寶藏，是本論文數位圖書博物館的終極目標之一，故提昇此數位圖書博物館的易用性及親和性，建構一以內容為基準

2、的查詢機制有其顯著的迫切性，及成為本論文之主要目的。透過此查詢機制，使用者可直接將文物圖像當作查詢條件，而不需要再鍵入傳統的文字形式查詢條件，即可擷取出相關的資訊。另外，因為數位圖書博物館之資料浩瀚，若能針對查詢圖像之文意進行自動分類，將可大大降低搜尋範圍，如此不但可加快執行速率並可提昇查詢的正確性。本論文即就彩色文物圖像之查詢及自動分類兩大問題加以研究。首先針對彩色圖像研發有效的自動內容查詢及分類方法，在延續此一研發成果，完成一適用於彩色區塊圖像之自動內容查詢及分類法，最後則著重於局部彩色紋理區塊內容查詢及分類法，以整合完成一快速有效的文物圖像內容查詢及分類法。12pt1.5cm2.5cm關

3、鍵詞：數位圖書館、數位博物館、影像檢索、影像分類、區塊切割、色彩紋理特徵、文意區塊。10ptAbstract 12ptChina is an ancient country and has long cultural history. Therefore, the cultural relics are flourished. One goal of digital libraries and museums is to provide the exhibition of all the Chinese arts and crafts to all the people in anywhere

4、 and at anytime through the World Wide Web. However, user will need on-line facilities to help them retrieve information and locate resources that match certain expectation and desires. Therefore, developing an automatic content-based retrieval method for culture relics is the goal of this paper. On

5、 the other hand, for large databases with over tens of thousands of images, effective retrieval and classification method becomes an important issue in content-based retrieval system.In this paper, a content-based retrieval and classification method is implemented for cultural relics. First, we will

6、 focus on a content-based retrieval and classification method for color images, then we will extend the result to image retrieval based on region information. Finally, a robust and integrated content-based retrieval and classification method based on selected region is obtained. 12ptKeyword：Digital

7、library, digital museum, image retrieval, image classification, region segmentation, color texture feature, semantic region. 10pt一、前言12pt0.8cm由於電子及通信技術的進步，促使通訊服務的時代加速來臨，此種綜合電子及通訊應用的資訊境界，將大大改變人類擷取資訊的方式，更引發了新的應用及服務，例如：透過數位圖書館能讓所有使用者在任何地點、任何時間經由通信媒介很容易的擷取數據資訊。但是如何提供一個完善的環境讓使用者能夠很方便地、很有效地擷取所需資訊，是建構一數位圖書

8、館不容忽視的課題。目前國內外從事以影像內容基準查詢研究者不乏其人。也有不少的查詢系統建置於商業或學術領域 1 9pt。這些系統大都採用色彩(color) 2-14 9pt、紋理(texture) 8,12,13,15,16 9pt、及外形(shape) 6,8,17 9pt 等特徵進行比對，這些特徵在 1中有詳盡的介紹與比較。依據文獻所載，除為數甚少的論文涉及影像分類之研究9,12-14,17 9pt外，大部分從事影像查詢之研究都偏重於查詢比對方法之設計。故本論文首先著重於彩色圖像之自動分類研究。依據文獻所載，雖有文獻是結合色彩與紋裡8,12,13 9pt，或是色彩及區塊特徵3,4-6,10

9、9pt， 但為數甚少的論文將色彩、紋理及區塊特徵同時結合進行檢索8。而且區塊之切割大多只依據色彩色特徵3,4-8,10 9pt，而未將紋理特徵加入考慮，故切割成效不佳。本論文接著將著重於提出一將色彩及紋理做一致性處理之影像切割法，以擷取文意區塊 (semantic regions) ，以利後續之影像查詢及分類。另外在進行影像查詢及分類時，亦將結合色彩、紋理及區塊特徵，以得最佳之效果。依據文獻所載，除為數甚少的論文涉局部彩色紋理區塊影像檢索之研究18外，大部分從事影像查詢之研究都偏重於整張影像查詢比對方法之設計，而且過去的方法都不具放大縮小及旋轉不變性。故本論文最後將著重於提出以特定彩色紋理局部

10、區塊為查詢內容之檢索法，以達到局部區塊檢索之目的，更重要的是所提方法具放大縮小及旋轉不變性。前述三種研發出之方法不但適用於中國文物圖像，亦可適用於任意圖像的查詢與分類，故所得研究成果有相當高的應用價值。另本論文所提出之方法皆實作應用於Corel資料庫或其他具代表性之資料庫，並證實所提方法確實有效。二、彩色影像分類（一）方法本研究所提出之方法包括兩大部分：色彩量化及影像分類，後者又包含了兩大步驟：特徵擷取及比對分類方法設計，現分述如下：(1) 色彩量化本研究採用HSV之色彩空間，因為如圖一所示，H與S分量所擴張的範圍形成一六角形之蜂巢式結構，我們即根據行動電話蜂巢分解理論19，推導出下列HS六角

11、形結構細分公式12pt再利用上述公式可得如圖二所示之個中心點座標。假設原單胞之中心點極座標為，則其七個次衍生單胞之中心點座標分別為及，而在V方向則細切為V=0.9，0.6，0.3三個中心值，因此我們可得個色彩量化起始色如圖三所示。之後我們自動分析每張彩色影像之用色方式，再利用前述細切理論進行色彩之分割及合併。最後可得一自動決定此張影像常用之色數及色彩之方法，而達到色彩量化之目的。(2) 特徵擷取 本研究所提出之比對特徵，可分為兩大類：以影像為基礎之特徵及以群集為基礎之特徵。前者共有5種，分別為用色數，大區塊佔全體區塊數之比例，邊緣點佔全部點數之比例、邊緣點分佈均勻度、起始色之直方圖等。後者之特

12、徵，則需根據色彩量化之結果，找出查詢及資料庫影像間之相互對應色，並根據此色彩配對組合，推導出2種特徵，分別為對應色點數之差量及對應色區塊數之差量。(3) 比對分類方法設計本研究所提之分類方法，是採取由粗略至簡略之階層性架構。在前處理之粗略步驟中，先將與查詢影像極不相似之影像刪除，使後續細緻且較費時的比對運算僅作用於有可能相似之較小影像集，以加快處理速度。基此理念，在粗略步驟，當然只採用以影像為基礎之簡易比對特徵，至。而在細緻步驟則採用以群集為基礎之繁瑣但較精確的比對特徵，及。同時我們還模仿12 9pt所提之同類及異類距離分析法進行實驗，而得知、具有較小之同類距離及較大之異類距離，換言之，、具有

13、較佳之分類能力。所以我們也將納入細緻比對過程。總而言之，在粗略比對我們將採用至等5個特徵，而在細緻比對則採用、等3個特徵。而在比對函數設計上，我們除考慮各別影像影像間之相似度外，還加入影像類別間之相似度，亦即本法所採之比對函數如下：在此，Q及T分別為查詢及資料庫影像，為影像影像間之相似度，為影像類別間之相似度，N為資料庫中類別數，在本研究之實驗中，是採N=25。最後針對任一張查詢影像其相似影像排序之結果，我們可以利用k-鄰近法以投票方式決定此一查詢影像之類別。（二） 結果本研究已實際驗證於Corel資料庫，我們任取了Corel資料庫中之25個類別，當作本實驗之測試類別，並將每類100張影像中，

14、20張為查詢測試影像，而80張為資料庫影像，故測試影像有500張，資料庫影像有2000張，而k-鄰居法之k值分別為1, 3, 5, 7, 9, 11, 13。同時我們將所提方法與其它現有之四方法比較 20,21 9pt。圖四及圖五分別為執行於2000張資料庫影像（留一法(leave-one-out)）及500張測試影像之結果。由圖中可發現在大部分的類別，所提方法都較其他方法好，且本法之正確率在大部分之類別皆高於60。三、結合色彩、紋理與區塊影像分類（一）方法所提方法包括三大部分：（1）區塊切割（2）色彩、紋理及區塊特徵擷取（3）結合色彩、紋理及區塊特徵之分類，現將此三步驟詳述如下：(1) 區塊

15、切割本研究採色彩及紋理特徵進行影像切割以得文意區塊。在色彩特徵之擷取，本研究採一般色彩影像存檔或色彩影像顯示所採用的標準RGB色彩空間，因為可免去繁雜之色彩空間轉換以加快處理速度。為更進一步加快處理速度，本研究將三顏色紅（Red）、綠（Green）、藍（Blue）各自量化為4 種表示色，亦即最多4´4´4= 64 個色彩。由此量化結果，我們可得任一區塊之色彩直方圖特徵如下在此及分別為此區塊中具有色彩標示i 之點數及全部點數。本研究針對邊緣影像設計區域邊緣樣版（Local Edge Pattern）表示紋理特徵。LEP之設計主要導源於 15,169pt 所提出針對灰階影像描述

16、紋理特性之LBP（Local Block Pattern）特徵。首先針對Y 分量影像進行 Soble 邊緣偵測，而得邊緣影像。再針對邊緣影像中任一3´3區塊（圖六（a），將其中心點及其8個鄰居（neighbor）間的邊緣分佈關係加以描述，當作紋理特徵，亦即區域邊緣樣版。所提描述方式圖示於圖六。圖六（a）可視為邊緣影像中之一3´3區塊，將二值化之邊緣值各乘不同之二項權重（binomial weight）（如圖六（b）所示），而得圖六（c）之結果，最後得一加總之純量即為LEP特徵值。而LEP值之直方圖即可用以描述紋理特徵如下在此及分別為此區塊中具有LEP值i 之點數及全部點數。

17、本研究採用文獻 15,16 9pt 所提以LBP進行灰階紋理切割之先分割再合併之方式 (split-and- merge) 進行區塊切割，只是將任兩區塊之紋理同質性 (homogeneity) 比對函數改以前述色彩及LEP直方圖方程式之差量代替。所得區塊切割效果相當不錯，圖示於圖七。（2）色彩、紋理及區塊特徵擷取本研究所提色彩、紋理及區塊特徵可區分整體性特徵及文意區塊特徵。整體性特徵包括整張影像之色彩及LEP直方圖，其定義類同前述方程式。文意區塊特徵則需根據前述區塊切割所得之文意區塊加以定義。此類特徵包括此區塊之色彩及LEP直方圖、色彩用色數、邊緣點佔的比例、區塊色彩平均值、區塊中心點座標等6

18、 種特徵。（3）結合色彩、紋理及區塊特徵之分類本研究所提之查詢及分類方法，是採取由粗略至簡略之階層性架構。在前處理之粗略步驗中，先將與查詢影像極不相似之影像先行刪除，使後續細緻且較費時的比對運算僅作用於有可能相似之較小影像集，以加快處理速度。基此理念，在粗略步驟，當然只採用以較簡易比對特徵，即整體性特徵。而在細緻步驟則採用以文意區塊為基礎之繁瑣但較精確的比對特徵。在文意區塊比對時，本研究提出以區塊為基準之色彩直方圖、區域邊緣分佈直方圖、邊緣點比例、色彩用色數、邊緣點佔的比例、區塊中心點座標等6 種特徵當作各區塊比對之依據。另外在細緻步驟比對時，除採用文意區塊特徵進行比對外，影像相似度之計算亦則

19、將全體影像特徵納入考量。最後針對任一張查詢影像其相似影像排序之結果，我們可以利用k-鄰近法以投票方式決定此一查詢影像之類別。(二) 結果本研究之分類法已實際驗證於Corel資料庫，我們任取了Corel資料庫中之20個類別，當作本實驗之測試類別，並將每類100張影像中，20張為查詢測試影像，而80張為資料庫影像，故測試影像有400張，資料庫影像有1600張，而k-鄰居法之k值則為1及13。圖八為所提方法與彩色直方圖比對法之分類成效評比。由圖中可發現所提方法都較彩色直方圖比對法之分類結果為佳，且本法之正確率皆高於65。四、結合色彩、紋理與區塊之局部區塊影像查詢法（一）方法所提方法包括三大部分：（1

20、）區塊切割（2）色彩、紋理及區塊特徵擷取（3）具放大縮小及旋轉不變性特徵設計（4）結合色彩、紋理及區塊特徵之局部區塊比對。因為第一及第二步驟是沿用第二年之成果，故不再贅述，僅就步驟三及四詳述如下：(3) 放大縮小及旋轉不變性特徵設計因為色彩直方圖原就具有放大縮小及旋轉不變性，故僅需針對對邊緣邊緣樣版設計具有放大縮小及旋轉不變性之特徵。其結果表列於下：在此不具有放大縮小及旋轉不變性，而具有放大縮小及旋轉不變性，故前者用以進行區塊切割，後者則用於區塊比對。而在此分別代表區塊中具有LEPSEG及LEPROT之個數是在之邊緣分佈型態，其為一的視窗。而LEPROT則須經旋轉處理，而得具有旋轉不變性之特徵

21、。轉換觀念可參考文獻 15,22 9pt。（4）結合色彩、紋理及區塊特徵之局部區塊比對本研究所提之局部區塊查詢方法，其執行方式示意圖圖示於圖九。所提方法是採取以不同重要性比重方式，利用區塊彩色紋理及區塊位置進行區塊比對，最後的比對公式如下：(二) 結果本研究之局部區塊查詢方法已實際驗證於650 張之彩色影像資料庫，並與彩色直方圖法，進行查詢成效評比。其評比方式是採用AVRR/IAVRR之比值，其定義如下若在檢索結果影像排序中，第 i 張影像含有查詢區塊資訊，則，否則，M 是所有資料庫影像張數，是所有資料庫影像含有查詢區塊資訊之張數。而且此比值愈高，表示所採方法愈佳。圖十是所提方法與彩色直方圖法

22、 11 9pt 評比之結果，由圖中可發現不論是就原圖或放大縮小及旋轉等變形，所提方法皆有最高的AVRR/IAVRR值，故所提方法有最佳的查詢成效。五、結論與討論本研究提出一通用之影像檢索及分類方法，透過此一查詢與分類機制，使用者可直接將圖像當作查詢條件，而不需要再鍵入傳統的文字形式查詢條件，即可擷取出相關的資訊，進行自動分類。不論是第一年針對彩色圖像研發有效的自動內容查詢及分類方法，第二年適用於彩色區塊圖像之自動內容查詢及分類法，或第三年著重於彩色紋理局部區塊內容查詢法，不但適用於中國文物圖像，亦可適用於任意圖像的分類方法，故所得研究成果有相當高的應用價值。同時本論文提出之方法皆實作應用於Co

23、rel資料庫或其他具代表性之資料庫，並證實所提方法確實有效，故可整合完成一快速有效的文物圖像內容查詢及分類法。另本研究第一年所提之分類方法已發表於會議論文23，並投稿國際期刊雜誌24，即將刊登。第二年提出之文意區塊切割結果已發表於會議論文 25 9pt 及期刊雜誌26 9pt，而結合結合色彩、紋理與區塊之影像分類法已發表於會議論文 27 9pt，並投稿於期刊雜誌 28 9pt。第三年之彩色紋理局部區塊內容查詢法則已發表於會議論文 29 9pt，並投稿於期刊雜誌 30 9pt，即將刊登。六、參考文獻12pt1 T.S. Huang and Y. Rui, “Image retrieval: pa

24、st, present and future,” in Proc. International Symposium on Multimedia Information Processing, pp. 12-29, 1997.2 D. Androutsos, K.N. Plataniotis, and A.N. Venetsanopoulos, “A novel vector-based approach to color image retrieval using a vector angular-based distance measure,” Computer Vision and Ima

25、ge Understanding, vol. 75, pp.46-58, 1999.3 A.D. Bimbo, M. Mugnaini, P. Pala and F. Turco, “Visual querying by color perceptive regions,” Pattern Recognition, vol. 31, pp. 1241-1253, 1998.4 C. Colombo and A.D. Bimbo, “Color-induced image representation and retrieval,” Pattern Recognition, vol. 32, p

26、p. 1685-1695, 1999.5 C.S. Fuh, S.W. Cho, and K. Essig, “Hierarchical color image region segmentation for content-based image retrieval system,” IEEE Trans. on Image Processing, vol. 9, pp. 156-162, 2000.6 T. Gevers and A.W.M. Smeulders, “PicToSeek: Combining color and shape invariant features for im

27、age retrieval,” IEEE Trans. on Image Processing, vol. 9, pp.102-119, 2000.7 I.K. Park, I.D. Yun, and S.U. Lee, “Color image retrieval using hybrid graph representation,” Image and Vision Computing, vol. 17, pp. 465-474, 1999.8 Y. Rui, T.S. Huang, M. Ortega, and S. Mehrotra, “Relevance feedback: a po

28、wer tool for interactive content-based image retrieval,” IEEE Trans. on Circuits and Systems for Video Technology, vol. 9, pp. 501-512, 1999.9 E. Saker, A.M. Tekalp, R. Eschbach and K. Knox, “Automatic image annotation using adaptive color classification,” Graphical Models and Image Processing, vol.

29、 58, pp. 115-126, 1996.10 J.R. Smith and C.S. Li, “Image classification and querying using composite region templates,” Computer Vision and Image Understanding, vol. 75, pp.165-174, 1999.11 M.J. Swain and D.H. Ballard, “Color indexing,” International Journal of Computer Vision, vol. 7, pp. 11-32, 19

30、91.12 A. Vailaya, A. Jain and H.J. Zhang, “On image classification: city images vs. landscapes,” Pattern Recognition, vol. 31, pp. 1921-1935, 1998.13 A. Vailaya, M.A.T. Figueiredo, A.K. Jain, and H.J. Zhang, “Image classification for content-based indexing,” IEEE Trans. on Image Processing, vol. 10,

31、 pp. 117-130, 2001.14 H.J. Zhang and D. Zhong, “A scheme for visual feature based image indexing,” in Proc. SPIE Conf. On storage on Retrieval for Image and Video Databases, pp. 36-46, 1995.15 M. Pietikäinen, T. Ojala and Z. Xu, “Rotation-invariant texture classification using feature distribut

32、ions,” Pattern Recognition, vol. 33, pp. 43-52, 2000.16 T. Ojala and M. Pietikainen, “Unsupervised texture segmentation using feature distributions,” Pattern Recognition, vol. 32, pp. 477-486, 1999.17 G.K. Lang and P. Seity, “Robust classification of arbitrary object class based on hierarchical spat

33、ial feature matching,” Machine Vision and Applications, vol. 10, pp. 123-135, 1997.18 Y. Zhong and A.K. Jain, “Object localization using color, texture and shape,” Pattern Recognition, vol. 33, pp. 671-684, 2000.19 D.Y. Michel, Foundations of Mobile Radio Engineering, CRC Press, 1993.20 X. Wan and C

34、.-C.J. Kuo, “A new approach to image retrieval with hierarchical color clustering,” IEEE Trans. Circuits and Systems for Video Tech., vol. 8, pp. 628-643, 1998.21 T. Uchiyama and M.A. Arbib, “Color image segmentation using competitive learning,” IEEE Trans. Pattern Analysis and Machine Intelligence,

35、 vol.12, pp. 1197-1206, 1994.22 R.G. Gonzalez and R.E. Woods, Digital Image Processing, Prentice Hall, 2002.23 C.H. Lo and S.Y. Chen, “Image classification using cellular color decomposition,” Proc. of IPPR Conference on Computer Vision, Graphics and Image Processing, Taiwan, R.O.C., pp. 681-688, 1999.24 C.H. Lo and S.Y. Chen, “General image classification using adaptive cellular color decomposition,” International Journal of Pattern Recognition and Artificial Intelligence, accepted and to appear.25 K.M. Chen and