资讯检索系统测试集之比较课件

1、資訊檢索系統測試集之比較 圖書與資訊學刊第29期(1999年5月)by 江玉婷，陳光華台大圖資所碩士論文第1页，共39页。測試集 (Test Collections)組成要素文件集 (Document Set; Document Collection)查詢問題 (Query; Topic)相關判斷 (Relevant Judgement)用途設計與發展: 系統測試評估: 系統效能(Effectiveness)之測量比較: 不同系統與不同技術間之比較評比根據不同的目的而有不同的評比項目量化的測量準則，如Precision與RecallIR System Evaluation - *第2页，共39

2、页。測試集(Test Collections) (續)小型測試集早期: Cranfield英文: SMART, OHSUMED, Cystic Fibrosis, LISA.日文: BMIR-J2大型評比環境: 提供測試集及研討的論壇美國: TREC日本: NTCIR, IREX, 歐洲: AMARYLLISIR System Evaluation - *第3页，共39页。IR System Evaluation - *第4页，共39页。Cranfield II比較33種不同索引方式之檢索效益蒐集1400篇有關太空動力學的文件(摘要形式)請每位作者根據這些文件與其當時研究的主題提出問題，經篩選

3、後產生200餘個查詢問題IR System Evaluation - *第5页，共39页。Cranfield II (Continued)Cranfield II測試集中相關判斷建立四個步驟首先請提出查詢問題的建構者對文件後所附之引用及參考文獻進行相關判斷接著請五位該領域的研究生將查詢問題與每篇文件逐一檢視，共花了1500小時進行了50萬次以上的相關判斷，希望能找出所有的相關文件。為了避免前述過程仍有遺漏，又利用文獻耦合的概念計算文件間之相關性，發掘更多的可能相關文件。若有兩篇以上的文獻共同引用了一篇或多篇論文，則稱這些文獻間具有耦合關係。 最後，將以上找出的所有文件，再一併送回給原作者進行判

4、斷。IR System Evaluation - *第6页，共39页。TREC簡介TREC: Text REtrieval Conference主辦: NIST及DARPA，為 TIPSTER文件計劃之子計劃之一 文件集5GB以上數百萬篇文件IR System Evaluation - *第7页，共39页。TREC 文件集IR System Evaluation - *第8页，共39页。TREC之文件標示IR System Evaluation - *第9页，共39页。TREC-1 and TREC-2查詢主題IR System Evaluation - *第10页，共39页。TREC-3查詢

5、主題IR System Evaluation - *第11页，共39页。TREC-4查詢主題IR System Evaluation - *第12页，共39页。TREC查詢主題主題結構與長度主題建構主題篩選pre-search判斷相關文件的數量IR System Evaluation - *第13页，共39页。TREC-6之主題篩選程序IR System Evaluation - *第14页，共39页。TREC相關判斷判斷方法Pooling Method人工判斷判斷基準: 二元式, 相關與不相關相關判斷品質完整性一致性IR System Evaluation - *第15页，共39页。Pool

6、ing法針對每個查詢主題，從參與評比的各系統所送回之測試結果中抽取出前n篇文件，合併形成一個Pool視為該查詢主題可能的相關文件候選集合，將集合中重覆的文件去除後，再送回給該查詢主題的原始建構者進行相關判斷。利用此法的精神是希望能透過多個不同的系統與不同的檢索技術，盡量網羅可能的相關文件，藉此減少人工判斷的負荷。IR System Evaluation - *第16页，共39页。TREC 候選集合與實際相關文件之對照表IR System Evaluation - *第17页，共39页。TREC評比IR System Evaluation - *第18页，共39页。TREC質疑與負面評價測試集方

7、面查詢主題並非真實的使用者需求, 過於人工化缺乏需求情境的描述相關判斷二元式的相關判斷不實際pooling method會遺失相關文件, 導致回收率不準確品質與一致性效益測量方面只關注量化測量回收率的問題適合作系統間的比較, 但不適合作評估IR System Evaluation - *第19页，共39页。TREC質疑與負面評價 (續)評比程序方面互動式檢索缺乏使用者介入靜態的資訊需求不切實際IR System Evaluation - *第20页，共39页。BMIR-J2 簡介第一個日文資訊檢索系統測試集BMIR-J1: 1996BMIR-J2: 1998.3發展單位: IPSG-SIGDS

8、文件集: 主要為新聞文件每日新聞: 5080篇經濟與工程查詢主題: 60個IR System Evaluation - *第21页，共39页。BMIR-J2 相關判斷以布林邏輯結合關鍵詞檢索1-2個IR系統由資料庫檢索者做進一步的相關判斷由建構測試集的人員再次檢查IR System Evaluation - *第22页，共39页。BMIR-J2 查詢主題Q: F=oxoxo: “Utilizing solar energy”Q: N-1: Retrieve texts mentioning user of solar energyQ: N-2: Include texts concerning

9、 generating electricity and drying things with solar heat.查詢主題的分類目的: 標明該測試主題的特性,以利系統選擇標記: o(necessary), x(unnecessary)類別The basic functionThe numeric range functionThe syntactic functionThe semantic functionThe world knowledge function: IR System Evaluation - *第23页，共39页。NTCIR 簡介NTCIR: NACSIS Test Co

10、llections for IR主辦: NACSIS(日本國家科學資訊系統中心) 發展背景大型日文標竿測試集的需求跨語言檢索的研究發展需要文件集來源為NACSIS Academic Conference Papers Database主要為會議論文的摘要超過330,000篇文件, 其中超過1/2為英日文對照之文件有部分包含part-of-speech tagsIR System Evaluation - *第24页，共39页。NTCIR查詢主題來源: 搜集真實的使用者需求, 再據其修正改寫每個學科主題領域各有100個測試主題組成結構編號 標題 資訊需求之簡短描述 資訊需求之細部描述, 包括更進

11、一步的解釋, 名詞的定義, 背景知識, 檢索的目的, 預期的相關文件數量, 希望的文件類型, 相關判斷的標準等 相關概念的關鍵詞 IR System Evaluation - *第25页，共39页。NTCIR 相關判斷判斷方法利用pooling method先進行篩選由各主題專家, 及查詢主題的建構者進行判斷判斷基準A: 相關B: 部分相關C: 不相關精確率計算: 依測試項目的不同而有不同Relevant: B與C均視為不相關Partial Relevant : A與B均視為相關IR System Evaluation - *第26页，共39页。NTCIR評比Ad-hoc Informatio

12、n Retrieval TaskCross-lingual Information Retrieval Task利用日文查詢主題檢索英文文件共有21個查詢主題, 其相關判斷包括英文文件與日文文件系統可選擇自動或人工建立查詢問題系統需送回前1000篇檢索結果Automatic Term Extraction and Role Analysis TaskAutomatic Term Extraction: 從題名與摘要中抽取出technical termsRole Analysis Task: 抽取出主旨, 研究方法, 研究程序IR System Evaluation - *第27页，共39页。I

13、REX 簡介IREX: Information Retrieval and Extraction Exercise主辦: IREX Committee參加者: 約20隊 (或以上)預備測試：利用BMIR-J2測試集中之查詢主題文件集每日新聞, 1994-1995參加者必須購買新聞語料IR System Evaluation - *第28页，共39页。IREX 查詢主題組成結構編號 簡短的資訊需求, 主要為名詞與其修飾語 構成的名詞詞組 詳細的資訊需求, 以自然語言敘述, 通常為2 至3個句子組 成, 亦包含名詞解釋, 同義詞 或實例. description欄位中的詞彙必須包含在narrati

14、ve欄位中IR System Evaluation - *第29页，共39页。IREX 相關判斷判斷依據: 測試主題的所有欄位判斷方法: 由學生二名進行判斷若二人之判斷結果一致, 則完成相關判斷若二人之判斷結果不一致或不確定, 則由三人來作最後的判定判斷基準學生: 6個判斷層次A: 相關A?: 不確定是否為相關B: 部分相關B?: 不確定是否為部分相關C: 不相關C?: 不確定是否為不相關IR System Evaluation - *第30页，共39页。IREX 相關判斷 (續)最終判斷者: 3個判斷層次A: 相關B: 部分相關C: 不相關相關判斷的修正IR System Evaluatio

15、n - *第31页，共39页。IREX 評比評比項目Name Entity Task (NE)與MUC相似, 測試系統自動抽取專有名詞的能力, 如組織名, 人名, 地名等.一般領域文件抽取 v.s. 特殊領域文件抽取Information Retrieval (IR)與TREC相似評比規則送回文件：前300篇Query的建構：一律由系統自動建構IR System Evaluation - *第32页，共39页。BMIR-J2 簡介第一個日文資訊檢索系統測試集BMIR-J1: 1996BMIR-J2: 1998.3發展單位: IPSG-SIGDS文件集: 主要為新聞文件每日新聞: 5080篇經濟

16、與工程查詢主題: 60個IR System Evaluation - *第33页，共39页。BMIR-J2 相關判斷以布林邏輯結合關鍵詞檢索1-2個IR系統由資料庫檢索者做進一步的相關判斷由建構測試集的人員再次檢查IR System Evaluation - *第34页，共39页。BMIR-J2 查詢主題Q: F=oxoxo: “Utilizing solar energy”Q: N-1: Retrieve texts mentioning user of solar energyQ: N-2: Include texts concerning generating electricity a

17、nd drying things with solar heat.查詢主題的分類目的: 標明該測試主題的特性,以利系統選擇標記: o(necessary), x(unnecessary)類別The basic functionThe numeric range functionThe syntactic functionThe semantic functionThe world knowledge function: IR System Evaluation - *第35页，共39页。AMARYLLIS簡介主辦：INIST (INstitute of Information Scientific and Technique)參加者: 約近10隊文件集新聞文件: the World, 共2萬餘篇Pascal(1984-1995)及Francis(1992-1995)資料中抽取出來的文件題名與摘要部分, 共30餘萬篇IR System Evaluation - *第36页，共39页。AMARYLLIS查詢主題組成結構編號 所屬之學科領域 標題 資訊需求之簡單描述 資訊需求之詳細描述 概念, 敘述語IR System Evaluati