支援学习困难诊断之多目标试题配置最佳化演算法

1、支援學習困難診斷之多目標試題配置最佳化演算法國立臺南大學 數位學習科技系 黃國禎l 處理大型題庫試卷組合配置問題l 提供符合多目標的試題配置演算法l 有效率的求出近似最佳之試題配置結果在教學的過程中，如何評量學生的學習成就是一個廣受重視的議題，而測驗是評量學習成就的重要方式之一。在數位學習環境中，測驗的方式及目的是多樣化的，可能是提供學生重複演練的模擬考試，也可能是配合適性化學習的能力鑑定測驗，甚至於是用來觀察學生能力改變的一系列考試。一個高品質的測驗，除了受到試題本身的影響之外，如何由龐大的數位化題庫中組合一份符合評量目標的試卷，亦是一個重要的因素。而為了有效地達到評量的目的，在組合試卷時往

2、往需要考慮多個參數，例如鑑別度、難度、測驗時間及相關能力指標的比重分布。然而要從數量龐大的題目選取一組符合多個目標的試卷不僅困難，而且若以傳統的演算法來求最佳化的試題組合，將花費數年，甚至於數十年才能組成一份試卷，因為可能的組合將隨題庫所含的題目數量呈指數成長。為了滿足數位學習環境的實際需求，台南大學理工學院暨教育學院的研究團隊自2003/5/1至2006/4/30進行的國科會計劃智慧型多媒體學習內容管理系統之研製、應用與評估智慧型個人化題庫系統之建置與管理即針對這個問題進行深入的探討。首先我們嘗試將多目標的試卷組合問題分成兩類：固定題數或限定測驗時間範圍，並定義出目標及限制式；例如在符合多個

3、學習概念的最低配題比重及測驗時間限制下，找出一組鑑別度最高的考題，或是設計出一張最接近指定難度的試卷。為了能符合數位學習產業在處理大型題庫時的組合試卷需求，我們應用了多個人工智慧的演算法，期盼能提昇試卷組合的效率及品質。研究成果發現，我們所提出的演算法可處理包含50000個試題的大型題庫，對於支援實際數位學習環境的各式測驗與評量有很大的幫助；該成果並發表在多個SSCI及SCI期刊。目前相關研究仍然持續進行，主要是在數位學習環境中，測驗的型態及需求是多樣化的，而上述的研究只解決了標準的試卷組合問題。因此，我們正致力於一些特殊評量需求的研究，例如設計長時間觀察學生能力變化的一系列測驗，以及預防洩題

4、並具有補考功用的平行組卷問題等。l 建置線上測驗及學習困難診斷系統在學習過程中，評估與測驗是非常重要的一環，它不僅顯示出學生的學習成效，也對診斷學生的學習困難提供有用的線索。在遠距學習環境中，由於學生的自主性提昇，相對的遭遇各種學習困難的複雜度亦可能增加，除了加強教材內容之外，更需要有效的提供學習指導；因此，如何建立所以一個網路測驗與診斷系統，來協助學生克服障礙，提高學習成效，是一個值得重視的問題。為了從測驗中診斷學習上的問題，必須就整體課程結構深入探究。在一般而言，教材具有樹狀之組織結構，通常是依照章、節、重點概念而建構。這樣的組織型態實際上對於提供學習診斷系統作為分析診斷之依據並無太大助益

5、，因為它所內含的資訊是稀少的。通常一個概念的形成是由一個或一個以上的基礎概念所奠基而組成的，或者可以這樣說，要學習一項概念或技術必須具備一些基本能力。例如，要學跑步必須先學會走路、要學“乘法”必須先具備“加法”的概念、要當救生員必須先學會游泳。舉凡這種具有先後次序關係，或是一個概念之中隱含其他基本概念的行為模式，正是一種很基本的學習過程。基於這種基本的學習概念與模式，並且為了配合學習診斷系統的分析需求，我們有必要重新建構課程結構。讓我們來思考以下的問題假設有一數學課程，其內容主要是要教授學生“數”的概念，共分成四節，一、整數，二、有理數與實數，三、複數及其運，四、一元二次方程式根的討論。在第一

6、小節中有幾個重要概念，如因數、倍數、質數、公因數、公倍數、最大公因數、最小公倍數。若是依照傳統樹狀結構來編排教材，此單元會有如圖1之結構。這樣的編排僅僅提供給我們教材編排次序的資訊而已，從其中我們並無法獲知各概念之間的相關性，例如概念學習的先後次序、概念形成的基本內涵與合理之學習路徑。為了合理展現概念學習的先後次序關係與概念形成的基本內涵，我們發現物 件導向原理中的繼承關係很適合用來解決我們的問題。圖2 數學課程樹狀結構圖繼承關係是一個很直覺化的想法，兒子的某些特性是來自於父親，且父親與兒子的出現次序具有先後關係。運用這個觀念，我們將課程結構重新組織整理，去除章、節等上層架構，只留下概念部分，

7、並且找出各概念之間的相互關聯性，包括概念內涵與先後次序關係，建構成“概念影響關係圖”圖2。透過概念影響關係圖，我們成功地展現了概念形成的基本內涵、概念之間的相互關聯性及前後次序關係。以前述“數”的例子而言，依照概念影響關係圖的觀念，可以建構成如圖3的架構圖。圖3 概念影響關係圖的數學課程範例國際期刊發表的成果：1 Gwo-Jen Hwang, Judy C. R. Tseng and Gwo-Haur Hwang (2007), “Diagnosing Student Learning Problems based on Historical Assessment Records”, acce

8、pted by Innovations in Education and Teaching International. (SSCI) 計畫編號：NSC 95-2524-S-024 -002 and NSC 95-2520-S-024 -0032 Yin, P.-Y., Chang, K.-C., Hwang, G.-J., Hwang, G.-H., & Chan, Y. (2006). A Particle Swarm Optimization Approach to Composing Serial Test Sheets for Multiple Assessment Criteria

9、. Educational Technology & Society, 9 (3), 3-15. (SSCI) 計畫編號：NSC-94-2524-S-024-001 and NSC 94-2524-S-024 -0033 Gwo-Jen Hwang, Bertrand M.T. Lin, Tsung-Liang Lin (2006), “An Effective Approach for Test-Sheet Composition from Large-Scale Item Banks”, Computers & Education, Vol. 46, No. 2, pp. 122-139.

10、 (SSCI) 計畫編號：NSC-94-2524-S-024-001 and NSC 94-2524-S-024 -0034 Gwo-Jen Hwang (2007), “A Gray Forecast Approach for Developing Testing and Diagnostic Systems”, IEEE Transactions on System, man and Cybernetic Part C., Vol. 37, No. 1, pp. 98-108. (SCI and EI) 計畫編號：NSC-94-2524-S-024-001 and NSC 94-2524-

11、S-024 -0035 Gwo-Jen Hwang, Peng-Yeng Yin and Shu-Heng Yeh (2006), “A Tabu Search Approach to Generating Test Sheets for Multiple Assessment Criteria”, IEEE Transactions on Education, Vol. 49, No. 1, pp. 88-97. (SCI, EI) 計畫編號：NSC-94-2524-S-024-001 and NSC 94-2524-S-024 -0036 Hui-Chun Chu, Gwo-Jen Hwa

12、ng, Judy C. R. Tseng & Gwo-Haur Hwang (2006), “A Computerized Approach to Diagnosing Student Learning Problems in Health Education”, Asian Journal of Health and Information Sciences, Vol. 1, No. 1, pp. 43-60. 計畫編號：NSC 95-2524-S-024 -002 and NSC 95-2520-S-024 -0037 Gwo-Jen Hwang, Hsiang Cheng, Carol

13、H.C. Chu, Judy C.R. Tseng and Gwo-Haur Hwang (2006), “Development of a Web-based System for Diagnosing Student Learning Problems on English Tenses”, accepted by Journal of Distance Education Technology. (EI) 計畫編號：NSC 95-2524-S-024 -002 and NSC 95-2520-S-024 -0038 Gwo-Jen Hwang, Bertrand M.T. Lin, Hs

14、ien-Hao Tseng, Tsung-Liang Lin (2005), “On the Development of a Computer-Assisted Testing System with Genetic Test Sheet-Generating Approach”, IEEE Transactions on Systems, Man, and Cybernetics: Part C, Vol. 35, No.4, pp. 590-594. (SCI, EI) 計畫編號：NSC-93-2524-S-260-0039 Gwo-Jen Hwang (2003), “A Concept Map Model for Developing Intelligent Tutoring Systems”, Computers & Education, Vol. 40. No. 3, pp. 217-235. (SSCI