教学培训课件第五章设计阶段工程估价(设计概算)

中華大學重點教學與研究計畫成果發表

CHU-94-TR-003

英語字彙能力

線上適性測驗系統之建置

應用數學學系羅琪老師資訊管理學系羅家駿老師外國語文學系吳文舜老師4/1/20241中華大學重點教學與研究計畫成果發表

CHU-94-TR-00計畫之背景

電腦化測驗(computerizedtests)係測驗隨著電腦科技發展的產物。測驗與電腦的關係最早表現於電腦計分及施測方式，仍至晚近發展之電腦化適性測驗(computerizedadaptivetest;CAT)，線上等化(on-lineequating)等，這些發展都是不可抗拒也是不可避免的趨勢。4/1/20242計畫之背景電腦化測驗(computerizedtests計畫之背景中華大學自民國90年新生入學時起實施電腦英文分級測驗至今已四年半，此舉可謂是國內大學之先驅。英語教學的專家都知道能力分級、因材施教的重要性。但是在新生入學榜單拿到後，距離開學僅有短短的兩週左右的時間，而在新生報到後至開學，更只有兩天左右的時間。如何能在這麼短的時間內舉行分級測驗，並將1500位左右的大一新生之英文能力分班作業完成，轉檔至學生選課資料庫，大概只能靠網路化英語能力分級測驗才有可能。4/1/20243計畫之背景中華大學自民國90年新生入學時起實施電腦英文分級測計畫之背景

目前本校實施的網路化英語能力分級測驗有下列可改進之處:目前和本校合作的資訊廠商並沒有提供其資料庫英文考題的數量、可靠度(reliability)和效度(validity)的參考數據，也沒有充分利用網路測驗的優勢–電腦化適性測驗。資訊廠商幫本校實施的網路化英語能力分級測驗，每位學生每次英文分級測驗的費用是NT$180，若以一個年級1,500位學生計，學校一年約需花費八十萬台幣做英文分級測驗，但是外語系對其英文試題並沒有主控權。4/1/20244計畫之背景目前本校實施的網路化英語能力分級測驗有計畫之背景電腦化適性測驗能夠使用較少的試題，就能精確地估算受試者的能力水準，其結合項目反應理論可以實施個別化適性測驗，並能精確分析各試題的特性，測驗的評分更為客觀及公正，容易蒐集學生作答訊息以進行學習診斷。電腦化適性測驗可以應用在不同功能的測驗，例如「分級測驗」(placementtests)、「成就測驗」(achievementtests)、「能力測驗」(proficiencytests)和「診斷測驗」(diagnostictests)等，如果在電腦程式設計時搭配良好的題目編碼(itemcodes)，除了能做分級測驗外，也可以概略知道學生在那一方面的英語能力較弱，可以提供日後英文老師教學之改進。4/1/20245計畫之背景電腦化適性測驗能夠使用較少的試題，就能精確地估算受計畫之目的

建置線上適性測驗系統，以提供學生線上練習及受測的環境。建置線上適性測驗系統，以提供教師線上實施測驗的環境。透過線上適性測驗，節省施測的時間，並精確估計出受試者的能力值。透過試題反應理論(IRT)分析試題的特性，以供教師出題的參考。目前先以英語字彙分級測驗為範圍，設計出線上適性測驗系統的雛型。未來再推廣至用法、聽力及閱讀測驗。最終將取代目前花錢委託外面廠商施測的方式，對學校及學生有很大的貢獻。4/1/20246計畫之目的建置線上適性測驗系統，以提供學生線上練習及受測的項目反應理論(IRT)簡介4/1/20247項目反應理論(IRT)簡介3/31/20247基本概念

受試者在某測驗試題上的表現情形，可由一組因素來加以預測或解釋，這組因素稱為潛在特質(latenttraits)或能力(abilities)，用θ代表，θ的測量值是放在中心點為0、單位為1的尺度上，θ的可能值介於到之間，但實務上大多介於-3到3之間。

4/1/20248基本概念受試者在某測驗試題上的表現情形，可由一組因素來加以基本概念受試者的表現和這組潛在特質之間的關係，可透過一條連續嚴格遞增(monotonicallyincreasing)的函數來加以詮釋，此函數稱為項目特徵函數(itemcharacteristicfunction;ICF)，而把不同能力的學生在某項目(item)的得分期望連結成線，此曲線稱為項目特徵曲線(itemcharacteristiccure;ICC)。

4/1/20249基本概念受試者的表現和這組潛在特質之間的關係，可透過一條連續基本概念IRT的目的在於提供能力的估計值且具有群體不變性(groupinvariance)。它有下面幾項特色：(1)在受試母群中，項目參數估計值是不受取樣波動的影響，不同的取樣結果，只呈現ICC的局部區間，連結了不同的取樣結果，則可呈現完整的ICC圖。(2)在試題的選擇中，受試者能力估計值不受取樣波動的影響。(3)能力可以確切估計求出。4/1/202410基本概念IRT的目的在於提供能力的估計值且具有群體不變性(g項目特徵曲線模式

(itemcharacteristiccuremodel)

三個參數的羅吉斯模式4/1/202411項目特徵曲線模式

(itemcharacteristic項目特徵曲線

(itemcharacteristiccure;ICC)

4/1/202412項目特徵曲線

(itemcharacteristiccu難中易4/1/202413難中易3/31/202413高區別度中區別度低區別度4/1/202414高區別度中區別度低區別度3/31/202414題庫建立與參數估計

從英文字彙題目中，挑選不同難度、不同詞性、不同範疇的題目200題，再找不同科系、不同年級約4千位學生做英語字彙紙筆測驗，將所有答題的有效樣本2134輸入電腦，做為IRT模式項目參數估計所用。

大型紙筆測驗共有M=2134人參加，題目共有N=200題，第i

題的項目參數估計方法如下：4/1/202415題庫建立與參數估計從英文字彙題目中，挑選不同難度、不同詞性4/1/2024163/31/202416參數估計用個點來估計項目參數a、b。估計的方法是用最大概似法，先給a、b任意起始值，然後用數值分析中的iterativemethod得到a、b估計值。因為是四選一所以猜測參數c=0.25。如此依照上述之方法，對每一題都估計其項目參數，直到200題都完成為止。4/1/202417參數估計用系統環境與架構

負載平衡方式之線上適性測驗系統架構

4/1/202418系統環境與架構負載平衡方式之3/31/202418系統環境與架構本系統之伺服器端主要可分為兩大部分，(1)CATServer(ComputerizedAdaptiveTestingserver)，(2)ManagementServer而使用者介面則分為(3)題庫輸入介面、(4)資料輸入介面與(4)測驗介面4/1/202419系統環境與架構本系統之伺服器端主要可分為兩大部分，3/31/線上測驗實施流程

受試者透過瀏覽器連上線上測驗系統。受試者依系統指示輸入基本資料及選擇科目。系統接收Client端資料後，檢查受測者身分。若通過驗証後，由題庫中隨機挑選難度中等的試題，並傳送至Client端施測驗。先施測驗二至三題然後估算受測者初始的能力值。4/1/202420線上測驗實施流程受試者透過瀏覽器連上線上測驗系統。3/31線上測驗實施流程根據能力值，採用最大訊息選題法(MaximumInformation)選取試題，Server端依ID相對應的試題挑題傳送到Client端施測。試題選取是由題庫中選取使項目情報函數(iteminformationfunction)最大的試題，三個參數的羅吉斯模式的公式如下：

上式中，4/1/202421線上測驗實施流程根據能力值，採用最大訊息選題法(M線上測驗實施流程受測者作出反應後，Server判斷對錯並紀錄，以最大概似法(MethodofMaximumLikelihood)重新估算受測者之能力。檢查是已達到施測終止條件，終止標準(1)施測總題數已達到20題。(2)前後能力值的估計的標準誤(StandardError;SE)的遞減值<0.025時。4/1/202422線上測驗實施流程受測者作出反應後，Server判斷對錯並紀錄線上測驗實施流程若未達到終止標準時，再重複(6)(7)(8)直到滿足終止標準為止。儲存受試者施測相關資料至Server中，顯示施測結果並給予分數與解釋。4/1/202423線上測驗實施流程若未達到終止標準時，再重複(6)(7)(8)具體成果

採用負載平衡方式，將工作量負擔分配給數部伺服器來分擔，可讓多部低階伺服器分擔系統負荷，達到伺服器負載平衡，並可在未來以較低成本來進行系統維護與系統擴充。以ASP.NET與SQL7.0來開發系統，提高未來和學校資訊系統整合的可能性。參考多本英語字典、語料庫(corpus)、和大考中心高中英文參考詞彙表，將英文單字做難度分級和數位化、網路化。進行大量英語字彙紙筆施測，接著對每題區別及難度參數進行估計，然後建立題目資料庫

。4/1/202424具體成果採用負載平衡方式，將工作量負擔分配給數部伺服器來分具體成果建置線上適性測驗系統，以提供學生線上練習及受測的環境。建置線上適性測驗系統，以提供教師線上實施測驗的環境。透過線上適性測驗，節省施測的時間，並精確估計出受試者的能力值。透過試題反應理論(IRT)分析試題的特性，以供教師出題的參考。4/1/202425具體成果建置線上適性測驗系統，以提供學生線上練習及受測的環境具體成果日後進一步規劃英語聽力、文法和閱讀測驗的線上適性測驗系統。可與學校的教學卓越計畫配合，對英語能力分級測驗與學習評量均能有具體的貢獻。跨三個學院及三個領域的計畫，對學校中長程發展及教育部評鑑均有正面的幫助。4/1/202426具體成果日後進一步規劃英語聽力、文法和閱讀測驗的線上適性測驗評估與展望

目前學校每年花兩筆不小的經費委託外面廠商做英語能力分級測驗，一方面花大錢但只做到將古典之紙筆式測驗以電腦來實施並將測驗的結果利用電腦計分，一方面測驗結果一直並不如預期理想，似乎無法測出學生真正的英語能力。本研究結合測驗理論、項目反應理論(IRT)、網路技術及資料庫管理技術等，建置線上適性測驗系統(onlineadaptivetestsystem)，以提供中華大學實施線上英語測驗的另一種選擇。所有受試者透過瀏覽器(browser)介面同時進行受測，系統會依受試者的能力而挑出最適合受試者的試題，並重新評估受試者的能力值。因此藉由本系統能夠達到個別化適性測驗，並能節省測驗的時間而不失測驗的精確度。4/1/202427評估與展望目前學校每年花兩筆不小的經費委託外面廠商做英語能評估與展望目前大量紙筆測驗已完成、所有學生答題資料已輸入、IRT模式項目