网路英文学习与检定系统_结合适性化测验,多媒体试题,及网路化测验机...

網路英文學習與檢定系統: 結合適性化測驗,多媒體試題, 及網路化測驗機制,陳炳富 技術總監 全民網路英語能力檢定多媒體教學暨檢測中心 中華民國多媒體英語文教學學會,數位學習成功實務案例分享,適性化測驗(IRT),傳統做法： 以圖文型式來呈現試題 利用紙筆測驗的方式來施測 網路測驗的做法： 可以用多媒體型式來呈現試題 利用電腦及網路系統來施測 試題之適性值 (難易度、鑑別度、猜測度) 是否一致？,適性值的差異研究,假設： 圖文型式試題和多媒體型式試題所要表達的觀念及原理都一樣，只是題目的呈現或表達方式不一樣。 不同試題的呈現方式之適性值 ( 難易度、鑑別度、猜測度 ) 是否一樣呢？,實驗流程,施測對象與環境(1),限於研究的人力物力與時間等因素，本研究的取樣對象僅為台北及新竹兩地學子，共計1000名。 以班級為單位分為兩大組，分組方式為隨機指派，若某國小該年段班級數為奇數，則有一班不參與研究。 多媒體試題施測環境 Server Windows 2000 Server SP4 Pentium 4 1.8G CPU、 512MB RAM 30GB HDD Client Windows 98 SE2 AMD K6-300 CPU、64MB RAM 6GB HDD,施測對象與環境(2),其中O1、O2、O3、O4 、 O5、O6表示學生起點能力，係以學生數學科月考成績為準，O7、O8、O9、O10 、O11、O12表示本研究測驗成績。,試題特徵曲線說明,-2.19,-1.75,-1.31,-0.87,-0.44,0.00,0.44,0.88,1.32,1.75,實驗結果試題的適性值例子,題號2,題號3,. . .,實驗結果(1)試題特徵曲線ICC,-2.19,-1.75,-1.31,-0.87,-0.44,0.00,0.44,0.88,1.32,1.75,實驗結果試題的適性值例子,題號18,題號22,實驗結果(1)試題特徵曲線ICC,-2.19,-1.75,-1.31,-0.87,-0.44,0.00,0.44,0.88,1.32,1.75,實驗結果(2)全體學生的成績T考驗,A組：互動多媒體試題組， B組：靜態圖文試題組 t=4.827，P.05，達到顯著水準，表示兩組學生平均成績有明顯的不同。 其中A組的平均成績為15.89 ，B組的平均成績為14.12， 表示A組的成績表現優於B組的成績表現。 換句話說，學生在互動多媒體試題的表現較佳。,實驗結果(3)高分組學生的成績T考驗,A組：互動多媒體試題組， B組：靜態圖文試題組 t=2.952，P.05，達到顯著水準，表示兩組學生平均成績有明顯的不同。 其中A組的平均成績為23.04 ，B組的平均成績為22.31， 兩組的平均分數差距為0.73 。,實驗結果(4)低分組學生的成績T考驗,A組：互動多媒體試題組， B組：靜態圖文試題組 t=12.423，P.05，達到顯著水準，表示兩組學生平均成績有明顯的不同。 其中A組的平均成績為10.16 ，B組的平均成績為6.10， 兩組的平均分數差異高達4.06。,實驗結果總結 (5),就整體平均成績而言，互動多媒體試題的成績優於靜態圖文試題。 針對高分組的學生而言，互動多媒體試題的成績仍優於靜態圖文試題，但兩組的差距較小。 針對低分組的學生而言，互動多媒體試題的成績優於靜態圖文試題，但兩組的差距較大。 研究結果顯示，互動多媒體試題有效提升低分組學生的成績表現。,實驗結果推理,圖文型式的測驗方式 可能會把一些觀念已懂的學生視為不懂(實際上這些學生只是對圖文式的語意較不易了解) 只有圖文式測驗方式的公平性可能會受到考驗 =使用多媒體試題可以使測驗更公平合理,網路英檢VS.紙筆英檢(1),網路英檢 使用適性測驗 題目呈現方式使用多媒體試題呈現 在電腦及網路系統施測並使用電腦閱卷 (說及寫的測驗以人工閱卷) 紙