教学评量的设计与分析课件

1、科學教學的形成性評量任宗浩 副研究員國立台灣師範大學科學教育中心什麼是教學評量？傳統上根據透過有系統的方法所蒐集的教、學相關資訊，利用科學的方法對學生的學習或老師的教學進行推論。蒐集甚麼資訊？如何蒐集？何時進行蒐集？頻率為何？如何分析與解讀所獲得的資訊？另類評量概念動態評量(Dynamic Assessment)檔案評量(Portfolio Assessment)真實評量(Authentic Assessment)實作評量(Performance Assessment)蒐集甚麼資訊？課程目標教學評量診斷性、形成性與總結性評鑑的異同項目評鑑的目的診斷性(Diagnostic)形成性(Format

2、ive)總結性(Summative)功能(Function)教學前的定位判斷學生是否具備先備技能決定學生對先備能力的精熟度針對不同的特質(學習風格)將學生分類判斷學生重複出現的學習困難的原因在單元學習的過程中，對學生和教師本身提供回饋利用單元的結構指出學生的錯誤的地方(或是迷思概念)，以利明確指出對補救教學的目標在學期結束或課程結束時，對學生的學習進行認證或是評等。診斷性、形成性與總結性評鑑的異同項目評鑑的目的診斷性(Diagnostic)形成性(Formative)總結性(Summative)時間(Time)單元教學、學期或學年開始時在教學過程中，當學生顯示重複顯示無法勝任正常教學所交代的任

3、務時教學過程中單元、學期或課程結束時強調點(Emphasis in evaluation)認知的、情意的、心理操作的行為物理的、心理的和環境的因素認知行為通常是認知的。視科目而定，有時是心理操作的，有時也可能是是情意的表現。診斷性、形成性與總結性評鑑的異同項目評鑑的目的診斷性(Diagnostic)形成性(Formative)總結性(Summative)工具形式(Types of instrumentation) 用來做為前測的形成性或總結性評量工具標準化的成就測驗標準化的診斷測驗觀察和檢核表特別設計的形成性評量工具期終或總結性的考試診斷性、形成性與總結性評鑑的異同項目評鑑的目的診斷性(Dia

4、gnostic)形成性(Formative)總結性(Summative)如何選取評量的目標(How objectives of evaluation are samples)針對先備能力或行為的特定抽樣針對課程目標進行加權的抽樣針對已知與某種(些)特別的教學方式有關的學生特質或變項進行抽樣。針對生理的、心理的或環境的相關行為或變項進行抽樣針對學習單元的階層性結構目標(tasks)進行特定的抽樣針對課程目標進行加權的抽樣工具難度(Item difficulty)對先備的技能或能力進行診斷：大多是較簡單的題目，通過率通常高於65%無法事前掌握適中的難度，大部分的試題通過率介於35%到70%，加上少

5、數非常簡單和非常難的試題。診斷性、形成性與總結性評鑑的異同項目評鑑的目的診斷性(Diagnostic)形成性(Formative)總結性(Summative)評分標準(Scoring)常模和標準參照標準參照通常是常模參照，但也可能是標準參照報告分數的方法(Method of reporting scores)根據分項技能建立個別學生的檔案報告呈現個別學生在階層性目標(tasks)上通過或失敗的評量結果總分或分項目標的分數評量設計Step 1: 決定重要觀念(Big Ideas)Step 2: 設定(教學)學習目標並針對目標進行拆解(工作分析)Step 3: 透過不同層級的評量實務(Practi

6、ces)定義出預期的學習表現(Learning Performance)Step 4: 設計適當的測驗機制(試題、計畫、作業等)什麼是重要觀念(Big Ideas) ？對一個學科或跨學科(甚至於跨學習階層)而言，具有相當的重要性對於世界的有效思考方式學習者可以透過其適當發展的認知能力以及對於現象或表徵的經驗來理解為了未來的學習建立基礎最終能有助於學生根據科學和科技進行個人、社會或是政治的決定可以包含內容和科學實務以科學探究活動中的證據和推理為例：是否對單一學科或跨學科都很重要？科學家思考事物的有效方式？是否是未來學習的基礎？科學探究活動中的證據和推理Step 1: 決定重要觀念科學假設如果能夠

7、引發豐富的科學研究，即使最後發現這些假設是錯的，它們對於科學的發展仍是扮演非常重要的角色能夠分辨科學論述中的推理所混淆的事實陳述和個人觀點陳述，並對其提出批判。Step 2: 設定教學目標並對目標進行拆解明訂學習標準(Standards)考慮學生的先備知識以及可能的各種可能的另類（迷思）觀點對標準進行詮釋將標準拆解成數個相關的(更小的)觀念釐清重點是否還需要更多的觀念與其他的學習標準聯結(參考Atlas Maps)如何分析與解讀所獲得的資訊？先確定所蒐集的資訊是有效的和可信的 效度 (Validity) & 信度 (Reliability) (活動二)依據評量的目的選擇適當的分析方法 形成性評

8、量 & 總結性評量設計一個測驗工具的目的想要發現些甚麼？想發現的資訊是有關於試題還是有關於人？一般而言，測量(measurement)的目的是想要探討人的潛在能力 (latent traits)。透過設計良好的工具(試題)可以幫助我們達到此一目的。測量的品質受測者知道些甚麼、能做甚麼樣的事情=我們需要確認幾件事我們的測量是精確的 (reliability);我們真的有測到想測的東西(validity);即使利用不同的測量工具還是可以獲得同樣的結果(invariance)理想測量的性質測量的分數是有意義的AnnBillCath這些學生能做些甚麼?即使利用不同的試題所測量出來的分數是相同的原始分數

9、的意義原始分數是否具有理想測量的特性很難解釋分數間差異的意義很難將試題的難度與人的分數關聯起來原始分數的意義- 20100%簡單測驗的分數較難測驗的分數100%AAABBBCCCD原始分數和試題的聯結25%50%70%90%?客觀的分數? ? ?90%70%50%25%個位數的加法測試作業的難度多步驟的整數運算應用問題 分數的運算試題反應理論(Item Response Theory, IRT)希望能透過IRT幫助我們建構出一個理想的測量如果受測學生們的答案符合Rasch model的預期，該測量最具有解釋力(構念效度)人的能力和試題的難度是透過同一量尺比較可建構出分數的意義學生的分數與測驗工

10、具無關IRT IRT 模型提供每個受試者答對個別題目的IRT 並非決定論，而是機率論只要給訂試題的難度和答題者的能力，就可以計算該受試者成功回答此一試題的機率建立模型試題反應曲線答對的機率低能力高能力1.00.00.5單參數模型(或稱為Rasch Model)試題難度- 1不同難度的試題反應曲線123不同難度的試題反應曲|VDifficultEasy學生能力的估計學生能力的估計學生能力的估計學生能力的估計學生能力的估計學生能力的估計學生與試題的比較個位數的加法測試作業的難度多步驟的整數運算應用問題 分數的運算對一個學生的能力定位12345簡單的除法學生能力| 試題難度 | 49 | 208 3

11、.0 | | | | 110 X | | X | 278 XX | 45 106 108 306 342 XXX | 158 230 308 X | XXXXX | 25 349 XXX | 69 | 2.0 XXXXXX | 148 256 XXXXXX | 52 124 167 XXX | 2 6 40 71 115 XXXXXXXXXX | 1 73 168 XXXX | 41 47 235 247 XXXXXXXX | 105 165 255 XXXXXX | 99 112 113 169 XXXXXXX | 48 54 81 260 269 312 332 XXX | 107 XX

12、| 5 22 288 330 XXX | 282 284 XXXXXXX | 18 166 177 183 1.0 XX | 12 16 63 83 119 185 220 226 289 317 XXX | 31 140 233 234 263 285 X | 35 43 302 316 X | 10 87 137 159 200 299 XX | 15 27 122 205 258 305 348 X | 111 216 261 272 324 | 42 59 61 79 117 162 198 202 203 323 343 X | 80 134 217 259 | 20 46 89 9

13、6 125 155 176 184 231 238 291 X | 11 60 92 94 100 133 139 144 147 150 175 182 197 | 28 33 180 201 257 300 304 318 322 325 | 57 84 141 151 161 206 243 273 313 321 328 340 0.0 | 30 38 76 145 242 295 297 | 3 39 66 67 74 101 123 244 265 311 | 17 103 228 240 267 310 346 | 44 128 199 215 227 248 對於學生能力敘述的

14、不變性利用相對於試題的難度來描述學生的能力如果所有的試題符合 Rasch model，表示所有的試題測到的相同的一種構念(能力當所有的試題反應曲線符合Rasch model時，受試者間的相對位置不會因為所受測的試題不同而有所改變(在誤差範圍內)考慮下面這種情形IRT 相關的統計檢定模型吻合指標(fit indices)告訴我們這些試題是否是測同一種能力利用試題特徵曲線(item characteristic curves,ICC) 圖可大致看出數據與模型的吻合程度比較下列兩個試題的ICCs比較符合模型較不符合模型預測形成性評量的實例說明以每一章或12週的授課內容測驗一次分析所有的教材建立明細表

15、決定哪些要測驗所有重要的部分均得測驗通常以80%到85%通過率為精熟由測驗結果指出學生的學習困難及原因(可能需要透過診斷性評量提供資訊)提供補救教學之意見形成性評量範例雙向細目表Modern Biology (Otto & Towle, 1965)A.2 專有名詞的知識A.1有關特定事實的知識A.6分類和類別的知識A.7方法學的知識A.8原理和定律的知識A.11遷移可穿透的(Permeable)藉由各種不同物質可穿透隔膜的程度(速率)分類物質物質的運動與大小、周圍的環境，在水中的溶解率有關差異地可穿透性(Differentially permeable)隔膜是由分子和介於分子之間無數的空隙所組

16、成的主動傳遞(Active transport)主動傳遞定律(Principle of active transport)滲透(Diffusion)滲透壓(Diffusion pressure)滲透受到下列因素的影響分子的濃度溫度壓力滲透定律(Law of diffusion)Interpretation of diagrams滲透作用 (Osmosis)細胞脹腫(Turgor)Turgor Pressure藉由可穿透地隔膜，水分可以滲透進細胞產生壓力細胞環境中提供充足的水分可以使得細胞腫脹壓得以維持可收縮的液泡(Contractile vacuole)當水分透過細胞膜滲透進入細胞時，減少水分

17、(Eliminate water through cell membrane as fast as it diffuses into cell)植物藉由細胞壁對抗細胞腫脹壓力，動物(沒有細胞壁)就由水份調節系統來調節壓力Interpretation of diagrams範例：形成性評量結構圖(化學單元)A. TermsB. FactsC. Rules and principlesD. ProcessesE. TranslationsF. Applications(1)(12)(2)(13)(3)(16)(22)(4)(19)(21)(28)(5)(11)(14)(23)(6)(15)(24)(7)(18)(25)(8)(20)(26)(9)(27)(10)(17)(29)範例：形成性評量結構圖(化學單元)A. TermsB. FactsC. Rules and principlesD. Processe