教训辅三合一之成效评估

1、教訓輔三合一之成效評估,國立台北科技大學技術及職業教育研究所 主講者：曾淑惠,2021/3/20,2,台北科大技職所曾淑惠,教訓輔三合一之成效評估,成效評估的 意涵與方法 (Part I,成效評估理念在 教訓輔三合一 實驗方案的運用 (Part II,實例與討論 (Part III,2021/3/20,3,台北科大技職所曾淑惠（PART I,評估(assessment)與評鑑(evaluation,評估與評鑑在學理上具有相同的意涵 Assessment與Evaluation兩個名詞常互用，學界對其區分未有明確的共識 評估與評鑑名詞的運用 慣用於不同領域或場合 評估通常較側重某一特定層面的衡量（

2、如需求評估、績效評估）；評鑑則較屬綜合、全方位的衡量,2021/3/20,4,台北科大技職所曾淑惠（PART I,成效評估,成效評估可定義為成效的評鑑或已（可）顯現效果的評鑑 成效評估通常屬總結性評鑑 成效評估可包括系統化的對投入、歷程、產出等結果的績效、效率、效能、效果、成本效益、影響等之衡量,2021/3/20,5,台北科大技職所曾淑惠（PART I,評估(鑑)時關注的方案運作焦點,方案,目標活動資源方法,成果 (各種效果,一致性,適切性 機會 衝擊與影響,效率,持久力,資料來源：UNESCO( no date,效能,成效評估,2021/3/20,6,台北科大技職所曾淑惠（PART I,成

3、效評估的具體問題,為何要成效評估（需求、效益、重要性等） 如何評估 評估資料的蒐集與處理 如何運用評估資料,成效評估應先建立評估規準（或稱評鑑標準、評鑑指標），規準主要為量化資訊，至於不足或綜合性部份再以質化資訊補充,2021/3/20,7,台北科大技職所曾淑惠（PART I,成效評估預先規劃,想要評估什麼,誰會使用評估成果？如何用,評估的目的為何？遵循那些原則,想要尋求答案的問題有那些,何種資訊可以回答問題,何種方法可以獲得及解釋所需資訊,需要那些資源,組織與制度？ 研習研討的效益？ 滿意度？ 投資報酬,目標達成？績效責任？成本效益？ 最少資源投入產生最大效益、效度與信度、方案評鑑標準、指標

4、建立原則、what else,教育部、教育局、學校、經費審議單位、what else? 展示成果、爭取經費、改進決策、增進績效責任、what else,質化？量化？ 現有？待蒐集,人力（誰來做？對象是？執行單位與配合單位？）？ 時間？ 經費？ 外部觀眾配合事項,2021/3/20,8,台北科大技職所曾淑惠（PART I,評估規準的建立原則,效用性(utility,方向性 一致性 系統性 獨立性 可測性 可接受性 完備性,教育方案 評鑑標準,指 標 系 統 建 立 原 則,效用性標準旨在確保評鑑提供有需要的使用者所需的資訊,可行性標準旨在確保評鑑的真實、謹慎、圓融、與簡約,適切性標準旨在確保評鑑

5、及其結果合法、合理，並符合評鑑參與者及受評鑑影響者的福祉,精確性標準旨在確保評鑑在技術上顯示並傳達受評對象特點的適當資訊，以決定受評方案的價值或優點,可行性(feasibility,適切性(propriety,精確性(accuracy,2021/3/20,9,台北科大技職所曾淑惠（PART I,成效評估（方案評鑑）可能的取向,管理 取向,專家 取向,消費者 取向,參與 取向,抗詰 取向,歷程 取向,目標 取向,結果 取向,決策者,歷程階段,以利用為焦點的評鑑,2021/3/20,10,台北科大技職所曾淑惠（PART I,可資參採的模式例-CIPP,資料來源：Stufflebeam(2003,2

6、021/3/20,11,台北科大技職所曾淑惠（PART I,可資參採的模式例-差距模式,數字1到5，代表評估的五階段（設計 、安置 、歷程 、成果 、方案比較 ）， S表標準；P表成就；C表比較；D表差距資訊 A表方案成就或標準的改變；T表結束 資料來源：Provus(1971,2021/3/20,12,台北科大技職所曾淑惠（PART I,可資參採的模式例-以利用為焦點模式,資料來源：Patton(2000,2021/3/20,13,台北科大技職所曾淑惠（PART I,可資參採的模式例-邏輯模式,處境,投入 時間 金錢 參與者 設備 設施,所做的事 工作坊 出版品 設備 示範 重大事件 的日子

7、,做到的事 對參與者 對消費者,產出,成果,短期 改變了 知識 技能 態度 動機 意識,長期 改變了 環境條件 社會條件 經濟條件 政治條件,中期 改變了 行為 實務 政策程序,外部影響力、環境、相關方案,資料來源：Taylor-Powell (1999,2021/3/20,14,台北科大技職所曾淑惠（PART I,可資參採的模式例-賦權增能評鑑模式,資料來源：Fetterman & Eiler (2001,2021/3/20,15,台北科大技職所曾淑惠（PART I,可資參採的模式例-四層次訓練評鑑模式,資料來源：轉引自曾淑惠，民93,2021/3/20,16,台北科大技職所曾淑惠（PART

8、 I,成效評估的資料蒐集方法,文件分析 觀察 訪談 問卷調查 測驗 評審或討論,檢核表 德懷術 焦點團體 專家會議 個案研究 etc,信度與效度是兩大關注重點,2021/3/20,17,台北科大技職所曾淑惠（PART I,成效評估的參與人員,內部 教師 學生 行政人員 行政主管,外部 家長 專家學者 企業雇主 教育行政主管機關人員,溝通參與、真誠對話,2021/3/20,18,台北科大技職所曾淑惠（PART II,建立學生輔導新體制實施計畫層級,教育部,臺北市政府教育局 高高國國 職中中小,甲 校,乙 校,丙 校,2021/3/20,19,台北科大技職所曾淑惠（PART II,建立學生輔導新體

9、制實施計畫內涵,教育局 依據 目標 督導與辦理單位及人員 期程、對象、新體制架構 重點工作 實施成效重點指標 預期效益 其他,各校（規格不同） 緣起、依據、背景環境或SWOT分析 目標、原則、策略 工作項目與行動步驟（重點措施、實施要項） 預期效益 其他,教育部(實驗方案) 目標 策略 方法 行動步驟,把握整合型計畫與子計畫間的 互動原則 與 涵蓋原則,2021/3/20,20,台北科大技職所曾淑惠（PART I,建立學生輔導新體制整合實驗方案目標,建立有效輔導體制 增進輔導組織功能 建立學校輔導網路 協助學生適性發展 培養學生健全人格,2021/3/20,21,台北科大技職所曾淑惠（PART

10、 II,實施計畫中評估規準的重要來源,目標 方法或重點工作（工作項目、重點措施） 實施成效重點指標 預期效益,方向性、一致性、系統性、獨立性 可測性、可接受性、完備性,2021/3/20,22,台北科大技職所曾淑惠（PART I,實驗方案的成效評估規準示例,系統規劃教師輔導學生職責與功能 增進教師有效教學措施，提升教學效能 彈性調整教訓輔組織 建構學校輔導網絡 計畫執行及考核評估,定位：教育局層級中高職整體 成效評估規準主要來源：臺北市九十三年度高職實驗方案實施計畫 採用評鑑模式：目標達成模式,2021/3/20,23,台北科大技職所曾淑惠（PART I,實驗方案的成效評估規準示例,量的成果

11、辦理推廣計畫說明會一場次 辦理主題輔導工作坊六場次 辦理聯合督導會議四場次 推動認輔制度(各校1/2教師參與) 辦理中介輔導營隊一梯次 辦理中介輔導專案 各校教師參加輔導知能基礎班研習累積完成率 各校教師參加輔導知能進階班研習累積完成率,質的成果 目標：激勵教師善盡教學及輔導職責，提升輔導品質與成效，藉由充份發揮教學與輔導效能，引導學生適性發展和健康成長 佐證資料：具體做法、配套措施、執行過程、成果實例或師生問卷調查結果的綜合性陳述,系統規劃教師輔導學生職責與功能,2021/3/20,24,台北科大技職所曾淑惠（PART I,實驗方案的成效評估採用模式示例,投入,成果,產出,歷程,投入,成果,

12、產出,歷程,應然面,實然面,差距判定與 改進策略,卓越標準,方案資料,2021/3/20,25,台北科大技職所曾淑惠（PART II,建立學生輔導新體制成效評估規劃的先期議題,評估層級：臺北市整體（教育局層級）VS.各校（學校層級） 目標：實施計畫目標VS.評估目標 策略：整體規劃個別實施VS.各自發展 評估計畫發展原則：上下相承、左右並進,2021/3/20,26,台北科大技職所曾淑惠（PART II,可採用策略與方法的評估,類似方案或計畫的做法 評估的目的、問題、範圍、觀眾與關係人 可用的資源（人力、財力、物力、時間） 可用、適用的評估取向、模式、方法、技術,2021/3/20,27,台北

13、科大技職所曾淑惠（PART II,成效評估（鑑）的程序,評鑑發起 (1,評鑑的 規劃 (2,評鑑倫理 (5,評鑑資料的蒐集 (6,後設評鑑(9,評鑑標準 (3,評鑑人員 (4,評鑑資料的分析(7,評鑑的報告與使用(8,2021/3/20,28,台北科大技職所曾淑惠（PART III,實例說明教訓輔三合一成效評估,國立暨台灣省私立高級中等學校九十一學年度建立學生輔導新體制教訓輔三合一整合實驗方案審查表 國立高師大附中 桃園縣慈文國民小學 苗栗縣大湖鄉大南國民小學,2021/3/20,29,台北科大技職所曾淑惠（PART III,實例說明九年一貫課程試辦成效評估,以部頒國民教育階段九年一貫課程試辦

14、要點中之目標為評估依據 以試辦期程應有的具體行動為指標設計基礎 試辦成效評估的範疇包括政策分析、學校評鑑與課程評鑑三領域 以系統分析模式為架構，試辦目標原則與行動為內涵，結合研究問題的性質與範圍，擬出評估指標體系,2021/3/20,30,台北科大技職所曾淑惠（PART III,實例說明訓練成效評估,以採用四層次訓練評鑑模式最多 評鑑層次：評鑑反應、評鑑學習、評鑑行為、評鑑結果 評鑑時機：訓練前、訓練中、訓練後工作前、訓練後工作中、持續工作中,2021/3/20,31,台北科大技職所曾淑惠（PART III,實例說明訓練成效評估(續,反應是在對消費者滿意度做單純且簡易的測量； 學習是在評鑑接受訓練的人員學習了那些； 行為是在檢驗所教授的技能是否被受訓學員實際採用； 結果則在確定所受的訓練是否在受訓學員工作崗位中產生了正向的效果(Kirkpatrick, 1996,2021/3/20,32,台北科大技職所曾淑惠（PART III,成效評估規劃的提議,討論