后设分析在教育研究上的应用-暨南大学课程教学与科技研究所课件

後設分析在教育研究上的應用:以創造性思考教學

之學習成效為例國立台灣師範大學教育系廖遠光後設分析在教育研究上的應用:以創造性思考教學

之學習成效為例引言Astudy,evenawell-designedonewithalargesamplesize,willbecomemoreusefulifitsresultsareexaminedinthecontextofothersinthefield(Kulik,J.A.,&Kulik,C.C.1989).引言Astudy,evenawell-de大綱後設分析的起源後設分析的意義後設分析的特色傳統文獻分析的缺失後設分析的種類後設分析的優點後設分析的批評後設分析的發展後設分析的步驟大綱後設分析的起源後設分析的優點後設分析（Meta-analysis）的起源後設分析的技術最早是運用於農業生產方面，其目的是為了探討兩個變項間的關係(Rosenthal,1991)。有系統的著手社會科學文獻的整理工作始於1950年代的美國心理學家Glass及其研究伙伴。1976年Glass將多年的研究成果以一個較為嚴謹的研究統整方式發表，並將此一方式命名為「Meta-analysis」後經Cooper(1984),HedgesandOlkin(1983;1985),Hunter,Schmidt,andJackson(1982),Jackson(1980),LightandPillemer(1982),andRosenthal(1976),等人大力倡導，使得各領域研究結果之整合方法更有系統、更明確也更具體化。後設分析（Meta-analysis）的起源後設分析的技術最後設分析的意義字面意義：研究的研究。「meta-analysis」的其它幾種譯名：統合分析、綜合分析。後設分析也是量化的文獻探討：研究者蒐集相同議題的研究，將各研究所發表之研究數據，重新以統計公式加以量化，運用計量分析技巧，將某領域現有的研究結果的數據整合為一。。後設分析也可提供新的研究方向後設分析可以透過對調節變項的分析，使研究者更加留意文獻不足之處，並進而尋找新的研究方向，有助於瞭解個別研究無法發現的趨勢。後設分析的意義字面意義：研究的研究。傳統文獻分析的缺失文獻的選擇易流於主觀，文獻評論者常依其主觀標準選擇文獻；對於研究結果有不同的主觀解釋，以致不同的文獻評論者所得到的結論往往是相衝突、相矛盾的；對研究發現可能產生錯誤的詮釋(misleadinginterpretations)；對於所收集的個別研究中持續出現的某些共同特性未能作深入的檢驗；未能探討中介變項與研究發現間的關係(Wolf1986)。傳統文獻分析的缺失文獻的選擇易流於主觀，文獻評論者常依其主觀後設分析之類型在一個研究議題下，以蒐集到的文獻作為樣本去推論該議題所有文獻中（含未收集到及尚未做的研究）特定變項間關係的可能性。PSYCHOMETRICMETA-ANALYSIS-HunterandSchmidt在一個研究議題下，以蒐集到的文獻作為母群體，探究特定變項間關係的結果。CLASSICORGLASSIANMETA-ANALYSIS-GeneGlassSTUDYEFFECTMETA-ANALYSIS–Kulik&Bangert-Drowns特別強調同質性的檢定TESTSOFHOMOGENEITY–Hedges&Olkin

後設分析之類型在一個研究議題下，以蒐集到的文獻作為樣本去推論後設分析之特色後設分析雖為量化之方法，卻也相當仰賴質性之詮釋後設分析主要是從大量的數據來組織和摘取訊息，並且利用統計的方式，來詮釋大部份研究的結果與訊息，然而卻也相當仰賴質性之詮釋。後設分析不因研究品質而對研究發現預做判定在描述性的文獻探討中，一些被認為在方法上有問題的研究（例如不良的設計、不佳的測量工具等），通常會被主觀地排除；在後設分析中，會紀錄每一項研究在方法上的缺失，並探討其與研究發現之間的關聯性。

後設分析試圖尋找一般性的結論不同於初探性研究中研究者對未知的變項做探測性的發現，或是如實驗設計般可以得到明確的因果關連。研究者並不希冀自後設分析的結果中得到驚人之發現或突破性結論，僅被動式的蒐集資料予以分析後找出共同結論（彭瓊慧，2002）。Glass、McGaw,&Smith（1981）

後設分析之特色後設分析雖為量化之方法，卻也相當仰賴質性之詮後設分析的優點Abrami,&Bernard(2006)歸納其他學者的意見列出後設分析的優點如下：回答了關於效果值(effectsize)的問題;有系統地探索了效果值中變異的來源;將重心放在研究的比較而不是聚焦在一個個別的研究，因此能有效控制研究的內在效度；因為目的是統整一大群的個別研究，因此研究結果具外在效度或推論性；當大量的個別研究被分析時，後設分析增進了統計力(statisticalpower)；後設分析的優點Abrami,&Bernard(200後設分析的優點每一效果值的權重是根據研究的樣本大小，因此大樣本的研究可獲得較高的權重；當後設分析更新時，可以加入新出版的個別研究，也可刪除原先不適用的研究而獲得更具時效的結果；當個別研究的整合產出研究可能的新方向時，研究者可以在未來的分析中增加新的研究變項；為了一些特殊目的，可以針對部分所收集的資料作多次的分析（例如：關於軍事方面的研究、遠距學習中同步、非同步的研究等）；允許對什麼是我們已經知道的、什麼是我們不知道的以及什麼是我們需要知道的作評論。後設分析的優點每一效果值的權重是根據研究的樣本大小，因此大樣後設分析的批評蘋果和橘子的問題（theapplesandorangesproblem）研究品質異質性問題（heterogeneityofquality）

獨立性問題（problemofindependences）抽樣偏差與文屜的問題（samplebiasandfiledrawerproblem）(Cook&Campbell,1979;Glassetal.,1981;Hunter,&Schmidt,2004;Jackson,1983;Wolf,1986;Wortman,1983)後設分析的批評蘋果和橘子的問題（theapplesan國外後設分析的發展時間（西元）19771978197919801981198219831984篇數246918325563資料來源：Hunter,J.E.,&Schmidt,F.L.(1990).

Methodsofmeta-analysis（p.40）.NewburyPark,California:Sage.國外後設分析的發展197719781979198019811國外後設分析的發展以”meta-analysis”為關鍵字或標題，在AcademicSearchComplete搜尋1980年到2010年共有7510篇文章發表；2001年到2010年共有6549篇發表；2006年到2010年共有4609篇發表；2010年一月至六月也有756篇發表。國外後設分析的發展以”meta-analysis”為關鍵字或國內後設分析研究現況中華民國期刊論文索引www系統自1993年至2010年9月，以「meta-analysis」為關鍵字查詢，共獲得129篇。全國博碩士論文索引自1993年至2009年12月，以「meta-analysis」為關鍵字查詢，共獲得97篇。以「元分析」為關鍵字自中國期刊全文數據庫搜尋自1982至2010共獲得676篇。研究主題包括醫學、藥學、工業管理、犯罪、教育等。個人已發表之後設分析國內後設分析研究現況中華民國期刊論文索引www系統自1993有關數位學習的後設分析EvaluationofEvidence-BasedPracticesinOnlineLearning:AMeta-AnalysisandReviewofOnlineLearningStudies,2009Technology’seffectonachievementinhighereducation:aStageImeta-analysisofclassroomapplications,2009有關數位學習的後設分析EvaluationofEvide有關數位學習的後設分析Liao,Y.C.&Hao,Y(2008)Largescalestudiesandquantitativemethods.InJokeVoogt&GeraldKnezek(Eds.)Internationalhandbookofinformationtechnologyinprimaryandsecondaryeducation(pp.1019-1035).Norwell,MA:Springer.直至2006年止，CAI有30篇，DE有14篇有關數位學習的後設分析Liao,Y.C.&Hao,後設分析的步驟確定研究主題蒐集相關文獻與研究報告建立研究報告選用之標準篩選符合標準之研究報告檢驗出版偏差設定研究變項，並發展登錄表格資料編碼與登錄計算每一篇研究報告的效果值(EffectSize,ES)同質性檢定(homogeneitytest)撰寫研究結果後設分析的步驟確定研究主題1.確定研究主題我國創造性思考教學學習成效之後設分析（國科會專題研究計劃，計劃編號NSC97-2410-H-003-031

部分成果）

1.確定研究主題我國創造性思考教學學習成效之後設分析（國2.蒐集相關文獻與研究報告資料來源中華民國期刊論文索引國家圖書館博碩士論文資訊網國家科學委員會補助之研究計畫EducationalResourcesInformationCenter,ERIC美加地區博碩士學位論文相關研究報告所附之參考文獻2.蒐集相關文獻與研究報告資料來源3.建立研究報告採用之標準建立研究報告採用之標準研究主題必須是有關國內創造性思考教學學習成效之實徵研究。研究型態必須是真實驗研究、準實驗研究或前實驗研究設計。研究的樣本必須是國人。研究結果必須提供足夠之數據，如(1)實驗組及控制組之平均數、標準差及樣本大小，或(2)Ｆ值及樣本大小或(3)t值及樣本大小。3.建立研究報告採用之標準建立研究報告採用之標準4.篩選可用之研究報告研究者以「創造思考

」為關鍵字，自國內「期刊論文索引」搜尋，共發現395篇論文，再自「博碩士論文索引」搜尋，又發現138篇論文；而國科會的歷年研究計畫亦發現有56篇論文。若單就實徵研究來看，則三個索引資料庫中也有超過126篇的研究。將所收集到之研究報告依據選用標準篩選後，共有96篇符合本後設分析的條件，其中探討學生學業成就者計39篇，探討學生學習態度者共46篇，探討學生高層次思考能力者計90篇。。4.篩選可用之研究報告研究者以「創造思考」為關鍵字，自國5.檢驗出版偏差本研究應用Rosenthal(1991)所建議之計算Fail-safeNumber的方法來檢驗出版偏差。Fail-safeNumber指的是到底要加上多少未達顯著性、未出版或未尋獲的研究到後設分析才會導致該後設分析的結果從顯著變成不顯著。而Tolerancelevel為評估結果不顯著的研究發生的可能性。如果Fail-safeNumber大於Tolerancelevel表示未達顯著性、未出版或未尋獲的研究的問題不會影響到後設分析的結果。5.檢驗出版偏差本研究應用Rosenthal(1991)5.檢驗出版偏差計算的公式為Fail-safeNumber=19s-n其中s為後設分析中達0.5顯著水準的研究篇數，n為後設分析中未達0.5顯著水準的研究篇數Tolerancelevel=5k+10其中k為後設分析中所有研究的篇數。5.檢驗出版偏差計算的公式為5.檢驗出版偏差本研究經套用公式計算後Fail-safeNumber=884.5,而Tolerancelevel=160，Fail-safeNumber大於Tolerancelevel，表示未達顯著性、未出版或未尋獲的研究的問題不會影響到後設分析的結果。5.檢驗出版偏差本研究經套用公式計算後Fail-safe6.設定調節變項，並發展登錄表格後設分析的結果通常包含兩部分：一為描述性之統計，一為推論性之統計。後者即是在觀察是否有某些「因素」會影響整體研究的結果。調節變項登錄表格範例6.設定調節變項，並發展登錄表格後設分析的結果通常包含兩7.資料編碼與登錄符合標準的研究報告，經閱讀、分析之後，將每一篇的內容依據設定之調節變項，編碼於登錄表格之中。「編碼者的信度」在後設分析中受到相當重視，為降低個人主觀因素之影響，以提高編碼的可信度，每一篇研究報告必須經過至少兩位編碼者進行編碼，並於編碼登錄後，檢核兩者編碼結果的一致性。本後設分析編碼登錄的工作，是由兩位研究者擔任，兩人編碼之一致性達80%以上。兩位編碼者須針對編碼相異之處進行討論以達成共識。7.資料編碼與登錄符合標準的研究報告，經閱讀、分析之後，8.計算每一篇研究報告的ES學習成果：實驗結束後，學生表現在各種測驗工具的分數。為了統合這些來自不同研究報告與不同測驗工具的學習成果，必須『標準化』標準化的公式：『效果值』（effectsize）。也就是將實驗組與對照組之間平均數的差，除以整體樣本或控制組之標準差。未提供兩組平均數或標準差的研究報告，則採用F值或t值的公式。8.計算每一篇研究報告的ES學習成果：實驗結束後，學生表現8.計算每一篇研究報告的效果值Glass的公式ES=（Xe－Xc）/SDc8.計算每一篇研究報告的效果值Glass的公式8.計算每一篇研究報告的效果值Hedges和Oklin(1985)的公式其中X1為實驗組之平均數，X2為對照組之平均數s為包含實驗組與對照組之所有樣本的標準差8.計算每一篇研究報告的效果值Hedges和Oklin(8.計算每一篇研究報告的效果值Hedges和Oklin(1985)發現他所提出的公式在小樣本的研究中會出現偏誤，因此又提出了一個調整偏誤的公式

N=n1+n28.計算每一篇研究報告的效果值Hedges和Oklin(8.計算每一篇研究報告的效果值若研究僅提供F或t值及實驗組與對照組的樣本大小，而未提供平均數或標準差，以致上述的公式無法用來計算ES時，其它轉換公式如下8.計算每一篇研究報告的效果值若研究僅提供F或t值及實驗組9.同質性檢定(homogeneitytest)

同質性檢定的目的：為了檢驗從收集到的研究所測得之ES是否在相同的構念下，亦即各研究間所顯示的差異源自同一母群體的抽樣誤差。若同質性檢定的結果未達顯著即表示可直接將這些效果值合併以求得平均ES值，與計算效果值95%的信賴區間以進行ES的顯著性考驗。若同質性檢定結果達顯著，即表示這些研究並非估計相同的母數，或許有其它調節變項影響了整體成效（即平均ES），需進一步分析可能影響整體成效變異的因素。9.同質性檢定(homogeneitytest)同質9.同質性檢定(homogeneitytest)同質性檢定的公式如下：9.同質性檢定(homogeneitytest)同質性9.同質性檢定(homogeneitytest)若同質性檢定達顯著性差異，且調節變項為類別變項，則可採用類似單因子變異數分析(ANOVA)的方法來檢定哪些調節變項對整體成效有顯著影響。詳細之公式如下:Qj=其中wesj為每一研究之變異數之倒數乘以每一研究之ES；wessqj為每一研究之變異數之倒數乘以每一研究之ES後再開平方。9.同質性檢定(homogeneitytest)若同質9.同質性檢定(homogeneitytest)

Qw=Qb=Qt–Qw其中Qw(Qwithin)為組內之變異數指標，Qt(Qtotal)為整體變異數，Qb

(Qbetween)為組間之變異數指標。若某一調節變項之Qb達顯著性差異，表示該調節變項對整體效果值有顯著影響。9.同質性檢定(homogeneitytest)Glass的統計分析為討論本研究各變項與研究效果大小間的關係，每一變項將被當作是一自變項，而以研究效果大小值作為依變項以進行單變項變異數分析（ANOVA）檢驗各變項之效果大小之差異性。如果蒐集的研究篇數足夠也可進行多重變項之變異數分析(如：2-wayANOVAor3-wayANOVA)以探討多重變項間之交互作用。Glass的統計分析10.研究結果的詮釋描述性統計整體研究結果平均數標準差95%CI

推論統計調節變項與整體研究結果之關係10.研究結果的詮釋描述性統計描述性統計（學業成就）在39篇探討學業成就的研究中，有33篇（85%）之ES為正數；僅有6篇（佔15%）之ES為負數。從ES值的計算公式可以得知：當ES值為正數時，表示實驗組優於對照組；當ES值為負數時，表示對照組優於實驗組。全部研究之ES值分布範圍為-2.161至3.75。ES總平均值為+0.332，95%信心區間為0.2642~0.3994（不包含0），顯示創造性思考教學顯著的優於傳統教學。描述性統計（學業成就）在39篇探討學業成就的研究中，有33篇描述性統計（學業成就）整體而言，創造性思考教學在學生學業成就的整體ES為正向的中低效果（ES=0.332），表示創造性思考教學在提升學生學業成就的成效上雖僅有中低效果但顯著的優於傳統教學。根據Cohen（1977）對於後設分析ES值之界定：當ES值為0.2左右時，其效果代表「微量」（small）；當ES值為0.5左右時，其效果代表「中度」（medium）；當效ES為0.8左右時，其效果代表「強烈」（large）。描述性統計（學業成就）整體而言，創造性思考教學在學生學業成就推論統計在調節變項的分析方面，Q-Statistics的分析結果顯示在13個變項中有8個變項達顯著性差異。推論統計在調節變項的分析方面，Q-Statistics的分析後設分析專用軟體MetaWinComprehensiveMeta-Analysis(CMA)後設分析專用軟體MetaWin結論Bangert-Drowns曾說道：「後設分析並不只是一股熱潮，而是建基於科學的基本價值：可複製性（replicability）、可測量性（quantification）、以及因果關係（causalandcorrelational）。重要的資訊沒有必要分散在個別的研究當中。社會學家對於基本問題的推論答案是如此地重視，以致於我們無法輕乎整合研究的重要性。後設分析方法具有許多潛在的優點。」（引自Hunter&Schmidt,1990）結論Bangert-Drowns曾說道：「後設分析並不只是一ReferencesBangert-Drowns,R.L.(1986).Reviewofdevelopmentsinmeta-analyticmethods.PsychologicalBulletin,99,388-399.Glass,G.V,McGaw,B.,&M.L.Smith(1981).Meta-analysisinsocialresearch.BeverlyHills,CA:Sage.Hunter,J.E.,&F.L.Schmidt(1990).Methodsofmeta-analysis.NewburyPark,CA:Sage.Kulik,J.A.,&C.-L.C.Kulik(1989).Meta-analysisineducation.InternationalJournalofEducationalResearch,13,221-340.補充資料ReferencesBangert-Drowns,R.L.敬請指教敬請指教後設分析在教育研究上的應用:以創造性思考教學

之學習成效為例國立台灣師範大學教育系廖遠光後設分析在教育研究上的應用:以創造性思考教學

之學習成效為例引言Astudy,evenawell-designedonewithalargesamplesize,willbecomemoreusefulifitsresultsareexaminedinthecontextofothersinthefield(Kulik,J.A.,&Kulik,C.C.1989).引言Astudy,evenawell-de大綱後設分析的起源後設分析的意義後設分析的特色傳統文獻分析的缺失後設分析的種類後設分析的優點後設分析的批評後設分析的發展後設分析的步驟大綱後設分析的起源後設分析的優點後設分析（Meta-analysis）的起源後設分析的技術最早是運用於農業生產方面，其目的是為了探討兩個變項間的關係(Rosenthal,1991)。有系統的著手社會科學文獻的整理工作始於1950年代的美國心理學家Glass及其研究伙伴。1976年Glass將多年的研究成果以一個較為嚴謹的研究統整方式發表，並將此一方式命名為「Meta-analysis」後經Cooper(1984),HedgesandOlkin(1983;1985),Hunter,Schmidt,andJackson(1982),Jackson(1980),LightandPillemer(1982),andRosenthal(1976),等人大力倡導，使得各領域研究結果之整合方法更有系統、更明確也更具體化。後設分析（Meta-analysis）的起源後設分析的技術最後設分析的意義字面意義：研究的研究。「meta-analysis」的其它幾種譯名：統合分析、綜合分析。後設分析也是量化的文獻探討：研究者蒐集相同議題的研究，將各研究所發表之研究數據，重新以統計公式加以量化，運用計量分析技巧，將某領域現有的研究結果的數據整合為一。。後設分析也可提供新的研究方向後設分析可以透過對調節變項的分析，使研究者更加留意文獻不足之處，並進而尋找新的研究方向，有助於瞭解個別研究無法發現的趨勢。後設分析的意義字面意義：研究的研究。傳統文獻分析的缺失文獻的選擇易流於主觀，文獻評論者常依其主觀標準選擇文獻；對於研究結果有不同的主觀解釋，以致不同的文獻評論者所得到的結論往往是相衝突、相矛盾的；對研究發現可能產生錯誤的詮釋(misleadinginterpretations)；對於所收集的個別研究中持續出現的某些共同特性未能作深入的檢驗；未能探討中介變項與研究發現間的關係(Wolf1986)。傳統文獻分析的缺失文獻的選擇易流於主觀，文獻評論者常依其主觀後設分析之類型在一個研究議題下，以蒐集到的文獻作為樣本去推論該議題所有文獻中（含未收集到及尚未做的研究）特定變項間關係的可能性。PSYCHOMETRICMETA-ANALYSIS-HunterandSchmidt在一個研究議題下，以蒐集到的文獻作為母群體，探究特定變項間關係的結果。CLASSICORGLASSIANMETA-ANALYSIS-GeneGlassSTUDYEFFECTMETA-ANALYSIS–Kulik&Bangert-Drowns特別強調同質性的檢定TESTSOFHOMOGENEITY–Hedges&Olkin

後設分析之類型在一個研究議題下，以蒐集到的文獻作為樣本去推論後設分析之特色後設分析雖為量化之方法，卻也相當仰賴質性之詮釋後設分析主要是從大量的數據來組織和摘取訊息，並且利用統計的方式，來詮釋大部份研究的結果與訊息，然而卻也相當仰賴質性之詮釋。後設分析不因研究品質而對研究發現預做判定在描述性的文獻探討中，一些被認為在方法上有問題的研究（例如不良的設計、不佳的測量工具等），通常會被主觀地排除；在後設分析中，會紀錄每一項研究在方法上的缺失，並探討其與研究發現之間的關聯性。

後設分析試圖尋找一般性的結論不同於初探性研究中研究者對未知的變項做探測性的發現，或是如實驗設計般可以得到明確的因果關連。研究者並不希冀自後設分析的結果中得到驚人之發現或突破性結論，僅被動式的蒐集資料予以分析後找出共同結論（彭瓊慧，2002）。Glass、McGaw,&Smith（1981）

後設分析之特色後設分析雖為量化之方法，卻也相當仰賴質性之詮後設分析的優點Abrami,&Bernard(2006)歸納其他學者的意見列出後設分析的優點如下：回答了關於效果值(effectsize)的問題;有系統地探索了效果值中變異的來源;將重心放在研究的比較而不是聚焦在一個個別的研究，因此能有效控制研究的內在效度；因為目的是統整一大群的個別研究，因此研究結果具外在效度或推論性；當大量的個別研究被分析時，後設分析增進了統計力(statisticalpower)；後設分析的優點Abrami,&Bernard(200後設分析的優點每一效果值的權重是根據研究的樣本大小，因此大樣本的研究可獲得較高的權重；當後設分析更新時，可以加入新出版的個別研究，也可刪除原先不適用的研究而獲得更具時效的結果；當個別研究的整合產出研究可能的新方向時，研究者可以在未來的分析中增加新的研究變項；為了一些特殊目的，可以針對部分所收集的資料作多次的分析（例如：關於軍事方面的研究、遠距學習中同步、非同步的研究等）；允許對什麼是我們已經知道的、什麼是我們不知道的以及什麼是我們需要知道的作評論。後設分析的優點每一效果值的權重是根據研究的樣本大小，因此大樣後設分析的批評蘋果和橘子的問題（theapplesandorangesproblem）研究品質異質性問題（heterogeneityofquality）

獨立性問題（problemofindependences）抽樣偏差與文屜的問題（samplebiasandfiledrawerproblem）(Cook&Campbell,1979;Glassetal.,1981;Hunter,&Schmidt,2004;Jackson,1983;Wolf,1986;Wortman,1983)後設分析的批評蘋果和橘子的問題（theapplesan國外後設分析的發展時間（西元）19771978197919801981198219831984篇數246918325563資料來源：Hunter,J.E.,&Schmidt,F.L.(1990).

Methodsofmeta-analysis（p.40）.NewburyPark,California:Sage.國外後設分析的發展197719781979198019811國外後設分析的發展以”meta-analysis”為關鍵字或標題，在AcademicSearchComplete搜尋1980年到2010年共有7510篇文章發表；2001年到2010年共有6549篇發表；2006年到2010年共有4609篇發表；2010年一月至六月也有756篇發表。國外後設分析的發展以”meta-analysis”為關鍵字或國內後設分析研究現況中華民國期刊論文索引www系統自1993年至2010年9月，以「meta-analysis」為關鍵字查詢，共獲得129篇。全國博碩士論文索引自1993年至2009年12月，以「meta-analysis」為關鍵字查詢，共獲得97篇。以「元分析」為關鍵字自中國期刊全文數據庫搜尋自1982至2010共獲得676篇。研究主題包括醫學、藥學、工業管理、犯罪、教育等。個人已發表之後設分析國內後設分析研究現況中華民國期刊論文索引www系統自1993有關數位學習的後設分析EvaluationofEvidence-BasedPracticesinOnlineLearning:AMeta-AnalysisandReviewofOnlineLearningStudies,2009Technology’seffectonachievementinhighereducation:aStageImeta-analysisofclassroomapplications,2009有關數位學習的後設分析EvaluationofEvide有關數位學習的後設分析Liao,Y.C.&Hao,Y(2008)Largescalestudiesandquantitativemethods.InJokeVoogt&GeraldKnezek(Eds.)Internationalhandbookofinformationtechnologyinprimaryandsecondaryeducation(pp.1019-1035).Norwell,MA:Springer.直至2006年止，CAI有30篇，DE有14篇有關數位學習的後設分析Liao,Y.C.&Hao,後設分析的步驟確定研究主題蒐集相關文獻與研究報告建立研究報告選用之標準篩選符合標準之研究報告檢驗出版偏差設定研究變項，並發展登錄表格資料編碼與登錄計算每一篇研究報告的效果值(EffectSize,ES)同質性檢定(homogeneitytest)撰寫研究結果後設分析的步驟確定研究主題1.確定研究主題我國創造性思考教學學習成效之後設分析（國科會專題研究計劃，計劃編號NSC97-2410-H-003-031

部分成果）

1.確定研究主題我國創造性思考教學學習成效之後設分析（國2.蒐集相關文獻與研究報告資料來源中華民國期刊論文索引國家圖書館博碩士論文資訊網國家科學委員會補助之研究計畫EducationalResourcesInformationCenter,ERIC美加地區博碩士學位論文相關研究報告所附之參考文獻2.蒐集相關文獻與研究報告資料來源3.建立研究報告採用之標準建立研究報告採用之標準研究主題必須是有關國內創造性思考教學學習成效之實徵研究。研究型態必須是真實驗研究、準實驗研究或前實驗研究設計。研究的樣本必須是國人。研究結果必須提供足夠之數據，如(1)實驗組及控制組之平均數、標準差及樣本大小，或(2)Ｆ值及樣本大小或(3)t值及樣本大小。3.建立研究報告採用之標準建立研究報告採用之標準4.篩選可用之研究報告研究者以「創造思考

」為關鍵字，自國內「期刊論文索引」搜尋，共發現395篇論文，再自「博碩士論文索引」搜尋，又發現138篇論文；而國科會的歷年研究計畫亦發現有56篇論文。若單就實徵研究來看，則三個索引資料庫中也有超過126篇的研究。將所收集到之研究報告依據選用標準篩選後，共有96篇符合本後設分析的條件，其中探討學生學業成就者計39篇，探討學生學習態度者共46篇，探討學生高層次思考能力者計90篇。。4.篩選可用之研究報告研究者以「創造思考」為關鍵字，自國5.檢驗出版偏差本研究應用Rosenthal(1991)所建議之計算Fail-safeNumber的方法來檢驗出版偏差。Fail-safeNumber指的是到底要加上多少未達顯著性、未出版或未尋獲的研究到後設分析才會導致該後設分析的結果從顯著變成不顯著。而Tolerancelevel為評估結果不顯著的研究發生的可能性。如果Fail-safeNumber大於Tolerancelevel表示未達顯著性、未出版或未尋獲的研究的問題不會影響到後設分析的結果。5.檢驗出版偏差本研究應用Rosenthal(1991)5.檢驗出版偏差計算的公式為Fail-safeNumber=19s-n其中s為後設分析中達0.5顯著水準的研究篇數，n為後設分析中未達0.5顯著水準的研究篇數Tolerancelevel=5k+10其中k為後設分析中所有研究的篇數。5.檢驗出版偏差計算的公式為5.檢驗出版偏差本研究經套用公式計算後Fail-safeNumber=884.5,而Tolerancelevel=160，Fail-safeNumber大於Tolerancelevel，表示未達顯著性、未出版或未尋獲的研究的問題不會影響到後設分析的結果。5.檢驗出版偏差本研究經套用公式計算後Fail-safe6.設定調節變項，並發展登錄表格後設分析的結果通常包含兩部分：一為描述性之統計，一為推論性之統計。後者即是在觀察是否有某些「因素」會影響整體研究的結果。調節變項登錄表格範例6.設定調節變項，並發展登錄表格後設分析的結果通常包含兩7.資料編碼與登錄符合標準的研究報告，經閱讀、分析之後，將每一篇的內容依據設定之調節變項，編碼於登錄表格之中。「編碼者的信度」在後設分析中受到相當重視，為降低個人主觀因素之影響，以提高編碼的可信度，每一篇研究報告必須經過至少兩位編碼者進行編碼，並於編碼登錄後，檢核兩者編碼結果的一致性。本後設分析編碼登錄的工作，是由兩位研究者擔任，兩人編碼之一致性達80%以上。兩位編碼者須針對編碼相異之處進行討論以達成共識。7.資料編碼與登錄符合標準的研究報告，經閱讀、分析之後，8.計算每一篇研究報告的ES學習成果：實驗結束後，學生表現在各種測驗工具的分數。為了統合這些來自不同研究報告與不同測驗工具的學習成果，必須『標準化』標準化的公式：『效果值』（effectsize）。也就是將實驗組與對照組之間平均數的差，除以整體樣本或控制組之標準差。未提供兩組平均數或標準差的研究報告，則採用F值或t值的公式。8.計算每一篇研究報告的ES學習成果：實驗結束後，學生表現8.計算每一篇研究報告的效果值Glass的公式ES=（Xe－Xc）/SDc8.計算每一篇研究報告的效果值Glass的公式8.計算每一篇研究報告的效果值Hedges和Oklin(1985)的公式其中X1為實驗組之平均數，X2為對照組之平均數s為包含實驗組與對照組之所有樣本的標準差8.計算每一篇研究報告的效果值Hedges和Oklin(8.計算每一篇研究報告的效果值Hedges和Oklin(1985)發現他所提出的公式在小樣本的研究中會出現偏誤，因此又提出了一個調整偏誤的公式

N=n1+n28.計算每一篇研究報告的效果值Hedges和Oklin(8.計算每一篇研究報告的效果值若研究僅提供F或t值及實驗組與對照組的樣本大小，而未提供平均數或標準差，以致上述的公式無法用來計算ES時，其它轉換公式如下8.計算每一篇研究報告的效果值若研究僅提供F或t值及實驗組9.同質性檢定(homogeneitytest)

同質性檢定的目的：為了檢驗從收集到的研究所測得之ES是否在相同的構念下，亦即各研究間所顯示的差異源自同一母群體的抽樣誤差。若同質性檢定的結果未達顯著即表示可直接將這些效果值合併以求得平均ES值，與計算效果值95%的信賴區間以進行ES的顯著性考驗。若同質性檢定結果達顯著，即表示這些研究並非估計相同的母數，或許有其它調節變項影響了整體成效（即平均ES），需進一步分析可能影響整體成效變異的因素。9.同質性檢定(homogeneitytest)同質9.同質性檢定(homogeneitytest)同質性檢定的公式如下：9.同質性檢定(homogeneitytest)同質性9.同質性檢定(homogeneitytest)若同質性檢定達顯著性差異，且調節變項為類別變項，則可採用類似單因子變異數分析(ANOVA)的方法來檢定哪些調節變項對整體成效有顯著影響。詳細之公式如下:Qj=其中wesj為每一研究之變異數之倒數乘以每一研究之ES；wessqj為每一研究之變異數之倒數乘以每一研究之ES後再開平方。9.同質性檢定(homogeneitytest)若同質9.同質性檢定(homogeneitytest)

Qw=Qb=Qt–Qw其中Qw(Qwithin)為組內之變異數指標，Q