如何提高研究效度课件

如何提高研究效度花蓮師院科教所劉聖忠老師如何提高研究效度花蓮師院科教所1如何提高研究效度何謂「信度」「效度」？何謂「工具效度」？何謂「研究效度」？研究效度裡的內在效度和外在效度影響研究效度的一些因素如何提高研究效度何謂「信度」「效度」？2信度v.s.效度之1何謂「信度」？基本上，信度的定義不外乎「穩定度(stability)」、「一致性(consistency)」何謂「效度」？說白話一點，效度的定義就是「測到你想測的東西的程度」信度v.s.效度之1何謂「信度」？3信度v.s.效度之2信度高通常表示在研究的過程中所量得的data重複出現的機率高效度高通常表示結果(=data+explanation)重複出現的機率高所以…信度高的不一定效度高效度高的一定信度高信度v.s.效度之2信度高通常表示在研究的過程中所量得4信度v.s.效度之3信度高的不一定效度高效度高的一定信度高在口語的溝通上，我們常常以有沒有效度來代表效度的高低；因此…有信度不一定有效度有效度一定有信度信度v.s.效度之3信度高的不一定效度高5以效度為例前面所定義的信、效度通常指的是一般的定義。可是在研究的過程中，我們常常會碰到的效度問題卻有二個，一個稱之為「工具效度」，另外一個稱之為「研究效度」因為它們所處理、所可能面對的問題是不同的。因此，它們就應該有所區隔以效度為例前面所定義的信、效度通常指的是一般的定義。可是在研6工具效度之1在談這個問題之前，我們必須先釐清什麼是「工具」？工具通常意謂：在一個研究裡，為了測量被研究對象的某一特質(智力、學習成就等)，所使用的一種測量工具，通常稱之為問卷(questionnaire)通常它測的對象會是一個大的族群，例如600人或50人，很少小於25-30人工具效度之1在談這個問題之前，我們必須先釐清什麼是「工具」7工具效度之2「工具效度」=「工具」+「效度」一個測量工具測到它宣稱可以測到被研究對象的某一特質的程度例如要看一個「國小五年級自然科學習成就問卷」的工具效度就是要檢視其是否能忠實反映被研究對象的自然科學習成就工具效度高代表其測量結果和事實接近工具效度之2「工具效度」=「工具」+「效度」8研究效度之1前面提過所謂的工具效度是「一個測量工具測到它宣稱可以測到被研究對象的某一特質的程度」那所謂的研究效度就是「一個研究中的研究結果可以被複製的程度」研究效度高代表研究的結果被複製的程度高，也就是說研究結果的可信度高研究效度之1前面提過所謂的工具效度是「一個測量工具測到它宣9研究效度之2一個有研究效度的研究通常所使用的工具應該也是有效度的上面這句話在量化的研究中一定是對的，但在質性的研究裡應該成立卻不必然就是如此。(why?)研究效度之2一個有研究效度的研究通常所使用的工具應該也是有10研究效度之3量的研究：要有高研究效度的研究一定得使用有高的信效度的測量工具質的研究：使用具有高的信效度的測量工具一定有助於提昇研究的效度，但工具的信效度卻應該只是研究效度成立的一個重要考量，不必然是全部每一個同學請舉例或用你自己的話語解釋一遍給同組的同學聽研究效度之3量的研究：要有高研究效度的研究一定得使用有高的11研究效度之4研究結果的可信度高具有二層的含意…第一層，可能只代表研究者自己或別人在完全相同的(exactlythesame)研究過程中複製研究結果的程度第二層，才代表別的研究者在類推的族群中(generalizedpopulation)複製研究結果的程度研究效度之4研究結果的可信度高具有二層的含意…12內部效度v.s.外部效度之1在完全相同的研究過程中複製研究結果的程度指的是研究的「內部效度(internalvalidity)」在類推的族群中複製研究結果的程度指的是研究的「外部效度(externalvalidity)」內部效度v.s.外部效度之1在完全相同的研究過程中複製13討論問題請試著用自己的話語討論一下上面這二句話的含意請以「EffectsofIntegratedVideo…」為例討論問題14內部效度v.s.外部效度之2在這裡所謂的內部和外部效度都是在談研究效度，只是我們談的更細一點而已或者應該這麼說…如果我們想更進一步的了解研究效度，我們就不能不談內部效度和外部效度內部效度v.s.外部效度之2在這裡所謂的內部和外部效度15內部效度在教育的研究情境中，那來「完全相同的研究過程」！「完全相同」有那些要項是應該考量的樣本相同，或除研究特質之外的特質均相同相同的或相等的信效度的測量工具研究情境相同或雷同因果關係的成立內部效度在教育的研究情境中，那來「完全相同的研究過程」！16外部效度外部效度求的不過就是本次研究結果類推到母群體的複製程度，也可以說外部效度看的就是本研究的推論力「推論力」有那些要項是應該考量的樣本的代表性潛藏的變因高預測效度的測量工具外部效度外部效度求的不過就是本次研究結果類推到母群體的複製程17內部效度v.s.外部效度之3因此…如果一個研究要有高的外部效度的話，一定先要有高的內部效度有內部效度的研究不一定有外部效度有外部效度的研究一定有內部效度說穿了，沒有人會去做一個沒有推論力的研究！內部效度v.s.外部效度之3因此…18內部效度v.s.外部效度之4討論問題在討論如何提高研究效度的議題上，有沒有必要區隔內部效度和外部效度？有…，為什麼？沒有……，為什麼？內部效度v.s.外部效度之4討論問題19如何提高研究效度前面的上課中討論過

談如何提高研究效度就等同於討論

如何降低研究誤差如何提高研究效度前面的上課中討論過

談如何提高研究效度就等20如何降低研究誤差在此應該考量的是「如何降低，不是消除研究誤差」有幾個重要的方向要考慮在研究者方面(即variablecontrol)在研究對象方面(即sampling)研究工具的選用(即instrumentation)如何降低研究誤差在此應該考量的是「如何降低，不是消除研究誤差21如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以下的幾個重要項目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variablecontrol)多元資料檢證(triangulation)如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以22取樣之1主要的考量在於代表性(representativeness)和可行性(pratical)的問題理想上，代表性是唯一在取樣的過程中需要考慮的事但在現實中，可能可行性會折殺大部分的理想性如何在研究設計中平衡理想與現實是一個挑戰取樣之1主要的考量在於代表性(representative23取樣之2取樣的過程中，有以下的幾個問題要回答母群體為何(普查

v.s.樣本)取樣方法的簡介

(隨機取樣v.s.方便取樣v.s.立意取樣)樣本大小的決定(howbigisenough?)取樣誤差的控制(機誤v.s.常誤)取樣之2取樣的過程中，有以下的幾個問題要回答24取樣之3「樣本的代表性」應該考量的要項取樣的方法取樣的誤差樣本的數目分層取樣的分層依據為何自願樣本的問題取樣之3「樣本的代表性」應該考量的要項25取樣之4隨機取樣方法的簡介抽籤亂數表的使用等距取樣分層取樣(stratified)(等量v.s.比率取樣)叢集取樣(clustered)多階段叢集取樣隨機分派取樣之4隨機取樣方法的簡介26討論問題請以「EffectsofIntegratedVideo…」為例，說明它的選樣方法為何？又其代表性如何？討論問題27取樣之5「樣本大小」將影響研究結果的準確度一般而言，樣本愈大準確度愈大，樣本愈小準確度愈小根據統計學原理，準確度因樣本數的平方根而不同例如…原有25位樣本，若想使準確度增加一倍，必須增加樣本數為100。How?取樣之5「樣本大小」將影響研究結果的準確度28取樣之6真正影響準確度的是樣本的實質大小，不是樣本佔族群的百分比根據楊榮祥老師的文章，相關性研究通常至少要有30個樣本；在實驗研究裡，實驗組和控制組各至少需15個樣本；在調查研究中，則至少要有100個樣本詳細決定樣本大小的方法與考量，請參見楊老師文章的19-24頁取樣之6真正影響準確度的是樣本的實質大小，不是樣本佔族群的29取樣之7「取樣誤差」在此意指HistoryMaturationMemoryeffectStatisticalregressionSelectionExperimentalmortalitySelection-maturationinteraction取樣之7「取樣誤差」在此意指30如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以下的幾個重要項目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variablecontrol)多元資料檢證(triangulation)如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以31研究工具之1「研究工具(instrumentation)」在此應該考量的是Usetherightinstrument!(checkthemanual)Useinstrumentright!(checktheadministration)缺少信度的測量工具不可靠缺少效度的測量工具測非所測缺少常模(norm)的測量工具不易解釋沒有標準施測流程的測量工具容易衍生常誤研究工具之1「研究工具(instrumentation)」在32討論問題請以「EffectsofIntegratedVideo…」為例，討論「常模參照(norm-reference)」和

「效標參照(criterion-reference)」

之不同及其應用討論問題33研究工具之2一般常用的「信度(reliability)」種類重測信度(test-retestreliability)複本信度(parallel-formreliability)折半信度(split-halfreliability)內容一致性(即一般常用的

reliability)K-20信度K-21信度研究工具之2一般常用的「信度(reliability)」種類34研究工具之3一般常用的「效度(validity)」種類內容效度(contentvalidity)：

一般又稱為專家效度效標效度(criterionvalidity)：

concurrentvalidity

predictivevalidity構念效度研究工具之3一般常用的「效度(validity)」種類35研究工具之4Aikenhead對工具效度的研究結果顯示針對相同的一個研究而言，選用深度訪談(in-depthinterview)的效度最高半結構式訪談(semi-structuredinterview)次之經驗式發展的(empirical-developed)測驗工具再次之一般的問卷(questionnaire)末之研究工具之4Aikenhead對工具效度的研究結果顯示36如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以下的幾個重要項目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variablecontrol)多元資料檢證(triangulation)如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以37變因控制之1「因果關係的成立」在此應該考量的是重要變因的被忽略或不被考慮變因間的獨立性即混淆變數、中介變數的存在或其和自變項間的交互作用使研究結果的正確性大打折扣變因控制之1「因果關係的成立」在此應該考量的是38變因控制之2「潛藏的變因」應該考量的要項前測效應實驗組的自覺研究者的情結重複實驗的學習效果變因控制之2「潛藏的變因」應該考量的要項39變因控制之3「研究者情結」在此應該考量的是研究者的不自覺(teach-to-test)月暈效應變因控制之3「研究者情結」在此應該考量的是40變因控制之4「變因間的獨立性」請先以張美玉老師的文章為例，討論變因間的獨立性。此研究設計的問題在那裡？請以Effectsofvideo…的文章為例，討論變因間的獨立性。此研究設計的問題在那裡？你覺得那一個研究的變因控制做得比較周嚴

？理由，又該如何改善？變因控制之4「變因間的獨立性」41變因控制之4「研究情境的控制(context)」在此應該考量的是在研究過程中的不同時間，宜保持研究情境的恆常一致在研究過程中，除了變因之外，實驗組和控制組所得到的待遇應力求一致變因控制之4「研究情境的控制(context)」在此應該考量42如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以下的幾個重要項目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variablecontrol)多元資料檢證(triangulation)如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以43多元資料檢證之1請以Effectsofintegratedvideo…為例討論其多元資料檢證的設計，以及其獨到之處Triangulation在質性研究中佔有相當重要的地位與份量多元資料檢證之144多元資料檢證之2研究者情結的避免方式之一，就是多利用多元資料檢證。Why?多元資料檢證之245如何提高研究效度花蓮師院科教所劉聖忠老師如何提高研究效度花蓮師院科教所46如何提高研究效度何謂「信度」「效度」？何謂「工具效度」？何謂「研究效度」？研究效度裡的內在效度和外在效度影響研究效度的一些因素如何提高研究效度何謂「信度」「效度」？47信度v.s.效度之1何謂「信度」？基本上，信度的定義不外乎「穩定度(stability)」、「一致性(consistency)」何謂「效度」？說白話一點，效度的定義就是「測到你想測的東西的程度」信度v.s.效度之1何謂「信度」？48信度v.s.效度之2信度高通常表示在研究的過程中所量得的data重複出現的機率高效度高通常表示結果(=data+explanation)重複出現的機率高所以…信度高的不一定效度高效度高的一定信度高信度v.s.效度之2信度高通常表示在研究的過程中所量得49信度v.s.效度之3信度高的不一定效度高效度高的一定信度高在口語的溝通上，我們常常以有沒有效度來代表效度的高低；因此…有信度不一定有效度有效度一定有信度信度v.s.效度之3信度高的不一定效度高50以效度為例前面所定義的信、效度通常指的是一般的定義。可是在研究的過程中，我們常常會碰到的效度問題卻有二個，一個稱之為「工具效度」，另外一個稱之為「研究效度」因為它們所處理、所可能面對的問題是不同的。因此，它們就應該有所區隔以效度為例前面所定義的信、效度通常指的是一般的定義。可是在研51工具效度之1在談這個問題之前，我們必須先釐清什麼是「工具」？工具通常意謂：在一個研究裡，為了測量被研究對象的某一特質(智力、學習成就等)，所使用的一種測量工具，通常稱之為問卷(questionnaire)通常它測的對象會是一個大的族群，例如600人或50人，很少小於25-30人工具效度之1在談這個問題之前，我們必須先釐清什麼是「工具」52工具效度之2「工具效度」=「工具」+「效度」一個測量工具測到它宣稱可以測到被研究對象的某一特質的程度例如要看一個「國小五年級自然科學習成就問卷」的工具效度就是要檢視其是否能忠實反映被研究對象的自然科學習成就工具效度高代表其測量結果和事實接近工具效度之2「工具效度」=「工具」+「效度」53研究效度之1前面提過所謂的工具效度是「一個測量工具測到它宣稱可以測到被研究對象的某一特質的程度」那所謂的研究效度就是「一個研究中的研究結果可以被複製的程度」研究效度高代表研究的結果被複製的程度高，也就是說研究結果的可信度高研究效度之1前面提過所謂的工具效度是「一個測量工具測到它宣54研究效度之2一個有研究效度的研究通常所使用的工具應該也是有效度的上面這句話在量化的研究中一定是對的，但在質性的研究裡應該成立卻不必然就是如此。(why?)研究效度之2一個有研究效度的研究通常所使用的工具應該也是有55研究效度之3量的研究：要有高研究效度的研究一定得使用有高的信效度的測量工具質的研究：使用具有高的信效度的測量工具一定有助於提昇研究的效度，但工具的信效度卻應該只是研究效度成立的一個重要考量，不必然是全部每一個同學請舉例或用你自己的話語解釋一遍給同組的同學聽研究效度之3量的研究：要有高研究效度的研究一定得使用有高的56研究效度之4研究結果的可信度高具有二層的含意…第一層，可能只代表研究者自己或別人在完全相同的(exactlythesame)研究過程中複製研究結果的程度第二層，才代表別的研究者在類推的族群中(generalizedpopulation)複製研究結果的程度研究效度之4研究結果的可信度高具有二層的含意…57內部效度v.s.外部效度之1在完全相同的研究過程中複製研究結果的程度指的是研究的「內部效度(internalvalidity)」在類推的族群中複製研究結果的程度指的是研究的「外部效度(externalvalidity)」內部效度v.s.外部效度之1在完全相同的研究過程中複製58討論問題請試著用自己的話語討論一下上面這二句話的含意請以「EffectsofIntegratedVideo…」為例討論問題59內部效度v.s.外部效度之2在這裡所謂的內部和外部效度都是在談研究效度，只是我們談的更細一點而已或者應該這麼說…如果我們想更進一步的了解研究效度，我們就不能不談內部效度和外部效度內部效度v.s.外部效度之2在這裡所謂的內部和外部效度60內部效度在教育的研究情境中，那來「完全相同的研究過程」！「完全相同」有那些要項是應該考量的樣本相同，或除研究特質之外的特質均相同相同的或相等的信效度的測量工具研究情境相同或雷同因果關係的成立內部效度在教育的研究情境中，那來「完全相同的研究過程」！61外部效度外部效度求的不過就是本次研究結果類推到母群體的複製程度，也可以說外部效度看的就是本研究的推論力「推論力」有那些要項是應該考量的樣本的代表性潛藏的變因高預測效度的測量工具外部效度外部效度求的不過就是本次研究結果類推到母群體的複製程62內部效度v.s.外部效度之3因此…如果一個研究要有高的外部效度的話，一定先要有高的內部效度有內部效度的研究不一定有外部效度有外部效度的研究一定有內部效度說穿了，沒有人會去做一個沒有推論力的研究！內部效度v.s.外部效度之3因此…63內部效度v.s.外部效度之4討論問題在討論如何提高研究效度的議題上，有沒有必要區隔內部效度和外部效度？有…，為什麼？沒有……，為什麼？內部效度v.s.外部效度之4討論問題64如何提高研究效度前面的上課中討論過

談如何提高研究效度就等同於討論

如何降低研究誤差如何提高研究效度前面的上課中討論過

談如何提高研究效度就等65如何降低研究誤差在此應該考量的是「如何降低，不是消除研究誤差」有幾個重要的方向要考慮在研究者方面(即variablecontrol)在研究對象方面(即sampling)研究工具的選用(即instrumentation)如何降低研究誤差在此應該考量的是「如何降低，不是消除研究誤差66如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以下的幾個重要項目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variablecontrol)多元資料檢證(triangulation)如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以67取樣之1主要的考量在於代表性(representativeness)和可行性(pratical)的問題理想上，代表性是唯一在取樣的過程中需要考慮的事但在現實中，可能可行性會折殺大部分的理想性如何在研究設計中平衡理想與現實是一個挑戰取樣之1主要的考量在於代表性(representative68取樣之2取樣的過程中，有以下的幾個問題要回答母群體為何(普查

v.s.樣本)取樣方法的簡介

(隨機取樣v.s.方便取樣v.s.立意取樣)樣本大小的決定(howbigisenough?)取樣誤差的控制(機誤v.s.常誤)取樣之2取樣的過程中，有以下的幾個問題要回答69取樣之3「樣本的代表性」應該考量的要項取樣的方法取樣的誤差樣本的數目分層取樣的分層依據為何自願樣本的問題取樣之3「樣本的代表性」應該考量的要項70取樣之4隨機取樣方法的簡介抽籤亂數表的使用等距取樣分層取樣(stratified)(等量v.s.比率取樣)叢集取樣(clustered)多階段叢集取樣隨機分派取樣之4隨機取樣方法的簡介71討論問題請以「EffectsofIntegratedVideo…」為例，說明它的選樣方法為何？又其代表性如何？討論問題72取樣之5「樣本大小」將影響研究結果的準確度一般而言，樣本愈大準確度愈大，樣本愈小準確度愈小根據統計學原理，準確度因樣本數的平方根而不同例如…原有25位樣本，若想使準確度增加一倍，必須增加樣本數為100。How?取樣之5「樣本大小」將影響研究結果的準確度73取樣之6真正影響準確度的是樣本的實質大小，不是樣本佔族群的百分比根據楊榮祥老師的文章，相關性研究通常至少要有30個樣本；在實驗研究裡，實驗組和控制組各至少需15個樣本；在調查研究中，則至少要有100個樣本詳細決定樣本大小的方法與考量，請參見楊老師文章的19-24頁取樣之6真正影響準確度的是樣本的實質大小，不是樣本佔族群的74取樣之7「取樣誤差」在此意指HistoryMaturationMemoryeffectStatisticalregressionSelectionExperimentalmortalitySelection-maturationinteraction取樣之7「取樣誤差」在此意指75如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以下的幾個重要項目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variablecontrol)多元資料檢證(triangulation)如何提高研究效度由以上的討論，我們發現影響研究效度的因素有以76研究工具之1「研究工具(instrumentation)」在此應該考量的是Usetherightinstrument!(checkthemanual)Useinstrumentright!(checktheadministration)缺少信度的測量工具不可靠缺少效度的測量工具測非所測缺少常模(norm)的測量工具不易解釋沒有標準施測流程的測量工具容易衍生常誤研究工具之1「研究工具(instrumentation)」在77討論問題請以「EffectsofIntegratedVideo…」為例，討論「常模參照(norm-reference)」和

「效標參照(criterion-reference)」

之不同及其應用討論問題78研究工具之2一般常用的「信度(reliability)」種類重測信度(test-retestreliability)複本信度(parallel-formreliability)折半信度(split-halfreliability)內容一致性(即一般常用的

reliability)K-20信度K-21信度研究工具之2一般常用的「信度(reliability)」種類79研究工具之3一般常用的「效度(validity)」種類內容效度(contentvalidity)：

一般又稱為專家效度效標效度(criterionvalidity)：

concurrentvalidity

predictivevalidity構念效度研究工具之3一般常用的「效度(validity)」種類80研究工具之4Aikenhead對工具