教育实验设计的效度与基本类型（前实验设计、准实验设计、真实验设计）教育研究与写作

教育实验设计的效度与基本类型（前实验设计、准实验设计、真实验设计）教育研究与写作教育实验设计的效度与基本类型（最全版）一、教育实验研究的基本程序教育研究的全过程可分为“准备—实施—总结推广”三个基本阶段。这是一个相对稳定的、有序的结构序列。1．教育实验的准备阶段教育实验成功与否，很大程度上取决于实验前的准备工作。具体包括：（1）选定实验研究的课题，形成研究假说。一般来说，一个实验至少被一种假设指导，应陈述两种变量间所希望的因果关系。（2）明确实验目的。确定指导实验的理论构架。为了使理论系统分析更接近客观实际，需要进行先期的调查研究，查阅相关文献资料并让课题组全体成员进行充分讨论。（3）确定实验的自变量。选择被试和形成被试组，决定每组进行什么样的实验处理，并确定操作定义。（4）选择适合的测量工具并确定采用什么样的统计方法，从而明确评价因变量的指标。（5）选择实验设计类型，谋划好控制无关因素的措施，以最大限度地提高实验的内部效度和外部效度。2．教育实验的实施阶段按照实验设计进行教育实验，采取一定的变革措施（实验处理），观测由此产生的效应，并记录实验所获得的资料、数据等。3．教育实验的总结推广阶段在实验的总结和评价阶段，研究者的主要任务是对实验中获得的资料、数据进行分析处理，确定误差的范围，从而对研究假设进行检验，最后得出科学结论。在对实验结果进行分析的基础上撰写实验报告，对实验的过程和结论进行全面的表述。二、教育实验设计的效度1.内在效度指实验的自变量和因变量之间存在明确因果关系或相关关系的程度。它表明因变量的变化在多大程度上来自自变量——有效性。内在效度是指自变量与因变量的因果联系的真实程度，即因变量的变化，确实由自变量引起，是操作自变量的直接成果，而非其他未加控制的因素所致。内在效度表明的是因变量Y的变化在多大程度上取决于自变量X——有效性。没有内在效度的实验研究是没有价值的，因为内在效度决定了实验结果的解释。坎贝尔和斯坦利认为，有八类新异变量与教育实验内在效度有关或成为内在效度的威胁因素。分别是：（1）历史或偶然事件：在实验进展过程中没有预料到的影响因变量的事件的发生。如未定的考试产生的焦虑。控制方法：可以通过恒定其他条件的方式加以控制。（2）成熟程度：时间在被试身上起的作用。控制方法：使被试选择与分组尽可能随机化，并设立对照组。（3）测验：注意一次测验对随后另一次测验的影响。控制方法：通过设立无前测的对照组加以控制。（4）工具：测量手段不统一会产生错误的结果。如：主持实验者主观情绪状态发生变化，或者研究者的个性、态度、价值观、信息的影响，或评判标准不同（前后测难度不同、不同班用不同测验、评判者的差异）。控制方法：研究者要精心选择测验及技术，谨慎观察，加强基本训练和严格测试手段，并选择好实验设计以控制这个因素。（5）统计回归：挑选被试的误差，比如用极端分数进行回归，将对今后的测验产生不利影响。控制方法：在研究中最好不采用两极端的被试或在研究中将极端分数者单独分组，注意结果的差异。（6）在实验进展过程中被试的选择差异：被试未能随机分配或挑选，而其中一个因素起了作用，从而产生了组的不对等性。或者是被试者的态度动机不同。（7）被试的缺失：非随机挑选的被试脱离实验以及时间的不等值，都会产生不良影响（8）取样：成熟程度交互作用，由于取样不一带来的成熟程度的不一致。2.外在效度：指特定研究的结果是否具有推广性（具有代表性、接近真实教育教学环境、可以在不同条件下重复实验）。研究具有外在效度，说明其结果可以推广到其他情境内；研究没有外在效度，则其结果不具有概括性。对外在效度的威胁主要来自四个方面：选择与实验处理的交互作用效应、测验与处理的交互作用效应、实验安排的效应和多重处理的干扰。控制方法：使用设计组加以平衡、用随机、匹配，或者让被试兼做自己的控制组以控制被试变量等。实验室内的实验往往内在效度高、外在效度低；学校、教室内的实验往往外在效度高、内在效度低。三、实验设计类型（*）前实验设计特点：前实验设计对无关变量是完全没有控制，但可以操纵变化自变量。外效高（三个越来越低）内效低（三个越来越高）类型单组后测设计单组前后测设计固定组比较设计基本模式XOO1XO2XO……O特征在单组后测设计中，只有一个实验组且不是随机选择，无控制对照组；实验中对实验组只给予一次实验处理；有一个后测，将后测结果作为实验处理的效应。单组前测后测设计是对单组后测设计的一种改进，它增加了在实验处理前的测验，但还是只有一个实验组且不是随机选择，无控制对照组，仅一次实验处理；有前测和后测，用前测的差大于零来作为实验处理效应。采用实验组和控制组两组被试，但因这两组被试在实验处理前就已经形成，如原有的教学班，不是随机选择，也未加任何控制选择偏向，故它不能使用随机化原则选择被试。两个组都有后测。评价由于没有对照组，研究者只能描述他所观察到的结果，而不能与对等控制组进行比较；又由于这一研究对无关变量没有控制，因而其内部效度极低，一般不宜使用。在本设计中，（1）因为有前测，可以在处理前提供有关选择被试的某些信息；（2）通过前后测，可以提供每一被试在实验处理前后两次观测条件下行为变化的直接依据，能明显地验明实验处理的效果；（3）只有一个实验组，自身兼作控制组。故可认为选择变量得到了一定的控制，同一被试变量，在前测→处理→后测过程中表现的明显差异，可以在一定程度上推断这种变化是由处理引起的。由此可以认为这是一种有用的前实验设计。但由于未能控制历史、成熟等影响内部效度的因素，可能会影响实验的效果。另外，前测验本身也可能对后测产生影响。优点：该设计基本可以控制历史、成熟等因素。由于没有前测，也可以控制测验效应和仪器干扰（使用了控制对照组提高了内部效度；若外来变量影响了后测的成绩，影响都是一样的，可以控制历史因素；统计分析上，比前两种统计分析把握性更大一些）。其缺点在于：（1）由于被试不是随机分组，又没有一个前测数据，所以对选择这一因素缺乏控制。（2）选择与成熟的交互作用，以及选择与处理的交互作用常常成为混淆不清的因素，影响实验效度。但总的来说，固定组比较设计在前实验设计中是一种较好的设计。准实验设计特点：不能按照随机抽样原则抽取被试和随机分配被适于各种实验处理，一般是以原自然班为实验单位，因此具有一定的外部效度。准实验强调对自变量进行操作控制，但对无关变量不完全控制，只能控制一部分无关变量。类型不等控制组设计时间序列设计平衡设计模式O1XO2……O3O4OOOXOOO单组相等时间样本设计多组时间样本设计X1OX2OX3OX3OX1OX2OX2OX3OX1O特征（1）有两个组（实验组与控制组），一般在原有环境下自然教育班、年级或学校进行，不是随机抽样分组，因此控制组与实验组不等，但实验处理可随机指派。由于不能以随机等组或配对方法去分配被试，只能试图去寻找与实验组相匹配的控制组，尽可能使组间平衡，两个组等价。（2）都有前后测。对非随机取样的被试组做周期性的一系列的测量，在这一段时间序列施以实验处理，然后观察其一系列测量分数是否发生非连续性现象，从而推断实验处理是否产生效果。所有组接受各种处理，但是是一个不同的顺序。各组的处理的数目是相等的、平衡的，用其平均成绩加以比较。比如，实验自学、讲授、发现学习三种不同教学方法的效果。评价不等控制组设计在教育实验中的应用最为普遍。优点：由于有控制组，有前后测比较，因优点：外在效度好，推论范围广。因为能够通过前测与后测，对一组优点：每一组既是实验组又是对照组，通过平衡配置，许多影响实验此可以控制成熟、历史、测验、工具、统计回归等因素影响，一定程度上控制被试的选择偏差，从而提高了研究的内部效度。局限在于：（1）不是随机取样分组，选择与成熟的交互作用可能会降低实验的内在效度。（2）前后侧的交互作用。因此，实验结果不能直接推论到无前测的情境中，对实验结果的解释要慎重。要尽可能从同一总体中抽样，以避免被试差异所带来的实验误差。被试的比较稳定的变化趋势有所了解，也能对两组处理前后比较稳定的系列变化进行比较，能控制历史和工具的影响。局限：实验安排上的反应效果，如历史因素、霍桑效应、练习误差、多次测定中测量操作程序的变化等不容易得到很好的控制，系列的前后测均有可能引起被试的疲劳，敏感与练习效应。的无关因素相互抵消了，从而提高了实验的敏感性。缺点：此设计本身往往会带来不少影响研究效度的因素和统计检验分析方面的问题。当同一个组接受一个以上处理时，有可能产生多重处理干扰，因为不可能对同一组学生用几种不同方式教同一概念。另外，被试与实验间有交互作用。真实实验设计特点：能使实验中的自变量、因变量、无关变量得到比较严格的控制，即它能较好地控制内外部无效因素，并有效地操纵研究变量。都有一个控制组，被试随机选择和随机分派到组。类型实验组、控制组前后测设计实验组、控制组后测设计所罗门四组设计模式RO1X02RO3O4RXO1RO2RO1XO2RO3O4RXO5RO6特征随机分组；实验组接受实验处理，控制组则不给予实验处理；两组均进行前后测。随机化选择被试和分组，仅实验组接受实验处理，两组均只有后测，没有前测。随机选择被试和分组，两组都有前测，两组没有前测；一个前测组和一个无前测组接受实验处理，四个组都有后测。评价优点：由于利用随机分派分出两个等组，就可以控制“选择”、“被试缺失”等因素对实验结果的干扰；都进行了后测，便于作对照比较。如果在前后测期间，有什么情况影响，或“成熟”、“测验”“统计回归”等无关因素发生了干扰，则两组是相同的。缺点：可能产生前测与实验处理的交互作用而影响了外在效度。优点：能消除前测与后测、前测与自变量的交互影响，内在效度较高。既具有前一设计的优点，同时避免了练习效应的影响，节省了人力和物力。由于随机取样、随机分组以及设控制组，这种设计可控制历史、成熟、测验和统计回归等无关变量的影响。缺点：不能对被试的缺失加以控制。优点：（1）可以将前测的反复效应分离出来，综合以上两种设计的优点，克服二者的缺点。（2）实验者等于重复做了四个实验，可以做出四种比较。（3）可运用2X2方差分析来处理该四组实验数据。缺点：往往很难找到四组同质的被试；被试的数目多时，数据分析比较困难。因此，一般不适用于探索性试验，而适用于决断性实验。四、教育科学实验研究设计案例（1）前实验：对无关变量的影响小例子1-1：一作文实验的实验设计一位语文教师深感小学生作文言之无物，于是设计了“情景作文”方法在班上试行，经一段时间后发现学生作文质量有较普遍的提高。自变量：学习“情景作文”的方法因变量：作文质量前实验，单因子实验，自然实验条件控制：同一教师教学例子1-2：范文在习作训练中的作用某学校4个班149名学生，先让学生写作文并评分，然后给学生提供范文模仿，让学生独立阅读，分析、理解范文，然后进行仿写。对仿写后的作文进行评阅，比较两次作文成绩的差异。自变量：学习“情景作文”的方法因变量：作文质量准实验，多因子实验，自然实验条件控制：同一教师教学，作业练习时间统一，统一测试训练前作文能力。特点：增加了一个前侧；单组、无对照组；不是随机试验例子1-3：学习方法指导的固定组比较实验某校2个班，在第一班由教师每周上1节学习方法的指导课，第二班不开展任何学习方法指导活动，一学期结束时，比较两个班学生的学业成绩和学习能力。自变量：是否进行学习方法指导因变量：学生的学业成绩和学习能力准实验，单因子实验，自然实验条件控制：作业练习时间统一，一学期。没有进行同一教师教学，没有统一测试入学前能力和情况。特点：有对照组；不随机和随意分配（2）准实验：对无关变量的影响有所加强例子2-1：记数教学的结构—定向教育实验某小学一年级两个班各41人，实验班按照实验教材和教学指导书进行万以内计数教学，对比班按照全国统一的教材和教学指导书进行万以内计数教学；自变量：不同的教材和教学指导书因变量：分段数学成绩；条件控制：同一教师教学，作业练习时间统一，统一测试入学前数学能力和智力情况。统计分析：实验班和对比班因变量增值比较，即O2-O4和(O2-O1)-(O4-O3)，对两组增值分数平均差进行t检验以考核其差异的显著性。特点：不等控制组设计：实验组有前后测、控制组、实验组和对照组，实验组有前后测例子2-2：榜样和强化对道德判断的影响某校一个班40人，在实验前，老师连续4次（1周1次）测量学生的诚信观念，然后施加实验影响，即老师在1周内每天给学生介绍一个讲诚信的故事，当学生作出正确道德判断时，立即给予表扬（强化），1周过后连续4次（1周1次）复测学生的诚信观念。统计分析：比较前4次和后4次测试的结果是否连续，如果有跳跃上升，则说明实验处理有效。自变量：对诚信观念做出的反应因变量：学生的诚信观念条件控制：同一教师教学，统计分析：比较前4次和后4次测试的结果是否连续，准实验，自然实验，单因子实验例子2-3：自学、讲授和讨论法的教学效果比较某数学老师试图比较学生学习新课时使用三种方法的效果，于是在所教的同级三个班进行比较实验，第一个月，一班采用自学法、二班采用讲授法，三班采用讨论法，第二、第三个月各班转换教学方法，在每个月结束时测试学习成绩。统计分析：比较各班使用不同方法的学业成绩，即计算3个班用同一方法所得成绩的平均分，进行差异检验。自变量：不同的教学方法因变量：分段数学成绩；条件控制：同一教师教学，统计分析：比较各班使用不同方法的学业成绩，即计算3个班用同一方法所得成绩的平均分，进行差异检验。自然实验，单因子实验，准实验特点：平衡设计：周期性一系列的测量。（3）真实验：能随机分配被试，完全控制无关干扰因素例子3-1：解题思维策略训练提高解题能力的实验假设：系统进行解题思维策略训练可提高学生解应用题的能力。实验处理：实验组用自编教材，讲解6种应用题解题方法（简化法、图解法、结构训练法、联想法、假设法、对应法），每周3次，每次1节课，共7周20节课。控制组不讲，只做同样的练习。因变量：学生解应用题能力（操作定义：等值数学难题测验）自变量：解题思维策略条件控制：随机取样；同一教师教学；前后测相同（等值难题，测验时间与要求前后一致）；练习内容相同。统计分析：对实验组和对照组前后侧成绩平均分数参数进行t检验（前测随机等组处理）例子3-2：电视教学对初一学生英语成绩的影响某校初一2个班，按照入学成绩分成两个等组，随机指派一个为实验班，在实验班英语教学中使用电视教学，而对照班按常规进行教学。其他条件均相同。一学对照组前测期后，进行后测，比较电视教学与常规教学的效果。自变量：不同的教学方式因变量：不同教学产生的效果；条件控制：同一教师教学，同等的成绩，统一测试入学前英语情况。前后测；统计分析：比较电视教学与常规教学的效果真实验，单因子实验特点：实验组控制组前后测试设计：两组都有前后测。五、准实验深究准实验（quasi-experiment）设计，即指未对自变量实施充分控制，但使用真正实验的某些方法搜集、整理以及统计分析数据的研究方法。准实验设计能够在严格实验无法进行的时候取得结果。例如研究者出于伦理考虑，不可能为调查观察大学生药物使用情况而创造一个药物滥用组，然后比较他们与我们创造的非药物滥用组的行为；又比如研究者也没有能力为了解自然灾害下的情绪反应而人为制造一场地震。在这些情况下，严格的实验研究是不可能的，研究者只能求助于准实验设计。在准实验设计中，我们只能选择某个特征（自变量）不同的被试，然后将这些在该自变量不同水平的被试行为加以比较。典型的准实验常用被试变量作为自变量，因为对于大多数天生的被试变量（年龄、性别、种族、种群）、社会引起的被试属性（社会阶层、宗教或居住区）、疾病以及与疾病有关的被试因素（肢体残缺、智力残疾、脑外伤、灾难后果）而言，我们只能选择而不是改变。但是，我们只是选择了在这个被试变量上有差异的被试，很难保证他们在其他相关变量上是相等的。也就是说，准实验中实验者的自由度是比较小的，对额外变量的控制也是较弱的。这使得被试变量的效用会和我们无法排除的额外变量的效用相混淆。这样，通过准实验得到的结果便不能像真正的实验结果那样可以安全地、毫无闪失地归因于自变量，而所得出的只能是自变量和结果变量之间的相关。因此，准实验研究中，我们能够说，变量之间是相关的，但不能说一个变量的变化导致或引起了另一变量的变化。也就是说，准实验本质上是一种相关研究。在条件允许的情况下，我们可以对准实验中自变量之外的其他相关变量进行匹配，这样就能更有效地控制额外变量了，我们也就能对从结果中得出的结论有更多的自信了。但我们应该记住我们得到的仍仅仅是相关，即使已经非常小心地进行了控制。但是不管怎样，准实验设计弥补了严格意义上实验研究的不足，使研究者能够在道德和能力的限制范围内尽可能地关注感兴趣的问题。从这一点上看，准实验设计虽然效力不足，却具有广泛的应用空间。综上所述，在力所能及的情况下利用