实验设计评价

实验设计评价第一页，共十八页，2022年，8月28日一、实验设计的评价

DeterminingTheReliabilityandValidityofAResearch第二页，共十八页，2022年，8月28日《心理实验设计》3研究的信度与效度研究的信度Ameasuringinstrumentisperfectlyreliableifwegetexactlythesameresultwhenwerepeatthemeasurementanumberoftimes.Formallydeterminingreliabilityisparticularlyimportantwhenthedependentvariableisthescorefromatestinstrumentsuchasatestofachievement,aptitude,orpersonalitytraits.Test-retestreliabilityAlternative-formreliabilitySplit-halfreliability第三页，共十八页，2022年，8月28日《心理实验设计》4研究的效度指研究真实、正确地揭示所研究问题的本质及其规律的程度，即结果符合客观实际的程度。Validityreferstowhetherwearemeasuringwhatwewanttomeasure.第四页，共十八页，2022年，8月28日《心理实验设计》5研究信度与效度的关系：信度是效度的基础，效度是信度的目的。提高效度必然以提高信度为前提。效度是评价研究设计和结果的根本标准。第五页，共十八页，2022年，8月28日《心理实验设计》6效度的类型

（Cook&Campbell,1979）构思效度（constructvalidity）：也称建构效度、构念效度、结构效度

内部效度（internalvalidity）统计结论效度（statistic-conclusionvalidity）外部效度（externalvalidity）

对一项研究来说，首先要考虑的是内部效度，而后就是外部效度，其他两种效度相对次要。第六页，共十八页，2022年，8月28日《心理实验设计》7内部效度内部效度是指在研究的自变量与因变量之间存在关系的明确程度，即保证因变量的变化确系由特定的自变量所引起，而不是其它的外部变量。影响内部效度的因素成熟因素历史因素被试选择差异被试的缺失前测效应第七页，共十八页，2022年，8月28日《心理实验设计》8接上页实验处理的扩散效应统计回归效应多种研究条件与因素间的交互作用第八页，共十八页，2022年，8月28日《心理实验设计》9外部效度外部效度是指研究结果的代表性和适用性；涉及研究结论的一般化问题。总体的一般化——实验结果应用到不同于原始研究的、范围更广的其他群体或被试中。（总体效度）情境的一般化——实验结果应用到不同于原始研究的情境或环境中。（生态效度）时间的一般化——实验结果应用到不同于原始研究的时期。（时间效度）影响外部效度的因素实验环境的人为性：反应性情境测量工具的局限性第九页，共十八页，2022年，8月28日《心理实验设计》10接上页交互作用：实验处理与实验持续时间的交互作用、实验处理与测量时间的交互作用以及选择与自变量之间的交互作用，等。多重实验处理的干扰对测量的敏感化样本的代表性不足第十页，共十八页，2022年，8月28日《心理实验设计》11成熟、历史选择、流失测量、设备处理扩散统计回归交互作用研究的效度统计结论效度内部效度构思效度人为环境工具局限交互作用多重处理敏感化样本代表性低概念模糊逻辑混乱构思水平混淆实验者效应被试反应性……外部效度对内部效度的威胁对构思效度的威胁对外部效度的威胁对统计结论效度的威胁数据质量差违反统计检验假设统计功效低第十一页，共十八页，2022年，8月28日二、如何选择合适的实验设计Chooseatypeofexperimentaldesignbecomingly第十二页，共十八页，2022年，8月28日《心理实验设计》13良好实验设计的标准能满足理论框架的要求，能恰当地回答要研究的问题，这主要是通过巧妙的实验构思完成的；能使同样一批数据给出较多地信息，这依赖于实验者能按照统计分析的要求收集数据；能提供实验的高信度，即实验的可重复性，这主要是通过较好地控制无关变量而达到的；第十三页，共十八页，2022年，8月28日《心理实验设计》14续上页能提供实验的高效度，即研究结果反映客观现实的程度，这是通过增加实验设计的复杂程度来实现的；能提高实验的敏感性，即能探索一些深入的、细微的、难以通过日常观察或经验察觉到的现象，这主要是通过选择合适的实验设计完成的；尽量在实施上是经济、省力、可行的。第十四页，共十八页，2022年，8月28日《心理实验设计》15选择合适的实验设计根据研究问题的复杂程度选择实验设计；根据对实验结果的精度的要求来选择实验设计；根据实验实施的可行性选择实验设计；第十五页，共十八页，2022年，8月28日《心理实验设计》16问题复杂性单因素设计：简单易行，但外部效度和研究的效率偏低，不适合研究复杂的心理教育问题。因素设计：能同时考察多个因素之间的相互影响、相互制约的关系，适合研究复杂的理论和现实问题；问题越复杂，实验设计的因素就越多。但因素的多少并非任意，过多的因素会带来数据分析和推论解释的困难。系列研究：将众多因素分散在一系列研究中分别予以考察。第十六页，共十八页，2022年，8月28日《心理实验设计》17研究精度研究精度的要求越高，对实验设计敏感性的要求也越高。提高设计敏感性的途径：提高设计敏感性减小实验误差分离无关变异拉丁方设计区组设计重复测量设计分离特定额外变量分离被试个别差异前提假设前提假设第十七页，共十八页，2022年，8月28日《心理实验设计》18可行性变量特性：被试间自变量——性别、年龄、职业等被试变量被试内或被试间自变量——操作任务、环境特征……最低