第二三讲实验准实验横截面与案例研究

1、1-30-研究设计研究设计是为具体检验假说的而设计的收集和运用数据的方法和途径研究设计的类型：实验：刺激-反应的分析模式，实施控制，将刺激的效果孤立出来准实验：缺乏控制下的实验（例：浦东的综合配套改革）横截面分析：研究属性与倾向的关系案例分析：缺乏控制、样本非随机选取下的个案调查2-30-两个实验案例1，制度的形成和转化：功能性和合法性实验对过程实施控制、将过程和结果简化2，提高生产率的途径：霍桑实验照明与生产率激励制度：非正式组织的存在3-30-经典实验设计实验使用的工具实验组和控制组 (Experimental and control groups, interchangeable)自变量

2、 (treatment)，仅施用于实验组因变量：实验组和控制组在施用treatment前后的测量值，即实验前和实验后的测试值 (pretest and posttest measurement)为进入实验，首先需要对各项概念进行操作化和量化。实验过程组实验前测量（pretest)实验后测量(posttest)差别比较D1和D2的差别是否显著实验组E1 - Treatment - E2D1 = E2 E1控制组C1 - C2D2 = C2 C1学习实验设计的意义：经典实验设计的逻辑是理解所有其他研究设计的基础；并且，在实验设计下对于因果性的观察和推论相对直接容易4-30-期望与行为的关系：橡树学

3、校的实验Pygmalion效应5-30-因果推论的一般逻辑共变(covariation)两种现象存在共同变化的关系，即自变量和应变量的变化在现象上是相关的共变考虑的仅是统计上的相关性时间顺序(time order)起解释作用的现象，即自变量，其变化先于应变量的变化时间顺序进一步考虑相关性的次序非假性 (nonspuriousness)在共变和时间顺序成立条件下，是否有确切证据说明自变量与因变量之间的关系，有其他替代性的解释因素。空调销售量与冰激凌消费复旦大学发年终奖与复旦周围餐饮业6-30-共变关系只有在完全相关条件下， 两个变量的分布才会是一条直线7-30-实验的基本要素1.操纵 (mani

4、pulation)操纵要确保自变量得到有效施加，确保时间顺序。2.比较 (comparison)比较实验组和控制组以发现共变关系3. 控制 (control)内在合理性 (internal validity)：即变量间的共变和时间顺序反映了因果联系而非受其他变量的影响。控制是排除假性关系和确定因果性的必要手段影响实验内在合理性的因素：内在因素 (intrinsic factors)：即在实验过程中对实验结果造成影响的treatment以外的其他因素。历史事件回归效应实验客体的成熟实验死亡率测量工具变化实验的各种诱导效应被实验者与其他人的互动效果8-30-实验的基本要素-（续）对内在因素的消除主

5、要通过引入控制组来实现，但这不是完美的。外在因素(extrinsic factors): 即影响实验组和控制组的可比性的因素。如自我选择例子：为研究一个中国古代文学课程对于人的一般文化修养的效果，研究者对于上这门课的50个学生，和不上课的另外50个学生，在课程前后各进行了一次对于个人文化修养方面的测试，发现上课的学生的提高程度明显高于不上课学生。这个例子中可能存在哪些影响结果的外在因素？这个例子中可能存在哪些影响结果的内在因素？针对外在因素的解决办法匹配(matching)：精确匹配（precision matching）和频率匹配(frequency matching) （前者被后者包含）随

6、机化(randomization)：使实验组和控制组的成员的选取概率一样。9-30-实验的基本要素-（续）4，归纳总结 (generalizability)外在合理性(external validity)：即实验结果是否适用于更大的总体以及其他环境。关于个性与共性的两个主要考虑：A. 实验中采用的样本的代表性B. 实验营造的特别环境、实验前测试等造成的因果关系的非现实性10-30-几种常见的实验设计考虑pretest的影响的实验设计所罗门四组设计 (Solomon Four-Group design)实验前测量实验实验后测量组1E1TreatmentE2组2C1C2组3Treatment E3

7、组4C3所罗门实验设计的核心：当E2和C2没有显著差异时，E3和C3是否存在显著差异11-30-几种常见的实验设计-（续）对时间效应的考虑实验前测量实验实验后测量实验后测量组1E1TreatmentE2组2C1C2组3E3Treatment E4组4C3C4该实验设计的核心：当E2和C2没有显著差异时，E4和C4是否存在显著差异12-30-实验设计的不足代表性：比较难以找到有代表性的样本参与实验可行性：实验存在诸多限制性条件、实验结果难以转化研究范围：很多研究难以采取实验方式13-30-准实验的设计对于很多“政策实验”，实际不存在操纵和控制。1) 无法控制政策适用地的外部性和内部性因素 在很多

8、情况下，我们仅仅选择了被认为最有利于实施政策的环境 2) 政策存在自然的外溢效应和其他各种交互效果3）对“因”和“果”难以进行明确界定在这种情况下，所谓的实验，在操纵manipulation 和控制 control 各方面都存在不同程度的标准放宽，使得因果推论的力度减弱。弥补努力在于尽可能减少各方面的扰动，排除其他解释因素。在准实验方法下，不再使用实验组和控制组的区分，如果存在两组，称为比较组(comparison groups)14-30-比较组设计对比组实验前测量实验后测量差别组一E1 - Treatment - E2E2 E1组二C1 - C2C2 C1与经典实验的区别：组一和组二不完全

9、是随机取样，缺乏控制。弥补的办法在于尽量使两个组相似，并且排除其他影响因素例：艺术概论课对学生艺术情趣的影响15-30-差异测验的设计 (planned variation designs)通过将样本暴露于具有系统性区别的treatments，评估它们的不同效果例：研究方法课的教学语言（中文、英文）与教学效果16-30-时间序列设计 (time-series design)：当不存在比较组的情况下，可以采用时间序列的设计来分析自变量的影响。关键是排除其他解释因素通常，在treatment前后各作三次实验前和实验后的测量 Pretest1, pretest2, pretest3, treatme

10、nt, posttest1, posttest2, posttest3例：康涅狄格州(Connecticut) 交通控制项目的效果研究17-30-康涅狄格州(Connecticut) 交通控制项目的效果研究55-56年18-30-康涅狄格州(Connecticut) 51-59年19-30-控制序列设计 (control-series design)：在时间序列分析基础上，添加一个比较组，该比较组尽可能和原实验组相似。20-30-横截面研究设计所探索变量关系的类型：属性-倾向 (property-disposition)一般为大数量的研究，如果仅仅是一个或几个样本，则可能成为案例研究例如教育与

11、收入的关系；地方政治文化与地方司法政策实践关系；人格特征与犯罪倾向该关系的一些特征1. 时间跨度与顺序不清晰：经济发展与创新2. 自变量的特定性程度不高1）很多变量是依研究需要主观建构的（例如政治价值偏好与参政意愿）2）自变量之间存在复杂的相互关系21-30-截面数据的形态案例态度性别其他变量111201312412502612701802.22-30-通常横截面数据来自特定目的的调查 (survey) 或者政府和其他研究机构的统计数据横截面研究设计的基本思想对比不同属性所对应的倾向P1 - D1P2 - D2.Pi - Di例：性别与对于使用核武器的态度 （男1000人，女1000人）男性女

12、性支持61%47%其它（反对和无所谓）39%53%100%100%23-30-如何对其他因素进行控制1，交叉表 (cross-tabulation)：在需控制变量数目较少时使用例：控制受教育水平受过大学教育的人员 （800人） 未受过大学教育的人员 （1200人）2，采用多元回归 (multiple regression)：在控制变量较多时使用男性女性支持49%20%其他51%80%400人400人男性女性支持69%65%其他31%35%600人600人24-30-交叉表的简化设计例如对于组织士气（E）的影响，组织规模和权力结构的影响可能有四种组合大型组织小型组织集权式组织E1E2分权式组织E

13、3E4交叉表分析的缺陷：1. 控制因素有限；2. 除非影响效果完全连贯，无法得出一般性的结论25-30-预计影响方向定义因变量: 2003年各州监狱的民营化水平 (%)输出的州囚犯比例自变量95年监狱拥挤程度 (%)+州囚犯数量/所有州监狱的评定容量之和96年州改造预算的比例 (%)+州改造成本占州直接支出的比例95年税收与支出限制法(0/1)+存在该法律为 1, 否则 096年单个囚犯改造成本 ($1,000)+州囚犯的年均改造成本州政策自由主义程度-州政策制定中的自由主义程度，程度越高值越大地区中西部 （ 0/1 ）+如果处在该地区内，取值1，否则0 南部 （ 0/1 ）+西部 （ 0/1

14、 ）+95年工会化程度 (%)-州公共部门劳动者受集体谈判覆盖的比例2000年专业化水平 (%)-专业的、技术的和教育的从业者占全部监狱职员的比例私有化的年份数+自1986年以来私有化的年份数95年的法庭命令+限制监狱拥挤程度的法院命令2003年州囚犯数量 (1000)-州囚犯的数量多元回归：监狱民营化研究中的变量26-30-回归模型州监狱的民营化水平 = 常数 + 系数1监狱拥挤程度 +系数2州改造预算 +系数3税收与支出限制法 +系数4年单个囚犯改造成本 +系数5州政策自由主义程度 +系数6中西部州 +系数7南部州 +系数8西部州 +系数9工会化程度 +系数10专业化水平 +系数11私有化

15、的年份数 +系数12法庭命令数 +系数13州囚犯数量27-30-仪表板数据仪表板数据 (panel data)：将时间因素引入到横截面研究中原因：属性本身不是完全独立于时间，倾向也可能随着时间而变化，从而可以考虑在时间维度上的属性与倾向的关系仪表板数据是在连续的时间维度上获取横截面数据，从而可以观察时间的影响例：党派属性与对环保的态度Case no.200120022003IdeologyAttitudesIdeologyAttitudesIdeologyAttitudes1CYCNCY2CNCNLN3LYCYLY4CYCYCY5LNLNLN6LNLNLN7LYLYLY8CYCYCY.28-3

16、0-案例研究 (case study)案例研究是以探索研究或深度揭示为目的，对于某个时点上的某个案例或人群进行的研究。案例研究的方法包括访谈、观察、以及各类相关资料的收集。案例的选取要求具有特定意义：代表性、先导性、启发性、轰动性案例研究通常需要深入的描述与分析，贵在细节案例研究可以与其他研究配合例：弱行政组织的自我适应行为对于行政体系的演化的影响Yijia Jing and Chunrong Liu. 2010. Understanding Chinas Administrative Adaptation: The Role of Weak Organizations. Issues and Studies 46 (2). 案例研究往往需要更多的分析和讨论29-30-方法之间的混合（triangulation）Triangulation是指将不同的方法结合起来，形成相互支撑，以提高研究的质量，解决单个方法可能无法克服的问题。例如在实施横截面的问卷调研以后，对其中个别被调研者进行深度案例研究在实施横截面的问卷调研以前，作案例研究，深入挖掘各变量内在的影响关系，为确定问卷提供依据在实验之前进行问卷调研，确定需控制的因素在同一项研究中把访谈、问卷和案例结合起来。30-30-各种方法的优