第三讲资料收集方法1(分2次讲)

第三讲研究设计（研究假设与资料收集方法）

2/4/20231（一）问卷法(QuestionmairesSurvey)1、问卷调查的功能民意影响政策：（期刊调整、职称条件）市场调查行业化：零点调查公司、多维克智库:(1)中国缺钙、缺独立性:鲁迅、胡适、陈寅恪、傅斯年、王沪宁（景天魁社会建设）美国:基辛格、赖斯资料收集方法一2/4/20232

傅傅斯年2/4/20233

2/4/20234问卷调查作用1995年5月“中国青年看世界”

最重要的调查发现——美国不仅是“对中国影响最大的国家”，同时也是中国青年眼中的“对中国最不友好”和“最不受中国青年欢迎”的国家。1995年时任美国总统克林顿在国会讲话中引用了这个调查结果。这次讲话对调整美对华政策——从“遏制”改为“接触”起了重要作用。

江泽民在听到这一消息后说，“看来民意牌是可以打的”。调查结果引起各方关注：新华社、中国国际广播电台、美联社、法新社、共同社、《纽约时报》、“美国之音”、《朝日新闻》、港澳台媒体美国使馆、德国使馆、中央政研室、中央军委办公厅

2/4/20235调查影响：开创了中国新闻界“用民意调查关注国内外重大事件，强力报道民众声音”的先河。在国内外主流媒体面前，显现了中国青年报对中国公众的巨大影响力，使“中国民意报道”进入了全国公众和国际主流媒体的视野。此后，社调中心几乎每年都推出一项大型的民意调查，得到读者的热情参与，形成了广泛的影响力。

较有影响的社会调查中心：中国社会调查所/中国青年报社会调查中心2/4/20236数据负功能台湾预测总统选举(表演政治)胡、温数据反思(看没准备地方)2/4/202372/4/202382、问卷的制作与要求(1)类型：自填；一问一答（结构性访谈）(2)内容：为研究目标服务，分几部份;问卷内容的设计思路：理论引导---研究假设---核心概念---变量层次（问卷的题目）---指标（问卷的答案）例：社会分层理论引导居家养老服务政策改进—不同阶层的老年人对居家养老服务需求不同—社会分层与居家养老服务---参见问卷2/4/20239研究的信度（稳定性）和效度（准确性）信度reliability是指测量（或研究）结果的一致性或稳定性程度。效度validity是指测量工具或手段能够准确测出所需测量的事物的程度。信度是效度的必要条件，而非充分条件。信度低效度一定低，但信度高效度不一定高。效度是信度的充分条件，而非必要条件。有效度一定有信度，但无效度却未必无信度。2/4/202310效度validity，范柏乃word文档内部效度internalvalidity外部效度externalvalidity结构效度constructvalidity测评效度measurementvalidity统计结论效度statisticalconclusioncalidity2/4/202311信度reliability重测信度test-retestedreliability复本信度alternate-formreliability折半信度split-halfreliability内部一致性信度internalconsistentreliability评分者信度scorerreliability2/4/202312Cronbachα系数2/4/202313信度高低与Cronbachα系数之对照表2/4/202314(3)形式：变量测量层次:定类、定距（多用）、定序、定比4种；题目:封闭式与开放式；语言简洁答案注意几个原则:穷尽性：您的职业：工人（）知识分子（）职员（）小商贩（）农民（）领导干部（）学生（）私有企业主（）

2/4/202315概念清楚：您的收入：低收入（）中等收入（）高收入（）措词恰当：你觉得你的生活非常失败吗？诱导性：您喜欢这本书吗？投射式问法：有人认为本单位领导非常公平、正直，对这种看法，你：完全同意（）同意（）有点同意（）很不同意（）杂糅：你认为此节目对受众造成的影响是正面的吗？互斥性：您大学所学专业是：哲学（）经济学（）法学（）社会学（）行政管理（）人文科学（）2/4/202316语病：您是否是个体经营者？您认为缩短工时能否促进企业经济改革，或相反？2/4/202317量表：（1）李克特量表(见《居家养老服务调查》)2/4/202318总加量表LikertScaling(掌握)2/4/202319测试结果评估表2/4/202320累积量表GuttmanScaling2/4/202321累积量表GuttmanScaling（续）社会距离量，发达国家与发展中国家对黑人的态度2/4/202322得分情况2/4/202323汇总情况2/4/202324反常数字被测者的回答带有随机性；量表的问题设计不当再现系数（一致性系数）＝1－反常回答数/总回答数＝1－5/80＝93.75％2/4/202325（2）已有的：症状自评量表(SCL-90),见中国公务员心理健康网数量：一张A3(15-20分钟答完)教学实践：分组修改问卷1、泉州青年公务员办事现状调查（市民卷）2、泉州青年公务员办事现状调查（公务员卷）3、福建省女职工生育保障调查（省总工会）4、福、厦、泉居家养老服务调查（省社科、联校）例：2006GSS2/4/2023263、问卷的发放：试调查与正式调查（1）发放前的抽样：2/4/202327抽样的相关概念：个体与抽样单位研究总体(关心)与调查总体抽样框:与抽样单位相对应参数值：总体中某一变量的综合描述统计值：样本中某一变量的综合描述抽样误差：以样本的统计值估算总体的参数值产生的偏差，而不包括误抄、计算错误等人为过失。

2/4/202328置信水平与置信区间：前者指总体参数值落在样本统计值某一正负区间内的概率，而置信区间是指在某一置信水平下，样本统计值与总体参数值的误差范围。2/4/202329总体50000人样本1000随机取样推断研究结果取样基本原理关系图2/4/202330抽样的类型：非概率与概率非概率：偶遇抽样:误差大(英-德球)、成本低配额抽样:摊派、指定目的（判断）抽样:吸毒人员戒毒情况滚雪球：少用,差序格局，高层人员、散工2/4/202331概率：简单随机抽样：随机数表的应用（华大新生5000人中抽1000个）；spss应用(演示)等距抽样：抽取毕业论文，K=N\n分层抽样：代表性较大，华大各学历层次抽样（博士招42人届；硕士；本科）；各部门抽样；一种是按百分比例，一种是等比例，如全部10%整群抽样：群间同质，群内差异较大；多阶段整群抽样，乡镇---村----农户(常用)概率比例抽样：PPS，少用，不讲Kish表入户：少用，不讲教学实践：请为“福建省高校女教师时间配置问题研究”设计抽样方案。小结：性别、文化程度、年龄、职业、婚姻、政治面貌等基本正态分布即可2/4/202332（2）发放的方法：试调查—修改---定稿---正式发放专业访问员入户(专业访问员招聘、培训)；国外20元/份专业访问员电话调查；委托他人；邮寄；网上发放；/index.php2/4/2023334、问卷的回收与统计（1）回收：回收率、有效率（2）检查、录入、校对、统计分析（上机）小结：实践中的常见问题与处理（1）数据不能用？与假设相反（党员信教）（2）样本量不够，不能任意加权（各文化水平的受访者），补调查（3）跟综调查：留电话2/4/202334（二）文献法案例（个案，case）2/4/202335小结统计调查与实地研究；定量研究与定性研究；摩梭人女童入学率、辍学率、完学率较低经典之作《菊与刀

》学位论文中交待方法时，注意规范术语；注意应用方法收集所需资料2/4/202336日本人是既生性好斗而又温和谦让；既穷兵黩武而又崇尚美感；既桀骜自大而又彬彬有礼；既顽固不化而又能伸能屈；既驯服而又不愿受人摆布；既忠贞而又心存叛逆；既勇敢而又懦怯；既保守而又敢于接受新的生活方式。菊和刀正好象征了这种矛盾。背景、主要观点、影响、研究方法与社会科学的价值日美：u与倒u曲线2/4/202337（三）实验法（参见教材189-200）

1、界定：研究者按照研究目的，经过精心的设计，充分地控制实验的环境，创设一定的实验条件，科学地选择研究对象，以确立自变量与因变量之间的因果关系，探索研究对象的本质和规律的一种研究方法。实验法的基本目标是判定两个变量之间是否具有因果关系。两点之间线段距离最短。2、实验要素：自变量与因变量、实验组与控制组、实验环境、实验操作环节和实验结果五个因素。2/4/2023383、优缺点：（1）好处：实践中确立变量的相关性可操作、创新性、探索性(2)不足：效度与信度问题：霍桑实验（照明实验1924.11-1927.4;福利实验1927.4至1929.6

—访谈实验)

刻板印象（期望得到实验结果）实验对象的选择实验伦理：性问题研究周期较长，成本较高：政策试点,梁漱溟乡村建设运动（晏阳初、温铁军）、农村社会工作实验无关变量的控制难度较大复杂的问题难用实验:公共危机2/4/202339霍桑实验节选：银行电汇室研究

梅奥等人在这个试验中是选择14名男工人在单独的房间里从事绕线、焊接和检验工作。对这个班组实行特殊的工人计件工资制度。

实验者原来设想，实行这套奖励办法会使工人更加努力工作，以便得到更多的报酬。但观察的结果发现，产量只保持在中等水平上，每个工人的日产量平均都差不多，而且工人并不如实地报告产量。深入的调查发现，这个班组为了维护他们群体的利益，自发地形成了一些规范。他们约定，谁也不能干的太多，突出自己；谁也不能干的太少，影响全组的产量，并且约法三章，不准向管理当局告密，如有人违反这些规定，轻则挖苦谩骂，重则拳打脚踢。进一步调查发现，工人们之所以维持中等水平的产量，是担心产量提高，管理当局会改变现行奖励制度，或裁减人员，使部分工人失业，或者会使干得慢的伙伴受到惩罚。

这一试验表明，为了维护班组内部的团结，可以放弃物质利益的引诱。由此提出“非正式群体”的概念，认为在正式的组织中存在着自发形成的非正式群体，这种群体有自己的特殊的行为规范，对人的行为起着调节和控制作用。同时，加强了内部的协作关系。2/4/202340河北省定州市的翟城村晏阳初乡村建设学院

2/4/202341图：实验法基本思路操纵自变量无关变量控制最大化最小化测定因变量例：磕头、狗爬2/4/2023424、各领域中的实验法(从生活到学术)生活中的实验现象：群体心理实验阿希实验米尔格拉姆实验仰望星空：3人法则2005韩国首尔乘客集体推地铁救人电梯实验2/4/202343阿希从众实验的卡片

2/4/202344米尔格拉姆的服从实验

2/4/202345目标：探讨自变量与因变量的相关性术语：因变量的前测（pretest）与后测(posttest)实验组（ExperimentalGroup）与控制组（ControlGroup）选择实验对象：主观配对与随机分配(单双号)教育学中的实验：儿童教育实验：“模拟妈妈”教学管理实验（管理迟到）2/4/202346治疗网瘾:04级公共管理中的实验应用：例：叶志平；交通立体斑马线，华大北门；农民培训与农村劳动力转移，培训前与后；免耕法；雨天路堵检验村民帮助；平潭财产公示、“二胎”麒麟镇邪小结：从心理学、教育学到公共管理2/4/202347相关问题：如何有效治疗网瘾？据有关专家统计，目前，治疗网瘾的方法大致可以分为：药物治疗、催眠治疗、暴力治疗、集体游戏治疗、电击治疗等。而就在09年7月13日，山东杨永信首创的曾被媒体广泛报道的“电击”治疗法被卫生部叫停。你认为，什么方法治网瘾更好？1电击或暴力治疗2药物治疗3集体游戏治疗4断网封电脑5不治，顺其自然2/4/202348日本9级地震的公路与中国淋了3天雨的公路。2/4/2023495、公共管理等学科的研究应转向实践（改造世界）费孝通2/4/202350实验法研究应用示例：知识拥有状况如何影响评价结果准确性？

——面向地方政府绩效评价的模拟实验研究启发：专家评价？群众评价？上级评价？下级评价？2/4/202351引言本文的研究针对中国地方政府绩效评级活动。然而进行社会实验研究存在诸多困难，可行性不高，因而选择小规模模拟实验的方式对地方政府绩效评价机制进行实证性研究。小规模模拟实验既能体现出一般绩效评价活动的本质特征和将某些影响评价客观性的因素定量化，又易于控制和观测、节约成本和规避风险。2/4/202352问题提出研究意义：评价主体是研究评价机制时的关键研究对象，对评价主体行为和表现的解释不仅是从理论上阐明政府绩效评价系统内在运行机制的基础，也是解决政府组织绩效评价实践中如何化解各方利益冲突的基础。研究关注点：在评价主体与评价客体（评价对象）利益关系一定的条件下，评价主体的知识状况对其评价行为的影响，进而对评价结果准确性的影响。

2/4/202353研究综述蔡立辉：政府绩效评价机制在设计之初蕴含了经济学理念，包括对政府组织行为采用经济学的效率假设、采取成本——收益的分析方式、按投入和产出模式来确定绩效标准并且评价注重结果导向和以公众满意为基础的类市场责任机制；臧乃康：从政府角色的角度对绩效评价活动中的关系特征进行了描述；张璋：从元评估的角度对政府绩效评价的偏差进行了探索；卓越：对各种评价主体进行了分类，并且分析了选择评价主体的特点；吴建南等：从战略实施的宏观层面对评价机制和评价主体问题进行了探讨；尽管上述研究已进行了大量工作，但是对于评价主体及评价准确性的研究却较为罕见。即使有少数设计评价主体行为特征的研究，也未能就评价准确性的影响因素进行实证研究，缺乏足够的说服力。

2/4/202354假设构建(1)—知识对评价主体的影响假设前提：理性人——每个人的选择都基于个人效用最大化的原则知识1)显性知识：能够以语言、文字、数字和图形等编码符号加以表达、描述和编撰的；2)隐性知识：“默会的知识”。不可编码或编撰的知识，包括经验、传统与习惯等。知识状况影响评价主体对评价对象的认识。

认识主体的头脑信息加工感觉输入动作输出（客观）（隐性知识作用）（加工结果）2/4/202355假设构建(2)—评价与评价准确性评价活动是对价值关系的社会、文化约定，以人的现实生活世界为背景，以实践积淀和社会文化约定的规范或观念（隐性知识）为形式。——评价真理异于事实性真理不同的评价主体知识状况不同，先行认定的价值和价值秩序也就不同，因而不同的评价主体衡量同一客体的价值尺度即评价标准也必然不同。2/4/202356假设的形成评价主体的知识状况越好，对评价对象的认识越全面，采用的评价标准也越客观公平，这样的评价主体所做出的评价也必然更加准确。理论假设：在其它条件一定的情况下，评价主体的知识状况越好，所做出的评价结果准确性越高。2/4/202357假设验证(1)一般的课程答辩是针对个人的绩效评价活动，所采取的方式是多个评委对同一对象的现场打分评价，在评委多样化的情况下，不可能所有评委都对该同学的学习状况有清晰的认识，由于时间有限，只能对其进行印象打分。此时答辩者的临场发挥和所提交的学习汇报材料就起到了至关重要的作用。而评委也可以对各位答辩者进行答辩环节之外的调查摸底工作，为最终的评价结果提供辅助。和政府内部年度考核相比，课程答辩在评价机制、评价方式、评价主体的选择和评价结果的运用方式等诸方面都类似。就评价活动本身的特征而言是具有模拟性的。2/4/202358假设验证(1)变量选择：因变量：“评价主体对同类对象的评价分值”——“评价准确性”。自变量：评价主体的知识状况——问卷调查实验方案：课程答辩模拟政府内部年度考核。评价主体：教授、讲师、研究生；评价对象：四年级本科生、一年级硕士研究生；评价方式：准匿名的背对背评价。2/4/202359假设验证(2)—第一次模拟实验参与模拟实验的评价对象的绩效水平普遍较差，在剔除个别绩效水平高的评价对象后，可视为相同。评价准确性差异分析：1)衡量标准选择：教授——该门课程任课教师2)打分结果：教授59.625，讲师52.625(差异-7.000)，研究生42.82143(差异-16.80357)

2/4/202360假设验证(2)—第一次模拟实验评价稳定性差异分析：评价主体群整体的知识状况越好，群中个体间的评价差异应该相对越稳定。1)对讲师和研究生两类评价主体的每次评价分别求标准差：每次评价活动中一组评价主体群内的差异；2)再对两组的标准差分别求方差：一个评价主体组评价的稳定性。结果：讲师1.84492，研究生4.72300。2/4/202361假设验证(2)—第一次模拟实验评价结果离散度与评价对象绩效的关系分析:在较准确的评价活动中，一组评价主体对评价对象做出的评价的离散度应当是服从正态分布的。2/4/202362假设验证(2)—第一次模拟实验评价结果离散度与评价对象绩效的关系分析2:2/4/202363假设验证(3)—第二次模拟实验评价主体隐性知识问卷调查统计结果：教师的总体知识状况优于研究生，一年级和二年级研究生知识状况近似。情商判断力隐性知识研一26.221.647.8研二26.221.848教师2823.451.42/4/202364假设验证(3)—第二次模拟实验不同主体评价准确性分析：1)绩效的确定：多数原则。2)教师的打分始终与评价对象的真实绩效最为接近。2/4/202365假设验证(3)—第二次模拟实验2/4/202366结论从第一次模拟实验的统计结果可以看出，对于讲师和研究生两类评价主体，无论从其评价结果与教授评价结果的差异来看，还是从评价的稳定性和评价结果的分布来看，讲师的评价均好于研究生评价。调查问卷说明，讲师的总体知识状况优于研究生，一年级和二年级研究生知识状况无明显差别。从第二次模拟实验的结果来看，讲师的评价准确性明显高于研究生，而一年级与二年级研究生的评价准确性近似。结论：在其他条件一定的情况下，绩效评价结果的准确性与评价主体知识拥有状况正相关。2/4/202367本研究不足之处由于条件所限，评价主体尤其是教师评价主体的样本选择较少，所选择的几组评价主体知识状况的差异体现的也不够明显。在第一次针对本科生的绩效评价指标设计没有充分考虑到评价对象绩效水平普遍较低的状况，造成一些评委难以应用其进行打分。由于设计者的心理学知识不足，在知识状况的调查问卷中部分问题设计简单化，可能会导致收集的一部分数据与真实状况不符。2/4/202368（四）观察法1、观察法界定：指人在一定理论指导下，根据一定的研究目标用人的感觉器官（主要是视觉器官）或借助于一定的观察仪器和观察技术，对社会生活中的社会现象或人们行为的各种资料的搜集过程。领导作风：校长吃饭领导人的反应力：温总理面对扔鞋(周立波模仿)2、特征：（1）目的性:观察进行之前要提出一定的理论假设，进行观察是为了证明或证否该理论假设。例：村级精英的作用，鼎诚村长打电话要钱；买书；希特勒2/4/202369（2）计划性:观察之前对为什么观察、观察什么、怎样观察都是很明确的（3）客观性:自然存在条件下进行，不能影响被观察者的常态：如对一名曾经失足的女学生的观察反复观察的次数越多，越能准确反映客观事物。例，在学生心理卫生现状及其对策研究中，集中对两个班级学生进行观察，发现有一个学生有洗手的异常行为。

2/4/202370(4)敏锐性:泉州刺桐饭店天下至刚列宁-斯大林-赫-勃列日涅夫-安德罗波夫-契尔连科-戈尔巴乔夫-叶利钦-普京-梅德韦杰夫（5）职业性：社会学想像力(承露泉)泳装与社会变迁2/4/2023712/4/2023722/4/2023732/4/202374冯小钢张艺谋2/4/2023753、观察法的类型：观察法的分类2/4/202376参与观察案例卧底：怀特的《街角社会》、《丐帮流浪记》、打工妹、严景耀扮犯人(司马懿)暗访人员三问话工作人员不理睬

本月14日，四川广元市纪委、市监察局公开播放了一段暗访录像，曝光了44个部门和单位的公职人员违规现象。

暗访人员到广元市规划和建设局规划处询问办事去向时，连续3次问话，工作人员均未予理睬。酒店美女试睡员、月薪上万

2/4/202377非参与观察法案例：示例：巧用气压计有一家公司同样招聘管理人员，题目是：用发给你的一支气压计，测出这幢30层大楼的高度。一个个应聘者绞尽脑汁想出种种办法：有的楼上楼下量气压，利用物理知识繁琐地计算；有的爬上屋顶，将气压计系上长长的绳子，忙乱地量着；有的在资料堆中埋头翻阅，希望找一个更好的方法或公式......但有一位应聘者却拿着气压计来到大楼管理处，对一位老者说："大爷，这支气压计送给您，请您告诉我这大楼的高度。"这位聪明人入选了，因为他正是一个难得的管理人才。2/4/202378结构式观察:教材p231表格非结构式观察:发散式、美国军事家观《亮剑》抽样观察法:时间抽样观察法:课业负担现状的观察，在校内选择下课时间、午休时间和下午课余时间进行观察场合抽样观察法:厕所作为反映学校卫生面貌的抽样场所，进行观察，并由此分析学校卫生状况;车站—城市(粟裕)跟踪观察法:特殊的个案长期观察，社区矫正2/4/202379直接观察法（胡耀邦）:消费者对新产品的关注情况、公交车见义勇为间接观察法:“垃圾学”、食品柜调查法、磨损观察（书、轮胎）、行为标志观察（捡信封、钥匙）4、观察法应用范例：教师课堂角色类型研究教学实践：青年公务员办事角色类型研究办事态度、办事效率、专业性、应变性2/4/202380研究方