iResearch-问卷设计投放收集规范0608015.ppt

1、1,定制调研样本管理与问卷流程,2,定制调研问卷设计,定制项目样本管理,项目样本数据清洗,3,抽样方案工作流程,考虑样本定向问题：轮空、定向投放和配比抽样等,4,抽样方案选择,调研通,E-mail,外部网站,适用范围：整体网民抽样；按网民特定属性抽样,不适用情况：明显有网站倾向性的问卷调研,样本质量：样本随机性较好；对样本控制较好；较短时期内实现回收,适用范围：调研通样本补充；特定属性网民抽样；,有倾向性的调研,适用范围：特定网站调研；有倾向性的调研,不适用情况：通过单一站点调查整个行业状况,样本质量：样本随机性差；对样本控制差,样本质量：样本随机性较好；对样本控制较差；回收率低（1%左右）,

2、5,样本定向抽取,样本轮换原则,特定网民样本,整体网民样本,在调研通实现问卷定向投放前提下，为提高调研质量，规,避部分职业问卷填答者，对已经参加过调研的用户进行轮,空，实现样本轮换。对于轮空样本定义的指标：（上次填卷时间，上次填卷距此次的间隔，根据需要样本量设置）,就调研对特定属性网民(如特定地区，特定收入等)需求，,除考虑E-mail定向发送调研邀请外，应采用调研通定向投,放，提高调研数据质量。,就整体网民调研，除遵守样本轮换原则之外，应在问卷,投放时适当考虑样本提前配比，实现样本定向投放。,6,样本规模确定,样本规模（容量） 计算公式,公式说明：,经验法则：,公式理想化：,调研总有效样本不

3、少于700；分类交叉不少于100,网上调研非严格随机调研；2不可知； 多个属性2不同,经验法则：,回收样本量：,回收样本量1.5目标有效样本量（可根据实际情况增减回收样本量）,Z表示置信值；2表示总体方差；表示误差值,7,不同总体规模所需样本数量,8,研究员抽样方案中需注明的事项,抽样方案,调研通；e-mail邀请；特定网站/客户网站,样本规模,通常为1000个以上；具体视项目提案而定,时间节点,从技术问卷制作到调试上线：1周左右，视问卷长度、难度及与客户沟通确认情况定 上线后样本回收时间：ICLICK无定向：1周；ICLICK定向：不确定；邮件无定向：2周（如样本量为1000）；均视实际情况

4、变化,样本属性,总体网民调研/特定网民调研；具体视项目提案而定,样本配比,通常按大调研CNNIC方案配比；具体视项目提案而定,提交格式,excel格式调研样本需求；随问卷一起提交技术部,9,定制调研问卷设计,定制项目样本管理,项目样本数据清洗,10,定制项目审核规范,项目组： 研究/业务,*研究总监 tiger,业务员,客户,第一阶段 第二阶段 *第三阶段 *第四阶段 第五阶段,问卷测试,内容审核,报告内容审核,报告最终内容,项目组： 研究/业务,与客户沟通设立问卷,*对于定制项目金额大于5万或者研究员初次进行网上问卷设计，需要研究总监进行最终审核 *一般情况下，对于新型的定制项目至少henr

5、y/kelly/lily中一位对项目问卷进行最终确认,Henry/ Kelly/Lily,11,定制项目问卷执行规范,项目组： 研究/业务,问卷质检 协调组,问卷审核,最终确定抽样方案 问卷规范及逻辑审核 安排问卷上线顺序,与客户沟通设立问卷（符合艾瑞规范） 并提出抽样方案建议等,*对于定制项目金额大于5万或者研究员初次进行网上问卷设计，需要研究总监进行内容审核 *一般情况下，对于新型的定制项目至少henry/kelly/lily中一位对项目问卷进行最终确认,技术部制作 网络版,*研究总监 Tiger （内容把关）,问卷质检 协调组/项目组,项目组最少一人测试后质检组最少一人测试并最终确认上线

6、 欢迎客户参加测试,上线回收,问卷质检 协调组,数据清理（如涉及开放题，由研究员自己操作）,项目组,报告撰写、审核、提交等,问卷质检 协调组,抽奖等,12,问卷质检协调组的问卷审核要求,1）审核问卷逻辑 2）审核明显错字或其它显而易见的低级错误 3）审核有无技术无法执行的复杂逻辑 4）审核问卷容量是否超标 5）审核是否有会给我们造成麻烦的题目 6）平衡问卷的倾向性及投放成本 7）随时与研究员、客户经理、FISHER及SAMMY的沟通,注：问卷审核只是去除技术或流程错误，无法提升问卷的质量！ 审核人员一般情况下没有精力去审核问卷的具体内容， 如问卷问请问您平时去哪些大卖场买东西？， 审核人员绝对

7、不可能去查问卷中的选项是否已齐全！,13,定制调研问卷分拣,问卷篇幅分拣标准 1.根据问卷的篇幅不同，确定问卷的形式，超过一定长度的问卷，必须采用分页形式。 2.由于篇幅过于冗长的问卷对于数据回收不利，对于回收数据质量的保障不够，因而会导致需要更多的资源以达到期望的结果，故在超过一定篇幅以后，有必要增加费用。,14,定制调研问卷分拣,逻辑关系分拣标准 1.在问卷正式制作前，检查问卷的逻辑关系，由于部分客户对于网络调研的熟悉程度，认识程度有限，所以在问卷的设计上会存在一些可修正（思路不清晰，定义模糊等）和不可修正的逻辑问题。 2.对于可修正的逻辑问题，需要我们与客户加强沟通，及时发现并修正。 3

8、.对于不可修正的逻辑问题，制定增加费用的标准。,极力避免： 1）以开放题的回答作为判别的跳转（根据用户填写的内容进行跳转，或根据逻辑要求用户填写指定格式内容） 2）以多个选项的回答作为判别的跳转（根据用户多个选项选择的状态，实现逻辑上的跳转） 建议： 1）不出现可伸缩的树状列表题目（在某选项状态改变后，在该选项下出项另一个子选项列） 2）不出现排序题，或者有填答顺序的题目（对选项要求用户进行排序，或要求用户依次答题） 3）不出现多个跳转的目的地为同一个题目/选项（不同的逻辑最终跳转到同一个题目/选项上）,15,定制调研问卷分拣,问卷结构分拣标准 1.尽量减少开放题，或以封闭的方式去考量开放题，

9、比如对于开放题给与一定的范围选择等。 2.加强与客户的沟通，明确online调研与offline调研数据收集的渠道与方法上的差异。Online调研是被动性收集数据，无法做到实时的校验与提醒。 3.过于复杂的表格题，与开放题在不可避免的情况下，增加费用。,注：按照表格的选项作为题目的数量,表格题中极力避免： 1）三维表格题（比如表格单元中嵌套下拉框） 2）表格列的轮机 建议： 1）表格题的最大尺寸不超过5x7，即5列7行 2）普通列表题的篇幅不超过浏览器的半屏，大约20行（此项仅仅是建议）,16,定制调研问卷分拣,问卷其它分拣标准 1.样本数量设定数量级收费标准，对不同数量级的数据要求进行评估，

10、以确定费用的差异以及数据回收周期。 2.样本特征数设定级别，根据样本的特征数量类型要求，设定费用标准以及评估数据回收周期。特征数量是否考虑以几何倍数计算费用。 3.调研周期如需加急，需要与公司各部门沟通协调以保证资源顺利到位。,为了有效果，有效率的开展网上调研，在问卷设计过程中的原则是尽可能避免长问卷，开放题，复杂的表格题，逻辑关系复杂的题型。 目前的定制调研缺少对问卷确认，问卷制作，问卷测试，数据回收，提交报告所需时间的评估。,17,定制调研问卷问题总汇,对于一些会产生陷阱的题目，产生同一调研问卷前后结果不一致的情况，可能产生回答样本被删除的结果，除非客户强烈要求，一定要尽量避免，例如： 前

11、面题中问，您目前拥有以下哪些电器，如选择平板电视机 后面跳到的题目中问，您目前拥有的平板电视机是哪种尺寸的？，其中有一选项为没有平板电视机 问卷题目由研究员来确定，尽可能避免倾向性内容的出现，造成调研结果的偏差；（具体见下页） 奖品设置与问卷中的敏感品牌不关联（具体见下页） 新研究员问卷设计后检查和培训,18,问卷填答无倾向性,问卷标题,研究员在设计问卷标题时，应保证用户回答的无倾向性。,对在线影视用户的调研，问卷标题应避免提到“在线影视”，避免,奖品设置,奖品设置应与调研内容无关：避免使用客户公司产品作为奖品造成,受访者心理暗示，导致客户公司比例偏高,筛选问题,需对样本筛选时，筛选问题必须隐

12、蔽,范规问题：您是否使用过？ 合格问题： 您用过以下哪些？ ,案例：,给受访者心理暗示，导致调研结果偏差，在线影视用户比例偏高；,可考虑“中国网民行为调研”等。但在ICLICK中使用会增加成本,案例：,19,定制调研规范,1.在确认合同/协议前或同时，须对调研问卷内容有明确的判断，确认。 2.调研项目开展整个过程，必须加强内部横向交流，协调，对于“进度”“样本情况”等客户所关心问题进行明确，避免各自提供不同的数据。 3.问卷正式上线前进行内测，目的在于发现bug，前期遗漏逻辑错误等，力争做到正式上线问卷“0缺陷”。 一来避免数据收集做无用功，二来改善样本的用户体验。 4.内测阶段的非技术bug

13、做到及时与客户沟通，避免事后修补。 5.自正式上线收集数据起之后，对客户所提交的任何与数据相关的信息务必基于对现实数据的了解，而非拍脑袋。 既可以避免所提供数据的前后矛盾，又可以及时发现问题，进行修正，补救。,20,定制调研问卷流程设计规范,6.定制调研问卷设计各阶段标准化时间（讨论） 问卷设计：2-3天 研究员 问卷确认：2天（内部） FISHER问卷测试小组+tiger（新研究员/新项目类型）+项目经理/客户 问卷网上制作：3天左右 技术部sammy 需和sammy提前3-4天通知安排 问卷测试：2天 研究员+ FISHER问卷测试小组+项目经理/客户 数据回收：7-10天视问卷要求而定,

14、1、研究员交给技术员的问卷设计稿必须是EXCEL格式 2、研究员必须明确知道哪些题目需要轮机，并且在EXCEL格式的问卷设计稿中注明 3、用户基本情况的题目，尽量与 iClick 调研社区中的个人资料的题目保持一致 4、调研有线下数据的，统一按技术员提供的数据录入模板进行录入,21,定制调研问卷设计,定制项目样本管理,项目样本数据清洗,22,样本数据清洗,1）答题时间控制：着重剔除答题时间偏短（如测试时觉得认真答卷需要20分钟，那10分钟以下的基本删除） 2）重复IP剔除 3）自动跳转逻辑复核清理（由于填卷者的IE版本问题造成无法实现问卷自动跳转而产生的废卷） 1）逻辑判断 用户属性与属性之间

15、 主体问卷内部 用户属性与主体问卷 2）开放题逻辑判断 样本配比,技术部,研究部,技术部,研究部,研究员负责制定判断标准，交由技术部实现,23,用户属性之间不合逻辑,年龄与学历（剔除：低年龄高学历） 年龄与个人收入（剔除：低年龄高收入） 年龄与职业 年龄与职位 年龄与婚姻状况 个人月收入家庭月收入 问题：是否要删除敏感行业的人（如调研咨询、媒体、广告公司、调查相关行业等）？ 目前删除使用标准，仅供参考： 16岁以下学历本科或本科以上样本 16岁以下家庭主妇或退休工人样本 20岁以下却已婚 个人月收入大于家庭月收入 16岁以下却个人月收入6000元以上 16岁以下却是中高级管理者,24,问卷内部

16、回答不合逻辑,每份问卷情况均不相同，研究员需按实际情况进行记录删除 举例：在第一题“和其它媒体相比，您认为网络最大的优势是哪两项？”中选择了“信息全面”的人在第二题“和其它媒体相比，您认为网络最大的劣势是哪两项？”中也选择了“信息全面”的人，自相矛盾，要删除。 注意：和陷阱题有些类似,25,开放题回答不合逻辑,每份问卷情况均不相同，研究员需按实际情况进行记录删除，开放题逻辑清理及其费时费力！（一般情况下：设了完全开放题就得清理，而对选择回答半开放题较多的也应清理！） A，完全开放题的清理（如“请填写您最经常使用的IM品牌”） i. 乱填的一律清除记录(如在“请填写您您最经常使用的IM品牌”的空格中填“aaaaa”之类 ii. 填“不知道”或“没有”及其它不确定回答的按实际情况决定（如填卷者在前一选择题“您最近12个月内是否使用IM中”选择了“是”，却在“请填写您最经常使用的IM品牌”中填写“我不用IM”，那就要删除） B，半开放题的清理（如选择题中”其它，请说明“中的填写） i. 乱填的一律清除记录(如在空格中填“aaaaa”之类） ii. 填“不知道”或“没有”及其它不确定回答者，按实际情况决定删除该样本记录或是修改回答， （按严格意义，此类情况为不合格问卷应该删除，但很可