立法后评估中问卷调查方法的运用

立法后评估中问卷调查方法的运用

作为提高立法效率的重要手段，立法后的评价已成为近年来的主要立法活动。为提高评估的客观性和真实性,各地都在立法后评估中引入了不少量化评估的方法,而问卷调查法因其成本较低、技术难度较小等特点,成为评估活动中最为重要的量化方法。就其功能来看,问卷调查法将抽象的法律实施概念转化为人们可直观感受的社会经验一、通过抽样方式确保调查对象的代表性和经典抽样是问卷调查的灵魂,基于评估活动的成本限制,在多数情况下进行普查既是不现实的也是不必要的。在此情况之下,必须通过有效的抽样来确保调查对象的代表性和典型性。从其原理来看,抽样的核心步骤有二,一是抽样的方法选择,二是样本量的计算(一)采用定额抽样方法进行问卷统计抽样的方法大致可以分为随机抽样和非随机抽样两大类型,现实中使用较多的抽样方法主要有以下几种:(1)简单随机抽样(simplerandomsampling)。该方法的核心要求是在每一次抽取时都要保证在总体中未被抽取的任一样本被抽中的机会是相等的从广州市的实际情况来看,其首先将调查对象分为了管理部门、管理相对人、人大代表及政协委员,以及社会公众四类,并根据此分类采取了两种不同的抽样方法,具体而言:(1)对社会公众的调查,采取了偶遇抽样的方法。公众的调查以网络调查的形式进行,而网络空间的开放性和匿名性决定了调查者不可能进行事前的大规模抽样,只能采取偶遇抽样的方法,随机调查公众意见。从其实效来看,该方法虽然覆盖面较广,但如果样本量不够大的话,就会面临着巨大的数据误差。为此,有必要在日后的网络调查中添加必需的背景信息收集模块,以便于后期对问卷数据的清洗和选取,提高网络问卷样本的代表性。(2)对管理部门、管理相对人、人大代表及政协委员等三类群体调查,采取了定额抽样的方法。从形式上来看,以上三类群体的划分即为“分层抽样”的过程,但严格来说,这样的划分并非是分层的结果,而是对利益相关者的分类方法。在此基础上,按照定额抽样的要求,调查者会分别从三类主体中选择合适数量的样本进行调查,而这一选择过程主要通过调查者的指定以及单位推选的方式加以完成。这种在不完全的分层之下凭主观判断抽样样本的方式,严格来说只是定额抽样的简单形态,与完全的分层随机抽样方式相比,尚有较大差距。当然,由于此种方法易于操作且成本较低,实践中也应用得非常频繁,但对其带来的数据误差,调查者应有清醒认识和相应的控制措施。(二)样本量波动抽样的规模是决定问卷调查信度和准确度的核心要素。一般而言,样本的规模取决于其所要推论的总体规模,合理的样本量不应过少也不宜太多,因为数量过少会带来样本代表性的不足,而数量过多则会推高调查成本。从广州市的实践情况来看,样本量呈现出整体偏少且波动较大的情况,具体而言:第一,样本量整体偏小。从广州市历次立法后评估的数据报告来看,在有明确数据统计的5次调查活动中,评估主体分别发放问卷600、600、700、280、250份。作为对比,在苏州市38次立法后评估活动中,问卷数量在1000份以上的就有26次,占68.4%第二,样本量波动较大。由于广州市对公众意见的调查采取了网络问卷调查的方式,网络空间的开放性和匿名性使得最终的样本数量无法控制,在不同的宣传力度之下,最终收集的样本数量也会发生较大的波动。从广州市历次公众问卷的回收情况来看,样本量最少的调查只有12份有效问卷,最多的则有6352份,而历次公众问卷调查的中位数又为725份,样本之间数量差距明显。受其影响,广州市立法后评估活动中问卷调查的总体样本数量也出现了较大幅度的波动,在《广州市妇女权益保障规定》的立法后评估中,问卷调查的总样本量达到了6426份,而在《广州历史文化名城保护条例》的立法后评估中,样本量只有158份。样本数量的较大波动反映了问卷调查活动常态化的工作机制尚未有效建立,对此,调查者有必要事先确定样本量的合理范围,如果最终收集的样本量出现较大异常,偏离该合理范围,调查者就应当采取补充调查的方式来增加样本量,或者通过数据筛选的方式将样本量稳定在成本可控的范围。那么,样本量究竟如何估算,多大的样本量才算合理呢?根据社会学中关于样本估算的基本方法,样本量估算首先应当确立一个初始的样本量,通过设置误差值e和估计值p得到一个初始的样本量n二、问卷设计在问卷调查活动中,抽样过程只能保障样本的代表性,而至于选定的样本是否能够如实地反映待测事项的真实面貌,则要取决于问卷设计的质量(一)调查内容的抽象化概念操作化和变量测量,其核心就是将抽象的理论和概念转化为可测量和可观测的具体指标的过程。在被调查对象拿到问卷之前,调查者事实上已经对调查内容进行了从抽象到具体的转换,以构建起研究的抽象概念和经验测量的现象之间的逻辑联系其一,概念的操作化。操作化即是用一系列经验可观察的指标和系统陈述表达出定义所包含的抽象意义的过程其二,对变量的设定。所谓变量就是指“包括若干个亚概念、范畴和值的概念”(二)立法后评估问卷的编排作为社会调查的重要手段,问卷调查的实质是一种特殊的人际交往活动,其与被调查者互动的目的就是充分收集有利于说明或阐述某种社会现象的材料,所以,问卷调查的成效即取决于被调查者是否能够有效地呈现“立体的”自己其一,问卷内容的针对性。作为对被调查人态度、观点和看法的客观反映,问卷设计必须具有足够的针对性才能吸引被调查对象参与其中,相反,如果问卷题目都让人很陌生的话,问卷调查活动就很难达到预设目的。为避免这样的问题,调查者应预判被调查对象能够感知到的社会经验范围,并以此来设计其能力范围内的问卷题目。在广州市人大的立法后评估实践中,问卷设计虽凸显了一定的针对性,根据不同群体的自身情况分别设计了四套不同的调查问卷,但通过对比,四套问卷中题目重复的情况非常严重(参见表二),以人大代表及政协委员卷为例,在九次立法后评估中,该卷与其他三卷重复率的平均值达到了45.2%,具体的重复比例分别为46%、50%、48%、27%、86%、37%、60%、35%、18%(参见图一)。过多的重复题目直接影响了调查的针对性,如果适用于不同群体的问卷有过半的题目都是重复的,那么进行问卷区分的意义何在?如果问卷不能反映出其所调查群体的个性,就必然要面对调查参与度低以及回答敷衍的问题其二,提问的方式。问卷调查应尽量使用简单和简短的表述,题目的长度和阅读的难度都应进行严格的控制,以避免被调查者产生畏难和厌烦情绪。从广州市人大立法后评估的调查问卷中来看,只有公众问卷较好地遵守了以上规则,其余问卷则不同程度地出现了表达冗长和艰涩的问题,以《广州市志愿服务条例》的立法后评估为例,其问卷题目平均长度已经达到了80.2字,相当于每题都是一道完整的材料分析题目。当然,有人认为立法后评估题目的冗长也有其特殊原因,毕竟针对于立法实施情况的调查不可避免地要涉及对立法条文的引用其三,问题的数量。问卷中的题目数量也是影响问卷调查参与度和完成度的重要因素。一般而言,问题的数量越多,问卷所覆盖的内容越广,就越能获取到被调查者的真实看法。同时,问题越多,被调查者填写的随机误差就越容易被相互抵消,问卷的真实性就将得到提高。所以,在合理的范围内,适当增加问卷的题目数量,不仅可以大大提高调查信度,而且还可以有效提高调查效度其四,问题的顺序。一般而言,在问卷的编排上应遵循“由简到难”的原则,将与受众生活密切相关的、较为容易回答的问题放在前面,把容易引起被调查者紧张、顾虑或疑难的问题放在后面。具体来讲,在立法后评估的问卷设计中,可以先询问其日常活动受立法实施的影响,再进一步延伸至其在立法实施中的关注内容,最后再是调查立法实施过程中的问题,以及其对立法实施整体的意见和看法等。但从广州的实践来看,其题目设置的顺序则是以立法中的条文顺序为线索,从前至后地提问被调查者对各条款实施情况的具体态度,此种排序方法事实上也代表了当前多数地方的惯常做法。之所以出现这样的情况是因为承担立法评估任务的大多为具有法学背景的高校科研人员或者法律服务从业者,囿于知识范围和实践经验所限,这一团体已经习惯了按照立法论证或者立法审议的方式来设计立法评估问卷,而这样的事实已经偏离了问卷调查的出发点,将普通公众默认为了法学专家,而满篇的立法条文和专业术语也会极大地打击被调查者的兴趣和热情,即使受访者有意认真填写问卷,也会在做完前几道专业题目之后就有了畏难和退缩的情绪,严重影响被调查者的积极性。三、问卷的分配、检索和统计数据(一)回收率一般而言,问卷的发放可采取结构访问法和自填问卷法两种方式,在结构访问法中,调查者将采取口头访问的方式,向被调查者了解和收集信息此外,从回收效率上来看,集中填答和邮寄填答的方式也有着较大的差别。相对而言,集中填答的问卷回收率要远远高于邮寄填答,在现场填写的问卷一般是可以全部收回的,而邮寄填答的方式能否顺利收回都取决于被调查者是否足够配合。当然,邮寄问卷回收率低的问题一直是困扰问卷调查法实效的关键现实问题,如国外社会学的研究中就指出邮寄调查的回收率不少都低于10%,能够达到50%的回收率就足够让人满意了(二)数据统计和描述任何形式的问卷调查都是针对于特定目的展开的,没有统计分析就没有问卷调查存在的意义。正如有学者所言,对问卷材料的深度加工才是问卷调查的核心所在,只有将问卷调查的分析说明融入立法后评估的具体内容之中,才能充分发挥其信息采集和结论佐证的作用在问卷统计方面,广州市人大历次立法后评估活动的问卷都能满足基本的统计要求,不论是使用SPSS软件统计还是人工统计,总之,问卷中所有题目的回答情况都能得到准确的统计,而且其问卷统计的数据还均以直方图或饼图的方式在评估报告中进行了直观的呈现,使各选项的分布情况一目了然。难能可贵的是,所有问卷中开放性问题的回答情况也均被纳入了数据统计报告之中,被调查者的所有回答都被完整地记录了下来,开放性问题的回答情况虽然无法被量化评价,但是因为这些回答都是被调查者的主动回答,其实更能反映出社会各界对立法质量和实施情况的真实意见和看法,更值得评估者仔细统计和认真对待。在问卷分析方面,我们着重考察了其问卷数据在报告正文中的使用方式,以及是否有专门的数据分析报告等两项指标,并得到了以下结论:(1)就分析方式而言,早期立法后评估报告中对问卷数据的分析方式,呈现出了单题分析和综合分析择一而用的特征。但在2015年所进行的三次评估中,“二选一”的方式被基本淘汰,而是选择了同时保留单题分析和综合分析的方式。其中,单题分析主要出现在对社会各界意见的梳理以及对立法实效的说明中,综合分析多侧重于对立法“六性”四、回归问卷的本质作为一种专门的社会调查方法,问卷调查法的运用有着基本的规则和要求,只有遵守了这些规则,其结果才有被应用的科学价值。在立法后评估活动中,只有问卷调查结论的信度和效度得到证明,才有可能去佐证评估结论之客观性与真实性。综合上文对广州市人大立法后评估中问卷调查活动的实证分析结果,本文得出了以下结论与建议。其一,提高调查者的专业技能,以解决问卷调查方法运用不当的问题。问卷调查作为社会调查的一种类型,本属于社会学的研究范畴,应由具有社会学背景的专业人士担任。调查者应熟悉问卷调查理论以及专业技能,有一定的调查经验积累,或者进行了长期的问卷调查活动研究。但在立法后评估中,担任调查者的评估主体基本为法律专业人士或者公共组织人员,在缺乏系统培训的情况下,其有限的社会调查知识使其无法有效掌握问卷调查之要领其二,厘清问卷调查的性质与定位,以评测公众对立法实施的感受和看法为中心。从问卷设计环节来看,调查者对于“问卷调查应该调查什么”这一基本问题缺乏清晰认识。受此影响,调查活动缺少了概念操作化与变量测量的过程,使专业概念在不经转换的情况下直接呈现在了问卷上面,并带来了以下后果:一是问卷内容针对性的下降,问卷中所涉及的多数内容已经超出了被调查者可直接感知的经验范围,使调查活动的实效大打折扣;二是调查问卷所覆盖的信息量不足,问卷题目数量与调查者能够在问卷中获取的信息量成正比例关系,在相关概念未充分展开的情况下,问卷长度就必然会受到影响,通过问卷调查所能获取的信息量也将减少;三是问卷调查参与度降低,题目设置的顺序和题目长度是影响被调查者参与度的重要因素,以立法条文的前后顺序来安排问卷题目顺序,以立法条文内容作为问卷题目内容的做法,将针对社会各界公众的问卷调查活动变为了面向法学专家的法律论证活动,令被调查对象难以积极参与其中。对此,调查者有必要重新思考“问卷设计为谁设计”“问卷调查应该问什么”“被调查者能够回答什么”等基础问题,回归问卷调查的本真,以评测公众对立法实施的感受和看法为中心,提高问卷调查的针对性以及公众参与问卷调查的积极性。其三,设置必要的校验机制,避免数据误差的不断扩大。通过对广州市的实践分析,可发现其问卷调查工作呈现出非常明显的单线性特征,上一个环节的结束即为下一环节的开始,前后衔接过程中没有任何的校验与修正机制,这就导致了上游环节中存在的问题会不经修改地直接传递至下游工作之中,导致问题的加深、累积以及数据误差的不断扩大。依据系统论的基本观点,一个系统的发展能力主要来自于其内部的反馈机制,特别是对负反馈的回应式修正,更是维持系统向特定目标运行的重要方式其四,扩大调查结果的运用范围,避免问卷调查的形式化。作为立法评估的核心素材,问卷调查结果在评估活动的各个环节都应得到充分的使用,尤其是在作出评估结论时,问卷调查所获取的事实材料必须作为观点提出的基本前提,只有如此,最终的评估结论才能具有