市场和社会调查 定性和定量数据预处理与分析 征求意见稿

1GB/TXXXXX—XXXX市场和社会调查定性数据分析指南本文件确立了市场和社会调查定性和定量数据的编码、预处理和分析方法等内容。本文件适用于市场和社会调查中的定性和定量数据预处理和分析活动。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T26315市场、民意和社会调查术语3术语和定义GB/T26315界定的以及下列术语和定义适用于本文件。3.1定性数据qualitativedata指描述性的、非数值的数据，通常用来捕捉现象的本质特征、感受、态度、经验和行为等方面信息。这种类型的数据通常是文字形式的，但也可能包括图像、视频或音频记录等非文本形式。3.2定量数据quantitativedata指可以通过数字表示的数据，这些数据通常是可测量的，并且可以用数学方法进行分析，分为离散数据和连续数据两类。3.3定性数据分析qualitativedataanalysis在数据收集起来以后，在向客户提交最终报告以前所进行的一系列工作，包括对所获得的原始数据进行编码、归类、解释并概括资料所呈现的意义等。3.4定量数据分析quantitativedataanalysis指基于数量化数据，使用统计方法和工具进行数据分析和研究的过程。在数据收集起来以后，在向客户提交最终报告以前所进行的一系列工作，包括对回收的原始资料编码，数据录入和净化、预处理以及统计分析任务书编制等。3.5资料编码datecode给调查问卷中各项问题的每一个可能答案均分配一个代号，该代号通常用数字表示，赋码过程就是调查问卷编码，分为事前编码和事后编码。3.62GB/TXXXXX—XXXX访谈记录interviewrecords指座谈会、深度访谈中有关受访者的语言和非语言信息的记录。4定性和定量数据特点与收集方法4.1定性数据特点定性数据特点包括但不限于：——描述性，定性数据提供了对现象的详细描述，强调的是“为什么”和“怎么样”的问题。——主观性，定性数据一般包含个人的看法、感觉和经验，具有较高的主观色彩。——非结构化，定性数据通常是非结构化的，没有固定的形式或格式，如文本、图片、音频和视频——深入性，定性数据可以揭示深层次的意义和动机，有助于理解参与者行为背后的原因。4.2定性数据收集方法定性数据收集方法包括但不限于：——访谈，一对一访谈或小组讨论，以深入了解受访者的观点和感受。——观察，直接观察参与者的自然行为，可以是在现场或通过视频记录。——焦点小组，召集一组目标受众讨论特定话题或产品。——日记研究，让参与者记录他们的日常体验和感受。——案例研究，深入研究一个或多个案例，以获得对该现象的全面了解。4.3定量数据特点定量数据特点包括但不限于：——数值性：以数值形式呈现的，分为离散型数值和连续性数值。——可量化：可以使用具体的度量单位进行测量。——可比较性：不同的数值可以直接进行比较。——结构化：数据通常是有组织的，并且可以容易地进行整理和分析。4.4定量数据收集方法定量数据收集方法包括但不限于：——问卷调查：通过标准化的问题来收集数据，问题的答案通常是预先定义好的选项。——实验：通过控制变量来观察结果的变化。——观察：记录特定事件的发生次数或其他可测量的属性。——专用设备：使用自动化工具（如温度计、压力表等）来收集数据。——数据库：从现有的数据库中提取数值数据。5数据预处理与分析前准备5.1确定定性数据对象5.1.1受访者资料3GB/TXXXXX—XXXX5.1.1.1访谈记录由于访谈是定性市场研究数据采集的主要形式，因此访谈记录是定性分析中最重要的材料，包括但不限于以下几种形式：——录像或录音；——录像或录音的文字稿；——对录像或录音进行内容分析后的纲要；——主持人或研究人员等在现场所做的访谈笔记。5.1.1.2受访者产生的资料受访者产生的资料指在访谈过程中，请受访者完成一些任务或练习（如投射技术中的拼贴活动）时所产生的资料，其形式包括图画、名录、故事、拼贴画等。5.1.2反映研究人员在研究过程中思考的资料包括与访谈相关的田野笔记和观察记录等。田野笔记和观察记录包含研究人员在实地研究过程中的观察和评论，而且往往只有那些在研究人员看来有助于理解访谈内容的信息才会被记录下来。其具体内容包括：对受访者、实地场地、周围环境的其他因素等的第一印象及后续印象。其最常见的形式是笔记，此外也可采用影像、录音、照片等形式记录。5.1.3反映客户视角的有关资料由于定性市场研究最终需要为客户服务，因此客户的知识、观念、定义和意图等也应作为分析的对象加以考察，并与从研究对象中获得的资料进行对比。这类信息可以通过多种渠道获得，包括“硬”信息和“软”信息。“硬”信息包括前期收集的定性或定量研究、客户委托时的有关文件和其他客户提供的有关材料，“软”信息包括在与客户沟通过程中所获得的信息。5.2确定定量数据对象5.2.1原始资料编码5.2.1.1事前编码设计调查问卷的过程中，对其进行编码称为事前编码。事前编码需将每个答案的对应编码呈现在问卷上，编码位置一般位于答案的最右侧或某处的括弧、表格内。适用于问卷结构清晰，问题答案明确的问卷。具体编码示例，见附录A。5.2.1.2事后编码数据收集结束后，根据编码本对其进行编码称为事后编码。事后编码适用于调查问卷中封闭式答案含有“其他”项，或者含有开放式问题的问卷。具体编码示例，见附录A。5.2.1.3编码本同一项目，事前编码和事后编码所用的编码本在数据录入前，需合并为一个编码本。编码本需保持整洁和清晰，确保所有编码员在同一地点、使用同一编码本进行编码。编码本一般包含：编码表中变量所在列的位置（列数）、变量的顺序编号、变量名称及变量说明（变量及变量标志），问答题编号，编码说明（变量值及变量值标志）。具体编码本示例，见附录B。4GB/TXXXXX—XXXX5.2.2数据录入和净化5.2.2.1数据录入数据录入是指将问卷或者编码表中的每一项对应的代码读到磁盘、词带中，或通过键盘直接输入计算机中。常用数据录入方法包括：电脑辅助电话调查（CATI）、计算机辅助面访（CAPI）、光学扫描、键盘输入等。数据录入前要对录入员进行培训，明确数据录入格式和相关要求；数据录入完成后，根据需要抽查25%或25%以上的录入结果进行核对，如果查出大量错误，需进行全面核查或者重新录入。5.2.2.2数据净化数据净化是通过计算机软件，识别、处理错误或不合理数据，并对录入数据进行一致性检查。通常使用SAS、SPSS、BMDP等软件，制定一张所有非连续变量的频数表，通过计算连续变量的均值、标准差、最小值和最大值等统计量，识别超出范围的数据或者极端值；通过交叉表，识别出不符合逻辑的数据；再根据数据编码，找到原始调查问卷和数据文件的对应位置，对其进行必要的调整。6数据预处理6.1定性数据预处理6.1.1回顾资料研究人员在收集各种相关的定性资料以后，需要对所有这些资料（包括录音稿、录像、田野笔记等）进行全面的回顾。其主要目的是使研究人员能够沉浸到资料中，将注意力集中到资料中。通过资料回顾，起到如下作用：——唤起研究人员对现场情景的记忆。这不仅包括受访者说了什么话，而且包括其情绪、语气、当时的气氛等。如果在现场及时分析，则这种回顾就会非常容易。——唤起研究人员当时对现场的感觉和经验，以便发现这些现场情景对研究的意义。实际上，研究人员在重新阅读原始资料时，它所唤起的不仅是当时的现场感受，也许还有在阅读时的新感受。所有这些感受都受到研究人员个人背景、知识、客户目标等的影响，有助于研究人员发现资料对于研究的意义。——全面地回顾和熟悉资料，也可以使研究人员不至于一开始就陷入具体的细节之中迷失方向，而难以把握整体图景。熟悉文本不仅使研究人员对文本有全面的了解和整体的把握，从而准确理解局部片段，同时也使研究人员保持一种“放松的警觉”，敏锐地注意到重要的相关信息，在区分出资料重点的同时，又不忽视其他相关的信息。6.1.2筛选相关资料6.1.2.1筛选范围定性研究获得的资料往往十分庞杂，需要研究人员选取与研究目的相关的其他有用的资料，以便重点分析。分析的内容包括：——与客户的直接需要相关的信息。这是市场研究中首先需要考虑的，这些信息是直接针对客户本次研究问题的解决方案的；5GB/TXXXXX—XXXX——外围信息。有些信息虽然看起来与客户目前急需解决的问题没有直接相关或明显相关，但是可能在研究中发现它是重要的；有些信息虽然与研究的问题并不直接相关，但是可能是客户通常都会关心的、有价值的一般信息；——研究人员感兴趣或困惑的信息。许多市场研究人员也往往会对他们个人比较感兴趣或困惑的信息加以关注，如用词习惯、受访者的一些轶事等；——隐含的意义。这可能是明显的（比如，体现在受访者所说的话中但也可能是不明显的（比如，分析者根据上下文推断的意义，而不是受访者直接说出来的）。6.1.2.2筛选方法6.1.2.2.1做批注阅读访谈录音稿时可以直接在上面做批注，标示出重点的信息。批注的具体形式有多种，如加下划线、加亮或突出显示、在边缘做笔记和评论等，这时研究人员可以运用一些速记方法或代码。也有研究人员采用便条将相关的批注贴在资料上，这不仅可用于访谈逐字稿，其他资料特别是收集的实物资料等也可以采用此法。6.1.2.2.2做笔记在观看录像或听录音时，研究人员可以单独做一个笔记，按照访谈或座谈会的顺序记录下要点。6.1.2.2.3直接摘引有的研究人员直接将筛选的过程融入资料的分类或子群体的比较过程中，将相关的资料直接从原始资料中挑选出来，并转换成研究报告中结构性的标题或分析性的框架。6.1.2.3分类和归类6.1.2.3.1编码编码是针对同一主题、类别或概念的资料使用同样的号码标示出来的过程。对一定的资料进行编码之后，研究还可将号码或其所代表的意义整理成编码表，以便查找。对访谈录音稿进行编码或形成编码表的例子见附录C。6.1.2.3.2归类在编码的基础上，研究人员可以将相同号码的资料整理在一起进行归类。同一类别的资料往往有共同的特征，反映同一个主题，但或许又有细微的差异。归类可以有如下方法：——直接将从资料中发现的主体或类别整理出来，列在一起，并针对每一类别的要点分别做笔记。通过对这些类别和笔记的分析，即可发现不同类别的互相关系及它们各自对研究目标的意义；——采用传统的“剪刀+浆糊”的方式，将相同类别的资料剪贴在一起，或者剪下来放在同一个信封或盒子里，以便对每一类别的资料分别做进一步的分析。6.2定量数据预处理6.2.1缺失值处理调查问卷少量的缺失回答可以容忍，当缺失值比例超过10%，就需要对其进行处理，并形成文件描述处理过程，向客户报告处理结果。常用的缺失值处理方法包括但不限于以下内容：6GB/TXXXXX—XXXXa)用一个样本统计量的值代替缺失值缺失值可用一个样本统计量去代替，一般使用变量的平均值。如一个受访者没有回答其个人收入是多少，可用整个样本的平均收入或该受访者所在的子样本的平均收入代替。b)用从一个统计模型中计算出来的值去代替缺失值通过回归模型、判别分析模型等计算得到的比较合理的值来代替缺失值。如“产品的使用程度”可能与“家庭规模”和“家庭收人”有关系，利用回答了这三个问答题的受访者数据，构造出一个回归方程，对没有回答“产品的使用程度”问题的受访者，只要其回答了“家庭规模”和“家庭收人”的问题，就可以通过这个回归方程计算出其“产品的使用程度”。c)将有缺失值的个案整个删除受访者一旦有问题没有回答，就将其整个问卷调查数据删除，该方法可能会因为缺失数据删除大量样本，导致样本量减少，统计分析结果出现严重偏差。d)将有缺失值的个案保留，仅在相应的分析中作必要的排除缺失值较少、样本量较大且变量之间相关度不高，可采用该方法，将有缺失值的个案保留，在相应部分根据不同的样本量进行统计分析，是处理缺失值的常用方法。6.2.2加权处理加权处理是通过给数据库中的每一个个案或受访者赋权，对具有某些特征的样本中增加（权重﹥1）或减少（权重﹤1）个案的数量，使样本对总体有较好的代表性，或用于反应一些个案相对于别的个案或受访者的重要性。加权系数或权重等于对应的总体比例除以样本比例，如调研地点为北京市、样本库数量为600人，其中18岁～30岁的女性占60%，要调整该年龄段女性的占比，可用18岁～30岁女性占北京女性总人口数的比例40%除以样本比例60%，得出0.66即为该变量指标的权重。6.2.3原始数据或变量的转换数据统计分析前，当有必要将数据分成更有意义的类别或需要将数据合并成更少的几个大类别时，可根据实际情况对原始数据进行重新分类或重新编码。将原始数据重新分类或重新编码合并时，需满足以下内容：a)所有的情况都已包括在新的类别之中。b)各个类别之间没有交叉或重叠。c)类别间的差异大于类别内的差异。还可根据实际需要，对变量进行重新定义或修改。7数据分析7.1定性数据分析方法和任务7.1.1定性数据分析方法7.1.1.1样板式分析样板式分析类似于内容分析方法。研究人员在开始阅读访谈记录以前，需要首先界定分析单元、设计编码表。编码表的设计可以依据文献资料、研究人员的讨论、先前的研究或者使用其他类型的分析时所获得的结论等。如果访谈提纲是按一定主题设计的，结构比较清楚，也可以作为设计编码表的依据，因为访谈提纲本身就体现了研究人员的访谈目的，并且已经融入了研究人员自身的知识和经验，以及文7GB/TXXXXX—XXXX献分析的结果；在获得编码表之后，研究人员就可以一边阅读访谈记录，一边依据编码表对访谈记录进行编码。通过编码，研究人员可以将资料归类、浓缩，从而得到概括性的结论。7.1.1.2编辑式分析编辑式分析类似于编辑的工作方式。研究人员事先并不设计编码表，直接开始逐字逐句地阅读访谈记录，在阅读过程中，研究人员需要保持开放的心态，努力发现那些最贴近研究主题、最有价值的信息，然后对这些信息进行概念化和编码，在此过程中研究人员可以逐渐构建出编码表，以作为分析新的访谈记录时的依据。7.1.1.3融入/结晶化分析融入/结晶化分析强调研究人员的直觉与反省。它要求研究人员完全沉浸于访谈记录之中，通过不断反省，“出现对于资料的一种直觉式的结晶输出”，并通过融入与结晶化的反复循环，达到对资料的解释。融入/结晶化分析最后也可能发展出编码表，但只是作为验证结论时的参考。7.1.2联系/比较7.1.2.1发现概念之间的联系这是在对资料进行分类和归类的基础上，探询不同主题、概念等之间的关系，以便将资料做进一步归类和浓缩，发现核心概念。不同的主体或概念之间可能是类属的关系，也可能是相互影响的关系等。附录B展示了一项有关网民对网上论坛的选择性偏好的研究结果。通过对各项具体因素的归纳，研究人员最终将影响网民选择性偏好的因素归结为两类，即“认同感”和“有用性”，而它们又分别受到若干其他因素的影响。7.1.2.2比较群体之间的差异对样本的子群体进行比较时需要考虑的核心问题是如何分群，分群方式应包含如下两种：——按人口统计特征和用户群进行划分。比如，按年龄、性别、地区，或按使用产品的不同品牌进行划分；——按其他与研究问题相关的特征变量进行分群，这些特征变量往往是在收集资料和分析过程中逐渐发现的，而不是事先设计好的。比如，按照消费者对品牌的不同理解来分类，以考察这些不同群体对品牌理解的差异，以及由此产生的相关行为的差异；或者按照用户使用习惯的不同进行分类。7.1.3展示/报告资料的展示有多种方式，在市场研究中常用的方法是以图示的方法将概念关系、群体特征等显示出来。图示的方法也很多种，根据不同的分析思路可以使用不同的图示，如矩阵图、曲线图、等级分类图、报表、网络图、认知图、模型、本地人分类图、决策模式、因果关系图等。附录B为应用图示法的一个例子。该图类似于等级分类图的形式，梳理出了影响网民选择不同网上论坛的各种影响因素之间的层次关系。7.2定量数据分析7.2.1统计分析任务书编制8GB/TXXXXX—XXXX统计分析任务书一般包括：变量标志和变量值标志编制、所需完成的基本统计数表、所需完成的统计图形式和数量、所需完成的基础统计分析以及所需完成的高级统计分析或模型。7.2.2变量标志和变量值标志的编制数据录入阶段，变量一般只用字母和数字表示。统计分析前，需根据调查问卷中的内容，将变量或由该变量派生出来、在后续统计分析中使用的新变量名称（简称变标）和取值（简称值标）进行说明。7.2.3所需完成的基本统计数表基本数据统计表包括：频数表和交互分析表两部分。频数表体现所有变量的频数，如果是连续性的变量需在任务书中明确，是在分段后制作出频数表还是计算其均值和标准差。交互分析表体现反映受访者背景资料的变量（如性别、年龄段、文化程度、收入等）与所有其他变量的交互分析，如果是连续性的变量需在任务书中明确，是在分段后制作出交互分析表还是按背景资料变量的不同类别计算其分类均值。7.2.4所需完成的统计图的形式和数量在最后呈交的报告中，宜使用直观统计图代替统计数表。7.2.5所需完成的基础统计分析基础统计分析是完成调查报告所需的最低要求的分析，一般是指单变量统计，如T检验、单因素方差分析、卡方检验、W检验等。或根据调查问卷内容，进行某些必要的估计，例如，估计某类产品目前的市场容量、主要品牌的市场占有率等。7.2.6所需完成的高级统计分析或模型高级统计分析或模型是指因子分析、聚类分析、对应分析等分析方法和模型，不是统计任务书的必要内容，可根据客户需求或研究情况适当呈现。7.2.7统计分析方法统计分析任务书中，常用的统计分析方法可以按照单变量技术和多变量技术分成两类。单变量技术也称基础统计分析方法，适用于样本中的一个单位(单元)只有一个度量值，或虽有几个度量值，但每一个度量都是按一个变量单独地进行分析的情况；可按照所分析变量的性质(定类、定序、定距、定比)以及所涉及样本的具体情况(一个或多个)进行更细致的分类。多变量技术也称多元统计分析法，适用于样本中的一个单位(单元)有多个度量值，而且对应的多个变量是同时进行分析的情况；可按照所涉及的变量中是否有因变量以及因变量是否只有一个等情況进一步地分类，含有因变量的情况称为非对称性技术，否则称