单元7 第11章 实验法

市场调查与预测第11章

实验法11.1实验法的含义11.2因果关系的证明 11.3实验法的操作程序与实验方案设计11.4实验法的优缺点与应用场景学习目标1.理解实验法的含义与基本原理；2.掌握实验法的基本要求和术语；3.了解实验法的操作步骤；4.掌握各类实验设计的基本方法和对实验结果的解读；5.理解实验法的优缺点和应用场景引例

新冠疫苗功效高达95%是怎么得出的？2020年11月18日药品制造商辉瑞公司对外公布最新实验结果：他们研制的冠状病毒疫苗有效性为95%，且没有严重副作用。数字95%是怎么来的呢？公司招募了43,661名志愿者进行实验，其中50%的人为实验组，注射疫苗；另外50%的人为参照组，注射盐水，即安慰剂。持续观察两组患上Covid-19的总人数，当有新冠症状且测试结果为阳性的总人数达到170人时实验结束。最终结果中162人属于接受安慰剂的对照组，只有8人属于接种疫苗的实验组。实验初步证明，该疫苗可以预防轻重度Covid-19。科学家运用“功效”定义实验组和参照组两组患者数量之间的相对差异，具体的计算方法是：（1-实验组感染人数/参照组感染人数）*100%。由此计算出该公司疫苗功效为(100%-8/162)=95％，成为证明疫苗有效的有力证据。由“功效”的计算方法可以发现，它并不说明接种疫苗后感染Covid-19机率降低的百分比，也不能说明大规模接种疫苗后，接种人群的疫情降低程度。对照实验（也称A/B测试）被公认为是更接近事情真相的科学研究方法，得到的数据结果很有价值、从不会说谎。实践中，要想获得准确的消费者和营销洞见等市场信息就要遵循科学的方式、准确地解读，对由于实验结果可能被误读保持十二分的警惕。起源：实验法最早应用在医学领域。十八世纪，一位英国医生为了证明柠檬和橘子能有效治疗坏血病，他把患有坏血病的水手随机分成6组，对这6组患者采用不同的治疗方法，实验结果证明了他的预想，这是人类有记载的最早的对比实验测试。现在实验法被视为进行解释性调查获得最接近真实的科学方法。所谓实验法是指在市场调查中通过在一定条件下改变某些变量而保持其他变量不变，从而获取一手资料以衡量这些变量的影响效果的调查方法。实验法的主要目的是查明是否存在原因和结果之间的关系。实验调查法在市场调查中被广泛应用11.1实验法的含义11.1.1实验法的界定

实验法最大的特点是通过实验设计，将调查对象置于有控制的非自然状态下展开市场调查。采用实验法进行调查需要满足一定的条件，要通过预先的实验设计并由调查人员根据要求将调查对象控制在特定的环境条件下，对其进行观察以获得相应的信息。实验法有以下5个基本要素：（1）实验者，即市场实验调查活动的主体。（2）实验对象，即市场实验调查活动的客体，是通过市场实验调查所要了解认识的市场现象。（3）实验环境，即实验对象所处的市场环境，主要有实验室和现场两种，市场调查经常采用现场实验。（4）实验活动，即改变市场现象所处市场环境的实践活动，与所要改变的变量有关。（5）实验检测，即在实验过程中对实验对象所做的检验和测定。

1.自变量与因变量。自变量是被操控的实验变量，是被实际引入用以解释因变量变化的变量。因变量是要测量的非独立变量，即希望能够检验是否由自变量的变化而引起变化的变量。

如在测试包装与产品销量之间关系的实验中，包装是解释变量，即自变量；产品销量是被解释变量，即因变量。2.干扰变量，也叫外部变量或无关变量，指自变量和因变量以外，对实验有效性可能产生干扰或影响的因素。一般有两类：一是可控制的变量，如商场规模、地理位置、用户特征或流量大小等因素；二是难以控制的变量，如气候、竞争对手的策略、受试者成熟度变化、测试单元的损失等因素。11.1.2实验法的关键术语3.实验处理指改变实验对象所处市场环境的实践活动，是研究者设置自变量不同水平以检验因果关系的具体操作。

如在测试包装与产品销量关系的实验中，改变包装为新包装即为实验处理；如果有多个新包装需要进行选择，则这些新包装方案可以设置为包装变量的多个不同水平，即为实验处理。4.实验组与参照组。实验组指自变量被操控而发生变化的那些研究对象或实验实体组成的组。参照组，也叫控制组或对比组，指实验过程中自变量维持不量的那些个体组成的组。

如新冠疫苗有效性的实验中，注射盐水的，即接受安慰剂的为对照组，而真正接种疫苗的为实验组。5.实验的内在效度与外在效度。实验的效度指实验获得的结果与真实状态相符的程度，有两种：内在效度是指实验能够正确地反映自变量与因变量之间因果联系的真实程度；外在效度指将实验结果推论到实验外的事件或环境的能力，是表明实验结果可推广、可概括化和一般化的程度及其应用范围的问题。实验内外效度的逻辑是不同的：内在效度的逻辑是实验本身的准确性，强调通过控制实验环境、以实验设计排除自变量之外其他变量的影响来证明自变量对因变量的解释能力；外在效度的逻辑则是实验与真实世界的切合，强调实验真实即自变量对实验对象的影响真实可靠，实验环境能够代表真实世界。内外效度并不总是一致的，内在效度是外在效度的必要条件，但内在效度的实验结果并不总有很高的外在效度，两者有时会互相影响。实验法属于解释性调研，是最有潜能证明一个变量（自变量）能否导致另一变量（因变量）发生预见性变化的调研。因果关系指的是某个或某些“起因”变量X影响或引起了某个或某些“效应”Y。变量X和Y构成因果关系的三个必要条件是：X与Y有一种共变的关系；X在Y之前发生，或至少X与Y同时发生；排除了所有其他可能的起因。关于因果关系的证明需要进行如下分析：11.2因果关系的证明关于因果关系的证明需要进行如下分析：1、必须首先说明相关关系，或者X与Y之间的相互关系，可能是正相关或者负相关。

例如，广告和销量两个变量正相关；价格和销售量是负相关的关系。

调查人员可以借助统计方法验证这些关系的存在和方向，但是相关关系并不能证明因果关系。只能认为两个变量碰巧以某些可预见的形式一起发生变化，并不能证明一个变量的变化引起另一个变量的变化。因此为了证明因果关系，必须首先证明相关。但是单靠相关性不能证明存在因果关系。2、必须证明两者发生的时间顺序是适当的。

为了证明X引起Y，调查人员必须能够证明X在Y之前发生，如价格变化对销量的影响。然而即使证明了X与Y具有相关和X在Y之前发生变化仍然不能提供充分的证据证明结论：A是引起B变化的可能的原因。3、最难证明的是Y发生的变化并不是X以外的其他因素引起的。因此排除其他可能的原因性因素是实验法中比较困难的步骤。

例如，我们观察到广告费用的增加和产品销量明显增加的现象，相关关系和发生的适当的时间顺序也是存在的，但是这可以证明是一种可能的因果关系吗？

答案是“不”。因为有可能是销售中的其他因素而不是广告的增加引起的变化，如可能有竞争对手提高了价格，或者减少了广告投入，甚至撤离了竞争市场等原因，也可能是一个或者其他因素的联合作用影响了销量。综上，实验法试图验证的因果关系是科学意义上的，三类条件可推断出因果关系。即X是导致Y发生可观测变化的一个条件，即存在相关或共生关系；X的出现使Y大概率发生，即时间的适当性；只能推断X与Y存在一种关系，即排除其他可能的原因性因素(1)根据调查项目和课题要求，提出研究假设在实验调查之前，需要紧扣调查的目的和要求，在明确所要收集和分析的相关调查资料基础上，提出具有因果关系的若干研究假设，并确定实验中加以控制、改变的市场因素。(2)进行实验设计，确定实验方法实验设计是调查者进行实验活动、控制实验环境和实验对象的规划方案。是实验法的中心环节

(3)根据调查课题的特点，选择实验对象可使用随机抽样法，也可用非随机抽样的方法，总的原则是尽量使实验对象具有广泛的代表性。(4)遵照实验设计规定，进行正式实验正式实验要严格按照预先设计好的实验方案和进程实施，必要时还可进行反复的实验和研究.(5)整理资料,撰写实验报告考虑各种因素的作用，排除偶然因素的干扰，慎重核对实验结果。最终将实验结果写成实验报告,11.3实验法的操作程序与实验方案设计11.3.1实验法的操作程序实验法的注意事项1．实验者应具备的必要条件1)思想解放，具有科学求实精神，敢于探索和创新；2)有一定的实际工作经验和灵活处理问题的能力；3)具备较强的应用各种调查方法和研究方法的能力2．实验对象和实验环境的选择实验对象和实验环境的选择，一定要在同类市场现象中具有高度的代表性，对于复杂的市场现象，还应具有不同类型，不同层次的代表性。要保证实验环境的可比性或相似性.3.实验设计的恰当性和科学性在具体的市场实验调查中，要充分兼顾资源条件和调查目标进行实验设计，并非越复杂越好、越可靠越好。要在确保科学性的基础上，选择容易操作、省时省力的方式，因地制宜地进行实验方案的设计。实验设计是调查实施前研究者对实验活动、实验环境和实验对象等方面统筹规划的具体方案。它是实验调查各步骤的中心环节，是指导整个实验过程的操作指南，很大程度上决定了调查资料的质量和实验的水平。下面介绍在市场实验调查中常用的三种实验设计。1.单一实验组前后对比实验2.实验组与对照组对比实验3.实验组与对照组前后对比实验11.3.2实验设计（1）单一实验组前后对比实验单一实验组前后对比实验是指将若干实验对象都作为实验组进行实验处理，没有参照组，通过对比实验对象在实验活动前后的情况，得出实验结论。在市场调研中，经常采用这种简便的实验调研。例如，绿扬食品厂为了提高本地传统特色糖果的销售量，认为应改变包装，将本地传统文化和特色景点元素加到了新的糖果包装设计中。为了检验新包装的效果，以决定是否在未来推广新包装，厂家取A、B、C、D、五种糖果作为实验对象，对这五种糖果在改变包装的前一个月和后一个月的销售量进行了检测，得到的实验结果见下表表11-1实验组包装改变前后一个月销量对比表（单位：公斤）。糖果品种实验前售量实验后销量销量变化量A52256038B29531419C42045030D41046353E45550045合计21022286185分析：

由表11-1的数据可以看出，使用新包装后5种糖果的月销量都增加了，总的销量增加了近9%。

但要由此得出是新包装导致了销量的增加似乎理由还不够充分，因为无法排除其他因素的影响。因此可见，单一实验组前后对比实验虽然简便易行，但实验结论还需要更多的证据。只有在能有效排除非实验变量的影响，或者是非实验变量的影响可忽略不计的情况下，实验结果才能充分成立。2.实验组与对照组对比实验实验组与对照组对比实验是指在实验中需要有两类小组，一是需要进行实验处理的实验对象构成的实验组，还有一类是保持原状、不作任何处理的参照组，通过对比实验组与对照组的实验结果得出结论。实验法要尽可能使实验组与参照组的实验对象构成和特征相同或相似，所处于的实验环境也要尽量相同或相似。实践中，实验组与对照组对比实验设计要重视两类组别要具有可比性，即它们在规模、类型、位置、管理和营销渠道等各种条件方面应大致相同。只有这样，实验结果才具有较高的准确性。表11-2实验组与对照组糖果月销量对比表

单位：公斤例如，绿扬食品厂为了解糖果包装改变后消费者的反应，选择了6个商店进行实验，A、B、C三个商店为实验组，再选择与之条件相似的D、E、F三个商店为对照组进行观察。观察一个之月后得到实验结果见下表11-2。商店原包装销售量新包装销售量实验组A

330B

320C

162参照组D233

E166

F168

合计567812分析：在市场实验中对照组商店销售原包装糖果共567公斤，3个实验组商店销售新包装糖果共812公斤，两者差额为245公斤，在一定程度上说明了新包装有利于糖果销量的增加

但是似乎证据不够充分，因为这种实验设计只是对实验组和对照组都采取了实验后检测，无法消除实验前后除实验变量以外其他因素。如何改进实验设计？通常会将实验分为两个阶段，在前后两个阶段实验组与参照组进行互换，最后根据因变量的变化量来作判断。例如，绿扬食品厂选择了6个商店进行实验，A、B、C三个商店为实验组，D、E、F三个商店为对照组进行观察。观察一个之月后，将两组对调再观察一个月，实验结果见下表11-3。表11-3实验组与对照组两阶段糖果月销量对比表单位：公斤商店原包装销售量新包装销售量第一个月第二个月第一个月第二个月A

270330

B

260320

C

149162

D233

245E166

187F168

222合计567679812654分析：两个月内6个商店原包装糖果共销售了567+679=1246(公斤)新包装共销售了812+654=1466（公斤)，改变包装后糖果销售量增加了220公斤，增加超过17%，说明新包装有利于糖果销量的增加。显然，通过两个阶段实验组与对照组的互换使所有6个商店都在相同时间长度内销售了新老包装糖果，因而在很大程度上减少了除自变量以外其他因素对实验结果的影响，使得根据这个实验结果得到的结论更加准确可靠。3.实验组与对照组前后对比实验实验组与对照组前后对比实验是在对两类组别的所有实验对象分别进行前测和后测的基础上，将实验组与对照组的前后测因变量的变化量进行对比的一种双重对比的实验方法。所谓前测是指在进行实验前测量出的因变量取值；所谓后测是指测量出的因变量的实验结果。通过对实验组和对照组进行实验前后双重对比，吸收了前两种方法的优点，弥补了它们的不足。实验组与对照组前后对比实验是一种更为先进的实验设计方法，但相对于前两种实验设计而言，无论在设计，还是在实施实验方面它都相对复杂。例如，阳光公司为改进奶粉配方进行市场实验调研，选择了6个超市参加实验，通过随机抽样确定超市ABC为实验组，销售新配方奶粉；超市DEF为对照组，仍销售老配方奶粉。对6个超市该款奶粉月销售额进行实验前后对比，实验数据见下表11-4。表11-4实验组与对照组前后测月销量对比表单位：百元

企业前测后测

实验组A12701330

B12601320

C11491162合计36793812

对照组D12331245

E11661187

F11681222合计35673654分析：根据表11-4的数据进行汇总整理，得出实验组和对照组实验前后测的销售额合计，并计算出双重比较后的实验效果，具体计算过程与数据见表11-5。表11-5双组前后对比表(单位：百元)实验单位前测合计后测合计前后测对比实验效果实验组对照组分析：根据表11-5发现，实验组的销售额变动量133（百元）包含了实验变量即新配方的影响，以及其他非实验变量的影响；对照组的销售额变动量87元只反映非实验变量的影响，没有包含实验变量的影响，因为对照组的奶粉配方未改变。

实验效果是从实验变量和非实验变量共同影响的销售额变动量中，减去由非实验变量影响的销售额变动量，因此比较客观地反映了改变奶粉配方这个实验变量对奶粉销售额的影响和作用。ⅠⅡⅢ实验调查具有一定的灵活性且可重复性，调查结果及结论具有较强的说服力，准确性高。通过科学的实验设计能够有目的且具有主动性地改变某种条件，来揭示或确立市场现象之间的关系。实验法获得的资料不但能够回答“是什么”，还能回答“为什么”，且实验具有可重复性，结论的可靠性较高。实验法在市场问题解决方案的选择上具有优势。实验法的主要目标是在多个方案中寻找最优，获取各方案所能获得收益的评估资料，因此，有利于探索解决市场问题的具体方法和途径。能够直接获取大量的第一手资料进行解释性分析，以说明所研究的市场现象及其发展变化主要是由实验活动引发的。1.优点11.4实验法的优缺点与应用场景实施条件比较苛刻，因而给实际应用带来一定的难度。实验法要求实验的各个环节可控且除实验处理以外的实验条件要尽可能相同或相似。另外，实验过程不易控制、不易保密等也给实验实施带来一定的困难。实验的外部效度很难保证。由于实验过程中不可控因素较多，选择到有充分代表性的实验对象和实验环境并不容易，因而实验结论往往局限在一些特殊条件下，使抽象化和普及推广受到影响。实验调查法对于研究者或调查者的要求都比较高，花费的时间比较长、费用较高、①②③2.缺点3.应用场景实验法主要应用于解释性市场调查项目，关注对可能的因果关系进行验证。在实践中，更多地应用于微观层面的市场问题研究，尤其是细节问题和方案选择的调研上。目前实验法的应用领域非常广泛，除了传统的线下领域的实验法应用外，很多互联网公司也在应用实验法，如A/B测试法进行产品迭代、开发和市场推广等方面。案例一某公司准备改进咖啡杯的设计市场实验美国某公司准备改进咖啡杯的设计，为此进行了市场实验。首先，他们进行咖啡杯选型调查，他们设计了多种咖啡杯子，让500个家庭主妇进行观摩评选，研究主妇们用干手拿杯子时，哪种形状好；用湿手拿杯子时，哪一种不易滑落。调查研究结果，选用四方长腰果型杯子。然后对产品名称、图案等，也同样进行造型调查。接着他们利用各种颜色会使人产生不同感觉的特点，通过调查实验，选择了颜色最合适的咖啡杯子。他们的方法是，首先请了30多人，让他们每人各喝4杯相同浓度的咖啡，但是咖啡杯的颜色，则分别为咖啡色、青色、黄色和红色4种。试饮的结果，使用咖啡色杯子的人都认为“太浓了”的占2／3，使用青色杯子的人都异口同声地说“太淡了”，使用黄色杯子的人都说“不浓，正好。”而使用红色杯子的10人中，竟有9个说“太浓了”。根据这一调查，公司咖啡店里的杯子以后一律改用红色杯子。该店借助于颜色，既可以节约咖啡原料，又能使绝大多数顾客感到满意。结果这种咖啡杯投入市场后，与市场上的通用公司的产品开展激烈竞争，以销售量比对方多两倍的优势取得了胜利。案例二自尊与记忆效果测试实验目标：判断为了提高自尊和记忆力而设计的商业性录音磁带是否真正有效果。实验实施：237名男女被试参加了实验，他们的年