2023年从工业化到智能化未来AB实验的终局

从工业化到智能化，未来AB实验的终局前几天读到字节的一篇文章《9年70万次试验，字节跳动首次揭秘A/B测试》，文章内容暂且不论，主要想聊下这个标题。

试验方面的权威著作《TrustworthyOnlineControlledExperiments》将试验平台按成熟度分成了crawl,walk,run,fly四个阶段。

中国互联网公司中，字节与快手其实都早已进入了其中的最高阶段fly，即AB试验的大规模自动化，乃至事必AB。

这之后，笔者认为AB试验的次数已不再是一个多么重要的数字，而平台应当向更高的阶段去进展，从工业时代进入到智能时代。

而在新的时代里，试验的数量实际上不会上升，反而会下降。

由于平台将对海量的试验数据进行学问挖掘与发觉，沉淀出更系统的业务学问体系，指导后续的策略迭代（可类比智能驾驶的L2阶段），并最终构建出一套猜测体系，在试验之前，便对大量试验评估出其正负向结果（L4/L5阶段）。

本文将剖析工业时代试验平台存在的问题，并探讨将来智能时代对这些问题的解决路径。

因此，归因问题不是仅靠规律推理就能解决的，而需要分析师经过大量实践，刻意练习与思索。

这首先需要我们有更中心化的学问沉淀与挖掘，摆脱单点模式，将大量试验的结果信息整合起来，才能有bigpicture，从中获得洞察，有更大的自信来推断毕竟是怎么回事，并保障分析师解读的牢靠性与全都性（consistency）。

由此可见，工业时代，我们对于试验平台的理解，往往停留在工程系统上，更多将其理解为一个功能性与评估/验证性的工具，因此未能很好降低业务成本，从根本上提高业务进展的效率。

提效的关键问题在于预判与归因。

我们如何能在试验前就较好预判试验胜利的概率，从一开头就排解掉一些也许率负向试验？

同时，当负向发生时又如何更有效地找到迭代路径？

这些问题，需要智能时代来解决。

二、智能时代的A/B试验：网络协同下预判与归因双重引擎

1.智能时代试验平台的设计目标

智能时代的试验平台具有一个硬币的两面。

一面是工程视角下的试验平台，即进行试验的基础设施，包括流量安排，数据评估等等，主要由工程团队来负责；另一面则是业务视角下的试验平台，是通过试验来最优化业务进展整体效率的工具。因此需要配备预判与归因两大智能引擎，以及DA/DS的介入。

那么预判与归因这两个问题又该如何解决呢？

从强化学习的EE框架来看，工业时代试验平台上，每个试验都是单点试验，只有Explore（探究），没有Exploit（利用）。

智能时代则将更多利用试验之间的网络协同来进行Exploit，我认为有两个潜在的方向：

表层是数据驱动的方法，目前阶段最主要是利用试验策略的相像性进行迁移学习。

底层则从第一性原理动身，假设我们可以抽象出一些普适的，有业务意义的关键概念，如用户体验等心理变量，建立分析框架，同时结合试验数据等各类型数据，进行分析与度量，从而预判试验的正负向，并在同时解决归因问题。

2.表层策略：迁移学习

迁移学习是机器学习的一个子领域，可以最大限度地利用有标注领域的学问，来帮助目标领域的学问猎取和学习。

比如，国际象棋和中国象棋比较相近，有部分棋子相同、走法相近，计算机学会了国际象棋，运用迁移学习的方法，只用观摩较少的棋局，就可以学会中国象棋。

迁移学习的核心在于，找到源领域和目标领域之间的相像性，并加以合理利用。

这里的源领域和目标领域，可以认为分别对应于我们已有的试验，和正预备进行的试验。

例如短视频巨头快手，目前已有不少产品，国内有主App、极速版。

字节作为App工厂，产品就更数不胜数。另一方面，同一产品内的不同产品模块，也常有共性，比如短视频App的不同Feed间，这些都供应了相像性。

就使用场景的不同，这里的迁移学习又可分为两类：

1）归纳式迁移学习（inductivetransferlearning）

在这种学习方法中，两个试验对每个个体产生的效果可以不同（源Task与目标Task可以不同）。

由于不同，就要求在目标领域中必需有一些已标注的数据，才能进行学习。

实践中，上面提到有一些新App用户量较小，做试验常有不置信的问题。这一问题历史上曾经尝试过一些方差缩减（variancereduction）方法，但实际对方差的降幅有限，不能根本上解决问题。

更可行的思路应当是结合更大的数据集（核心App相像试验的数据），进行多任务学习。

详细需结合实际场景，尝试基于实例的学习算法、基于超参数的学习算法等，这里不再赘述。

2）转导式迁移学习（transductivetransferlearning）

在这种学习方法中，需假设两个试验对每个个体产生的效果相同。

但在不少状况下，这个假设还是过于强了，比如动图试验在发觉页与关注页的表现就不一样。

实践中，我们需要研发一些方法来推断该假设是否合理。

由此可知，迁移学习目前对于我们的场景仍有较大局限性。

首先该方法要求此前已有相像试验，才能进行迁移，适用场景相对小；其次，归纳式迁移学习需要当前试验已有样本，这可以解决小样本试验的置信问题，但不能事先进行猜测。而转导式迁移学习在不少场景下假设过强，实践中，也需要研发方法来推断假设是否合理；最终，迁移不能解决归因问题，不能直接带来认知。因此，笔者认为迁移学习可以在恰当场景下作为猜测系统的重要补充，在有相像试验的场景下，猜测或能更精确     。

但我们还需要研发更好的方案，作为试验决策系统的主战场。

3.底层策略：业务结构模型

在给出预判问题的解决方案前，让我们先回顾一下，产品经理是如何做类似决策的？

以产品著名的腾讯有一套基于用户价值的产品方法论，提倡一切以用户价值为归依，通过将自己带入一般用户，人同此心地去感受与体验产品，思索产品对于用户的价值。

这种方法特殊强调同理心，即“一秒变小白”的力量，产品经理快速将自己对产品的全部已知信息抹除，让自己和目标用户具有相同的视角。

时刻审问自己：假如我是用户，会使用这个功能吗？一些名家的原话如下：

①马化腾：任何产品的核心功能，其宗旨都是能对用户有所关心，能够解决用户某一方面的需求，如节约时间、解决问题、提升效率等，而产品经理就是要将这种核心力量做到极致，通过技术实现差异化。

②张小龙（在提到微信新上线的7.0版本时）：我在新旧版本切换使用2个月后，我就不情愿切换回旧版本了，所以我想想用户会喜爱这个版本，只是需要时间来适应。

③张小龙：个人对用户体验的目标是，做到“自然”。“自然”可能简单导致玄学，因此这里想强调的是，“自然”的思维方式一般是需要长期的特别理性的训练才能获得，而不是突然幻想自己获得了一种使用“自然原则”的力量。

记得知乎上有个问题问“乔布斯为什么能凭直觉知道该怎么做”。

我认为没有任何人有天生的可重复的直觉来马上成为一个领域的专业人员。

比如，对于简单事物，如何“抽象”为一个简洁模型，是需要大量案例熬炼的。

但是，假如经过一万小时的有意识的朝某个方向的训练（比如对“自然”的反复思索和实际工作练习），并且是极为理性的思维和实践训练，是可以获得一些直觉的。

大量的理性训练有助于形成一种对同类事物的识别模式，这种模式形成直觉。

比如大部分中国人其实是没有经受过“简洁是美”的训练的，表现在现实中，许多人其实是很难接受一套极简主义的装修风格的居室的。

只有当对“极简”有反复体验和思索，才能将“简洁是美”变成骨子里的审美观，并体现在设计中。

俞军公式：产品的用户价值=（新体验-旧体验）-替换成本。

笔者自己高度认同上述方法论，但也认为这套方法用于试验预判时会存在一些问题。

试验正负向的问题，很需要定量思维，由于都是各种因素的权衡交互，一些定性的方法实践中往往不能给出直接的决策建议；这套方法不太scalable，按张小龙与俞军的说法，要做好产品决策，需要经过反复思索，一万小时的刻意练习才能练就相应的直觉，构建心理表征。所以这套方法，对人的素养与阅历要求有点高，且把握之后，也无法高效地传递给他人。我们认为，从历史趋势来看，将来的决策方式会更分布式、更scable，在基本的理论框架下，新的试验不断制造新的数据，从而不断迭代、更新原有的决策模型。

笔者在一开头接触产品分析时，直觉上便盼望建立这样一套决策体系（虽然被告知很难、不行能），一年后由于一些际遇，始有心得，提出一套用户体验（UE）结构模型。

之后近两年的时间里，有机会时便去猜测各种试验的结果，验证该理论，看起来它多少经受住了时间的考验，虽然过程中需要技巧，并更完善的度量结果。

幸运的是，笔者发觉，这一模型恰巧也是解决很多试验归因问题的关键所在。

归因问题需要我们建立一个合适的分析框架作为瞄准器，而不是常规性地拆分各种常用维度，这个框架需要切近业务场景，而对于产品试验的归因，最直接的不就是产品交互，产品体验的角度嘛。

所以，UE结构模型，恰好供应了这样的工具，来关心我们分解相关问题。

更一般地，对于各种业务场景的试验，我们可尝试构建相应的业务结构模型。

这个模型包括两部分，一方面有一个合理的理论框架，连接了关键变量Y及其主要影响因素Bi。

然后我们考察试验策略A如何影响B，以及最终对Y的综合影响。

另一方面我们需要能定量刻画Bi，通过大量实证数据，来自AB、科学试验或是用研、用户反馈等。

详细的业务结构模型不一而足，但不少重要的模型基于肯定的心理变量，这些变量以前往往未被很好探究并给予结构，当然我们需要这些变量有肯定的信度