增长说：A/B测试实验（实战篇）

在互联网行业，A/B测试已成为优化产品和提高用户体验的关键工具。通过对比不同的方案，我们能找出最有效的方法来提升用户参与度和满意度。本文将带你了解如何设计和执行一个成功的A/B测试实验，帮助你像互联网巨头一样思考和实施最佳实践。

每个做用户增长的人，可能逃过了大学实验课，却无法绕开工作上的A/B测试实验课。

A/B测试实验本质是通过控制单一变量寻找最优解决方案。在互联网中，其目的是快速地增加商业成功几率。

当前互联网巨头Facebook、Google、字节跳动、腾讯、美团等等都非常喜爱A/B测试实验。

Facebook的CEO扎克伯格曾宣称：

“在任何给定的时间点，都不会只有一个版本的 Facebook 在线上运行，而是有超过一万个，我们的实验框架能随时发现和感知用户最细微的行为差异。”

字节跳动的张一鸣曾表示：

“即使你有99%的把握某个名字比另一个名字更好，测一测又有什么关系呢？”

有APP工厂之称的字节跳动，每天同时在进行的A/B测试实验达上万场，累计已超上百万场次。

在互联网巨头们如此热爱进行A/B测试实验的背景下，初入互联网行业的新人学会A/B测试实验就显得非常重要。接下来，我通过结合自己近期的一个A/B测试实验，来讲一讲A/B测试实验如何开展。

事情是这样的：有个学生信息收集页面，需要家长填写手机号并验证、姓名、学校、年级、班级等信息。当我们在分析页面填写率时，想如果分步填写信息（降低心理压力）、调换填写顺序（先易后难、隐私敏感度先弱后强），填写率应该会提升。所以，我们就做了下面这组实验。

信息填写率提升的A/B测试实验

01 实验假设

假设①：学生信息分步填写，填写率提升2%

• 假设原因：信息一起填写提交，用户心理负担大。通过分步填写，将填写任务分解，当用户有过付出成本后，后续完成可能性更大（厌恶损失心理），比如在问卷收集中就会将填信息放在几个页面填写；有些APP手机号验证码登录时，先显示输入手机号，后显示输入验证码。

假设②：分步填写顺序进行调整，填写率提升2%

• 假设原因：用户对于首次接触填写信息隐私的敏感度会比较大，“手机号并验证”隐私敏感度小于“学生姓名、学校、年级、班级”，因此先填写手机号并验证有利于填写率提升。

02 实验设计

对照组：在一个弹窗中填写所有信息，顺序为姓名、学校、年级、班级、手机号并验证

实验组1：分两个弹窗填写：先弹窗填写姓名、学校、年级、班级；然后自动弹窗填写手机号并验证

实验组2：分两个弹窗填写：先弹窗填写手机号并验证；然后自动弹窗填写姓名、学校、年级、班级

03 实验指标

学生信息填写率

04 实验评估

• 影响所有填写用户
• 仅需前端修改信息提交交互，开发成本低；
• 有可借鉴经验，成功率高

05 实验结果

style=”text-align: center;”>（数据已脱敏处理，不涉及公司数据泄露）

06 结果分析

通过实验组1与对照组的转化率对比，可以看出信息分步填写，可降低用户心理压力负担，有利于用户填写率提升，验证了假设①。

通过实验组1与实验组2的转化率对比，可以看出信息填写不同顺序，对于用户填写率存在差异，但不是假设②中“隐私敏感度”原因。这里先填写孩子“姓名、学校、年级、班级”的填写率更高，应该是学校班主任老师发给家长填写的场景更有信任背书，降低了家长对孩子隐私的敏感度，反而家长更容易理解需要填写什么内容。

07 后续计划

• 全量推进实验组1的填写方式。
• 寻找其它表单填写，推行分步填写A/B测试。

通过上述A/B测试实验，你应该学到

1. 对照组和实验组数据结果可量化，更有说服力。
2. A/B测试是一个“假设-开发-学习”闭环，不断优化，最终寻找到最优解决方案。
3. 实验并非一帆风顺，失败率会很高，需要我们磨炼心智，再接再厉。
4. 实验假设每一次验证成功，也会让你更有成就感，更有动力寻找下一个A/B测试。
5. A/B测试流程

推荐阅读：增长利器：积分商城

作者：文说静评 微信公众号：文说静评

本文由 @文说静评 原创发布于人人都是产品经理。未经作者许可，禁止转载

题图来自Unsplash，基于CC0协议

该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务