增长案例丨为 Keep 设计一场增长实验

增长是一个持续实验的过程，就像做产品迭代，最科学的方法是向迭代要数据，依据数据做迭代；做增长亦是如此，即数据驱动增长。

策略、增长都有各自的方法论，抽象出来其实表达的是相似的意思。

通过数据发现问题→提出假设→设计方案→获得更多数据→验证假设→发现颗粒度更细的问题→提出更精准的假设。

是无数组闭环逻辑的循序渐进，根据实际达到的效果以及成本，来决定做到哪一步就可以满足目标或者需要及时止损。

每套方法论都有自己的逻辑闭环和不同的适用场景，也存在在执行时仍然存在的困惑，根据自己遇到的困惑，拆解输出的方法论理解消化后输出自己的方法论，才是最合适的做法。

增长实验通常以A/B测试的方式进行，要清楚A/B测试只是手段不是目的，在日常生活中也可以加以利用。

2. 设计增长实验前，如何发现问题

2.1 有明确目标（根据目标找数据）

有明确目标的意思是，促使实验发起的需求来源不是分析数据后发现的问题，而是通过其他需求来源提出的明确的可衡量的目标。

比如老板下达任务，这个季度的GMV要提升30%。那么关键指标可定义为2020Q1GMV，相关指标可以在已经搭建好的增长模型或者公式中获得。

GMV等于流量*转化率*客单价，流量包含自然流量和渠道流量等，自然流量包含产品本身的APP、小程序等，渠道流量包含各个外部渠道。

根据实际情况选择对应的颗粒度分析。

2.2 无明确目标（根据数据找目标）

无明确目标的意思是，促使实验发起的需求来源，并不聚焦于某一个具体目标，我们想通过优化某一个当前需要优化的内容，从而达到提升整体效果的终极目标。

此时为了避免拍脑袋定方案，设计出低质量的实验浪费资源，就要通过一些科学方法找到相对合理的目标。

a.收集用户反馈

在产品的用户反馈入口、应用商店评价、社交平台等渠道收集用户反馈。

通过对用户反馈的过滤、整理、分析，发现与增长相关的问题，以解决此问题为目标设计增长实验。

用户的反馈比较随机，难以判断影响面，与产品全局没有直接关系，因此可能需要其他手段进一步验证，着重思考优先级的排序。

b.系统监控

在数据体系较为完善的系统中，可以通过监控发现问题。

提前设置好监控指标和报警规则，是在一段周期内一劳永逸的方式，提升发现问题的效率，降低需求分析的成本。

比如某成熟期的社区产品的日留存率平均在30%，如果每天的留存率在正常波动区间内，我们便可以将精力用在其他地方，如果留存率不在正常波动区间，即出现异常（一般指留存率偏低的情况）。

首先要根据业务实际情况确定是否真的是异常情况，如果确定是异常情况，可能会通过增长实验，来将异常数据拉回正常区间；如果不是异常情况，可能需要调整报警规则。

比如K12类产品，在周末活跃度对比周一至周五下降，或者购票类产品在假期过后活跃度下降，通常属于正常情况。

c.定期复盘

复盘的方式可以具象为效果回归。效果回归是验证在之前的增长动作中，有没有达到目标。如果达到，探索进一步优化的空间；如果没有达到，分析原因，尝试通过接下来的增长动作达到目标。

3. 增长实验案例丨KEEP社区

3.1 实验背景＆目的

（1）提升用户对其他用户关注率

• 已知当前动态详情页（动态、文章、视频）的日均PV为10000
• 已知当前动态详情页（动态、文章、视频）的关注率为5%，目标提升至6%
• 统计显著性需要达到95%

统计显著性在这里不深入展开，市面上有专门的统计工具，通过搜索引擎即可找到

（2）实验前准备-定义指标

【（年/月/日）关注率】定义：用户累计（年/月/日）关注数/用户（年/月/日）累计浏览内容来源其他用户数。 （对一个用户生产的多条内容做去重）

【浏览】定义：对应内容在一屏中露出60%。在页面中停留时间≥5s。

3.2 增长实验

步骤1：提出实验假设

假设1：

【如果】在社区feed流中增加关注按钮

【预计】月关注率可以提升20%

【因为】

• 社区feed流是第一层级页面，跳出率最低，缩短了转化路径。
• feed流的核心目标就是吸引用户更长时间的沉浸体验。目前的关注需要在更深一层级的【添加好友】或【动态详情】中操作，某种程度上打断了用户的心流。按钮放在feed流上可以使体验更流畅。
• 用户做更多操作去关注一个用户，在潜意识上会把关注当成一个相对重的操作，将关注按钮放到feed流中，使用户不需要像在【添加好友】中筛选和在【动态详情】中查看更多内容，仅通过feed流中的一条动态便确定关注意愿，细化了关注的场景，满足了追求多样性和把关注看的不那么重的用户。也是产品需要潜移默化影响用户心智的方向。

最佳实践：

抖音feed流中可以直接关注发布者

定量分析

• 用户在【feed流>动态详情>feed流>动态详情】（循环）路径中点击关注的数量
• 用户在feed流中给非关注用户动态点赞后，关注该用户的数量

假设2

【如果】增加逻辑：点赞默认同时关注，个人中心可设置点赞是否同步关注

【预计】月关注率可以提升30%

【因为】

• 与上条一样，产品需要引导用户的是不把关注看做是一个很重的操作，从而使用户更多的进行关注。
• 点赞和关注，在不同的社区运营过程中，含义的演化各不相同；可设置的点赞是否同步关注逻辑，是将选择权还给用户，满足对这两者不同理解的多种用户群体需求。
• 对于在feed流中根据一条动态便确定关注意愿的用户来说，当前需要操作三步（点赞、点击动态、关注）才能完成点赞+关注。使用假设后只需要点赞一个动作，操作多个时，指数级的降本增效。

最佳实践

通常情况，缩短转化路径可以提升转化率。

微博有类似的逻辑，通过内容吸引用户关注发布者。

定量分析

• 用户在【feed流>动态详情>feed流>动态详情】（循环）路径中点击关注的数量
• 用户在feed流中给非关注用户动态点赞后，关注该用户的数量

假设3

【如果】为游客开放浏览社区和关注用户＆话题权限。（登录后选择是否同步关注数据，根据终端同步）

【预计】月关注率可以提升5%

【因为】

• 用户不需要登录即可进行浏览，缩短了转化路径
• 但是对于一个产品来说，用户的登录代表了最基本的兴趣和信任，一直处于游客状态的用户并不会很多也不会很活跃

最佳实践

对于游客用户也可以使其产生粘性和沉默成本，拿出诚意，先给用户价值，寻求用户未来的登录。

好奇心日报，未登录状态下可以做浏览、收藏、参与研究等操作。

定量分析

• 下载量
• 登录页UV
• 登录用户数

假设4

【如果】类似微博，登录成功后，引导填写简单用户问卷（健身侧重内容），根据用户个人情况推荐关注表单。

【预计】月关注率可以提升25%

【因为】

• 微博、站酷、好好住等各领域社区APP已经教育出用户习惯，比较易于接受，用户的问卷反馈可以应用于内容推荐和push等策略，带来更精准的促活
• 但是根据keep的商业模式以及当前的一级页面C位（运动）可以很清晰的看出，KEEP的核心还是工具属性；
• 因此是否提升社区的权重，需要战略层面的权衡

最佳实践

微博的各种引导关注＆自动关注机制，需要权衡差异选择性参考。

定量分析

• 用户分层：浏览内容时间与使用运动功能时间占比大于2：1的用户比例

步骤2：ICE模型打分，制定优先级

优先级：假设1>假设2>假设4>假设3

打分依据-预期影响

打分依据-成功概率

打分依据-容易程度

步骤3：实验设计

避免内容重复，这里再引入一个新的实验假设讲解后续内容

1）实验假设

【如果】用户在动态详情中停留5s以上，关注按钮变亮变大。

【预计】月关注率可以提升20%（5%→6%）。

【因为】停留可以反应出用户对内容的兴趣，从而说明对发布者的兴趣；5s的时候用户兴趣比较浓厚又未完全沉浸在内容中，此时关注按钮发生视觉变化既提醒用户关注又不会过分干扰造成反感。

最佳实践

（同假设2）微博有类似的逻辑，通过内容吸引用户（强提醒）关注发布者。

定量分析

• 用户在文章详情＆动态详情中停留5s以上后，关注发布者的数量和比例。
• 用户关注发布者时在详情中停留的平均时长。

2）实验指标

【月关注率】定义：用户当月累计关注数/用户当月累计浏览内容来源其他用户数。 （对一个用户生产的多条内容做去重）

【浏览】定义：对应内容在一屏中露出60%。在动态详情页中停留时间≥5s。

因为实验的改动是在动态详情中的3个页面（动态、视频、文章），因此实验前后的数据对比仅统计此部分数据差异；确保不会被其他因素干扰。

核心指标：（上面3个页面依次编号1、2、3）页面1月关注率、页面2月关注率、页面3月关注率。

反向指标：页面1月取关率、页面2月取关率、页面3月取关率。

【取关率】定义：用户在对应页面中关注后又取消的数量/用户在对应页面中关注数。

辅助指标：（上面3个页面对应依次1、2、3）页面1关注平均停留时长、页面2关注平均停留时长、页面3关注平均停留时长。

【停留时长关注比】用户在对应页面中关注，平均需要停留的时间。

与实验的5s对比，衡量5s这个时间点发生的按钮样式变动，对用户最终关注的影响程度。

3）实验受众

• 有关注习惯用户
• 无特定习惯用户
• 无关注习惯用户

【有关注习惯用户】定义：关注数/活跃（进入社区）天数≥1（每活跃1天，新增1个关注）

【无特定习惯用户】定义：0.3＜关注数/活跃（进入社区）天数＜1

【无关注习惯用户】定义：关注数/活跃（进入社区）天数≤0.3

4）实验设计-A/B测试

a. 版本划分及原因

3个版本：

• 从策略层面细化，可以考虑27种组合（3组用户3个页面3种样式），然后评估操作成本。在案例中，仅考虑文章详情页。
• 变化幅度大的样式对应强提醒，侧重目标转化。样式例如：按钮变大50%，颜色明显变化+动效。
• 变化幅度小的样式对应弱提醒，侧重体验连贯。样式例如：按钮变大20%，颜色轻微变化。

（该阶段的思维发散仅做思路展示，后面两个时间的计算不考虑中间涉及到的拆解用户组）

b. 如果将文章详情的【月关注率】提升到6%

已知当前关注率5%，目标提升至6%，统计显著性需达到95%，文章详情每日UV10000。

• 【有关注习惯用户】【无提醒】
• 【有关注习惯用户】【弱提醒】
• 【有关注习惯用户】【强提醒】
• 【无特定习惯用户】【无提醒】
• 【无特定习惯用户】【弱提醒】
• 【无特定习惯用户】【强提醒】
• 【无关注习惯用户】【无提醒】
• 【无关注习惯用户】【弱提醒】
• 【无关注习惯用户】【强提醒】

每组流量分配：10000/9≈1111

剩余名额全部划分至【有关注习惯用户】【无提醒】，实验无结论前，减少对活跃用户的影响。

实验时间

通过工具计算得出：6900/1111≈6.2天，取整数7天。

5）分析实验结果

实验组：是接受实验变量处理的对象组。

对照组：对实验假设而言，是不接受实验变量处理的对象组。

关注点：

• 实验组和对照组的流量是否平均，是否获取到了足够的样本数
• 实验周期是否足够长，是否受到周末、节假日影响；是否受到用户的新鲜感影响
• 每组中是否覆盖了全部用户类型（高、中、低频）
• 实验组的核心指标对比对照组是否提升、辅助指标是否提升或持平、反向指标是否提升造成负面影响
• 核心指标是否达到统计显著性要求（搜索引擎中即可找到第三方统计工具）

6）实验下一步

开启新的循环

作者：紫原新之助

来源：小紫原产品手帐