ABtest，一套可持续迭代的增长办法

文章大纲：用户增长理论ABtest操作流程产品迭代我们现在做增长，如新，可能更多的是从别人的游戏，或者他们的想法，背后是否可验证逻辑支持，是否适合你的产品和用户这些可能不一定直接做，效果是你的活动效果一般不是很好，也不是很稳定的输出操作策略。这就要求我们总结出自己的一套增长方法，而且是可持续迭代的。以下是一个自己做的案例，期待与大家交流，学习更多成长的思维模式。1、无论是产品还是操作，用户增长理论每天都会经历一些假设-测试-验证-定义的迭代过程。只有不断的迭代挖掘和测试，我们才能找到更多的增长点。用户增长方法：确定北极星指标-将其分解为具体的优化场景和可操作指标-规划和排序A/B测试-更多地挖掘和测试有效方向。接下来，我将举一个真实的案例，这是我亲自参与的迭代实验。我想解释一下上面这句话。我希望你能从案例中了解到，这就是增长和迭代的原因。首先，我将介绍活动背景：我们的一个小团队负责大学生的CET-4和CET-6项目，通过推广免费交通课程来吸引大学生，然后推广我们平台上的其他高单价课程。早期阶段，我们已经验证，增加社区服务可以提高学习率和用户续期转化率。因此，我们的圈人班课程将增加社区服务。接下来，我们需要不断迭代和测试社区服务，以提高社区运营效率。我们梳理了一下，我们的北极星指标是提高用户价值(单班价值=总营业额/领班人数)，总营业额与继续申请的学生人数有关。进一步分解继续申请的学生人数与朋友人数和领班率有关，领班率与社区服务提高用户信任度有关。然后社区服务还包括:答疑、直播、促学提醒。因此，我们最终要提高的是参与用户续报课程的答疑、直播、推广等场景的数量。您可以直接查看北极星指数拆卸流程图，如下图所示：通过拆卸北极星指数，我们知道最初的操作行动是提高参与者在社区服务中的比例，我们开始梳理整个操作过程，然后我们发现一些变量，这些变量可能会影响我们最终的北极星指数，此时需要做ABTest验证，固定变量来测试对北极星指数的正负影响。二、A/Btest操作过程中，我们在梳理操作过程中发现了用户学习行为过程中的两个变量:学制(定期开班，随报随学)、分组(有分组和无分组)，定期开班和分组对人员的运营成本比较高。我们需要做实验来验证这两个变量对课程完成率和单班价值的影响。以ABtest为例：（1）明确实验的目的。例如，我们的一组实验是：通过比较定期课堂学习和报告对单一课堂价值的影响。如果这种学制与定期开班学习的单班价值相似或更高，则可以直接采用这种模式，降低劳动力成本，反之亦然。(2)设置A/B对照组验证方法:对照组A：四级词汇圈班定期开班收用户；对照组B：四级词汇圈班随报随学专题领取用户。为了保证测试的准确性，需要满足两个样本A和B:用户量级相似，用户量级不宜过小，至少600人，代表整体特征。用户属性相似，具有代表性。例如，我们的目标用户主要是大学生。测试环境可以代表整体特征。例如，它们都遵循以前的用户接收路径，只保留唯一的变量，其他环境也是如此。制定社区运营AB测试流程计划，确定更新课程的接触方式和用户更新路径，如下图所示：（社区运营ABtest流程计划）梳理此流程计划非常重要，并将您的整个操作行动安排在其中，以帮助您遵循自己的操作节奏。下面，活动上线前的准备工作能否完成，等待效果？还有一项非常重要的工作要做。整理数据需求：测试计划确定后，在活动启动前，与BI提出数据需求非常重要，以确保数据能够满足以下几点，否则在测试结束后与数据学生提出需求，可能会陷入尴尬局面，无法获取数据。能够均匀地将独立用户分为两个属性相同的样本组A和B，以确保活动数据得到满足。例如，我们的课程分为两个主题，区分用户的A和B。可以标记每个独立用户的身份，即可以跟踪每个样本的用户数据。比如用户可以跟踪这条路径的数据，从领课到添加个人号-学习行为-续课。变量可以在线调节A和B。例如，我们的一组实验变量是不同的学制。我们直接在专题页面设计了两种开放模式：随报随学和定期开放。变量引起的数据差异可以分离A和B。例如，对于两个样本用户的续期，我们分别设置了带有source的课程链接，以获得每个样本下不同渠道的续期转换人数。以上准备工作完成后，可以开始活动上线，然后查看最终数据结果。(3)分析数据活动结束后，根据续报课程的转化周期，我们可以在活动结束3天后开始寻找BI拉数据。或者上面的例子，我们分析两个ABtest的数据：学习行为数据比较（以下数据有变化，非真实数据，仅用于演示）：从数据中可以看出，用户的学习行为数据（保留率和完成率）B组的定时开放模式用户的7天TAD（7天累计活动天数）和完成率明显高于A组的随报学制；A组有一个组。7天TAD和完成率明显高于B组。单班价值数据对比:(续报转化数据)从数据可以看出，A组随报模式的单班价值(总营业额/班级用户)明显高于B组定时开班；A组有分组的用户单班价值明显高于B组定时开班。(4)得出结论，回顾我们社区运营的北极星指标，用户在随报随学、分组两种学制下的单进班价值更高，然后社区运营流程可以继续使用。三、产品迭代确定了社区游戏模型使用报纸和组pk更有效的结论，但由于组pk在微信组人工运营成本很高，如果社区用户水平很大，需要采用产品端分组模式，解放人力，提高社区运营效率。除了通过测试验证哪种学习模式更有效外，我们还可以做更多的其他测试，如设置对照组来测试哪种社区转换模式更有效，不断迭代和优化，以提高操作效率。