从Keep身上学习获得用户*的方法

如果贵公司的产品数据反映用户订单完成率很低，如果贵公司的年度目标是增加销售额，如果用户反映订单过程太复杂。。作为产品、设计和运营，您应该如何解决用户和公司业务的这些问题？通过数据反馈不断优化产品，您需要找到针对这些问题的优化点，并进行优化实验。本文以Keep为例「提高用户*度」增长实验的出发点是长期促进平台用户的活动和互动。以下是本文大纲:第一步:明确实验目标和类型，明确实验目标，明确实验类型。第二步:用数据支持实验。假设Lift模型在最佳时间没有定量和定型数据，如何做实验假设第三步：提出实验假设实验假设模板优化Keep实验假设第四步：实验假设ICE模型评分方法ICE模型Keep实验假设第五步：设计实验确认实验假设选择实验指标确定实验受众设计实验版本第六步：根据数据分析和应用结果分析结果和评价可信度使用信心范围提高结果可信度根据实验结果第一步：明确实验目标和类型1。明确实验目标的起点来决定目标。在制定每一个优化方案时，我们应该从实际的业务问题和用户反馈开始，而不是从我们自己的想法开始。当我们制定每个优化计划时，我们应该从实际的业务问题和用户反馈开始，而不是从我们自己的想法开始。”我认为用户需要这个功能，”“领导说，使用这种交互方式”，“界面太丑了，需要改变”，当你听到独立替换用户的想法时，你应该考虑：「公司目前的目标是什么？目前支持这个目标最重要的功能是什么？」「在相同的业务逻辑和用户使用场景下，什么样的交互方式适用于用户？有原则支持和数据论证吗？数据从何而来？」「界面难看，是个人感官还是用户在使用过程中遇到困难，提出反馈？」以Keep为例，本次优化从业务角度出发，旨在长期促进平台用户的活动和互动。因此，实验目标是提高用户的注意力，即提高单点转化率。常见的产品优化目标有：提高单点转化率、提高全漏斗转化率、比较新旧版本指标、新功能探索、提高保留率、个性化等。2.上述常见的优化目标可分为简单实验和复杂实验两类。通过文案测试、设计测试、单页面测试、路径测试等方法，可以实现单点转化率和全漏斗转化率的提高。与新旧版本指标和新功能探索相比，提高保留率是一个复杂的实验，需要新版本在线或使用算法。第二步:用数据支持实验假设1。从三类数据中寻找证据支持假设这三类数据「定量数据」、「定性数据」、「最佳实践」。定量数据可以帮助我们发现问题；定性数据可以帮助我们理解问题是如何发生的；最好的实践告诉我们如何更好地改变它。定量数据是指转换率计算、用户分组、点击热图、路径分析、场景细化、漏斗分析等。定性数据是指用户可用性研究、用户问卷或访谈、屏幕记录和点击视频、实时聊天和产品弹出窗口。最佳实践是指Lift模型、用户心理学、文案写作、UX和设计、路径设计的最佳实践。2.Lift模型Lift模型在最佳实践中的原则是在数据理解的基础上，在营销信息中发现问题，设计解决这些问题的假设，提高产品效率，得到改进问题的结果，从而提高转化率。影响Lift模型的六个因素是价值主张、相关性、清晰度、紧迫性、焦虑和注意力分散。价值主张是载体；相关性、清晰度和紧迫性是驱动因素；焦虑和注意力分散是阻碍因素。下图将帮助您理解这六个因素之间的关系：为了实现目标，我们应该加强推广因素的强度，减少阻碍因素的影响：加强价值主张明确强大的营销口号，用户可以准确感知他们可以获得什么好处放大相关登陆页面，转换页面满足用户的期望，与您的价值主张密切相关，提高清晰度体验过程清晰流畅，用户清楚地知道下一步该做什么，如何操作减少焦虑做减法，不要给用户太多的选择，不要做不符合用户期望，习惯减少注意力分散减少视觉干扰，信息噪音，只为核心服务紧迫性创造饥饿感，促进用户决策，善于使用禀赋效应，损失厌恶用户心理3。没有定量和定性数据，如何做实验假设有定量和定性数据，实验将更准确。但是目前我缺乏Keep的数据，所以我用其他方法做实验假设。但我目前缺乏这些数据，所以我使用了其他方法来进行实验假设。梳理Keep的产品结构，找出现有的*路径；根据*行为，分析用户在什么场景下*其他用户；总结*行为的类型，找出可干扰的修改点。对于可干扰的修改点，在其他产品中找到相应的参考。第三步:提出实验假设1。经过分析和参考，实验假设的模板此刻应该产生几个假设。为了清楚地描述实验假设，你的假设必须包含明确的指标和时间限制，分析背后的原因，并且可以被伪造。这是一个常见的假设模板:如果具体变化，由于深层原因，预计某个指标会增加x%——数据支持的假设。比如“在新浪微博首页投放广告可以将用户引流到天猫旗舰店”的假设应该写成:「在新浪微博主页上发布产品广告，可以在发布后三周内为品牌天猫旗舰店排水500名用户，因为该广告清楚地介绍了产品的效果。」2.Keep优化的几个实验假设第四步:优先排序实验假设1.ICE模型评分法采用ICE模型评分法，可直观地看到实验假设的优先级。ICE模型是从预期影响的（Impact）、成功概率（Confidence）、容易程度(Ease)为实验设想打分的模型有三个方面。预期影响是指实验能覆盖的用户数量和实验成功后能增加多少指标；成功概率是指能否在数据中找到足够强有力的洞察力支持；容易性是指实现这个假设需要多少成本。综合得分三个方面，得分最高的优先级最高。2.使用ICE模型优先考虑KEEP实验假设步骤5：设计实验1。确认实验假设如果用户在文章或动态上停留超过5秒，“*”按钮变亮变大，提示用户*博客，预计指标可以提高到6%，因为变化突出了*按钮，可以吸引用户的注意。2.实验指标的选择分为核心指标、辅助指标和反向指标。一般选择一个核心指标，是决定实验成败的关键指标。在寻找核心指标时，你需要考虑这些问题：实验的最终目标是什么？你最想影响的指标是什么？哪个指标能告诉你实验组的变化是成功的？辅助指标一般不超过10个，是监测其他实验可能影响的重要指标，帮助您充分了解实验结果。漏斗细分步骤转化率、重要下游指标等关键用户指标是常见的辅助指标。反向指标通常是一到两个，作用是提示实验可能产生的负面影响。NPS是NPS的常见反向指标、邮件退订率、页面退出率、其他按钮点击率、应用删除率、Push退订率、订单取消率、其他页面访问率等。3.确定实验受众包含两个内容，一个是实验对象，另一个是实验样本的数量。所有用户都可以进入测试，或者只有符合特定条件的用户才能进入测试。如果选择特定的用户群进行实验，将有助于生成更精细的产品优化方案。通常设置第三方A/B测试工具。实验样本数是指确认结果显著性所需的最小样本数。统计显著性是指对照组和实验组之间的转化率可能是真实的，而不是随机误差。一般建议至少要求95%的统计是显而易见的。这里推荐一个工具来估算所需的样本数：云眼。https://www.eyeofcloud.那么，如何决定实验的长度呢？实验时间=每天访问所需样本总数/实验页面数。4.实验版本的设计取决于实验假设的数量，只选择高质量的实验假设可以降低实验成本。不同类型的实验也会影响版本的数量。如果是优化实验，每个版本只改变单个变量，可以明确变化的影响。若是探索实验，则可同时改变多个变量，设计全新版本。第六步：根据数据分析和应用结果1。以下分析结果和评估可信度为3天和14天的实验数据。根据这些数据，从样本分流是否均匀、核心指标是否明显统计、辅助指标是否与核心指标趋势一致、反向指标是否异常等角度分析结果的可信度。我的判断是两个数据都不可信。事实上，有人判断14天的数据结果是可信的。没有绝对的对错，只有对数据的要求是否非常严格。我之所以判断不可信，是因为我认为分流样本误差达到4%，不够严格。2.使用置信区间来提高结果的可信度。置信区间是指样本统计构建的总参数的估计区间。在统计学中，概率样本的信心范围是对样本总参数的范围估计。计算置信区间可以提高实验结果的可信度。刘津老师的UGDlab制作了一个可信区间计算的微信小程序，有兴趣可以搜索小程序的名称：A/B测试计算器。假设14天的数据是样本分流均匀后的结果，验证时间足够，反向指标数据逐渐趋同。当实验结果可信时，可以增加信心范围计算，再次确认结果是否可信。3.根据实验结果确定下一步实验是否成功，注意指标判断标准、两个观测周期的变化和四种状态：统计显著指标大或小，实验组获胜；统计显著指标下降或无差异，对照组获胜。若实验成功，应将实验产品化，放大实验的影响。如果实验失败，考虑放弃或继续迭代。备注:本文所有与keep相关的界面都是keep软件的截图，部分界面进行了调整，以显示实验效果。实验中的数据都是虚构的，如果有相似之处，那就是巧合。本文的重点是如何科学地进行A/B测试，不要过度解读数据。