A/B测试实践总结的20个关键性问题

在网站和移动产品的设计和开发以及互联网产品的运营中，我们经常面临多种产品设计和运营方案的选择，如按钮是红色还是蓝色，左边还是右边。传统的解决方案通常是集体讨论和投票，或者由专家或领导决定。当你不能决定时，你也可以随机选择一个在线。虽然传统的解决方案在大多数情况下都是有效的，但A/B测试（A/BTesting）这可能是解决这类问题的更好方法。在软件开发中，通过多种技术手段实现产品需求；A/B测试实验为评估新功能对客户行为的影响提供了有价值的途径。在操作过程中，AB测试更常用，如发送电子邮件或广告，先拿小样本，测试多个版本，数据显示哪个广告或电子邮件转换率高，使用哪个电子邮件或广告。A/B测试是什么？A/B测试是一种流行的网页优化方法，可用于提高转化率、注册率等网页指标。简单来说，就是为同一个目标制定两个方案(比如两页)，将产品的用户流量分为两组A/B，一组实验组，一组对照组，两组用户特征相似，同时运行。测试运行一段时间后，统计两组用户的性能，然后比较数据结果，可以科学地帮助决策。例如，在这个例子中，50%的用户看到A版本页面，50%的用户看到B版本页面。因此，A版本的用户转化率为23%，高于B版本的11%。当测试流量足够大时，我们可以判断A版本获胜，然后将A版本页面推送给所有用户。AB测试本质上是一种分离的组间实验。过去，AB测试的技术成本和资源成本相对较高，但随着一系列专业可视化实验工具的出现，AB测试越来越成为网站优化的常用方法。A/B测试实际上是一种“先验”的实验体系，属于预测结论，与“后验”的归纳结论有很大的不同。A/B测试的目的是通过科学的实验设计、采样代表性、流量分割和小流量测试获得具有代表性的实验结论，并确保该结论正在推广到所有流量可信度。AB测试有天然存在吗？A/B测试不是互联网测试新发明的方法。事实上，自然界中也有类似A/B测试的事件，如下图中的达尔文雀。达尔文雀达尔文雀主要生活在太平洋东部的加拉帕戈斯（Galapagos）一个叫伊莎贝拉（Isabela）一部分生活在岛的西部，另一部分生活在岛的东部。由于生活环境的细微差异，它们进化出不同的喙。这被认为是自然选择理论的一个重要例子。哪种喙更适合同一种鸟的生存？大自然给出了她的解决方案，让鸟儿自己变异(多个设计方案)，然后适者生存。在达尔文雀的例子中，喙在不同的环境中也有不同的解决方案。虽然以上例子与网站设计无关，但它包含了A/B测试的核心思想，即：1、并行测试多个方案；2、每个方案只有一个变量(如喙)不同；3、适者生存，有一定的规则。第二点需要特别注意，它暗示了A/B测试的应用范围——必须是单变量。A/B测试不适合什么情况？有时多个设计草案可能会有很大的差异，这通常不适合A/B测试，因为它们有太多的变量，变量之间会有更多的干扰，很难通过A/B测试找到每个变量对结果的影响。此外，虽然A/B测试名称只包含A、B，但并不是说它只能用来比较两个方案的质量，事实上，你可以设计多个方案来测试，“A“/B测试”这个名字只是一个习惯性的名字。回到网站设计，一般来说，每个设计方案应该基本相同，但某个地方不同，如排版、文案、图片、颜色等。然后向不同的用户展示不同的解决方案。需要注意的是，不同的用户在浏览过程中应该总是看到同样的解决方案。例如，如果他一开始看到A计划，他应该在这次会议上总是向他展示A计划，而不是让他看A计划，让他看B计划。同时，我们还需要注意控制访问每个版本的人数。在大多数情况下，我们希望将访问者平均分配到不同的版本中。要做到这一点很简单，根据cookie(如cookie会话ID的最后一个数字)来决定显示哪个版本是一个很好的方法。以下是A/B测试示意图:可以看出，要实现A/B测试，我们需要做以下工作:1、开发两个(或多个)不同的版本并部署；2、收集数据；3、分析数据，得出结果。哪些公司在做AB测试？A/B测试就像GitHub一样、Docker、APM在美国市场已经逐渐被各种企业采用，比如谷歌、Airbnb等。其测试范围不仅限于网页优化，移动A/B测试还需要支持前端（Web/H5、iOS、Android）及后端（Node.js、PHP、Java）。什么阶段的公司适合AB测试？你自己做AB测试需要很多人力物力。大公司用户多。如果你做AB测试，你可以继续投资。每项投资的增长价值也很大，这是公司中最重要的。许多中小企业都有条件，但他们可能没有执行和分析的经验或能力，但现在一些第三方服务公司提供了方便AB测试和降低门槛的工具，如呼叫技术（http://www.appadhoc.com）在这方面做得很好。初创公司不适合AB测试，当产品尚未验证或用户数量非常小时。如何利用A/B测试进行增长？AB测试是撬动理性增长的最重要工具之一。AB测试背后的想法是帮助你用数据做决定，帮助你做出更好的决定。很多事情不再依赖于艺术创作、想象力和拍脑袋，而是依赖于数据，就像你写代码和分析时一样。如果没有AB测试，如果公司盲目前进，将造成巨大损失。Facebook强行规定，在发布任何大功能时，首先要制定计划，同时要制定预期。计划是您的功能发布后的周期是多长，您的预期是对用户数据的影响。一般来说，用户活动或用户数量增加，但可能会产生其他影响。例如，用户的在线时间会下降一点，因为你更有效，或者会影响用户的功耗和流量损失。7A/B测试的数据结果出来后，应该如何选择？对客观效果的数据结果进行分析，但往往需要根据用户体验和总收入进行折衷。《增长黑客》作者范冰讲述了一个人民网络的案例。一段时间前，销售人员和产品经理撕裂了人民网络。销售人员认为，为了获得更多的销售，我们必须给用户的钱越多，我们给他的特权就越大。人民网络A/B测试他们想象左图，用户在我的平台上发布小帖子后，谁给了更多的钱，给了我给你最多的顶部，同时给你一个广告空间，是红色标准，其他钱不是那么多，在相对较高的位置。也就是说，你给的钱越多，我给你的标签就越高，这就是销售人员的想法；产品经理的想法是右边，虽然你给钱，你是我们的黄金所有者，你很重要，但我想注意我们的产品体验，如果你给钱我让你上去，事实上，这是广告，谁给钱，有点像百度，现在他们提出我们的产品在右边，不管你付多少钱，我最多都会给你一个亮点，所以我不会提前给你你你的位置。当时为此，双方激烈撕裂。当时，出于这个原因，双方进行了激烈的撕裂。撕裂通常没有结果，因为公众说公众是合理的，婆婆说婆婆是合理的，然后他们想组织AB测试，发布了两波用户，看到两波用户呈现两个不同的页面，哪一波用户最终转化率高，收入高，以及其他指标的综合判断。结果是什么？从直觉上看，我们必须认为产品经理的决定是正确的，最后必须使用产品经理的计划。测试结果，右边的产品经理计划很好，他的数据更高，但最终使用了左边的计划。为什么？因为测试结果反馈显示，虽然这两个方案在右边更好，但他的好方案只是准确到小数点后面的千分位，只比之前的方案好一点。虽然好一点，但左边的方案更有吸引力，左边的方案可以吸引更多的人投资和花更多的钱，因为我们必须这样做一点，当然，我们必须使用左边的方案。所以经过测试，他们终于用了左边的方案，这是大家都没想到的结果。因为AB测试很重要，AB测试的结果确实在右边很好，但有时它应该与现实相结合。如果差别不大，你可能需要选择一种赚更多钱的方法。这是AB测试的一大价值。不要相信数据，也不要完全受到数据的影响。有时候，结合你的一些理性思考。8AB测试的具体实施流程是什么？事实上，这很简单。这里的每个人都可能有一定的印象。例如，您有一个网页，即您的用户流量页面。您使用上述绿色作为代表。如果您目前的页面转换率只有23%，您希望通过某种黑客方式将其调整、更改和更改为蓝色页面，以提高其转换率。那么AB测试怎么做呢？让一半或一部分访客看到旧的绿色版本，一部分访客看到新的蓝色版本。这些用户没有意识到这一点。他们不知道自己被分配到实验中。他们仍然按照自己的行为操作。他们会购物、退出或做什么，然后你可以看到他的转化率，是否有任何变化，如果我们看到一个非常糟糕的现象，这个蓝色版本，相反，它的转化率只降低了11%。因此，你的旧版本仍然获胜，这意味着你的改进计划不成功，所以你会考虑改变其他计划，并且总是找到提高转化率的方法。AB测试需要注意哪些经验或规则？AB测试需要注意哪些经验或规则？1.效果惊人，一些小的变化可能会对你的KPI产生很大的影响。2.大多数变化都不会导致KPI的显著改进，因此您需要耐心。3.Twyman法则，他是所有看起来出人意料的图表，通常都是因为数据统计错误。4.每种产品几乎都不一样，你复制别人的经验，往往没有效果。5.任何能加速用户响应时间的变化都会带来KPI的积极提升。6.点击率很容易提高，但是流失率很难提高，千万不要把精力放在优化页面点击率上。7.尽量不要做大量复杂的变化实验，而是做一个非常简单的小迭代。10Facebook在增长过程中如何使用A/B测试？据前Facebook工程师秦超介绍，现峰瑞资本技术合伙人Facebook的增长过程分为四个步骤：1设计关键数据面板2关注核心行动3发现增长规则和模式4灰度发布和AB测试灰度发布和A/B测试分为以下步骤：1计划：根据新功能制定修改计划；2预期：数据将如何变化；3设置多个版本：逐步向用户开放；4删除：删除旧版本。所有版本在6个月内完全在线发布灰度，通过不断分割用户流量进行实验，获得无bug口碑。6个月内，所有版本都完全在线发布了灰度，并通过不断分割用户流量进行实验，获得了无bug的声誉。AB测试还在哪些领域？对照实验，又称随机实验和A/B测试，在医药、农业、制造业和广告等多个领域产生了深远的影响。通过随机和适当的实验设计，实验构建了科学的因果关系，这就是为什么对照实验（A/B测试)是药物测试的最高标准。考虑到后检方法的局限性，西医(现代医学科学)首先引入了A/B检测方法来验证新药的疗效。新药的验证可能是这样一个过程：100名患者，被测医生悄悄分为两组AB，注意患者不知道自己分组，注意两组AB患者的健康状况应接近一致；A组患者将获得新药，B组患者将获得与新药几乎相同的安慰剂；如果A组患者最终比B组更好，则可以证明新药的有效性。12A/B测试的价值是什么？AB测试的实验能力可以用更科学的方法来评估规划过程中不同阶段的思想价值。A/B测试实际上是一种“先验”的实验体系，属于预测结论，与“后验”的归纳结论有很大的不同。A/B测试的目的是通过科学的实验设计、采样代表性、流量分割和小流量测试获得具有代表性的实验结论，并确保该结论正在推广到所有流量可信度。通过值得信赖的实验加快创新。通过解决技术和文化的挑战，我们给软件开发人员、项目经理和设计师一个“公平的耳朵”，帮助他们倾听客户的真实需求和由数据驱动的决策。13A/B测试的应用场景是什么？A该方法论广泛应用于Web产品、移动产品、数字广告优化等领域。从小到大，应用场景可以分为：元素/控制层面、功能层面、产品层面、公司层面14A/B测试中需要使用的基本概念是什么？样本空间、样本特征、实验流量假设这是一个电子商务应用程序，产品有100万用户样本空间：100万用户样本特征：100万用户有各种特征（性别、区域、手机品牌和型号，甚至不是爱按钮等行为。。）实验流量：100万用户成为100%的流量；假设100万用户根据样本特征和相似性规则分为100组，每组10000人，10000人为1%的流量采样、代表性误差和聚类相似性采样：在A/B测试实验中，需要确保小流量实验具有代表性，即1%