验证产品对错的方式有哪些？A/B测试怎么做？

很多时候，证明你的产品是对是错的唯一方法就是A/B测试。本文推荐理由：A/B测试，简单来说就是为同一个目标制定两个方案(比如两页)，让一些用户使用A方案，另一些用户使用B方案，记录用户的使用情况，看哪个方案更符合设计。当前，A/B测试已逐渐成为产品和运营测试产品如何逐步提高保留和收入的重要途径。通过有效地使用A/B测试，您还可以快速告诉您多个方案中哪个方案更有效，以节省您在构建方案中遇到的各种麻烦。对于平台产品，产品和运营中解决的核心价值问题是如何让用户尽快找到和消费他们感兴趣、迫切需要的好内容和服务，超出预期。如果你在创业前没有想清楚这个问题，或者做好心理准备和团队建设，花费大量精力来解决这个问题，等待你的往往是用户的眼睛，投资者的冷漠，员工的辞职信。在竞争激烈、产品同质化的领域，胜负的关键在于细节。事实证明，用户建模、机器学习、推荐算法、人工推荐的概念，但你必须为用户做（或VC），需要大量的产品和操作试错过程，才能有一点接近合理的效果。关键步骤是不断设定用户需求，提出解决方案，尝试A/B测试中所有可能合理的产品功能。A/B测试需要一定的准备成本和技术成本，所以如果你是一个企业家或产品经理，他已经通过直觉取得了一定的成绩，你可能会有很多词来拒绝A/B测试。例如，译者听到了“更基本的方法应该是重构模式”、"更快的方法应该是用户访谈"、“这种新技术不能解决一切”等等。不过，A/B测试根本不是互联网行业的新发明。在流水线生产和快速消费领域，A/B测试已经证明了自己的价值，远高于大多数企业家“重新发明商业模式”的性价比。如果你不相信，我们来看看硅谷的产品是如何用A/B测试优化业务的。第一，提高转化率，我们用Frank来提高转化率&以Oak为例。这是一家男装电子商务公司。他们根据用户的个人兴趣和操作行为为用户创建定制推荐的购物体验，这是他与其他电子商务网站相比的亮点。但与国内美说类似，只有注册账号，登录app，才能获得这种个性化体验。因为是否注册登录是用户转换的第一个关键步骤，Frank&Oak首先对注册流程优化进行了A/B测试。在他们的第三方登录之前，他们试图改变登录模块的位置和表单交互，只支持facebook账户。在这个版本中，他们想测试添加一个谷歌帐户登录，看看注册率是否会提高。最终的测试变化如下图所示:根据A/B测试结果，增加谷歌登录按钮后，移动注册量增加了150%。尽管Frank&Oak只尝试了几次就取得了巨大的成功，你可能需要调整很多次才能找到有效的方法。以下是一些您可以用来测试登陆页面的焦点，以帮助您引导用户从搜索商品到完成注册。分别是：填写文本和图像以指导更多的登录方式。2.当用户完成注册链接时，您需要激活它们。在商业上，这意味着鼓励用户尽快购买东西。为了实现这一目标，研究表明，你需要让他们在最初的两个过程中完成购买，否则他们很可能永远不会回来。例如，在分析用户激活数据时，Karmalop发现，首先将物品放入愿望表的用户的完成率低于将物品放入购物车的用户。在分析了这种情况后，Karmalop做了一个尝试：在设计上削弱了“愿望表”按钮的存在感。Karmalop通过减少用户与愿望表之间的互动，更好地把握了用户的购物意图。这个简单的测试提高了用户活动，增加了销售额的35%。有时你不需要完全删除一个功能，一些小的变化就足以实现你的目标。对于内容网站和APP来说，推荐内容的压力每天都在增加。特别是在自制剧、版权购买、时间分享、保证买断等视频网站上花了很多钱，他们最应该担心的是内容利用率太低——比如主页和分类页面点击率不足，比如用户只能通过搜索找到好的内容，比如内容订阅率太低或者回访率太低。NETFLIX一直自称是“我们是技术公司而不是电影公司”，在这方面堪称行业良心，尤其是主页的有效利用。新用户登录时看到的NETFLIX主页，推荐的内容是NETFLIX常青王牌剧《纸牌屋》。作者在第二次访问中看到的NETFLIX主页从常青剧改为新剧《奇怪的故事》。可以看出，根据一些用户习惯，以下NETFLIX的独家内容开始出现一些趋势。在别人的账号里，同一天看到的主页完全不一样，看到的是脱力喜剧《福是全家福》。切换到儿童账号后：未登录前的主页，强调大量内容。NETFLIX在成为以个性推荐的知名产品之前，就知道获得用户的信任并不容易。Netflix的工程师GoplaKrishnan在博客上记录道:如果一个产品的功能或内容在90秒内得不到用户的注意，用户很可能会失去兴趣，转向其他行为。如果这些问题反复发生，可能是因为我们没有向用户展示正确的内容。如果我们回顾原因，那是因为我们没有足够的基础来证明用户为什么喜欢某个内容，所以我们没有用正确的想法来呈现内容。因此，Netflix在2013年进行了大规模的A/B测试(实际上是A//B/N测试)，看看他们是否能在海报上做一些个性化的文章来提高转化率。图1为默认海报，图2点击率提高14%，图3点击率提高6%。NETLIX随后开发了一个系统级的方案，可以根据不同的宽度比、切割效果、修改程度、本地化元素等维度自动分组节目图片。他们逐渐将该方案应用到越来越多的项目中，跟踪相应的用户点击转换率。以下是一些例子。绿色箭头是用户转换率较高的内容：4。经验总结1、为什么要使用A/Btesting？如果您为产品设计了新的功能或操作方法，使用A/B测试可以帮助您扭转两个关键指标：保留和收入。使用A/B测试，彻底改变产品，跟踪用户行为，您可以看到您的产品是如何逐步提高保留率和收入的。若试验有效，尽快放入基线版，制作标配。这种方法可以帮助您不断优化产品和操作。2、我的经验是，用户大多数时候都不会按照你想要的方式操作，有时他们甚至找不到你仔细考虑和放置的按钮。原因有很多：可能是因为你的设计不够直观，颜色不够突出，不理解某种操作，有太多的互动选择不能决定从哪里开始。等等。3、你的直觉准确吗？不幸的是，对于用户行为来说，我们的直觉大多是错误的。A/B测试是证明对错的唯一方法。这是用户体验领域最好的鉴别指针。以房地产网站的经验为例，他们想要提高谷歌广告的注册转化率。所以做了几个版本的设计，他们认为只要隐藏房地产图片的效果会更好，而隐藏房地产图片和价格的设计转化率也会更好。4、一个人的边界太有限了，所以最好的想法不是憋出来的，而是一起探出来的。一个好的产品团队应该善于通过各种新项目促进跨团队的协调和沟通。设计师、工程师、产品经理、运营商经常聚集在一起，围绕产品大开脑洞。许多好的产品想法都是在测试了原型产品后，通过这样的跨团队讨论爆发出来的。5、关注用户做什么，而不是他们说什么。当你直接与用户交谈时，请记住这个原则：用户总是说一套。本周我亲自做的一次用户测试可以完美地证明这一点。我问用户在使用通讯录时是否会使用筛选功能，用户说不需要，因为它可以通过滚动完成，没有必要使用。然而，当用户看到新的筛选下拉菜单时，该功能的便利性立即吸引了他。用户很快学会了使用各种维度进行筛选，然后立即问我们：“这个功能什么时候可以在产品中使用？”6、为了分析用户行为背后的原因，用户数据的数量决定了你成功的概率。数据可以帮助你在没有人肉撕逼的情况下构建方案，A/B测试可以告诉你哪个方案更有效。