怎样用数据方法来优化自己的产品？

在大数据时代，拥有数据就是拥有宝贵的财富。现在获取数据越来越容易了。但是如何最大限度地挖掘数据的价值呢？仅仅拥有数据是远远不够的。我们应该使用数据来发挥它的价值。仅仅让机器使用数据是远远不够的，更重要的是，企业中的“人”可以正确高效地使用数据。这就要求企业具备数据驱动的理念。那么如何定义数据驱动的概念是什么呢？许多人从不同的角度给出了不同的解释和解释。我最喜欢的是Datastax首席执行官Bosworth的一句话：数据驱动的概念是，企业应该充分利用数据方法优化产品、运营、决策甚至策略。具体来说，数据的使用可以分为后验和先验。后验是指挖掘和分析过去收集的数据，从中发现和总结新知识，通过现象看本质。1682年，一位天文学家发现一颗拖尾巨大的星星迅速划过夜空。与过去的天文数据相比，他发现1531年和1607年也有类似的观测记录。他判断这些观察看到的是同一颗彗星，并预测这颗星将在76年后光顾地球。这就是著名的哈雷彗星，一个重要的天体，通过后验数据挖掘发现。后验数据对企业决策非常有用，我个人认为先验数据对企业决策可能更有用。在决策完全实施之前，什么是先验数据可以得到其实施后的效果数据，这就是先验数据。在中国传统文化中，我们往往更擅长后验数据，并通过总结和总结得出重要结论。现代西方文化更注重“科学”，找到了获取先验数据的方法，即做“实验”。设置一个合理的小测试环境，然后在这个环境中实施决策理念，得出数据结论，最后通过数学方法预测决策理念在真实环境中的表现，这是先验方法。一种非常经典的测试方法是我们今天要讨论的A/B测试。A/B测试是指在所有条件相等的情况下，只改变一个条件，从A到B，然后比较两者的不同效果。注意这是决定A/B测试科学性的一个非常重要的定义。让我们来看看A/B测试和后验方法的区别：如果我们做出新的决定，比如改变产品的设计，试着卖一天，然后第二天拿出旧设计试着卖一天。与新旧设计相比，“不”很可能是A/B测试。新设计销售好，不一定是因为新设计好，可能是因为时间不同，新设计试销当天正好赶上周边动物园活动，带来了很多游客。考虑到后检方法的局限性，西医(现代医学科学)首先引入了A/B检测方法来验证新药的疗效。新药的验证可能是这样一个过程：100名患者，被测医生悄悄分为两组AB，注意患者不知道自己分组，注意两组AB患者的健康状况应接近一致；A组患者将获得新药，B组患者将获得与新药几乎相同的安慰剂；如果A组患者最终比B组更好，则可以证明新药的疗效。然后对应于技术产品，A/B测试的方法是将产品的用户流量分为A/B两组，一组测试组，一组对照组，两组用户特征相似，同时运行。测试运行一段时间后，统计两组用户的性能，然后比较数据结果，可以科学地帮助决策。例如，在这个例子中，50%的用户看到A版本页面，50%的用户看到B版本页面。因此，A版本的用户转化率为23%，高于B版本的11%。当测试流量足够大时，我们可以判断A版本获胜，然后将A版本页面推送给所有用户。通过A/B测试，产品的优化过程可以看作是两个阶段。第一阶段是后验。通过对当前用户行为和系统指标的统计分析，可以判断产品可以改进的地方，如注册页面流失率过高或购物车报废率过高。第二阶段是试验阶段，试图改进这些产品的薄弱环节。例如，您是否可以在注册过程中添加优惠券发送链接，是否可以简化购物车支付流程，是否重写副本，是否更换图片等。这就需要对可能的决策进行A/B测试和评估，只有被测数据证明有真正改进效果的决策才能真正实施。不成功的改进是不会上线的。例如，在刚才的情况下，B版本的转化率不如A版本，所以我们不应该把B版本推给所有用户。对于国际顶级互联网公司来说，几乎所有的产品变化都必须经过严格的A/B测试才能上线。让我们看看他们得到的结果：这是微软bing搜索引擎经过反复A/B测试后的修改结果。左边是旧版本，右边是新版本。仅仅从肉眼上看，几乎没有区别。实际上是在颜色上做了一些微调，结果右版比左版增加了1万美元的年化收入。这是亚马逊购物网站推出的信用卡推广策略。最早的信用卡广告出现在用户选择购物商品的页面上，几乎没有人关心，浪费了几个宝贵的商品展示位置；后来，运营商想出了一个策略，说当用户结算购物车时，A/B测试显示，信用卡申请率大大提高，亚马逊收入增长数亿美元。说到亚马逊，谁能想到它的“购物车”按钮是什么样子的？它是黄色背景，黑色边框，绿色字体。。。从设计美学的角度来看，它非常奇怪和丑陋。然而，重复A/B测试会发现，这种风格是用户购买转化率最高的设计。优化数据驱动的结果是决定听数据，而不是艺术家或老板。这是一个互联网教育网站。在这个主要的学生注册页面上，通过反复的A/B测试，发现一个好的页面排版可以提高40%以上的学生注册率。这种排版不同于常用的课程分类，根据课程的受欢迎程度对课程进行排序，这可能会刺激许多潜在学生的竞争心理。"我不知道该上什么课，但我不能不学每个人都学的课。"用户可能会这么想。当然，这是马后炮。或者A/B测试可以告诉我们什么样的排版更好。这个电商网站卖防水耳机，原来的排版是电话-To-左文案右边是Action按钮，后来换了位置，A/B测试发现，这种简单的变化可以增加销量35%以上。事实上，通过A/B测试，我们可以发现许多产品变化或操作策略实际上没有效果，有些甚至会产生负面影响。例如，许多修订不会提高转化率。例如，手机应用程序中的汉堡菜单往往会降低用户活动。例如，一些电子商务网站在增加商品分类功能后会降低用户订单率。对于大多数成熟的互联网产品来说，只有少数改变策略会带来改进，所以国际互联网企业会运行大量的A/B测试，从各种尝试中找到少数有改进效果的测试，全面实施这些策略，不断优化产品。A/B测试先验数据方法，有时不是选择更好的策略，而是排除不良策略。只有通过A/B测试验证的好的变化才会上线，这就保证了产品总是在不断优化和改进，而不会出现上下波动，耽误进度。本示意图很好地展示了A/B测试优化产品后的产品迭代效果。每个新版本的发布都首先经过小流量的A/B测试验证，以确保确定性的提高。每个版本的更新都比旧版本更好，随着时间的推移，它将大大超过“裸奔”的竞争对手。说到这里，我们必须提到专业第三方A/B测试云服务的作用。A/B测试的原理听起来很简单，但在实践中会遇到很多问题：一是测试流量分割的科学性和测试结果的准确性。例如，Google制作了一个社交网站Google ，用自己的员工进行了测试，发现用户活跃度很高。将该网站发布给全球用户，结果完全不同。因此，如果试验流采样不科学，可能会导致试验结论的巨大偏差，导致A/B试验白费力气。专业的A/B测试云服务可以对用户进行机器学习分类，然后进行动态采样，以确保测试流量的代表性(representativesampling)。(可以关注第二张图)其次是试验结果的敏感性。因为测试结果是统计意义上的结果，比如以95%的信心范围的形式显示，如果不确定性太强，对我们用处不大。比如我们喊科技自己的官网，早期做A/B测试的时候，因为测试流量太少，得不到任何结论。例如，我们试图改变“申请注册”表单的风格，得出结果是申请注册率的“平均”提高了4倍！但是信心区间太宽，从-200%到 很难判断1000%是增加还是减少，这显然不是一个非常有用的结论。这个反例是因为当时我们的访客太少，实验只有500左右，随机性太强，只有1%的用户会申请，所以信心范围很宽。随着试验运行时间的延长和试验流量的增加，信心范围可以逐渐收敛。专业A/B测试系统可以利用统计算法对小采样进行更详细的模型分析，加速信心范围的收敛。最后要讲的是A/B测试的效率。许多朋友尝试“手动”进行A/B测试。首先，技术人员编写一些代码进行分流，收集一段时间的数据，然后编写一些代码来单独统计数据。最后，他们发现旧页面点击100次，新页面点击98次，然后数据在几天内再次改变。这种体验是“花了几天时间验证一个小想法，最后不知道是改进了，是减少了，还是没有改变”。我觉得A/B测试没有实用价值。专业的A/B测试云服务是为您提供各种方便的API、图形界面、编辑工具和分析工具，可以大大提高A/B测试的效率。有了强大的工具，一个人可以在一周内做很多实验，即使只有少数是成功的（大多数是无效的，少数是失败的），一周可以增加20%，一个多月可以超过竞争对手的两倍。这张图显示了Google自2007年以来A/B测试试验数量的增加。谷歌从2004年到2007年建立了自己强大的A/B测试引擎。此后，谷歌的优化效率和相应的优化努力急剧提高，现在每个月都有数百个A/B测试。过去，当谷歌负责搜索广告优化时，我每天都做A/B测试，并不断改进谷歌自己的A/B测试系统，以提高效率。Google拥有如此强大的工具，完全不担心竞争对手的反击。Facebook是移动互联网时代的王者。每次AppStore上线，Facebookapp都会将未来六个月想做的实验集成到代码中。然后不断放小流量进行A/B测试，发布好的变化，离线不好的变化。这不仅给Facebook带来了用户活跃的提升，也让Facebook获得了“无bug”的口碑！这种口碑往往被忽视，其实很厉害。作为新一代线上线下相结合的互联网产品，Airbnb和优步从第一天开始进行A/B测试，不仅在自己的系统中进行，还使用第三方工具来确保所有的决策，从产品到运营，甚至战略，都是由数据驱动的优化决策。对于每个变化，首先使用1%的流量进行测试，然后将其推到5%、10%、20%和50%，最后将其发布给所有用户。现在我们称这种数据驱动的工作为“增长黑客”(growthhacking)，和黑客一样，增长黑客的武器是强大的技术工具和精确的数据分析。A/B测试是必不可少的一部分，被很多黑客称为增长黑客必杀技。Ronny是微软的科学家，主导了微软多条产品线的在线A/B测试系统的建设和使用。A/B测试发表了许多著名的学术论文，可以说是该领域的顶尖专家。7个经验如下：惊人的效果：耐心测试可能会对KPI产生很大的影响：但大多数变化不会大大提高KPI。这里有一个非常有趣的Twyman规则：所有看起来出乎意料的图表，通常是因为数据统计错误，你非常不同：每个产品几乎完全不同，所以复制他人的经验往往不能得到任何效果速度是关键：任何可以加速用户响应时间的变化都会提高KPI关注产品质量本身：点击率容易提高，损失率难以提高，不要专注于提高页面点击率快速轻迭代：尽量不要做复杂的大变化测试，尽量做很多简单的小变化测试用户数量是基础：成千上万的用户很容易启动高效的AB测试这些经验和我个人和我们公司的实践经验完全一致，希望以后能帮助你的实践。“最好的PM只能超过A/B测试的一半”。欢迎在今后的工作中充分利用A/B测试等强大工具，实现数据驱动的优化增长。“最好的PM只能超过A/B测试的一半”。欢迎您在未来的工作中充分利用A/B测试等强大工具，实现数据驱动的优化增长。最后，附上几个QA问答：1、测试所需的数据来自哪里？测试数据是统计的。如果使用第三方工具，通常访问SDK，然后通过SDK向云报告。请注意，A/B测试是真实用户无感知测试，是真实流量。2、A如何选择/B测试对象的好问题。一般来说，这些用户的“定向”A/B测试是基于你的新策略。例如，按钮颜色的选择是针对所有用户的，然后对所有用户进行采样，并从所有用户中选择1%进行测试。例如，推荐算法的选择可能是针对老用户的，因此只有10%的样品在老用户中进行测试。3、一般来说，当网站UV或用户数量达到多少时，应该是