服务热线:400-0033-166
万商云集 - 企业数字化选用平台

企业首选的

数字选用平台

围绕增长AB测试,分享要注意的五件事情

2020-11-26 15:06:16 阅读(174 评论(0)

在成长工作中,AB测试可以说是一种被视为标准的方法,也是产品/操作学生的工具。工作更多地用于AB测试,但也有更多的经验教训和学习思考。本次分享实际使用AB测试中的5个关键问题,共同交流避坑。在AB测试中,对照组和实验组的样本量越大,实验时间越长,实验结果就越准确。这可以说是常识判断,但实际上是由统计显著性决定的:统计显著性是指对照组和实验组的数据差异可能是真实的,而不是随机误差造成的。因此,周期更长、样本量更多的AB测试更有说服力。然而,在实际工作中,产品或活动的迭代速度很快,这就要求AB测试的实验周期不能太长。因此,在AB测试之前估计样本的规模非常重要。计算样本量的方法有点复杂。对于多年来丢弃高数和概率论的农民工,建议向数据分析学生寻求帮助。在这个样本数量计算器中,输入原始版本的转化率(已知),然后输入优化版本的转化率(预期),同时设置显著的统计水平,一般达到95%以上就是显著差异。这样可以快速获得样本数量结果。如上图所示,如果原版转化率为10%,优化后的新版转化率预计为12%。AB测试时,每组用户样本数据达到2900以上,可以说明新版转化率明显不同,可信。在计算了估计的样本数量后,另一项重要的工作是估计实验周期。如果可信的AB测试每组实验需要2900个样本量,但我们的产品每天只有200个日常用户,分成两组后每组只有100个用户,则2900/100=29天,这意味着AB测试实验需要29天才能达到所需样本量。此时,有必要评估这个周期是否可接受。如果周期过长,则表明AB测试在现阶段不合适。2、测试结果分析样本规模的估计是在AB测试前进行的。由于优化版本的转换数据是估计的,样本量和实验周期都是估计数据,这有助于我们在AB测试前对测试样本和周期进行初步判断。实际AB测试实验结束后,还需要对实际结果数据进行统计显著性检验,确保对照组与实验组的数据差异显著可信。在此工具中,通过输入AB组的实际数据,可以清楚地看到两者转化率的差异和试验结果的统计显著结果。以上图为例,虽然B组的转化率高于A组,但由于样本量小,试验结果没有明显的统计差异,我们无法得出B组优化优于A组的结论。此时,有两种选择,一种是继续实验,积累更多的实验数据进行分析,另一种是放弃实验,得出结论,优化没有显著改进。这并不意味着继续实验会产生显著的差异。如果样本量继续增加,但转化率差异降低,这意味着需要更多的样本量。这种情况通常表明两个版本之间的差异很小,但也需要根据实际情况来判断是否需要停止AB测试。在AB测试中,通常有一个核心指标来判断实验结果,并有一些支持或辅助指标来更好地监测实验和分析结果。但不可忽视的是一些反向指标。什么是反向指标?反向指标是AB测试实验中可能产生负面影响的指标。举个简单的例子:为了提高新用户的注册率,AB实验过度包装了新版本中的新用户权益。虽然新用户注册率有所提高,但由于用户预期管理不足,新用户注册后发现实际新用户权益大大降低,对产品不满,导致新用户首次订单转化率下降。在这个实验中,新用户首单转化率是一个值得关注的反向指标。为了实验的速度和效果,AB测试往往关注少数关键流程节点和核心指标,但忽略反向指标有得不偿失的风险。4、辛普森悖论辛普森悖论是指在某些条件下,两组数据在讨论时会满足某些性质,但一旦合并考虑,可能会导致相反的结论。英国统计学家辛普森提出了这一理论。举个简单的例子,在新用户首购流程的AB测试实验中:第一天,A组转化率为10%(10/100),B组转化率为12%(120/1000)。;第二天,A组转化率为15%(150/1000),B组转化率为16%(160/1000);分别看两天,B组的转化率高于A组。但总体而言,A组转化率为14.5%(160/1100),B组转化率为14%(280/2000);总数据A组的转化率高于B组。因此,在分析过程中无法直接判断实验结果。辛普森悖论的存在对AB测试、合理选择用户样本、监控调整样本量、综合数据分析等提出了更多的要求。例中分日和总数据结论相反的原因是第一天A组和B组的样本量差异很大。5、对于大量的产品和完善的增长团队,分层实验将同时进行多个AB测试,因此需要考虑分层实验。分层实验是指建立多个实验的分层结构,每层实验使用的流量,下一层实验可以继续使用。有些人不太容易理解。继续举个例子:以电子商务产品的新流程为例。新用户下载并打开应用程序后,主页上有一个新礼品包的入口。点击进入后,您可以查看新产品的权益和优惠产品。新用户在查看新产品后完成订单,这是新用户转型的基本途径。为了优化现有的新人转化流程,多个AB实验同时从新人礼包首页展示、落地页展示、新人商品详情页进行。在主页显示中,AB实验同时进行了按钮颜色和指导副本。为了确保变量的唯一性,按钮颜色实验中的其他内容,包括副本,完全相同,副本实验中的其他内容,包括按钮颜色,也完全相同。这需要将100%的流量分为两部分,假设每50%,即50%的用户进行按钮颜色实验(25%看到红色按钮,25%看到黄色按钮,两组文案一致),其余50%的用户进行文案实验(25%看到“权益收购”文案,25%看到“1元订单”文案,两组按钮颜色一致)。进入新人页面后,对权益展示的方式进行了AB实验。权益展示的AB实验从第一层(主页)的流量(100%)进行。第一层100%的流量刚刚进行了按钮颜色和文案实验。为了避免上层实验对权益展示实验的影响,上层流量应随机分配到权益展示实验的AB两组,即分层实验中的流量正交。上层流量分布均匀。分层实验在实际工作中很少见,但成熟的产品必须考虑到这种情况,才能在进行多个AB实验的同时更高效、更科学。分层实验在实际工作中很少见,但成熟的产品必须考虑到这种情况,以便在进行多个AB实验的同时更有效、更科学。团队还应保持沟通,避免单独进行实验,但不知道结果受到对方实验的影响,得出不恰当的结论。以上,就是关于AB测试的五个阶段分享,在以后的工作中,AB测试还会继续进行,新的问题还会出现。 

内容来源:人人都是产品经理,以上内容来源于网络,不代表本站观点,如有侵权,请联系删除。

推荐阅读

什么是删除域名

  删除域名是指将一个已经在互联网上注册的域名从域名系统中彻底删除。  在删除域名之前,有几个需要考虑的问题。首先,确定域名是否可以进行删除。这意味着您必须评估该域名是否是关键业务或品牌,是否正在使用,以及是否存在任何与域名相关的法律或商业…查看详情

小程序代理加盟市场利润不少,究竟是商机还是骗局?

微信小程序在近两年使用量一直不低,商家可以通过微信社交产生流量、通过公众号实现内容转化、通过社群实现裂变等与用户链接,达到销售目的。所以,微信小程序的种种优势,促进了小程序代理加盟市场的兴起。 图片来源于网络 由于小程序的火热和优势,如今小…查看详情

好用的免费数据恢复软件,你用过哪个?

现在市面上,可以帮助大家数据的软件不少,但多数都是需要收费的,而免费的大家却很担心是否好用的问题。那么下面就为大家介绍几款,好用的免费数据恢复软件,并且将各款软件都进行相关的分析,大家不妨参考一下。 1、万兴恢复专家 这款…查看详情

为何商城小程序如此受欢迎呢?主要是这些原因

微信现在已经在全国得到了普及,甚至是国外也有很多人使用微信,正是因为有这样一个流量的大平台,所以也吸引了不少商家的注意。通过使小程序从而增加产品的知名度,也给不少商家的运营迎来了新的商机,也有越来越多的商家开始使用商城小程序了,…查看详情

京东全球购是正品吗

  作为中国顶级的电商平台之一,京东全球购已经成为中国消费者用来购买海外正品的主要渠道之一。然而,这种便利的代价是很多消费者会产生疑虑,他们怀疑京东全球购网站上出售的商品是否真的是正品。  京东全球购是否是正品呢?我们来检验一下:  京东全…查看详情

system volume information 是什么文件

U盘里的SystemVolumeInformation怎么删除?删除方法 1、关闭“系统还原” 2、获得对“SystemVolumeInformation”文件夹的访问 3、NTFS的分区里该目录只有SYSTEM权限,需要将您登录时使…查看详情

商标logo设计选择哪家公司比较好?这几家企业值得推荐

如果一家企业想要凸显出自己品牌的特点,想要打造出更好的吸引力,那么商标的设计是非常重要的,当然现在也有很多的企业拥有自己的商标logo。选择了商标logo之后就是自己对企业形象的展示,也能够让很多的消费者记住自己,但是有很多的企业并没有了解…查看详情

2022推荐10款好用到爆的软件,你收藏了几款?

相信大家平时手机里面都备用了自己喜欢方便好用的app软件,这些软件成为了大家的必备软件,下面小编就给大家来详细介绍一下2022推荐10款好用到爆的软件这一块的内容,希望能帮助到大家!  2022推荐10款好用到爆的软件  1、《UC浏览器》…查看详情

2022年注册公司的基本流程及费用(新政策)

  现在很多人想要自己创业,但是自己对注册公司又不是很熟悉,下面小编就给大家来详细介绍一下2022年注册公司的基本流程及费用这一块的内容,希望下面的内容能帮助到大家了解到公司注册这一块的资讯。  2022年注册公司的基本流程及费用  一、2…查看详情

2022做网站好的网站建设公司

现在很多企业为了能够得到更好的发展,都会选择建立自己的网站,因为有了网站之后,可以形象地将整个企业展现出来,还能够推广出去得到更多的流量,也会让更多的潜在客户看到自己,所以说网站对企业是非常重要的,在进行网站建设的时候,应该要找到比较好的网…查看详情

设备管理系统软件有哪些 设备管理软件排行榜

管理带动发展,企业资源不断更新,发展成型的公司都会有自己的一套资源设备管理系统。有很多公司的仓库分类杂乱无章,所以小编给大家介绍6款比较好用的设备管理系统,有需要的可以看一看。1.EMCat设备管理它是专门为工业制造领域提供的一款智能设备管…查看详情

如何申请发明创造专利 发明创造专利申请方法

    在平时很多的小伙伴都不知道如何申请发明创造专利的基本情况,而且对如何申请发明创造专利都不是很熟悉,下面万商云集小编就为大家整理了如何申请发明创造专利这方面的相关内容,希望下面的内容能帮助到各位。    一、发明创造专利申请方法  申…查看详情

上海crm系统有什么特点?

随着科学技术,信息技术的发展,企业的客户管理也越来越重要,一个优秀的客户关系管理系统是帮助企业实现以客户为中心的管理模式的基础。本篇文章就详细为大家介绍一下上海crm系统是什么,企业要不要使用上海cem系统。那么上海crm系统是什么?上海c…查看详情

玄幻小说排行榜完本前十名,你最爱哪部?

相信很多人都有属于自己的英雄梦,而通过看玄幻小说,就能够很好的满足精神的需求,同时也可以放松身心,这也是玄幻小说之所以有很大吸引力的原因之一了,那么下面就针对于玄幻小说排行榜完结前十名,为大家进行相关介绍。 1、斗破苍穹 …查看详情

2021那些免费的物流软件,6款精品主推

每个企业尤其是出口或进口和生产企业,都应该选择一款合适的物流软件,从而保证运输管理,仓储管理,配送管理,车辆管理都系统,从而更好地保证物流的高效运行。以下是我为大家整理的一些2021免费的物流软件,包含6款精品主推,希望对大家有所帮助。 1…查看详情

最新文章