A/B测试和置信区间,一起实现用A/B测试驱动产品优化
2020-12-01 15:42:02 阅读(147) 评论(0)
P-value定义P-value(以下简称P值),又称“显著水平”,是指样本数据在真实情况下拒绝原假设事件的概率,可用于评估假设检验中最关键的第一类错误概率。今年3月,美国统计协会(ASA)《关于统计显著性和P值的声明》在其官方网站上发布,进一步阐述了P值的概念和用途:P值可以表达数据与给定模型(即原假设下的模型)不匹配的程度;P值不能衡量假设的真实概率,或者数据仅由随机因素产生的概率;科学结论、商业决策或政策制定不仅取决于P值是否超过给定阈值;合理的推断过程需要完整的报告和透明度;P值或统计显著性不衡量影响的大小或结果的重要性;P值本身不是一个很好的测量模型或假设的证据大小。P-value的计算-T检验P值的计算公式取决于假设检验的具体方法。常用的假设检验方法包括Z检验、T检验和卡方检验。不同的方法有不同的适用条件和检验目标。A/B测试采用对照版本和测试版本两个样本的数据来测试两个样本的整体差异,因此适用于T测试方法中的独立双样本测试(independenttwo-samplesttest)。A/B测试采用对照版本和测试版本两个样本的数据来测试两个样本的整体差异,因此适用于T测试方法中的独立双样本测试(independenttwo-samplesttest)。相关概率水平,即P-value的值,是通过T分布理论来计算的。T检验的计算公式首先通过来公式计算统计检验量Z值。公式中的相关组成因素是:两个版本的平均值、方差(标准差)和样本的大小,以计算统计量的Z值。然后通过t分布(大样本下近似正态分布)的公式计算出与Z值对应的P值,阴影部分的面积为P-value值。计算P值后,我们可以根据上述假设检验决策规则来判断两个样本平均值之间的差异是否明显。P-value中常见的错误Aalue.统计显著=效果显著=效果的商业价值?这个公式的意思是,P值只代表样本数据与原始假设之间的不一致性,而不代表你发现的效果(或差异)的大小。尽管研究人员希望在许多情况下计算出零假设的真实概率或数据由随机因素产生的概率,但遗憾的是,这两者都不是P值。P值只解释数据和假设之间的关系,而不解释假设本身。也就是说,无论P-value的值有多小,它只能告诉你两个版本之间是否有不同的效果,不知道不同的效果有多大,更不用说我们的效果是否有实际价值了。比如我们通过A/B测试优化一个资源消耗超过10倍的推荐算法,得到p值=0.001,说明测试结果显著。试验的效果只增加了收入的万分之一。当资源消耗增加10倍以上时,收入只有很小的增加,所以总的来说,这种优化带来的商业效果其实是非常不显著的。因此,改变带来的商业效果无法从P值来判断。B.一旦P≤α,立即得出结论?这是一种经典的错误使用P值的方法:不断观察和检查P值(multipletesting),一旦p值小于α停止试验得出结论,以确定标准(即统计显著)。事实上,这会导致第一类错误的发生率很高。以Airbnb的A/B测试为例,当测试开始运行时,每天观察测试数据和p值,并绘制以下图表。当试验运行到第7天时,可以发现,p-value的值首次小于α判断标准,实验结果显示。但过了一段时间,p值并没有稳定下来,甚至一度增加到实验结果显示不明显。也就是说,单纯依靠p-value值来判断实验结果是否显著是不可靠的。特别是在试验开始前7-10天内,单纯依靠p-value值来判断版本差异,出错的概率非常大。以上是P-value的介绍。如果你在阅读过程中对P值有更深入的了解,那就是我们在这篇文章中最大的成功。最后,我想说的是,P值不是数据分析的终点,所有决策过程都应该综合考虑多个因素,而不是“一锤交易”。许多其他合适可行的方法同时应用于A/B测试,它们的共同作用帮助我们判断最佳测试版本。在下一篇文章中,我们将讨论用户在A/B测试中最关心的部分——信心范围。
推荐阅读
- 取得管理员所有权限是什么意思
电脑管理员权限是啥意思?①右击要删除的文件夹或文件——属性——安全——高级——所有者。 ②再点编辑——继续——其他用户或组,在输入选择的对象名称里面输入你的当前登录用户名(也可点高级——立即查找,选择你的用户名,确定)。 ③选择“替换子…查看详情
- 插画版权登记丨抄袭无解 建议从构思开始做好全面防护
大部分的插画师应该都接受过社会“抄袭”的毒打,在发现被抄袭时,不少插画师会选择跟侵权方沟通,论原创讲证据,然而对方却置之不理,一番声讨被不了了之。侵权要证据,维权靠法律,要想保护自己的作品,就需要根据法律保护框架实施确权保护,进行插画版权登…查看详情
- 国际市场营销策略有哪些?
我国企业在做国际市场营销中应有什么策略?目前看来,我们大部分企业走出去还是比较困难,我们仍然处于国际产业链的中游水平。 对一些大宗商品企业来说,物美价廉还是首选的宣传方式。 当然一些行业独角兽,也有跟国际顶级企业掰手腕的资格了,比如华为,虽…查看详情
- 恢复照片的免费软件有吗?哪款好用呢?
现在的手机拍照的功能可以说是越来越强大了,也可以为我们保留很多精彩的瞬间,但是日常使用的期间难免出现手误的情况,从而出现了照片丢失问题,那么不妨选择一款好用的恢复照片软件,帮助大家找回这些精彩的照片,那么恢复照片的免费软件有吗?…查看详情
- 如何选择一个好的分销系统,牢牢记住以下这5点
近年来,伴随着互联网与资本强强联手对各消费行业持续渗透,售卖渠道已经逐渐被碎片化切割拆分,分销已然打通连接行业和消费者的重要途径,那么如何选择一个好的分销系统?以下5点帮你判断分销系统怎么选。 1、 分销系统的安全性及数据的安全性 要知道产…查看详情
- 有人指出阿里双十一数据造假,我们来看看是怎么回事儿
每年阿里都是双十一最耀眼的明星,今年也不例外,阿里双十一的成交额高达2684亿元,比京东累计11天的销售额还多,如此庞大的交易数据,如此快的增长速度让国外的人都傻眼了,可是正当所有人都觉得阿里特别牛的时候,一条关于阿里双十一成交额的神预测微…查看详情
- 企业如何选择舆情监测系统?从这5个方面下手
舆论化背景时代,企业要想树立良好的品牌形象,就必须从自身、竞争对手以及相关政策法规的舆情信息入手,进行严格规范化的舆情监测工作,那么企业如何选择舆情监测系统? 但市面上舆情系统多种多样,究竟什么样的舆情系统才算好?企业应该从这5个方面考虑下…查看详情
- 建筑图纸设计用什么软件 画建筑平面图的软件
虽然说最近纪念建筑行业发展比较平稳,不像几年前那样迅猛了,但是还是i很多建筑创业者,下面万商云集小编就给大家详细介绍下画建筑平面图的软件这方面的相关内容。希望能帮助到大家。 亿图图示EdrawMax 亿图图示Edraw Max是一…查看详情
- “黑马校友行——成都站”走进万商云集
6月29日,“黑马校友行——成都站”走进万商云集总部,高标汽车技术(重庆)有限公司、上海多知互联网科技有限公司、知康科技、澳易通(武汉)企业发展有限公司、重庆啄木鸟网络科技有限公司等31家企业的创始人/高管参与了此次交流考察活动。万商云集董…查看详情
- 一个月跑路15家,倒闭的数不过来!这个行业终于要凉了
最近,在抖音上刷到一条新闻,有家长租公寓按 4300元的租金从房东那边收房源,再以2800元的价格把房子租给租客。 没想到几天后我就刷到了事件后续:这家公司跑路了…… 有的租客刚交了一年35000多元的房租,才住了三天。结果现在中介跑路了…查看详情
- 安踏29岁,隐藏着企业发展的制胜法则!
近日,安踏KT6新品发布会落地上海,发布会以高山流水为主题,隐匿在山水之间。经过29年的发展,中国在变化,安踏在崛起。只用了29年,安踏不仅从一个晋江小厂,蜕变成中国最大的体育用品集团公司,市值破两千亿,与耐克、阿迪达斯共跻全球三强,而且正…查看详情
- 微商的五种运营模式:直营 代理 辅销 营销 分销
相信每个人的朋友圈都有做微商的朋友,每过一阵子你就会发现,从前一个不怎么联系的朋友频繁出现在你的朋友圈,每天推送着各种商品信息,反复刷屏,乐此不疲。你会很疑惑,这样的熟人营销真的有用吗?一个人的朋友圈营销能起到多大的作用呢?现在微商运营模式…查看详情
- 录屏软件哪个好 免费好用的录屏软件
现在在电脑或者手机上录屏都是很常见的事情,下面万商云集小编给大家介绍下免费好用的录屏软件,希望能帮助到大家.EV录屏——免费高清无水印 EV录屏软件(视频录制直播软件)是一款不收费、不限时的高性能视频录制直播软件。支持全屏录制、选区录…查看详情
猜你喜欢
最新文章

扫码二维码
立即领取《千元实战营销秘籍》
还可免费试用营销管理系统
*如有疑问,请随时拨打免费咨询热线:400-0033-166
服务时间:8:30-18:00
软件企业
认定号:川RQ-2018-0216
高新技术企业
认定号:GR201951001121

关注微信公众号
和10万中小企业共同成长

扫码下载APP
享全方位服务一触即达
Copyright © 2004-2022 万商云集(成都)科技股份有限公司 版权所有
蜀ICP备12001963号-2
川公网安备 51010402000322号

快速找产品
找一找哪款产品适合您?
咨询热线:400-0033-166
-


-
电话沟通
在线咨询
获取方案
下载APP
官方微信
扫码下载APP
全方位服务一触即达
关注万商云集
和10万中小企共成长
TOP

企业首选的数字选用平台






