谈谈大数据相关性营销

中国有一家会员不少于数百万的民营航空公司。会员的一个重要信息是邮箱地址。另一方面，微博账号申请也需要邮箱地址。一般来说，同一邮箱地址意味着航空公司的会员和微博的会员应该是同一个人。公司进行了筛选，合并了10万用户。然后一家第三方公司的数据部门介入，主要任务是看看这10万航空公司会员的微博用户在社交媒体上的行为，比如“说”什么，喜欢介入什么样的话题转发评论，喜欢关注什么样的商业账号。研究这类事情的原因是，这家航空公司想知道它在社交媒体上发起了什么样的活动(以及活动中配备的礼物刺激)，这将吸引10万会员参与，成为earnedmedia。这个案例不是严格意义上的大数据，因为数据还不够大。但其原理与大数据营销有关：寻求相关性。相关性不是因果关系，很难得出这样的结论:喜欢参加某某的活动(反过来也不成立)，因为经常坐某某航空公司的班机。但从一般意义上说，这两个变量之间存在一定的相关性。这个道理就像穿红袜子和炒股的关系，可能有一定的关联系数，但绝不是因果关系。相关的因果关系，几乎和“迷信”没什么区别。在商业应用中，不需要拼命挖掘因果关系。您只需要知道乘坐该航空公司的航班和参加特定活动之间存在一定的概率，至于到底为什么，可以暂时忽略。对于营销人员来说，这种概率即使能帮助营销活动提高10%的参与度，也是不小的效果。但问题是，很多人把相关性等同于因果，这种做法会形成一些误导性的结论。例如，当他们在这家10万航空公司的用户中发现自己特别喜欢某种活动时，这个结论是不推广的。在增加5万航空公司微博用户时，你很难把上面的结论放在他们的头上。因为里面没有因果关系。要确认因果关系，必须经过一个非常复杂的观察和思考过程，排除所谓的“隐性变量”。这样做一些数据分析就不会那么简单了。相关性是因果的前提，但不等于因果。于是，大数据出现了。大数据寻求海量数据。海量的份额是什么？是全样本。全样本和抽样显然是不同的。过去的研究，由于可操作性的关系，很难做到全样本，需要抽样。抽样的科学做法是“随机”——但听起来很容易，做起来也很难。真正的随机抽样需要很多钱（使用社交网络关系，通过用户做问卷，然后启动用户找到更多的人做问卷，不是随机的），一个不可避免的缺点是：如果你使用问卷，你很难排除回答者的语言回答必须是真正的想法或真正的行为。首先，大数据不是抽样。它获得的数据是所有的样本数据。其次，它不是让用户回答问题，而是真正获得用户的“行为”。用户声称对某个活动感兴趣，以及用户是否参加了某个活动。显然，后者可以更好地解释问题。最重要的是，大数据分析和抽样分析的核心区别在于前者是动态的，后者是静态的。正如前面提到的，随机抽样的方法非常昂贵，所以很难每天做一次——事实上，很难实施一个月甚至一个季度的随机抽样。因此，随机抽样形成的结论实际上是静态的，这只能解释当时研究的一些相关性。当新用户(样本)加入时，很难解释过去的相关性是否可以建立——除非你能找到真正排除各种隐形变量后的因果关系。如果你试图降低成本来做非随机抽样，那么它的结论就没有推广意义了(学术上称之为外部效率，非随机抽样外部无效率)。新用户加入后，非随机抽样的结论基本不适用。但是大数据的分析是动态的，每秒都有可能得出新的结论。让我们以亚马逊页面上最常见的“同时购买该产品的客户”为例。这一部分的商品是活跃的，由于新购买的产生，这一模块中的商品可能会发生变化。然而，该模块也可能是商品集中购买的一个重要原因：用户可能会看到该模块中推荐的商品（也许ta没有购买的想法，甚至不知道）。但是对于大数据来说，原因是什么并不重要，它要做的——至少在电子商务领域——无非是提高客户单价。买A书和买B书之间的因果研究，是学者的事，不是商人关心的事。大数据处理的方法不是仔细研究。没有必要仔细思考原因。然而，拿出一些结论来解释它们也是一个笑话：例如，吃海参有助于提高智商。事实上，大数据不需要任何解释。它的任务只是让你在某个时刻提高成功率，即使只有1%。量大，1%极其可观。回到航空公司的具体案例。10万同时拥有航空公司会员和微博会员的人不是随机抽样的，所以这10万对整个数百万航空公司会员来说并不具有代表性。但我们的目标不是寻找乘坐航空公司飞机的人与参与网络活动的因果关系。我们只是想提高参与活动的可能性，并希望看到更多的人转发活动。所以，10万微博用户就够了。在某个时候，当我们运行数据时，我们可以大致看到一些相关性，所以我们开始设计一些活动，让10万微博用户知道参与和转发率应该高于无数据支持背景下的随机规划。同样的人力投入获得了相对较高的效果，这就是数据分析的好处。三个月后，还有一些活动需要计划。请注意，这次仍然需要再次运行数据。因为样本可能不仅是10万，也可能是15万，也可能是2万微博用户“死”，只剩下8万。另一种可能是加入了一些新的外部变量，比如一种新产品，让很多人趋之若鹜，高度关注。这时拿上一次的数据来指导策划，又是盲人骑瞎马，半夜临深渊。不同的时间点，或目标不同的活动，都需要再次运行数据，这可能是大数据分析的麻烦。然而，计算机的优点是计算。设计几个公式或模型需要一两个小时。与过去的随机抽样相比，便利性提高了很多倍，值得一试。更宏大的是真正意义上的“大数据”。今年，阿里巴巴将在互联网圈收购新浪微博。从商业逻辑上讲，一个是中国最大的消费平台，另一个是中国最大的碎片化言论平台。两者数据的合并可以挖掘出更多的相关性。当你发表微博时，突然出现了一则广告。是的，你很烦，觉得又被骚扰了。但从商业的角度来看，如果你过去的烦恼是一万次广告推送会有一次点击，现在变成九千次点击，是一个很大的进步。为什么一万次会变成九千次？因为一个人的言论和ta的消费倾向确实有一定的相关性。广告圈里有句名言：我知道我的广告浪费了一半，但我不知道浪费了哪一半。一些营销人员主张他们可以让你不浪费那一半。不要相信他们。对于广告来说，从浪费50%到49%都是值得投资的。基于相关性而非因果关系的大数据营销，不可能让广告主从此不再浪费广告，它只能做到：少浪费。这就够了。————让我们谈谈随机样本和全样本之间的关系。理论上，你可以设计一个模型，每秒都在那里抽样，而不是没有可操作性。但问题是，随机抽样产生的结果存在一定的误差。既然手上有所有的样本，为什么要做抽样呢。对于计算机来说，计算1亿个样本和1000个样本是可以弥补的。