用能听得懂的话，说说大数据。

编前按：感谢您的爱，让《情色网站的另一面》获得了高曝光率，也让我成功地背上了“色情专家”的沉重标签。受几位频道内容编辑同学的邀请，介绍什么是“大数据”。之后专门把PPT整理成文字。只希望用最简单直白的语言和案例来诠释。这篇文章没有专业性，谢绝了一些穿着专业外套的人身攻击，也请真正的资深人士点拨一二。(我能说我写这篇文章的最大目的是洗刷色情专家的印记吗？？)在这个时代，无论是技术、产品、运营还是商业，如果你不能说“大数据”、“云存储”和“云计算”，你真的很尴尬地在同行面前抬头看。但大数据到底是什么呢？是Hadoop玩具小象吗？是千万级用户信息还是XXTB数据量？事实上，在我看来，大数据不是一种技术，而是一种从数据中发现价值挖掘价值的技能。一、大数据四大误区1.误区一大数据就是大数据“光大不够”！“当我用这句话开始时，一个女孩推门而入。当我听到这句话时，我有点震惊，低头坐下。现在很多场合，说到大数据，基本都会说“日处理数据量XXGB，上传图片XXGB，并发XXX”“Hadoop集群有XXX节点，总存储XXPB”...这样的技术语言。但如果数据不大，就能达到大数据的境界，共同实现生活的大和谐？不管数据有多大，如果你不使用它，呆在机房的一个角落里，它绝不是大数据，而是一个败家子。在这个问题上，传统的门户网站基本上属于坐在金山上却没钱上青楼。搜狐新浪网易每天有数亿用户，但除了简单的广告外，通过数据分析并没有产生更多的价值。企鹅之所以没有被提及，是因为他们手中有最大的QQ用户。没有推广并不意味着他们没有这样做。例如，QQ圈的惊人感觉仍然令人震惊。对中小网站而言，不必盲目追求先进技术的牛逼结构。首先要考虑的是商业运营和推广，只有用户数量飙升，才能考虑技术升级。给你一个双选题，A.每天有1000名用户登录，结构完全参照亚马逊从未停机的美国，B.每天有10万用户登录，每天因为高并发不得不停机三次。你会选择什么？你不觉得“我的网站因为用户太多太热情，停机了”这句话骄傲又装逼吗？2.误解2理解大数据必须理解技术“我不懂技术，我能学习大数据吗？“大数据更多的是一种能力，而不是技能，它可以从无尽的数据中看到商机的价值。诸葛亮懂兵法。他知道伏兵在哪里生火。他不必知道关羽是怎么玩大刀的，也不必知道张飞杀人时蛇矛是扎还是砍。3.误解3所有公司都必须了解大数据。我承认，如果卖煎饼水果的阿姨能开发一个应用程序，让顾客直接意见煎饼是否脆，辣椒酱是否足够美味，这将非常有利于产品的改进。但是你会为一个3元的煎饼下载一个8M的APP吗？在移动互联网会议上，EvernoteCEOPhillibin明确表示，他们产品的商业模式是向用户收费，让他们愿意为产品体验付费，而不是玩当前流行的大数据。知道自己能玩什么很常见，知道自己不能玩什么更有价值。4.误区四数据越多越好，从陈冠希到杨宗瑞，都透露出浓浓的收藏癖。那些被大家藏在硬盘深处的姑娘们，真的有一天会再见天日吗？不管是东京热还是加勒比，只有新人亚买碟，谁听说过老人COMEON？搜索“存款贬值”的关键词，从“50年前的百万变13元”到“一万元存款一年亏19元”，可以看出钱一定要用才有价值，数据也一样。只有不断使用数据，挖掘数据背后的关系和价值，才能使数据之间的关系更加丰富和完善。2、大数据的核心思想1。什么不重要，如何使用它在会议上很重要。我别无选择，只能发现，每当我举男女之间的例子，人们的理解能力就会飙升。当我谈到部分产品技术时，我看起来很困。（诸位！！！你是来听色情讲座的吗？）Netflix公司利用大数据拍摄《纸牌屋》(HouseofCards)每个人都听过无数次励志故事。Netflix是美国最大的DVD和网络视频租赁网站，在中国拥有2700万用户，全球拥有3300万用户。他们从29万流媒体视频用户收集的数据非常惊人，每次搜索，每次暂停，每次积极或消极评价，以及他们自己的位置数据设备数据社交媒体数据，在分析了这些数据后，发现他们的观众喜欢演员凯文·史派西(KevinSpacey)，我也喜欢导演大卫·芬奇(DavidFincher)，并且喜欢1990年的英国同名电视剧。结合三项，Netflix下定决心拍摄《纸牌屋》，并将数据分析运用得淋漓尽致。结合这三个项目，Netflix决定拍摄纸牌屋，并将数据分析应用到极致。在Netflix的观看页面上，他们提供了暂停后截图的功能，他们依靠这些数据来判断观众更喜欢什么样的场景和图片。当然，这三个因素实际上是不稳定的。例如，凯文·史派西还拍摄了弗雷德圣诞老人，他只得到4.2分。(FredClaus)，大卫·芬奇首次执导了《异形3》 》(Alien³)也是系列中口碑最差的一部。但就概率而言，这三个成功因素都包括了更可靠的系列。此外，虽然国政通推出的“同名同姓”应用看起来更具娱乐性和实用性，但这背后的身份数据可以用于各种二次利用。每次看到类似的应用，总会输入前同事“操瑞士”的精彩名字。现在只有这个应用准确找到了全国只有一个操瑞士和安徽人。叫瑞士大使馆快速锁定他的位置！因此，大数据的核心不是拥有数据，而是拿数据做什么。也就是说，你不仅可以占据别人的身体，还可以占据别人的心。2.一个500M用户数据Excel表是否是大数据，对数据的容错性更强，来源更多样化？有一次，当用户筛选某个产品时，这样一个Excel成功地把我的电脑拖了三次，我愤怒地说：KAO，SB大数据！现在想起来，我冤枉了大数据君，你受苦了。真正的大数据应该是来自不同维度和方式的各种格式数据碎片，不限于文本/视频/声音/位置/图片等。只有把不同维度的数据放在一起判断，趋势才能更真实。无论积累了多少相似的数据，在超过一定的限度后，我们从新样本中获得的有用信息越来越少，就像经济学的边际效应下降一样。简单来说，如果你接触过五个IT码农，第六个不会新鲜。最好重新调整方向，换个高富帅，找点不一样的刺激。多样化的来源也可以避免陷入死胡同。如前面常说的“三年自然灾害”，如果只查询这三年的天气状况与死亡人数的关系。最终可能会得出结论，“晴天比阴天更容易致人死亡”。但事实上，如果结合《人民日报》亩产10万公斤的详细公正报道和当年中国粮食对外进出口的情况，就会得出更具建设性的结论。在一九十后姐姐的追问下，只说了四个数字。一九五八年，中国出口粮食288.34万吨，进口粮食22.35万吨。在困难时期的第一年，1959年，中国出口了415.75万吨，进口了0.20万吨（这里可以看到数据）。那一年，我听说每个人都很饿。不要说太多，以免喝茶。再举一个例子，这两天淘宝首页推给我的个性化广告，除了性玩具，都是“花花公子”服装的大折扣。我不就是想找素材和图片来搜索“性玩具”吗？你们无休止地把这个推给我，节操在哪里？如果你能从我的小学老师那里得到评论，初中老师的评论和操作评估，高中老师的评论和操作评估，通过分析不同来源的数据源，你会推给我一本好书，比如《钢铁是如何制作的》和《雷锋日记》。(大学老师的评论就算了，打CS被我蹂躏太久很容易怀恨在心。)3.拥有大数据的身体也应该有大数据的心。过去的数据分析更多的是准确的样本/深度数据挖掘。“准确性”是其代名词。过滤掉不符合规格的样本，然后深入挖掘数据字段之间的关系，得到几个精确的数字来做PPT，或者从一系列的数据中准确地找到一个看起来淫秽的女孩。然而，大数据更多的是通过分析各种数据来获得某种趋势。这种趋势不必太准确，但它可以让相关决策者有信心做出决定。使用大数据的人并不重要。即使面对完全相同的数据源，不同的人也会得出完全不同的结论或决定。在三国赤壁大战中，当庞统献计“如果大船和小船都搭配在一起，要么三十排，要么五十排，首尾用铁环连锁，上铺阔板，说话人可以渡过，马也可以离开”时，同时听到这句话的两个人，曹操下席而谢，“非先生的好计划，安能破东吴！而徐庶却私下拉庞统“你好大胆，只怕烧不完。由此可见，“以人为本”是多么精辟的废话啊！无论你是NB还是SB，数据总是在那里，永不放弃。4.强调趋势和未来大数据，更要分析过去，提醒现在，展望未来。无法在实践中使用的大数据都是流氓。无论结果是造福全人类还是帮助网站提高1%的转化率，这都是有用的。上图是美国和苏联在冷战期间开发的高速列车，它们直接将轰炸机上的涡轮机安装在火车顶上。1966年俄亥俄州铁轨上，美国M-497号跑出295.54公里/小时。虽然现代高速铁路只有几十年后才出现，但如果没有最初的野蛮实验，恐怕自主研发的高速铁路就没有足够的信心了。谈趋势谈大数据，怎么能不提谷歌的流感趋势呢？谷歌分析了自己数亿次的搜索查询，几乎实时提供了全球许多国家和地区的流感疫情评估。从截图可以看出，谷歌的趋势曲线与美国官方公布的数据高度一致，但后者在时间和效率上无法与谷歌的趋势相比。如果你在准备出差的时候发现鼠疫爆发在你要去的地方，我想大多数人一定会哭着喊着辞职。另一个例子是，2012年，一个著名的避孕套品牌发布了一份校园健康报告。报告显示，25%的美国大学生患有性病，其中尖锐湿疣排名第一。发病率最高的学校是位于科罗拉多州的美国空军学院(U.S.AIRFORCEACADEMY)。然后，无聊的我从学院官网看到，学校男生占78.1%，女生占21.9%。至少我们可以从这些数据中分析出一个结果：在与海归一夜情之前，请检查学位证书。3.大数据应用盲目思考1。医疗服务通过一系列的病历和其他数据，得到某一类人的健康趋势，如“IT8年”、“每天加班6小时”、“病也坚持工作”、“每天吃盒饭”、“每天一包香烟提神”、“每天一杯咖啡提神”，然后个性化地推送上述信息。还有人要加班吗？2.犯罪预警通过对全市历史犯罪和警察记录，得出全市各类犯罪高发地区，如剁手区/包装区/性侵区等，每天发出提醒，推送到市民手机/平板电脑等所有终端。我相信性侵区的流氓迟早会自首。3.大龄青年相亲的想法如果搭配类似谷歌谷歌的可穿戴设备就更好了。在数百人的男女相亲会议上，你戴着功能齐全的眼镜到处看女孩。系统自动分析各种数据，帮助您找到最匹配的伴侣，并根据匹配程度自动走在一起。当然，如果当时红外透视功能非常发达，最好添加匹配度最高的VIP功能，可以为裸体付费。4.总结了一个骗了一个小时的大数据话题。回到工作岗位后不久，一个实习生给我发了以下信息:“刀老师，听了你的大数据分享，我能这样理解吗？大数据是系统根据屌丝的年龄/身高/体重/穿衣风格/购物倾向等基本信息，加上之前看a片的频率/主角/风格/时长/快进次数，综合参考女神/播放格式/区域等因素。和我一样。当我打开电脑时，我会自动向我推荐一部最适合我的电影。看了这段话，久久不能平静下来。只有一首歌能表达我此刻的心情。“啊~~~~~~理解多痛苦！”