乐视如何通过跟进开源技术的更新来应对日益庞大的数据量的处理？

乐视从年底破百亿的“芈月传”和有毒的“太子妃”到年初举报快播的“背锅侠”，几乎赢得了全民的关注。现在看来游戏才刚刚开始，最近乐视又忙着升级，换Logo换域名，这意味着乐视已经准备好火力全开，进入全球市场。*认为，乐视之所以如此雄心勃勃，是因为它背后有大数据作为支撑，未来大数据也将在乐视全球化战略中发挥关键作用。从内容上看，乐视大数据打造的超级IP实力确实很强。2013年，乐视首次利用大数据赢得宣传档案，对即将上映的《小时代》进行了最准确的预测和分析，开展了美丽的电影营销，开启了大数据电影营销模式。后来，国内影视开始掀起IP浪潮，2015年是IP炒作最热的一年。年底，乐视给用户提供了令人满意的答卷，其自制的《十年剧王》《芈月传》以全网200多亿播出量创下纪录。网络雷剧《太子妃升职记》，目前全网播出量已接近15亿。大数据 超级内容IP为乐视进入全球市场注入了无限动力。然而，这并不是重点，“内容 乐视生态是乐视生态的亮点。《米月传》播出后，乐视还推出了超级电视、智能手机、米酒、手机壳、经典台词版《米月传》手机铃声等个性化产品，并与天猫合作打造《米月传》衍生品旗舰店。《米月传》手机游戏也发布了。请注意，这是360°乐视超级IP形成了一个完美的闭环，没有死角的IP布局。假如说IP是软件，那么乐视云就是硬件。在大数据时代，最重要的是“云”。乐视云是一个专注于视频领域的云计算平台。2016年，乐视云与戴尔达成两年全球战略合作，与世界领先的大数据运营商Equinix合作，法国最大的电信运营商Orange、澳大利亚最大的电信公司澳大利亚电信、世界领先的综合国际电信公司西班牙电信、世界顶级通信方案运营商香港和全球电信有限公司，打破数据岛，加快视频生态系统建设，未来乐视大数据触角将延伸到更多的行业。再看市值，乐视网成立于2004年，2010年上市，当年市值只有50亿。从市值来看，乐视成立于2004年，2010年上市，当年市值只有50亿。五年来，乐视依托大数据平台，深入培育互联网视频、影视制作、智能终端、电子商务等垂直领域。到目前为止，总市值已接近1100亿元。不过，看看乐视这次全面升级冲击全球的姿态，看来乐视的故事才刚刚开始！白德新目前正在从事乐视超级电视的数据挖掘。他说，最初的业务无法适应当前的业务发展，因此需要进化。在构建一切时，分析数据的平台，为乐视的超级电视提供数据挖掘服务。如何从最初的业务发展到现在，包括在超级电视上进行实时分析和用户离线挖掘，并通过数据挖掘为许多业务部门提供数据挖掘支持。白德新提到自己是谷歌的粉丝，目前正在进行第一批超级电视数据挖掘。云视频找到播放机时，当时是屌丝，只有几万个数据，当时数据也比较少，做了一些开机数等日常数据。在业务中做，在数据节点中做计算。　　随后性能越来越低，因为数量越来越多，当时每天的数据量，当时感觉很大，每天只有几千万行数据。在这个时候，我觉得我需要尝试一些新技术，所以我使用Cassandra作为存储。存储日至，简单处理切割后放入其中，使用Hodop计算，并将结果插入MySQL。每天计算数据是你自己的中间数据。一些报表可以出来。数据组合很多，刚开始只是盒子和应用，后来有一些视频播放内容，开始尝试分析MySQL和Kettle的日常数据。但是做了三四个月，又换了，用了Kafka、Storm、Hodoop、Hpase、Hive、Oozie、Sqoop，唯一的修改是有一些大的，跟随开源社区进行相应的升级，并尽可能与社区保持一致。　　乐视网大数据的起点　　白德新说，一开始只有一个数据分析师抓住了一些数据，这是一个分析。电视盒，包括电视启动，看什么电视节目，因为乐视网做视频内容，点击什么视频节目，通过心跳看视频节目多久，三分钟心跳，放在终端记录下来。播放有开始，有心跳，电视比较好，但是盒子里有些用户看着直接断电，结束就没了，只能从心跳挖回来。　　自从超级电视发布以来，盒子的价格一开始比较贵，没人买。后来盒子卖了299，卖了很多。数据量按三分钟心跳计算。数十万用户观看视频。他们有心跳，播放视频和心跳。数据量特别大。没有办法。乐视当时上了四台。四个数据，看怎么发布。然后输出，然后分析。看看有什么问题。　　一个人在做这些事情的时候。然后有人离开了，然后Cassandra就没人了，交接的时候写完了，对系统影响很大。这时没人接手，他走了技术也走了，一个萝卜一个坑，萝卜走了坑不容易填。后来想找个技术比较好的人帮乐视做，但是一个多月没找到了。要继续做系统，数据也在疯狂增长，没有办法去掉Cassadnra，把它放进MySQL。　　另一方面，分析师对乐视有很大的看法。他花了两个多小时。这取决于今天的启动量和昨天的比较，然后根据时间段查看启动量。两个小时过去了。他说系统老死机，我说查询太慢。希望系统能更大。　　现阶段数据量的变化　　白德新自己说，乐视的数据量从年初的三个月翻了一番，现在我写得早一点，每周翻一番。现在每天的数据量是100G，超级电视和盒子卖得很快。从设备行为到用户行为的快速转变。我的计划是多少，卖得更多的人开始考虑商业行动，根据互联网，用户拿着我的盒子看什么，是看电影还是看电视剧，所以这次很多用户行为来分析。现在每周有一个电视版本和一个盒子版本，每周更新一个系统版本，用户是否接受，这些都是乐视分析的。　　另一个是乐视在这里做了一些测试，因为在盒子里，乐视叫UI做一些测试，今天做海报推荐，明天加一个分析，看用户是高是低。　　用户数据增长迅速，没有人。在寻找土豪劣绅开发商帮助乐视解决这个问题的同时，他们必须自己解决这个问题。看数据分析的人，团队从内部调整，数据分析招聘。还有一个比较牛的人是从公司其他部门挖出来的。从今年年初开始，从原来开始。最后换成现在的方式。这是我自己做的，R&D团队有两个人，现在也有两个人。　　新平台通过Kafka建立，通过许多业务系统、点播和第三方，包括一些日志、存储数据和需要分析用户的数据，建立了近半年的新平台。还有一些元数据进行加工和处理。整合后，其实前段所有的请求都在这里。Storme是最后的数据。此外，Hodoop已经更改。数据量大后，更改其他数据库。刚开始选择，公司开始自己做数据库。通过Hodoop和数据服务wad-HOC的构建和处理，实时查询和开放数据平台也进行了查询和报告，为一些实时数据分析系统和门户网站提供数据服务，以及需要调整哪些数据。运营商需要知道四川电信和某电信部门的视频点播量。这些都是内部挖掘的。　　乐视的数据源来自前端，从三到六，所有的数据都在这里。其优点是，随着开源社区系统的升级，数据仍然可以在不影响业务的情况下接收。然后随便操作。稍微处理数据，放入STORE，实时计算数据，然后拆分。现在没有PEED，用户互动就是OEE，把多个任务组合起来，放进去，最后是一个结果，一个业务流程的管理工具。　　数据输出后，通过查询提供给他人，反馈给前端数据。这就是所谓的矩阵业务。这是一个测试。两台4corecpup服务器、6G，用户约38万，有效数据38万。与官网50万对比略差。由于乐视的机械性能比它们差得多。　　当时两个节点做的，一个发送，同步发送，消息格式两种，格式30字节，50字节，200字节。假如30字节38万，其它数据基本在30万左右。这是单台数据。单位近30万。这是乐视的Spout集群，做一些业务拆分。例如，一些数据需要组织、点播和心跳。事实上，有些信息是随机的。虽然它们是连续发送的，但每台机器都会发送并写入数据，例如播放时间、每部剧的播放时间和按时间段计算的数据。　　借用官网的这张图，我用的是0.9。其实标准是一个，但是乐视怕数据丢失，所以做了两个。其实做起来比较简单，复制数据。存储的一些数据，这些没什么好说的，当时做了一些简单的优化，这就不多说了。默认情况下，垃圾被关闭并自动回收。如果你不想让它自动回收，你必须手工处理。这是Sqoop，原始数据都存储在这里，乐视导入集群，乐视用这个来做。当时，我做了一些事情来抽取和整合数据。　　OLD没有写在上面，包括查询，一些数据处理的中间结果，中间结果最终没有，不可能达到使用阶段。　　ROI分析　　数据量每月翻一番。现在不仅如此。乐视原有的架构无法满足新的需求。以前是日报，现在每天都有很多实时数据。Kettle数据集成时间越来越长，使用hadoop-storm方案，不会对数据挖掘产生太大影响，资源稍丰富，集群不足以添加机器，数据每天运行一次，每天晚上12点收集数据生成报告，现在实时查询，时间相对较长，约5分钟。因特尔给乐视推荐了一个，但是对内存要求太高，暂时做不到。现在都是6G内存服务器。支持硬件设备。　　目前还有很多事情要做。事实上，乐视在不同阶段选择不同的解决方案。一开始，一年卖几万个盒子，一开始卖3000个盒子，不可能建十几个节点的数据。人员流失会导致技术流失。与招聘牛人相比，技术储备和内部自荐速度更快。现在招聘也很困难，hadoop圈人少。要小心对待新的业务平台。否则，问题很难解决。这个数据更好，如果前端没有，对业务影响很大。　　数据安全非常重要，乐视有40多个T数据，放在两个备份存储上。服务器多了就爽了，四台不够加八台，计算量可以很快。