在相关大数据管理的方面，看看优酷土豆的经验。

姚键是优酷土豆集团CTO。据他介绍，在优酷新推出的主页上，导航栏上有21个视频分类和21个不同类型的内容，这意味着优酷会有各种各样的用户观看视频。如果你想向不同的用户推荐他们最喜欢的视频，这取决于一种叫做“协同过滤推荐”的技术。百度百科介绍协同过滤推荐（CollaborativeFilteringrecommendation）：“它正迅速成为信息过滤和信息系统中非常流行的技术。与传统的基于内容过滤直接分析内容的推荐不同，协同过滤分析用户的兴趣，找到指定用户的类似（兴趣）用户，结合这些类似用户对某一信息的评价，形成系统预测指定用户对该信息的偏好。“这是亚马逊、谷歌和其他互联网巨头使用的技术。亚马逊会告诉你“购买A产品的客户也会同时购买B产品”。在Youtube上，视频播放结束后，相关推荐视频会立即出现。事实上，优酷的视频推荐涉及数百个参数。每次要调整参数，都要手动调整十几个甚至几十个参数。每天推荐视频的数据模型涉及数十亿的数据。小参数调整的后果可能是当天视频观看带来数百万的增长，也可能是算法稳定后的未来几周甚至几个月视频观看量的曲线变化。当然，数字证实，通过这种协同过滤向用户推荐的视频是可靠的，因为在大量视频中找到他们最喜欢的视频的成本非常高，推荐视频的开放率也令人满意。挖掘和分析优酷土豆心中的“大数据”数据只是推荐视频中的一个小意思。2010年优酷推出的“优酷指数”进一步强化了大数据精神，展示了视频播放周期、用户核心特征、用户播放行为、视频热度排名等数据。姚健介绍了优酷指数诞生的背景：“2010年，优酷已成为PC互联网时代最具影响力的视频网站。优酷希望在加强优酷品牌的同时，在行业内树立基准，创造优酷指数的概念。“今年，优酷指数演变为“中国网络视频指数”，增加了土豆和移动客户端的视频数据。对数字感兴趣的用户可以从该指数中读取大量内容。“中国网络视频指数”作为一种平台产品，在优酷土豆集团中的参考价值无处不在，从广告销售到版权购买，再到播放器产品的优化等。据姚健介绍，优酷土豆集团推出的数据报告为节目制作人、影视公司、第三方分析机构了解视频节目的播放信息和观众分析提供了依据；在广告销售方面，可以向广告商展示用户行为特征，分析广告价值；在购买版权时，可以帮助根据指数的方向做出决策；在公司内部，即使是播放器产品的用户体验优化，查看数据分析结果，查看按钮的放置和使用频率等。这些价值是显而易见的，以及我们在表面上看不到的东西，通过数据分析的结果来指导优酷土豆集团的自制内容。“例如，优酷有很多自制的内容，有很多微电影、综艺节目等，这些广播数据可以显示用户喜欢什么主题，用户看不见，在哪里拖观看，一系列用户行为可以清楚地告诉内容制作人，如何编辑视频，如何选择内容主题。“例如，优酷有很多自制的内容，有很多微电影、综艺节目等，这些播放数据可以显示用户喜欢什么主题，用户看不见，在哪里拖放观看，一系列用户行为可以清楚地告诉内容制作人，如何编辑视频，如何选择内容主题。”姚键说。 事实上，这个过程也是一个分析视频质量的过程。在优酷土豆的搜索和推荐中，根据视频质量进行排序，反过来又提高了推荐的成功率。然而，大数据读取的数据远不止这些。每部电影和电视剧播出后都会有相应的数据。哪些演员受欢迎，哪些主题受欢迎，你可以通过分析数据慢慢找到背后的原因，讲述这个受欢迎的故事，这是一个可见的未来。优酷土豆用Spark改进大数据分析。一个似乎被媒体传播得太多的词确实在逐渐影响和改变我们的生活。有些人可能认为大数据在中国仍然只是一个噱头，但在当前的中国互联网领域，大数据和大数据产生的生产力正在不知不觉地促进业务发展，并为大多数中国网民提供更好的服务。作为中国最大的视频网站，优酷土豆和其他国内互联网巨头一样，率先看到了大数据对公司业务的价值。早在2009年，它就开始使用Hadoop集群。随着近年来业务的快速发展，优酷土豆率先尝试了仍处于大数据前沿的Spark/Shark内存计算框架，很好地解决了机器学习和图形计算迭代的瓶颈，使公司大数据分析更加完善。说到大数据，Mapreduce的痛苦自然不能不提Hadop。说到大数据，我们必须提到Hadoop。HDFS已成为大数据公认的存储，Mapreduce作为其匹配的数据处理框架，在大数据开发的早期阶段具有重要价值。但由于Mapreduce在设计上的约束只适用于离线计算，在实时性上仍存在很大的不足。随着业务的发展，行业对实时性和准确性的需求越来越大，单纯依靠Mapreduce框架显然无法满足业务需求。优酷土豆集团大数据团队技术总监陆学宇表示:“现在我们用Hadoop来处理一些问题，比如迭代计算，磁盘和网络每次都要花很多钱。特别是每次迭代计算都要在磁盘上写下结果，然后再读回来。此外，计算的中间结果需要三个备份，这实际上是浪费。“据报道，优酷土豆Hadoop大数据平台于2009年采用，最初只有10多个节点，2012年集群节点达到150个，2013年达到300个，每天处理200个TB。优酷土豆决定引入Spark/Shark内存计算框架，以满足图计算迭代的需要，因为Hadoop集群已经逐渐无法胜任某些应用程序。Spark是伯克利大学AMP实验室开发的通用并行计算框架。Spark已成为继Hadoop之后的另一个热门开源项目。目前，英特尔等企业已加入开源项目。“当我们的大数据平台对快速需求的响应延迟，特别是当商业智能BI和产品研究分析需要多次对大数据进行Drildown和Drillup时，等待成为效率杀手。优酷土豆集团大数据团队技术总监陆学宇说。目前，大数据分析主要应用于互联网公司的广告、报表、推荐系统等业务。广告业务需要大数据进行应用分析、效果分析、定向优化等，推荐系统需要大数据优化相关排名、个性化推荐和热点点击分析。优酷土豆是一家典型的互联网公司。目前，大数据分析平台的主要工作是运营分析、机器学习、广告定位优化、搜索优化等。优酷土豆集团大数据团队技术总监陆学宇表示：“优酷土豆大数据平台已经使用多年，突出问题主要包括：一是商业智能BI，公司分析师需要等待很长时间才能得到结果；二是大数据计算，如一些模拟广告，计算量很大，效率要求高，用Hadoop消耗大量资源，响应慢；最后，机器学习和图形计算的迭代操作也需要大量的资源，而且速度非常慢。因此，Hadoop和Mapreduce不适用于复杂的任务、交互式查询和流在线处理。Spark/Shark的内存计算框架更适合各种迭代算法和交互式数据分析，每次都可以收集弹性分布式数据（RDD）操作后的结果存储在内存中，下一个操作可以直接从内存中读取，节省了大量的磁盘IO，大大提高了效率。优酷土豆集团大数据团队大数据平台架构师傅杰说:“有些应用场景不适合Mapreduce处理。优酷土豆集团大数据团队大数据平台架构师傅杰说:“有些应用场景不适合Mapreduce处理。通过对比，我们发现Spark的性能比Mapreduce提高了很多。“例如，在图计算方面，视频和视频之间的相似关系构成了一个图谱，通过图谱进行聚类，然后向用户推荐视频。优酷土豆集团大数据团队技术总监陆学宇说。优酷土豆集团大数据团队技术总监陆学宇表示：“我们已经进行了图形计算测试。在四个节点的Spark集群上只需5.6分钟。对于相同规模的数据，单机实现需要80多分钟，内存已满，单机无法实现Scale-Out，更大规模的数据无法计算。“今天，数据处理要求非常快。例如，一些优酷土豆的客户和广告商往往需要暂时查看交付效果。因此，在前端应用不变的情况下，如果能更快地响应市场需求，就会变得非常有竞争力。市场瞬息万变，一些分析结果也需要快速响应成产品，Spark集成到数据平台上才能发挥这样的作用。优酷土豆集团大数据团队大数据平台架构师傅杰补充道。据了解，优酷土豆利用Spark/Shark大数据计算框架得到了英特尔的帮助。起初，优酷土豆不熟悉Spark和Scala语言。英特尔帮助优酷土豆设计出满足业务需求的具体解决方案，并帮助优酷土豆实现解决方案。此外，英特尔还对优酷土豆的大数据团队进行了Scala语言、Spark培训等。“作为国内视频行业第一家商业部署Spark/Shark方案的公司，优酷土豆从视频行业多元化分析的角度来看是一个非常好的方案。英特尔(中国)有限公司销售营销部互联网及媒体行业企业客户经理李志辉表示，未来英特尔将继续与优酷土豆在Spark/Shark合作，包括硬件配置优化和整体方案优化。未来:将Spark/Shark融入Hadoop2.0。对于大数据来说，Hadoop已经建立了一个相对完善的生态系统，特别是在Hadoop2.0版本推出后，它改善了许多缺点。事实上，Spark/Shark计算框架与Hadoop并不冲突，Spark现在可以直接在Yarn的框架上运行，成为Hadoop生态系统中不可缺少的一员。优酷土豆集团大数据团队大数据平台架构师傅杰说:“目前Hadoop2.0已经发布了release版本，我们已经启动了Hadoop2.0的升级预演。这也涉及到我们在1.0版本中修改的一些特征需要迁移和验证。我们希望在不影响业务的情况下实现平稳升级，预计明年Q1将完成升级。Hadoop2.0将是非常强大的，不仅是Mapreduce，还有Spark，允许用户根据不同的数据处理应用程序需求选择合适的计算框架。”