注册有好礼Netflix会收集哪些数据，这些数据会用来做什么，其处理架构又是什么呢？
2020-12-31 09:34:39 阅读（173）
Netflix是一家在线电影租赁提供商，连续五次被评为客户最满意的网站。在过去的七年里，Netflix流媒体服务从偶尔的数千名用户发展到数百万用户平均每月*超过20亿小时。Netflix之所以如此成功，离不开对用户行为数据的收集和分析，那么Netflix会收集哪些数据，会用来做什么，处理架构是什么呢？事实上，当用户开始在Netflix的网站上*电影或电视节目时，Netflix的数据系统将创建一个“*会话”（view）所有描述会话的事件信息都将被收集起来。从用户体验到数据分析，*会话数据架构可以应对许多从用户体验到数据分析的场景，其中有三个主要场景：用户看到了哪些视频？系统需要了解每个用户的所有*历史，以便向用户推荐相关的视频内容，并在页面上的“最近*”栏中显示*历史。对于衡量用户的兴趣，产品和内容的决策对用户所看到的内容非常重要。用户从哪里离开视频？对于每一部电影或电视节目，Netflix将记录每个用户看到的地方，以及何时离开。这使得Netflix用户能够继续在同一个或另一个设备上*视频。目前账户还在看哪些视频？家庭成员之间的账户共享使任何人都可以随时*他们最喜欢的视频，但这意味着当账户同时超过在线数量时，人们必须放弃*。Netflix的*会话数据系统将收集每个会话的周期性信号，以确定一个成员是否仍在*相关视频。这些场景的实现离不开强大稳定的数据处理系统。Netflix目前的系统架构已经从早期的单数据库应用程序演变而来。当时的主要需求是为用户提供低延迟的视频服务，处理数百万Netflix流设备的快速增长数据集。在过去的三年里，Netflix一直在不断改进架构，现在该系统每天可以处理大约1000亿的事件。目前的架构图如下：整个架构的主要接口是*会话服务，分为有状态层和无状态层两部分。所有活动视图的最新数据都存储在状态层内存中。通过对用户账户ID进行modn模操作，数据简单地分为n个状态节点。当状态节点上线时，系统会通过一个位置选择流程来决定哪些数据属于它们。所有持久数据都存储在Cassandra中。Cassandra上有一个Memcached，以确保低延迟读取路径，但这样，会话数据可能会过时。同时，如果一个状态节点出现错误，则1/n的浏览数据将无法读写。无状态层的引入是为了解决这个问题，它提高了系统的可用性。当状态节点无法访问时，该层将向用户反馈过时的数据。然而，即使做了很多改进，上述结构仍然存在一些缺陷：虽然状态层使用简单的分片技术来服从热分布，但Cassandra层不服从这些热点；同时，如果将其从AWSRegion移动到多个AWSRegion，则必须定制一种机制来实现分布在不同Region上的状态层之间的状态通信，大大提高了系统的复杂性。对于*会话服务，它包装了会话数据的收集、处理和提供功能。随着系统的演变和功能的增加，服务的责任越来越大，增加了操作和维护的难度。对于*会话服务，它包装了会话数据的收集、处理和提供功能。随着系统的演变和功能的增加，服务的责任越来越大，增加了操作和维护的难度。虽然Memcached提供了很好的吞吐量和延迟特性，但使用一种技术可以更好地满足相关需求，为一流的数据类型和操作（如append）提供本地支持。Netflix正在重新思考其基础设施，以扩展系统以满足下一个数量级的需求。新系统设计中考虑的主要设计原则包括：可用性比一致性更重要。微服务。根据其主要目的，将具有状态结构的软组件分离为单独的服务——或收集、处理或提供数据。将状态管理功能托管到持久层，使应用层无状态，组件通过事件队列解耦。混合持久性。利用各种持久技术，利用各种方案的优势。使用Cassandra实现高容量、低延迟的写作。利用Redis实现高容量、低延迟读取。遵循上述原则的新架构实现如下：当然，这个架构图只是Netflix目前的设计图纸。至于实现的程度，我们还不知道。Netflix表示，很难重新构建关键系统，使其扩展到下一个数量级。开发、测试和验证需要很长时间，迁移也不那么容易。然而，在这些架构原则的指导下，Netflix认为，他们正在建立的下一代系统可以满足他们大规模、快速增长的需要。
推荐阅读
猜你喜欢
Copyright © 2004-2022 万商云集（成都）科技股份有限公司 版权所有
蜀ICP备12001963号-2
川公网安备 51010402000322号
快速找产品
扫码下载APP
全方位服务一触即达
关注万商云集
和10万中小企共成长
400-0033-166
8:30-18:00
