大数据下的个性化推荐，是怎么生成的？

大家都记得塔吉特的案例:2012年，一名美国男子闯入他家附近的一家零售连锁超市塔吉特内抗议:你给我17岁的女儿送婴儿尿布和童车优惠券。店长立即向前来者承认错误，但经理不知道这种行为是总部运营数据挖掘和个性化推荐的结果。一个月后，父亲来道歉，因为他知道女儿确实怀孕了。父亲塔吉特比知道女儿怀孕早了一个月。塔吉特的案例是基于数据挖掘的用户行为分析的结果。经过分析，系统对用户进行了个性化的推荐，使他们确信为客户提供的商品是他们喜欢和需要的。要了解个性化推荐背后的原则，首先要了解互联网挖掘和协同过滤的概念。准确地说，互联网挖掘（WEB挖掘）是指利用数据挖掘技术自动从互联网文档和互联网服务中找到和提取感兴趣的信息。Web挖掘是对现代电子商务战略的重要支持，特别是用户访问模式挖掘主要用于分析在线行为和潜在客户信息的发现。Web挖掘的一种实现方法是分析服务器日志、错误信息日志、本地终端数据日志等日志文件，挖掘用户的访问行为、访问频率和浏览内容，找到一定的模式和规则。这就导致了协同过滤的概念。协同过滤是一种信息检索技术，旨在帮助用户在大量的互联网信息（商品）中找到感兴趣的内容。在电子商务的应用中，我们通常使用协同过滤技术来找出相关商品的推荐。该产品推荐方法称为推荐系统或个性化推荐系统。一般来说，协同过滤算法可以帮助找到喜欢你的人，看看他们买了什么，然后推荐给你。协同过滤的主要方法有三种：基于用户的：收集用户的信息属性。对于每个用户A，找到几个接近他(或类似)的用户。使用这些类似的用户来预测用户A的兴趣点，并向用户A推荐那些未被发现的潜在兴趣点。基于项目的：收集项目的信息属性。对于一个用户来说，如果他对项目X有很高的兴趣，他很可能对类似X的项目也有潜在的兴趣。基于内容：除用户和项目属性外，基于内容的协同过滤还应进一步分析用户的评价内容和反馈。例如，用户A对项目X感兴趣，但他对X的兴趣是“仇恨”，因此他不能将其与“喜欢”项目X的用户进行分类。当然，在电子商务领域，项目主要是指商品。协同过滤推荐是基于这样的假设：如果一些用户对某些项目的评分相似，那么其他用户对这些项目的评分与其他用户相似，这些用户对其他类似项目的评分也相似。让我们举个例子：你在电子商城买了电影碟片《指环王》和《星球大战》，协同过滤算法可以帮助你找到其他购买类似产品的人。如果算法发现他们也买了哈利波特，他们会向你推荐哈利波特。如果你买了余华的《兄弟》和《活着》、苏童的《红灯笼》系统找到了其他买这些书的人，发现他们都买了莫言的《檀香刑》，所以他们会向你推荐这本书。当我们找到与客户A“相似”的其他客户时，我们可以对商品列表进行排序。与客户A相似的客户购买商品X越多，商品X就越有可能吸引客户A。简单地说，如果我们认为1000个客户与客户A“相似”，那么我们可以根据客户购买的历史数据排序。如果100个客户购买了商品X，90个客户购买了商品Y，那么我们将优先向客户A推荐商品X，然后推荐商品Y。大数据下的个性化推荐系统，或个性化推荐系统，是一个基于数据挖掘的系统，旨在为客户购物提供完全个性化的决策支持和信息服务。包括亚马逊和ebay在内的几乎所有海外大型电子商务网站都不同程度地使用了各种形式的推荐系统。我们来看一个基于协同过滤规则的推荐系统实施案例。如左下表所示，Chris、Jenny、Mark和Peter都是系统中的用户，而商品A、B、C等都是用户购买的商品，打钩意味着相应的用户购买了相应的商品。 让我们先来看看基于用户的推荐。假设通过推荐系统，我们发现Chris和Peter之间的相似性非常高，其中Peter购买了商品A、C、E，而与他“相似”的Chris只购买商品A，推荐系统将商品C和E推荐给Chris。让我们来看看基于项目的推荐。假设通过推荐系统，我们发现商品B和商品D是“相似的”。在系统的众多用户中，Jenny购买商品B和D，Tina购买商品D，Venesa购买商品B。根据商品B和D的相似规则，我们的推荐系统将商品B推荐给Tina，并将商品D推荐给Venesa。在协同过滤推荐系统中，需要考虑的一个因素是推荐商品X和商品Y本身的购买频率。如果10%的客户在所有用户中购买商品X，而只有1%的客户购买商品Y，那么我们可能应该推荐Y而不是X。在排序时，我们可以添加一个系数，这个系数的值与商品的整体热量成反比。由于商品X在所有客户中的比例是Y的10倍，而在与客户A“相似”的人群中只有10%，所以我们需要将Y排在X的前面。需要补充的是，协同过滤推荐系统依赖于大量数据。如果数据量不够，推荐的结果可能会很讽刺。当新用户、新项目或整个系统是一个新的开始时，个性化的推荐引擎无法工作。