揭秘目前淘宝搜索的算法

本文由淘宝搜索算法总监青峰撰写，介绍了算法模型、线下评估、线上测试的机制。对想了解淘宝搜索算法的同学很有帮助。作者介绍：青峰，淘宝搜索算法总监。淘宝搜索排名的目的是帮助用户快速找到所需的商品。从技术上讲，在用户输入与关键词匹配的产品中，最符合用户需求的产品排名第一，其他产品排名第二。为了更好地实现这一目标，算法排序系统基本上从三个方面进行了推广：一是．当用户输入关键字搜索算法模型时，系统根据算法模型实时计算匹配的每个产品，并根据分数的大小对产品进行排序。对于好的算法模型，首先要考虑哪些特征因素可以应用。例如，在网页搜索中，算法模型基本上是根据网页的重要性和相关性来计算网页的分数，然后进行排序。这里的相关性和重要性是网页排名模型中的两个重要因素。具体来说，相关因素是指文档中搜索关键字的程度，当程度越高时，文档的相关程度就越高。Google的Pagerank等重要因素可以理解为网页入口中超链接的数量:一个网页被其他网页引用的越多，网页就越有价值。特别是，网页越重要，网页的重要性就越高。在考虑淘宝搜索时，很容易想到一些特征因素，比如A．文本相关性：关键词与商品的匹配、匹配程度、重要词的匹配、匹配词之间的距离等，都可能影响相关性。例如，在搜索“小鸭洗衣机”时，商品的中心词是洗衣机的相关性高于销售洗衣机配件的相关性，小鸭的相关性高于“小”和“鸭”分开时的相关性。BM25等是文本相关性最基本的计算方法。B．类别热点：淘宝数据的一个重要特点是，每种商品都附着在类别属性系统下，每种商品都做了很好的分类。在搜索过程中，同一搜索词的大量用户行为数据很容易集中在相应的热门类别上。例如，“手机”的搜索行为将集中在手机类别上，而不是配件类别上。C．图片质量：图片是电子商务网站的一个非常重要的数据。图片是否精致、有吸引力，图片中是否有各种“银屑病”，以及商品匹配，都极大地影响了用户的点击和购买决策。D．商品质量：每种商品质量不同，商品描述的真实性，是否质优价廉，受欢迎程度等．作弊因素：类似于全网搜索中的关键词堆砌，linkspam，网页重复等作弊问题，电子商务搜索也面临着同样的问题，如商品关键词堆积、重复分销、重复开店、广告商品排水等，也有价格作弊、交易作弊等独特的商品问题，需要使用统计分析或机器学习来发现和识别异常规律，并应用于F的排序．公平因素：淘宝商品非常丰富，每个搜索词都有足够的商品竞争，需要让更多的商品和卖家有机会展示相似的质量，而不是像网络搜索是一个基本的静态排名，作为商品点击和显示马太效应。类似商品、卖家、买家、搜索词等方面有许多特征因素。一个排名模型是将各种不同的特征因素结合起来，给出商品相关分数的最终关键词。类似商品、卖家、买家、搜索词等方面有很多特征因素。一个排名模型是将各种不同的特征因素结合起来，给出商品相关性分数的最终关键词。只有一两个特征因素，才能对商品进行最基本的排名。如果有更多的特征参与排序，我们可能会得到更好的排序算法。组合方法可以简单地人工配置到复杂的学习模型，如Learningtorank。那么如何衡量不同算法之间的优缺点呢？二．线下评估算法模型的评估一般分为线下评估和在线评估。许多线下评估反映在搜索中常用的相关性（Relevance）指标。相关性的定义可分为狭义相关性和广义相关性。狭义相关性一般是指检索结果和用户查询的相关性。从广义上讲，相关性可以理解为用户查询的综合满意度。当用户在搜索框中输入关键字并满足需求时，体验过程越顺畅、越方便，搜索相关性就越好。当淘宝搜索衡量狭义相关性时，通常使用PI（PerItem）测试方法：A．提取具有代表性的查询关键字，形成适当规模的关键字集合B．对于此关键字集，从模型的输出结果中查询相应的结果，进行人工标注(人工判断为相关性好，中，差等）.    对于人工评估的结果数据，使用预定义的评估计算公式，如DCG，使用数值方法来评估算法模型的结果和理想结果的接近度，使用人工标记数据来计算相关的分数来判断模型的质量；在这个过程中，不可避免地会有主观的判断，然而，通过整合多人的判断结果，我们仍然可以获得具有统计意义的结果。另一方面，标记数据也可以帮助我们找到一个算法性能不理想的地方，并有针对性地改进它。广义相关性线下评价难度大，受人工主观因素影响较大。SBS通常用于一般（SidebySide）评价方法，对于一个关键字，两个不同算法模型的输出结果同时显示在屏幕上，每个新模型和比较模型显示位置关系立即，手动判断不知道哪一边的数据是新模型的结果，手动判断搜索结果好，新模型和旧模型的搜索性能是通过最终的统计结果来衡量的。线下评价的方法和指标有很多，不同的搜索引擎会关注不同的指标。比如Yahoo的全网搜索引擎之前更关注RCFP。（Relevance，Coverage，Freshness，Perspective）等等，淘宝搜索线下评估时一般统计DCG和SBS的指标。线下评价方法在统计上具有一定的指导意义，可以在一定程度上区分模型的质量。然而，要真正验证算法模型的质量，还需要接受真实的流量来验证。线下评价方法在统计上具有一定的指导意义，可以在一定程度上区分模型的质量，但要真正验证算法模型的质量，还需要接受真实的流量来验证。三．为了真正验证算法模型的质量，在线测试需要一个能够提供真实流量的系统。淘宝搜索实现BTS（BucketTestingSystem）系统就是这样一个环境，在用户搜索时，搜索系统会根据一定的策略自动决定用户的分组号（Bucketid），确保自动提取导入不同组的流量具有可比性，然后让不同组的用户看到不同算法模型提供的结果。通过数据分析，记录用户在不同模型下的行为，形成一系列指标。通过对这些指标的比较，最终形成了不同模型之间的结论。数据指标在统计意义上具有可比性，只要分组的流量达到一定程度。不同的BTS系统会关注不同的数据指标。在淘宝搜索中，很多算法模型测试都会关注一些重要指标:访问UV交易转化率:来淘宝搜索的UV，最终通过搜索结果交易的用户比例。IPV-UV转换率:有多少用户点击淘宝搜索的UV搜索结果CTR？：点击搜索产生的PV比例客户单价：淘宝搜索中每个交易用户的平均价格基尼系数：基尼系数是一个经济术语，考虑社会财富的集中；如果社会财富集中在少数富人手中，基尼系数就会增加，社会稳定性和可持续发展会出现问题；淘宝搜索借用这个概念来衡量PV显示和点击的集中度，在保证用户体验的前提下，给更多高质量或小而漂亮的卖家展示的机会。大多数时候，我们有几个模型和功能在线测试。我们使用BTS来观察测试情况。如果我们提高稳定性，我们将逐渐向所有用户开放。如果没有改进，我们也可以获得经验，帮助我们更好地理解用户。