盘点电商运营的那些搜索算法

事实上，在电子商务站的搜索领域，其核心秘密基本上属于排序算法的范围。在上一章中，我称赞海口说我想和你谈谈电子商务算法的形成过程。事实上，我有点内疚，因为我根本不是算法背景，也不能向你解释拉格朗日公式的原理、贝叶斯的变形公式等等。但我可以向您解释这些算法的形成过程，以及在形成过程中如何与产品合作，以及如何使用现成的解决方案来开发一个具有成本效益的时间搜索产品系统。电子商务站的搜索实际上是一个以算法为核心，以操作为辅助的模块。归根结底，如果搜索不准确，搜索不完整，无论操作有多好，都只是空中楼阁，所以我们先谈算法系统，再谈操作模式。如果是我，如何从0开始建立一个经济、省时、省力的搜索逻辑系统(也可能是我闭门造车，所以谨慎采用，不喜欢请真诚纠正)。题外话：算法听起来很高。事实上，一般来说，这是解决问题的方法。即使计算公式很高，技术概念也很先进。如果问题不能解决，它也不能被称为算法。其次，许多人认为算法实际上应该由纯计算机来解决。事实上，这是一种误解。不可否认，计算机自动化确实在算法中起着关键作用，但算法不仅是计算机，而且是人工积累的比例，这是必不可少的。因此，搜索算法也是如此。没有人工辅助，算法就无法解决任何问题。说真的，搜索算法主要分为以下核心：单词算法类别预测算法（解决基础）商品排序算法（电力核心秘密）个性化数千人（电力数据提升秘密）单词算法我们首先了解单词算法：国内有特殊的中文单词第三方单词界面，功能完善，成本低，可以进行干提取、语义分析，甚至情感判断等。算法也是百花齐放，各有优缺点。目前有三种主流分词方法:基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。基于字符串匹配的分词方法也被称为机械分词方法。它需要有一个初始的、完全大的字典，然后将待分词的字符串与字典中的元素进行匹配。如果匹配成功，则将单词切割。根据扫描方向的不同，字符串匹配分词方法可分为正相匹配和反向匹配；根据不同长度的匹配优先级可分为最大匹配和最小匹配（细节我不在这里说，这种分词方法属于最简单的分词方法，可以百度自己的工作逻辑和过程）.基于理解的分词方法这一点技术含量，国内主要搜索大厂，例如，百度、字节跳动等都在开发带有人工智能模块的搜索算法。其基本思想是在分词的同时分析句法和语义，利用句法信息和语义信息来处理歧义。它的基本思想是分析句法和语义，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：单词系统、句法语义子系统和总控制部分。由于汉语语言知识的普遍性和复杂性，很难将各种语言信息组织成机器可以直接读取的形式，因此基于理解的分词系统仍处于验证和试用阶段。基于统计的分词方法是，每个单词都是单词的最小单元。如果连接的单词在不同的文本中出现得越频繁，它就越有可能是一个单词。因此，我们可以用相邻单词的频率来衡量组词的可能性。当频率高于某个阈值时，我们可以认为这些单词可能构成一个单词。主要统计模型：N元文法模型（N-gram），隐马尔可夫模型（HiddenMarkovModel，HMM），最大熵模型（ME），条件随机场（ConditionalRandomFields，CRF）等。优点：在实际应用中，字符串匹配分词往往与统计分词相结合，既体现了匹配分词速度快、效率高的优点，又利用统计分词识别生词，自动消除歧义。基于统计的分词方法&类目预测我们着重了解一下第三种，基于统计的分词方法&类目预测。如果有基于统计的算法，那么这个算法必须需要一个训练集，这个训练集需要正确和人工验证。因此，我们所说的算法是在人工标记的训练集上进行训练的。因此，我们接下来要讨论的算法是类别预测训练集。目前，从训练集的角度来看，主要有两种收集方式，一种是人工中心词收集，另一种是机器分析和训练。人工中心词收集方案其实比较讨巧，基于标准词典词收集，主要收集物品词&品牌词。选择商品和品牌词收集的原因是基于上一章提到的app购物行为假设，即用户总是在购物app中搜索商品或品牌型号/商品。如果用户进入应用程序而不搜索项目词或品牌词，用户对应用程序的价值显然会大大降低。有些人可能会说，每天都有这么多人在搜索，有些人会搜索更多的模型词，这不是吗。事实上，这是计算出来的，但我们现在谈论的是基于统计概率。如果95%的人搜索商品和品牌，那么你现在挣扎5%的人显然没有意义。还是那句话，越想两全，越不是两次。好了，言归正传。收集过程如下图所示：事实非常简单，即通过收集站内每个类别销售的物品，以及扩展这些物品词的同义词和上下位词来对应这些类别。同时，机器也可以通过算法收集，对所有商品标题进行ngram统计划分，统计每个类别中最常见的单词和短语，并与手动收集的对比进行检查和补充。这样，我们就可以得到一个对应的项目词-类别表。一个简单高效的训练集诞生了。所以肯定有人会说“也不行，你只收集物品词，还有氛围词，人群词？比如你不收集学校、工地、男女，男鞋怎么办？“当然不是，这个项目-类别词对应的表训练集只是一个基础。只有在保证训练集非常准确、覆盖面齐全的情况下，才能保证机器的训练，即使我只是打好基础，也能正确召回。你忽略了全词匹配的作用吗？整理好物品词训练后。接下来，我们可以开始分析用户关键词，即通过用户输入的关键词统计点击行为，描述这些点击落在哪个类别的概率，分析这些关键词与训练集中对象/品牌型号词的类别关系，进一步人工校对和遍历。通过这种方式，获得了用户行为和网站商品数据的集合训练集，经过人工校对，形成了准确性好、覆盖面高的集合训练集。此时，经过不断的人工校对-机器训练-再校对-再训练的过程，直到达到预期的效果。一种类别预测算法诞生了(看上面，当我自嗨的时候)。机器训练需要离线训练和离线评估的实际关键词，以及在线ab和数据评估。前者是用户在离线环境下输入的关键词进行培训和离线手动评估的准确性；后者是在线培训模型，使用ab测试，打开一部分小流量进行在线实际战斗测试，并通过收集测试组的数据指标来评估和分析效果。这也是互联网产品迭代的主要测试方法之一。类别预测的人工算法和机器算法的结合可能是这样的。事实上，还有其他方便的方法，也就是说，逻辑没有上述清晰，所以我不会单独列出它。在确定了商品排名算法的基本类别排名逻辑后，我们实际上会发现，用户的关键字实际上是一个巨大的行为数据宝库。从输入关键字的那一刻起，用户可以透露他们的购物偏好，从点击商品到收集，加入购物车，到购买行为。如何有效地记录和训练这些行为也会对商品的排名准确性和购买率产生很大的影响。事实上，主要网站的推荐算法仍然存在一些问题。例如，我几天前在淘宝上买了一台电视。结果，在接下来的几天里，我的主页上充斥着各种各样的电视图片，链接的外部DSP广告也向我推送了电视信息（这是侵犯个人隐私的大数据统计算法）。我在前一章中提到了商品排名算法的轮廓，所以我不会重复各个维度。我只是说这个排名权重计算规则的起源。总之，我不断调整每个维度权重的值，并推出ab测试，以最高输出比的组作为最终算法排名规则。当然，随着维度的不断丰富和数据的变化，这种规则和算法并不是恒定的。现在每个网站都强调个性化的千人千面，这也是当我们看到京东、淘宝、苏宁等电子商务主页时，其个性化推荐模块向您推荐您曾经看到或似曾相似的产品。不是他们聪明，而是你的行为被收集和处理，向你展示，是你想看到的，或者想买的。(钱包也是这样掏空的)好了，这一期就到这里。其实我对人工和机器算法的结合有很多想法和尝试，但是在和工作中的同事交流的时候，因为各种原因没有付诸实践，所以我把它留在了自己的onenote笔记里。有机会和大家分享。下一期预告:如何配合搜索运营沟通和产品，最大限度地发挥搜索影响力。