百度针对特定索引页类型采取的特定手段

一、背景　　Spider位于搜索引擎数据流的最上游，负责将互联网上的资源收集到当地，并提供给后续的搜索，是搜索引擎的主要数据来源之一。spider系统的目标是在互联网上找到和掌握所有有价值的网页。为了实现这一目标，首先是找到有价值的网页链接。目前，spider有多种链接发现机制，以尽快找到资源链接。本文主要描述了特定索引页面的链接补充机制之一，并对这种特定类型的索引页面提出了建议和处理规范，以优化包含效果。一些事　　目前，大多数互联网网站以索引页面和翻页的形式组织网站资源。当新资源增加时，旧资源将转移到翻页系列。 　　如下图所示：yixieshi　　图2是18小时后网页翻页系列第四页的内容，在此期间增加了三页以上的资源。图1中红色矩阵圈到的资源在18小时后有序地转移到第四页的红色方块。　　图表218小时后的第四页　　　　对于spider来说，这种特定类型的索引页面是发现资源链接的有效渠道。然而，由于spider定期检查这些页面以获得新的资源链接，检查周期不可避免地与资源链接发布周期不同（spider将尝试探索页面的发布周期，以合理的频率检查页面）。当周期不同时，资源链接很可能被推入翻页序列，因此spider需要对这种特殊类型的翻页系列进行翻页补充，以确保资源的完整性。　　二、主要思路　　本文主要讨论了该资源根据发布时间有序排列的网页，即新发布的资源排列在页面的第一页（或页面的最后一页），以及旧资源有序推移的索引页面的补充机制。主要思路是将整个翻页系列的网页视为一个整体，全面判断它们的捕获状态，记录每个捕获页面发现的资源链接，然后将发现的资源链接与历史上发现的资源链接进行比较。如果有交叉点，则意味着所有新的资源都是在这次捕获中发现的；否则，这意味着在这次捕获中没有发现所有新的资源。我们需要继续捕获下一页甚至下一页，以找到所有新的资源。　　2.1资源链接是否按时间排序　　判断资源是否按发布时间排列是此类页面的必要条件，那么如何判断资源是否按发布时间排列呢？如上图1所示，一些页面中的每个资源链接都遵循相应的发布时间。通过资源链接对应的时间集合，判断时间集合是否按大到小或小到大排序。如果是这样，则表明网页中的资源按发布时间有序排列，反之亦然。如上图1所示，一些页面中的每个资源链接都遵循相应的发布时间。通过资源链接对应的时间集合，判断时间集合是否按大到小或小到大排序。如果是这样，则表明网页中的资源按发布时间有序排列，反之亦然。图1中资源从上到下对应的时间越来越小，即资源按发布时间有序排列。yixieshi　　还有一种网页，如下图3所示，网页内容中有多种排序方式，如销量、价格、评论数、上架时间等。通过识别和提取当前的排序模式，然后判断当前的排序模式是否按时间排序。如果是，则表明网页中的资源按发布时间有序排列，反之亦然。图3中的排序模式是按上架时间排序，属于时间排序模式，因此网页发布的资源是按发布时间有序排序的。　　此外，还将根据资源链接收回后提取的发布时间进行综合判断。　　图3索引页yixieshiies多种排序方式。　　2.2补全机制　　索引页系列的资源链接如何保证新发布的资源按发布时间有序排列？正如上面提到的，18小时后，图1中的资源链接已经有序地转移到页面的第四页。这样，在此期间，第二页、第三页和第四页索引的资源链接将被添加，因此spider需要完全包含这些新资源；　　首先，当spider在18小时后抓取第一页时，收集新发现的资源链接，与上次18小时前第一页索引页调度记录的资源链接集合作相比，会发现两次调度发现的资源链接没有交集，可能会出现漏链。然后我们需要继续启动第二页的调度。第二页发现的资源链接集仍然没有交叉点，因此可能存在漏链。继续启动第三页和第四页的调度。最后，如图2所示，红色框中的链接与上次索引页调度记录的资源链接相交。因此，可以得出结论，在此期间，新资源已经完成，从而结束了翻页系列的调度，并确保了翻页系列的所有链接。从而提高搜索产品的收录效果。互联网上的一些事情　　2.3翻页条的识别与翻页条对应的链接序列块的识别　　为了达到上述效果，除了识别页面系列的排序方法是否按时间排序外，还需要识别索引页面中的页面条及其相应的链接块。　　由于没有页面识别，spider系统不可能绑定页面序列的所有链接，整体考虑其状态，因此调度捕获结果是随机的，不能保证完成效果，目前通过页面的一系列特征，通过机器学习方法识别页面块和页面深度，以及上一页、下一页的链接，为上述完成机制提供基本数据。　　另一方面，即使有页面识别，没有相应的链接块识别，上述完成机制仍然不能工作，因为上述机制需要比较发现的链接集来确定终止条件，因此也需要识别页面条对应的链接块，以提供页面终止条件。　　另一方面，即使有页面识别，没有相应的链接块识别，上述完成机制仍然不能工作，因为上述机制需要比较发现的链接集来确定终止条件，因此也需要识别页面条对应的链接块，以提供页面终止条件。　　在特殊情况下，一个网页可能包含多个翻页条，这需要翻页条与链接块对应。　　三、建议的方法和标准　　目前百度spider系统会根据实际情况对网页的类型、网页中翻页条的位置、翻页条对应的索引列表、列表是否按时间排序做出相应的判断和处理，但机器的自动判断方法毕竟不能达到100%的识别精度。因此，如果网站管理员能够在页面上添加一些百度推荐的标签来标记相应的功能区域，它可以大大提高我们识别的准确性，从而提高网站资源搜索系统的即时性，从而提高网站的包含效果。互联网上的一些事情　　Spider链接补充了目前最关心的是网页的搜索链接列表中与搜索链接列表对应的块，因此可以通过块元素(如div，ul)class属性为百度spider识别标记相应的特征，建议使用以下属性来标记：互联网上的一些事情　　表1支持CLASS扩展属性互联网的一些事情　　例如，百度新闻页面可以这样设置：互联网上的一些事情　　可以设置class属性Baidu_对应于翻页条的区块元素ppaging_indicator，div对应于该页面对应的主链接的区块元素，设置Baidu___________________paging_content_indicatorOrderby_posttime，这样，翻页条与相应的链接块相对应，并通知百度根据发布时间进行排序，以优化spider系统的捕获行为，提高网站的收集效果。一些事　　四、总结　　除了上述链接发现方法外，百度抓取系统还有许多其他手段来确保有价值网站的包含覆盖率。上述方法只是针对特定索引页面类型的特定手段，互联网站长可以参考使用。站长也可以通过spider站长平台了解如何获得更快更好的网站收录效果，比如通过sitemap协议直接推送链接。