搜索引擎蜘蛛却无法正常访问并抓取，这是什么原因？

2020-12-28 10:00:27 阅读（267） 评论（0）

有些网页内容质量高，用户可以正常访问，但搜索引擎蜘蛛不能正常访问和捕获，导致搜索结果覆盖率不足，是搜索引擎和网站的损失，百度称这种情况为“捕获异常”。对于大量内容无法正常捕获的网站，百度搜索引擎会认为该网站存在用户体验缺陷，并降低对该网站的评价。它将在一定程度上对捕获、索引和排名产生负面影响，最终影响百度网站获得的流量。服务器连接异常服务器连接异常有两种情况：一种是网站不稳定，搜索引擎蜘蛛试图连接您网站的服务器，一种是搜索引擎蜘蛛无法连接您网站的服务器。服务器连接异常的原因通常是您的网站服务器运行过大，超载运行。也可能是你的网站运行不正常，请检查网站的web服务器(如apache)、iis）使用浏览器检查主页是否能正常访问是否安装并正常运行。您的网站和主机也可能阻止搜索引擎蜘蛛访问，您需要检查网站和主机的防火墙。网络运营商异常网络运营商分为电信和联通，搜索引擎蜘蛛无法通过电信或网通访问您的网站。如果发生这种情况，您需要联系网络服务运营商，或购买双线服务空间或CDN服务。当搜索引擎蜘蛛无法分析你网站的IP时，DNS异常就会发生。您的网站IP地址可能是错误的，或者域名服务提供商禁止搜索引擎蜘蛛。请使用WHOIS或host查询您的网站IP地址是否正确和可分析。如果不正确或无法分析，请联系域名注册商更新您的IP地址。IP禁令IP禁令是：限制网络的出口IP地址，禁止IP段的用户访问内容，这里特别指搜索引擎蜘蛛IP的禁令。当你的网站不想让搜索引擎蜘蛛访问时，你需要这个设置。如果你想让搜索引擎蜘蛛访问你的网站，请检查搜索引擎蜘蛛IP是否被错误添加到相关设置中。您的网站所在的空间服务提供商也可能禁止百度IP，此时您需要联系服务提供商更改设置。UA禁止UA是用户代理（User-Agent），服务器通过UA识别访问者的身份。当网站访问指定UA时，返回异常页面（如403、500）或跳转到其他页面，即UA禁止。当您的网站不希望搜索引擎蜘蛛访问时，您需要设置它。如果您希望搜索引擎蜘蛛访问您的网站，搜索引擎蜘蛛UA是否存在于useragent相关设置中，并及时修改。死链页面已无效，无法向用户提供任何有价值信息的页面就是死链，包括协议死链和内容死链两种形式。协议死链页面的TCP协议状态/HTTP协议状态明确表示死链，如404、403、503状态等。内容死链：服务器返回状态正常，但内容已更改为与原始内容无关的信息页面，如不存在、已删除或需要权限。对于死链，我们建议网站使用协议死链，并通过百度网站管理员平台-死链工具向百度提交，以便百度更快地找到死链，减少死链对用户和搜索引擎的负面影响。异常跳转将网络请求重新指向其他位置，即跳转。异常跳转是指以下情况：1）当前页面为无效页面（删除内容、死链等），直接跳转到前一个目录或主页，百度建议网站管理员删除无效页面入口超链接2）跳转到错误或无效页面注意：长期跳转到其他域名，如网站更改域名，百度建议使用301跳转协议设置。其他异常：1)针对百度refer的异常：网页针对百度refer返回不同于正常内容的行为。2)针对百度ua的异常:网页返回百度ua不同于页面原始内容的行为。3)JS跳转异常:网页加载了百度无法识别的JS跳转代码，让用户在搜索结果进入页面后跳转。4)压力过大造成的意外封禁:百度会根据网站规模、访问量等信息自动设置合理的抓取压力。但在异常情况下，如果压力控制异常，服务器会根据自身负荷意外禁止保护。在这种情况下，请在返回码中返回503(其含义为“ServiceUnavailable)这样，搜索引擎蜘蛛就会尝试在一段时间后抓取这个链接，如果网站是空的，它就会被成功地抓取。

内容来源:网络，以上内容来源于网络，不代表本站观点，如有侵权，请联系删除。

上一条：关键词在SEO工作中至关重要。下一条：企业网站引流，分享三个方法。

商标/知识产权

网站服务

CRM/销售管理

ERP/智慧办公

财税人力

安全/技术支持

其他应用

商标版权

小程序

搜索引擎蜘蛛却无法正常访问并抓取，这是什么原因？

推荐阅读

猜你喜欢

分类

最新文章