想要禁止搜索引擎抓取网站不想公开的网页,该如何操作呢?
2021-01-05 13:48:02 阅读(176) 评论(0)
第一种、robots.搜索引擎默认遵守txt方法robots.创建robotsstxt协议.在网站根目录下放置txt文本文件,编辑代码如下:User-agent:*Disallow:/通过上述代码,您可以告诉搜索引擎不要捕获并收录本网站。注意使用上述代码:这将禁止所有搜索引擎访问网站的任何部分。如何禁止百度搜索引擎收录抓取网页1、编辑robots.设计标记为txt文件:User-agent:BaiduspiderDisallow:/上述robots文件将禁止所有百度抓取。这里说说百度的user-agent,Baiduspideruser-什么是agent?百度每个产品使用不同的user-agent:产品名称对应user-agent无线搜索baiduspider图片搜索baiduspider-image视频搜索baiduspider-video新闻搜索baiduspider-news百度搜索baiduspider-favo百度联盟baiduspider-cpro业务搜索baiduspider-ads网页和其他搜索baiduspider您可以根据不同的产品设置不同的捕获规则,以下robots禁止百度抓取所有图片,但允许图片搜索抓取/image/目录:User-agent:BaiduspiderDisallow:/User-agent:Baiduspider-imageAllow:/image/请注意:Baiduspider-cpro和Baiduspider-索引中不会建立ads抓取的网页,只执行与客户约定的操作,因此不遵守robots协议,这需要与百度的人联系才能解决。如何只禁止Google搜索引擎收录抓取网页?方法如下:编辑robots.设计标记为txt文件:User-agent:googlebotDisallow:/编辑robots.txt文件搜索引擎默认遵守robots.robotst协议.在网站根目录下放置txt文件。例如,当搜索引擎访问一个网站时,首先检查网站根目录中是否存在robots.如果搜索引擎找到txt文件,它将根据文件中的内容确定其抓取权限的范围。User-agent:该值用于描述搜索引擎robot的名称,在“robots.txt“在文件中,如果有多个user-agent记录,则表明多个robot将受到该协议的限制。对于文件,至少应该有一个user-agent记录。如果该值为*,则该协议对任何机器人都有效,在”robots.txt"文件中,"User-agent:*只能有一个这样的记录。Disallow:该值用于描述不想被访问的URL。这个URL可以是一条完整的路径或部分。任何从Disallow开始的URL都不会被robot访问。例如”Disallow:/help”对/help.html和/htmlhelp/index.搜索引擎不允许访问html。”Disallow:/help允许robot访问//help.html,而不是访问/而不是访问/help/index.html。任何Disallow记录都是空的,这表明该网站的所有部分都允许访问,”/robots.txt文件中至少有一个Disallow记录。任何Disallow记录都是空的,这表明该网站的所有部分都允许访问,”/robots.txt文件中至少有一个Disalow记录。如果robots.txt“这是一个空文件,网站对所有搜索引擎robot都是开放的。以下是一些robots.txt用法的例子:User-agent:*Disallow:/禁止所有搜索引擎访问网站的所有User-agent:BaiduspiderDisallow:/禁止百度收录全站Userer-agent:GooglebotDisallow:/禁止Gogle包括全站User-agent:GooglebotDisallow:User-agent:*Disallow:/除Google外,禁止所有搜索引擎收录全站User-agent:BaiduspiderDisallow:User-agent:*Disallow:/除百度外,禁止所有搜索引擎收录全站User-agent:*Disallow:/css/Disallow:/admin/禁止所有搜索引擎访问某个目录(如禁止根目录下的admin和css),网页代码方法在网站主页代码之间,添加代码,禁止搜索引擎抓取网站并显示网页快照。禁止百度搜索引擎在网站首页代码之间抓取网站并显示网页快照。在网站主页代码之间,添加可以禁止百度搜索引擎抓取网站并显示网页快照。在网站主页代码之间,谷歌搜索引擎可以禁止抓取网站并显示网页快照。另外,当我们的需求很奇怪的时候,比如以下情况:1。网站已经添加了robots.txt,还能在百度搜索出来吗?因为更新搜索引擎索引数据库需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中建立的网页索引信息可能需要几个月的时间才能删除。另外,请检查您的robots配置是否正确。如果您的拒绝被收录需求非常迫切,您也可以通过投诉平台反馈请求进行处理。2.希望网站内容被百度索引但不保存快照。我该怎么办?baiduspider遵守互联网metarobots协议。您可以使用网页meta的设置,使百度显示只为网页建立索引,但不在搜索结果中显示网页快照。就像robots的更新一样,由于搜索引擎索引数据库的更新需要时间,虽然你禁止百度在搜索结果中通过meta显示网页的快照,但如果网页索引信息已经建立在百度搜索引擎数据库中,可能需要两到四周才能在线生效。我希望被百度索引,但我不保存网站快照。解决方案如下:如果您想禁止所有搜索引擎保存您的网页快照,代码如下:一些常用的代码组合::你可以抓住这个页面,你可以继续沿着这个页面索引其他链接:不要抓住这个页面,但你可以沿着这个页面抓住其他链接:你可以抓住这个页面,但不要沿着这个页面抓住其他链接:不要抓住这个页面,也不允许沿着本页抓取索引的其他链接
推荐阅读
- 购物网站有哪些?2022年十大网购网站排行
现在网购十分的发达,很多的朋友都选择网购,下面万商云集小编给大家来介绍一下购物网站有哪些?2022年十大网购网站排行这一块的内容,看一下有没有你经常网购的网站呢。 1天猫Tmall 阿里巴巴集团旗下,原名淘宝商城,中国线上购物的地标…查看详情
- B2B2C商城系统中的用户运营策略
越来越多的企业观察到,B2B和B2C网上商城逐渐聚集成B2B2C多用户商城系统,这个趋势是电子商务发展的必然结果。面对这一转向,企业需要同时与多用户打交道,更需要增加对用户运营策略的认识。 1、提高产品质量,减少售后成本 做商城最重要的就是…查看详情
- 屏幕录像软件有哪些 屏幕录像软件排行榜
现在有很多的场合都会使用到录屏软件这种软件,但是现在市面上很多的软件功能不是很齐全,下面小编就给大家来详细介绍一下屏幕录像软件有哪些 屏幕录像软件排行榜这一块的相关内容,希望能帮助到大家。 屏幕录像软件排行榜 1、《易录屏》 …查看详情
- 互联网品牌运营:面对时代发展,企业需要改变和进化
互联网已经渗透到了生产生活的各处,企业在运营的时候已经离不开互联网的支持。尤其在互联网品牌运营推广方面,互联网为企业提供了一种新的传播思维和传播路径。利用互联网优势建立企业品牌形象,进行宣传和推广是当前企业重点关注的事项,下面,我们先来一个…查看详情
- a1530是苹果什么型号手机
苹果a1530是什么型号?1a1530是iPhone5s的型号。 2iPhone5s是苹果公司在2013年9月发布的一款智能手机,采用了A7处理器和指纹识别技术等先进技术。 3相比于iPhone5,iPhone5s的性能更加强劲,拍照效…查看详情
- 中小企业为什么要增设微信小程序?
随着信息技术的发展,企业线上销售市场逐渐从电脑扩展至手机、微信等平台。近几年,小程序的爆发式增长正激起新一轮用户争夺战。对于正处在成本利润夹缝中的中小企业而言,势必不能错过这一机遇。 那么,中小企业增设微信小程序有哪些可观性呢? 低投入,高…查看详情
- 注册商标到期了如何续期
很多人在商标到期后都不知道怎么续期,而且很多人对流程都不是很熟悉,再者商标续期需要哪些材料也不是很清楚,下面万商云集小编给大家来详细介绍一下注册商标到期了如何续期这一块的内容,希望能帮助到大家。 注册商标到期了如何续期 商标到期后,延期…查看详情
- 小程序怎么开发自己的游戏小程序
小程序怎么做?需要什么资质? 这要看你做什么样的小程序了,常见的小程序有商城、餐饮、工具类、游戏等; 如果是商城在线交易类型的小程序,那就需要一张营业执照(个体工商户/公司),如果是餐饮类小程序,不但需要营业执照,还要提供《食品经营…查看详情
- 浏览器使用排行榜,老牌谷歌遥遥领先
我们大家在搜索一些资料的时候,会利用浏览器进行搜索,但是,每一个浏览器的特点不相同,给人的效果也不一样,那么,我们就要看看浏览器排行的介绍,选择比较可靠的浏览器去搜索资料。第一名:谷歌浏览器GoogleChrome谷歌浏览器是Google公…查看详情
- 讲故事的app有哪些 2022故事软件app排行榜
现在的孩子睡觉前都有听故事的习惯,但是有些家长平时比较忙,没有时间天天给孩子讲故事,所以,有些人就特别的烦恼不知道该怎么办,那么,我们可以下载讲故事的app来给孩子讲故事。 1、凯叔讲故事 里面包含大量的幼儿故事,特别的适合…查看详情
- 网速测试软件都有哪些?这些软件就很不错
在办公的时候,相信大部分的朋友们都希望有一个好的网速,但是可能有些网速并不好,那么这个时候想要进行网速检测的话,就应该要下载一些软件,有了这些软件之后就能够实时监测网速,出现了问题也能够及时进行修理。那么网速测试软件都有哪些?下…查看详情
- 关于网络推广的三点建议,对企业有很大的帮助
每一个企业都是需要在互联网当中树立起自己的品牌形象的,要想更好的达到这一个目的,那么推广网络推广是可以达到一个很好的效果的,因此对于每一个企业而言是必须要重视做好自己的网络推广工作。下面有三点关于网络推广的建议,可以做了解。图片来源于网络 …查看详情
- 家装设计软件有哪些 家装设计软件排行榜
现在各种传统行业都在线上化,装修也是如此,尤其随着移动互联网发展,各种装修软件APP也应运而生,但质量却良莠不齐。下面小编就给大家来详细介绍一下家装设计软件有哪些 家装设计软件排行榜这一块的内容。想要辨别一个装修软件是否足够好,得看这…查看详情
猜你喜欢
最新文章
扫码二维码
立即领取《千元实战营销秘籍》
还可免费试用营销管理系统
*如有疑问,请随时拨打免费咨询热线:400-0033-166
服务时间:8:30-18:00
软件企业
认定号:川RQ-2018-0216
高新技术企业
认定号:GR201951001121
关注微信公众号
和10万中小企业共同成长
扫码下载APP
享全方位服务一触即达
Copyright © 2004-2022 万商云集(成都)科技股份有限公司 版权所有 蜀ICP备12001963号-2 川公网安备 51010402000322号
快速找产品
找一找哪款产品适合您?
咨询热线:400-0033-166
免费查找信息保护中请放心填写-
-
电话沟通
在线咨询
获取方案
下载APP
官方微信
扫码下载APP
全方位服务一触即达
关注万商云集
和10万中小企共成长
TOP
企业首选的数字选用平台