商务服务
配置搜索引擎访问的内容robots.txt
2024-12-16 15:30

robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。

配置搜索引擎访问的内容robots.txt

当一个搜索引擎(又称搜索机器人或蜘蛛程序)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

1、引导搜索引擎蜘蛛抓取指定栏目或内容

2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接

3、屏蔽死链接、404错误页面

4、屏蔽无内容、无价值页面

5、屏蔽重复页面,如评论页、搜索结果页

6、屏蔽任何不想被收录的页面

7、引导蜘蛛抓取网站地图

三个语法如下

1、User-agent:(定义搜索引擎

示例

User-agent: *(定义所有搜索引擎
User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬取
User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取

不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录

示例

Disallow: /(禁止蜘蛛爬取网站的所有目录 “/” 表示根目录下
Disallow: /admin (禁止蜘蛛爬取admin目录
Disallow: /abc.html (禁止蜘蛛爬去abc.html页面
Disallow: /help.html (禁止蜘蛛爬去help.html页面

3、Allow:(用来定义允许蜘蛛爬取的页面或子目录

示例

Allow: /admin/test/(允许蜘蛛爬取admin下的test目录
Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面

两个通配符如下

4、匹配符 “$”

$ 通配符:匹配URL结尾的字符

5、通配符 “*”

* 通配符:匹配0个或多个任意字符

1、禁止搜索引擎抓取特定目录

在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。

User-agent: *   Disallow: /admin/
Disallow: /tmp/
Disallow: /abc/

2、禁止admin目录,但允许抓取admin目录下的seo子目录

User-agent: *   Allow: /admin/seo/
Disallow: /admin/

3、禁止抓取/abc/目录下的所有以".htm”为后缀的URL(包含子目录

User-agent: *   Disallow: /abc/*.htm$

4、禁止抓取网站中所有的动态页面

User-agent: *   Disallow: /?

屏蔽所有带“?”的文件,这样就屏蔽所有的动态路径。

5、禁止百度蜘蛛抓取网站所有的图片

User-agent: Baiduspider
Disallow: /.jpg$
Disallow: /.jpeg$
Disallow: /.gif$
Disallow: /.png$
Disallow: /*.bmp$

6、要在阻止网站页面被抓取的同时仍然在这些页面上显示 AdSense 广告

User-agent: *   Disallow: /folder1/

User-agent: Mediapartners-Google
Allow: /folder1/

请禁止除 Mediapartners-Google 以外的所有漫游器。 这样可使页面不出现在搜索结果中,同时又能让 Mediapartners-Google 漫游器分析页面,从而确定要展示的广告。 Mediapartners-Google 漫游器并不与其他 Google User-agent 共享网页。

1、robots.txt 文件必须放在网站的根目录,不可以放在子目录。

3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。

4、路径后面加斜杠“/” 和不加斜杠的是有区别的

Disallow: /help
禁止蜘蛛访问 /help.html、/helpabc.html、/help/index.html

Disallow: /help/ 
禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html

5、Disallow与Allow行的顺序是有意义的

举例说明

允许蜘蛛访问 /admin/ 目录下的seo文件夹

User-agent: *     Allow: /admin/seo/
Disallow: /admin/

如果Allow 和 Disallow 的顺序调换一下

User-agent: *     Disallow: /admin/
Allow: /admin/seo/

蜘蛛就无法访问到 /admin/ 目录下的 seo 文件夹,因为第一个 Disallow: /admin/ 已匹配成功。

Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots meta标签则主要是针对一个个具体的页面。和其他的meta标签(如使用的语言、页面的描述、关键词等)一样,Robots meta标签也是放在页面中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots meta 标签中没有大小写之分,name=“Robots” 表示所有的搜索引擎,可以针对某个具体搜索引擎(如google)写为 name=“Googlebot”, content部分有四个指令选项:index、noindex、follow、nofollow,指令间以 “,” 分隔。

Index 指令告诉搜索机器人抓取该页面

NoIndex命令:告诉搜索引擎不允许抓取这个页面

Follow 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去

NoFollow命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

Robots meta 标签的缺省值是Index和Follow

根据以上的命令,我们就有了一下的四种组合

可以抓取本页,而且可以顺着本页继续索引别的链接=

不许抓取本页,但是可以顺着本页抓取索引别的链接

可以抓取本页,但是不许顺着本页抓取索引别的链接

不许抓取本页,也不许顺着本页抓取索引别的链接。

"nofollow"放在超链接中,告诉搜索引擎不要抓取特定的链接。

如某博客上有垃圾评论:灌水

就是这些注意事项了,大家去试试robots.txt吧
引用:https://blog.csdn.net/fanghua_vip/article/details/79535639

    以上就是本篇文章【配置搜索引擎访问的内容robots.txt】的全部内容了,欢迎阅览 ! 文章地址:http://fabua.ksxb.net/news/4479.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 海之东岸资讯移动站 http://fabua.ksxb.net/mobile/ , 查看更多   
最新文章
PICO启动“全民优化师”活动,征集VR游戏性能优化方案
创作期截至4月16日,评选期则是4月22日至5月9日(映维网Nweon 2025年03月31日)PICO正在举行名为“全民优化师”的活动,邀请你
TOSHIBA代理商东芝手机「TOSHIBA代理商」
TOSHIBA东芝半导体公司,在国际市场上盛名远扬,家喻户晓。在日本之外,东芝拥有100多家子公司和协作公司的庞大全球网络,仅海外
互传手机互传换机助手手机互传「互传手机互传换机助手」
互传手机互传换机助手,一般又称互传换机助手app。互传换机助手app是一款很受网友好评的手机换机工具。可以实现手机之间数据批量
噬心工具箱手机工具箱「噬心工具箱」
噬心工具箱这是一款方便好用的手机工具箱应用,用户可以使用软件轻松处理图片,超多使用功能,让用户生活更方便。噬心工具箱app
儋州清明假期旅游迎来热潮,民俗体验趣味十足
南海网4月6日消息(记者赵航)花落日渐暖,风起正清明,今年清明假期,踏青赏花趣味十足。4月5日,“福暖春日,泉享安康”温泉美
【教程】全民K歌,用手机唱卡拉OK,朋友一起听!手机k歌「【教程】全民K歌,用手机唱卡拉OK,朋友一起听!」
用手机软件来唱卡拉OK,我知道的有两个软件推荐给您,全民K歌和唱吧。两个软件功能都很强,以前年轻人似乎用唱吧的多一些,现在
繁荣“入境游”,“游”出“日常感”是关键
原标题:繁荣“入境游”,“游”出“日常感”是关键年初至今,我国入境游市场持续复苏,到清明节期间迎来小高峰。数据显示,清明
苹果iPhone14和13对比区别是什么 苹果美版值得买吗?手机壳多少钱「苹果iPhone14和13对比区别是什么 苹果美版值得买吗?」
处理器、屏幕、摄像头、内存等不同处理器相同:iPhone14的处理器没有变化,还是iPhone13 Pro上的满血版A15 仿生芯片,只有iPhone
两个人在线观看免费完整版日本手机在线播放「两个人在线观看免费完整版日本」
格式“武神主宰08集”是武神一部出色的武侠古装影片,充斥着大量精彩的主宰空手道、木棉三绝和剑术招式的武神视觉盛宴。它是主宰
北京:“以花为媒”培育新消费
  4月的北京,繁花似锦装点千年古都,满城春色中涌动着勃勃生机。  北京玉渊潭公园樱花绽放,吸引游客慕名赏花;元大都城垣