当前位置:首页 > SEO技术 > Robots协议是什么?如何配置robots文本?

Robots协议是什么?如何配置robots文本?

编辑:小凌SEO发布日期:2021-05-05浏览量:69
.neirongbody{font-size: 16px; line-height: 30px;}.neirongbody p{text-indent: 2em;}.neirongbody h2{ padding-top: 10px; padding-bottom: 10px; font-size: 20px;}.neirongbody h3{ padding-top: 5px; padding-bottom: 5px; font-size: 18px;text-indent: 2em;}
Robots协议是什么?如何配置robots文本?

Robots是什么?

robots是网站跟爬虫间的协议,用简单直接的txt格局文本体式格局告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索引擎蜘蛛访问某站点时,蜘蛛会首先检查该站点根目录下是否存在robots.txt,如果存在,蜘蛛就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有无被口令保护的页面。

Robots文件格局:

User-agent:

User-agent的值用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。

Disallow:

Disallow的值用于描述不单愿被访问到的一个URL,这个URL可所以一条完整的路径,也多是部分的,任何以Disallow开头的URL均不会被robot访问到。例如"Disallow:/help"对/help.html 以及/help/index.html都不允许搜索引擎访问,而"Disallow:/help/"则允许robot访问/help.html,而不能访问/help/index.html。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。

Allow:

该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可所以一条完整的路径,也多是路径的前缀,以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robots访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会按照第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

"*"以及"$":

robots支持使用通配符"*"以及"$"来模糊匹配url:

"$" 匹配行结束符。

"*" 匹配0或多个任意字符。

常见robots写法:

禁止蜘蛛抓取网站所有内容

User-agent: *

Disallow: /

允许蜘蛛抓取网站所有内容

User-agent: *

Disallow:

禁止抓取动态URL:

User-agent: *

Disallow: *?*

禁止抓取js文件

User-agent: *

Disallow: *.js$

添加网站地图:

User-agent: *

Sitemap: https://www.zhongtao.net/sitemap.xml

注:

1、百度其实不会严格遵守robots协议

2、搜索引擎中需要在后台入行验证robots文件

总结:

以上便是我们今天为大家带来的关于Robots的一些基础知识!希望本文能够帮助到大家,让大家更加了解robots以及robots的配置方法!如需更多关于优化基础资讯教程,请继续关注我们!

相关文章: