当前位置:首页 > SEO技术 > 北海SEO轻松两步,教你疾速辨认百度蜘蛛

北海SEO轻松两步,教你疾速辨认百度蜘蛛

编辑:小凌SEO发布日期:2021-08-01浏览量:91

常常听到开辟者问,百度蜘蛛是甚么?比来百度蜘蛛来的太频仍效劳器抓爆了!比来百度蜘蛛都不来了怎么办?另有不少站点想获得百度蜘蛛的IP段,想把IP插手白名单,但IP地址范畴动态变革不固定,咱们没法对外颁布。

那末怎样才气辨认正确的百度蜘蛛呢?今天干货带你轻松两步正确辨认百度蜘蛛:


1、查看UA信息

若是UA信息分歧毛病,可以直接判断为非百度搜索的蜘蛛。今朝UA分为移动、PC、和小步伐三个应用处景,这三个渠道UA别离以下:


移动UA:

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)


Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html) 


PC UA:

Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小步伐UA:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)


2、双向DNS剖析认证

第一步:DNS反查IP

开辟者经由过程对日记中访问效劳器的IP地址运转反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com*.baidu.jp 的格局定名,非*.baidu.com或*.baidu.jp即为假充。

按照平台差别验证要领差别,如linux/windows/os三种平台下的验证要领别离以下:


1).在linux平台下,您可运用host ip号令反解ip来判断是否来自Baiduspider的抓取。


2).在windows平台或者IBM OS/2平台下,您可运用nslookup ip号令反解ip来 判断是否来自Baiduspider的抓取。翻开号令处置器 输入nslookup xxx.xxx.xxx.xxx(IP地址)就能剖析ip,来判断是否来自Baiduspider的抓取。


3).在macos平台下,您可运用dig号令反解ip来判断是否来自Baiduspider的抓取。翻开号令处置器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能剖析ip,来判断是否来自Baiduspider的抓取。


只知其一,不知其二步:对域名运转正向DNS查找

对第一步中经由过程号令检索到的域名运转正向DNS查找,验证该域名与您日记中访问效劳器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址纷歧致即为假充。

示例1:

> host 111.206.198.69 

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com. 


> host baiduspider-111-206-198-69.crawl.baidu.com 

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

相关标签:百度SEOSEO

相关文章: