当前位置:首页 > SEO技术 > 宁波SEO站长吐槽:头条搜索爬虫暴力抓取网站内容

宁波SEO站长吐槽:头条搜索爬虫暴力抓取网站内容

编辑:小凌SEO发布日期:2021-06-13浏览量:51

比来有站长在网上发文吐槽暗示,字节跳动为了疾速发展搜索营业派出爬虫四处暴力抓取网站内容,部分设置较低的网站曾经直接瘫痪,给中小网站主们形成为了很大的损失和困扰,严重影响了网站正常的用户访问。

该站长暗示,本年7月份,他忽然发现公司的网站常常性打不开,网页加载极为迟缓,有时以至直接瘫痪。颠末一系列排查后,在效劳器日记上发现了bytespider爬虫的陈迹。该爬虫抓取的频次天天达几百万次,高则上万万次,效劳器带宽负载飙至100%,而且该爬虫在抓取时彻底不遵循网站的robots协定。

该站长顺着该爬虫的IP地址查询,证明,该爬虫就是字节跳动的搜索爬虫。

而且,在CSDN、V2EX等手艺论坛也理解到,从字节跳动起头做搜索之后,实在网络上就一直有站长诉苦头条搜索爬虫抓取过于暴力的声音,蒙受字节跳动的搜索爬虫暴力抓取的不是个例,不少小网站他们也没放过。

有小网站主诉苦暗示:字节跳动的爬虫“一上午对网站发出46万次要求”,网站都瘫痪了,百度也没有这么折腾的!

末了,该站长暗示,像咱们如许做SEO的人来讲,主要事情方针就是但愿本身家网站能在主流搜索引擎的搜索后果中排在前面的位置,“对付像百度、搜狗、360等搜索引擎的规范抓取和收录列位站长都是十分欢送的,可是头条搜索爬虫如许猖獗爬取内容网站都给整瘫痪了,不只没给网站带来流量,还影响了正常的用户访问,这就很不“讲求”了。

可是对此,字节跳动的回应则是,“网络报导不实,今朝头条搜索设有反应机制,网站由于爬虫遭到影响,可以直接经由过程邮件反应处置。”明是不许备正面回应的。

以是经由过程头条搜索爬虫暴力抓取网站内容来看,磊哥个人感觉,字节跳动入局全网搜索搅动搜素市场是功德,可是为了疾速突起让本身家爬虫四处暴力抓取,就有问题了,大网站效劳器设置高,手艺职员多还好,不少小网站基本就顶不住字节跳动的搜索爬虫这么折腾。

搜索引擎的索引数据是靠点滴堆集起来的,百度、搜狗.360阅历了那末多年的发展堆集才走到今日,头条搜索想要猖獗爬取内容,“一口吃个瘦子”,只会让站长们阔别!

作者:磊哥

来历:卢松松博客,欢送分享。

相关文章: