收藏文章 楼主

这些搜索引擎蜘蛛,你屏蔽了吗

版块:SEO优化   类型:普通   作者:网络SEO优化   查看:3108   回复:0   获赞:0   时间:2022-01-12 17:48:10

最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于一些搜索引擎蜘蛛,时不时来抓取我们的网站,需要屏蔽吗?以下请大家自行判断哟。

这些搜索引擎蜘蛛,你屏蔽了吗

一. 搜索引擎蜘蛛类型

1. 蜘蛛:SemrushBot

SEMrush,可能有小伙伴知道,它是一款功能强大的SEO及SEM综合工具,在在线营销市场上占据着举足轻重的地位;它的原理就是SEMrush的服务器搜刮互联网上所有有价值的网站,将网站的数据存入到数据库,对其进行分析归类,是一款很好的网站分析工具,可以说是分析自己网站和竞争对手网站状况的一大神器。

2. 蜘蛛:AhrefsBot

Ahrefs是一款非常著名的外链分析工具,它拥有自己的爬虫蜘蛛AhrefBot和强大的数据库,在查询外链方面,准确率非常高,所以它的价格不便宜,一个月99美金,让May只能望而止步。

3. 蜘蛛:dotbot

Dotbot是Moz的网络爬虫蜘蛛,Moz相信不少的SEOer人员使用过,帮助分析网站运行情况的一款工具,立志打造世界上最准确的SEO数据。

二. 搜索引擎蜘蛛屏蔽方式

以上这些蜘蛛,如果你觉得需要屏蔽的话,可以参考下面的屏蔽方式:

User-agent: SemrushBot

Disallow:/

User-agent: AhrefsBot

Disallow: /

User-agent: dotbot

Disallow: /

May的SEO博客目前发现了这三款不常见的搜索引擎蜘蛛,赶紧检查一下你的网站日志中是否也有这些蜘蛛呢?或者还有其他蜘蛛?欢迎大家评论交流哦。

 


【声明】部分信息来自互联网,力求安全及时、准确无误,目的在于传递更多信息,并不代表对其观点赞同或对其真实性负责。如本网转载信息涉及版权等问题,请及时与本网联系删除。


全站外链: 磁致伸缩液位计
 
回复列表
默认   热门   正序   倒序

回复:这些搜索引擎蜘蛛,你屏蔽了吗

网站公告

近期本站被人为恶意注册及发布垃圾帖,每一个发帖都会经过审核,一经发现违法或垃圾帖的用户,帖子将被删除或封号,请大家共同维护互联网环境,共创美好互联网未来。

详细的发帖规则请阅读:

《小猪外链网发帖规则》

《小猪外链网最新金币规则》

注:本站严禁发布灰色违禁违法内容,如发现立刻永久封号,如开通会员的概不退款。

Powered by 小猪外链网 7.11.4

©2015 - 2022 小猪SEO外链平台

备案号:浙ICP备17015142号

免责申明:本网站内容由平台入驻会员撰写,除创始人账号外,其他观点仅代表作者本人,不代表小猪外链网立场。如果内容涉及侵犯其他公司、团体的利益、请联系小猪SEO外链网客服举证删除

您的IP:100.24.115.215,2022-05-17 13:04:33,Processed in 0.14093 second(s).

各位站长请准守小猪SEO外链网的发帖规则,文明理性发言

外链优化

用户名:

粉丝数:

签名:

资料 关注 好友 消息
,
分享
已有0次打赏