- 1、小猪外链里发表的文章仅代表作者本人的观点，与本网站立场无关。
2、小猪外链网资源分享仅为个人学习、交流之用，同时向原著作者表达敬意。
3、小猪外链网仅提供信息存储空间服务，小猪外链网信息均来源于用户自行发布，不承担任何法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，可以按照《小猪外链网文章侵权处理流程》进行处理，同时向原著作者表达敬意。
4、内容由网友自主上传，如有侵权、违规请联系邮箱616859395@qq.com进行处理。
拒绝伸手党，拿走请回复，尊重楼主，尊重你我他~
收藏文章
楼主
最近一直在研究网站日志，发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站，会浪费服务器的资源。对于一些搜索引擎蜘蛛，时不时来抓取我们的网站，需要屏蔽吗？以下请大家自行判断哟。
一. 搜索引擎蜘蛛类型
1. 蜘蛛：SemrushBot
SEMrush，可能有小伙伴知道，它是一款功能强大的SEO及SEM综合工具，在在线营销市场上占据着举足轻重的地位；它的原理就是SEMrush的服务器搜刮互联网上所有有价值的网站，将网站的数据存入到数据库，对其进行分析归类，是一款很好的网站分析工具，可以说是分析自己网站和竞争对手网站状况的一大神器。
2. 蜘蛛：AhrefsBot
Ahrefs是一款非常著名的外链分析工具，它拥有自己的爬虫蜘蛛AhrefBot和强大的数据库，在查询外链方面，准确率非常高，所以它的价格不便宜，一个月99美金，让May只能望而止步。
3. 蜘蛛：dotbot
Dotbot是Moz的网络爬虫蜘蛛，Moz相信不少的SEOer人员使用过，帮助分析网站运行情况的一款工具，立志打造世界上最准确的SEO数据。
二. 搜索引擎蜘蛛屏蔽方式
以上这些蜘蛛，如果你觉得需要屏蔽的话，可以参考下面的屏蔽方式：
User-agent: SemrushBot
Disallow：/
User-agent: AhrefsBot
Disallow: /
User-agent: dotbot
Disallow: /
May的SEO博客目前发现了这三款不常见的搜索引擎蜘蛛，赶紧检查一下你的网站日志中是否也有这些蜘蛛呢？或者还有其他蜘蛛？欢迎大家评论交流哦。
【声明】部分信息来自互联网，力求安全及时、准确无误，目的在于传递更多信息，并不代表对其观点赞同或对其真实性负责。如本网转载信息涉及版权等问题，请及时与本网联系删除。
全站外链： TEC传感器 | 猫掌外链
免 责 声 明
推荐文章
网站公告
近期本站被人为恶意注册及发布垃圾帖，每一个发帖都会经过审核，一经发现违法或垃圾帖的用户，帖子将被删除或封号，请大家共同维护互联网环境，共创美好互联网未来。
详细的发帖规则请阅读：
《小猪外链网发帖规则》
《小猪外链网最新金币规则》
注:本站严禁发布灰色违禁违法内容,如发现立刻永久封号,如开通会员的概不退款。
