今日又有一个学生资询有关网址日志的问题；他发觉404情况下有一些或是许多的不完善的url或是比原url空出字段名的无缘无故的网址自身不会有的url的爬取。这是怎么一回事呢？是不是危害网站排名？以致力于网上seo培训的魔贝课凡的此外一个blog为例子，这一站点的日志404出现异常情况URL如下图所示；

发生非本站的文件目录或连接，或是没有的网页页面的首要因素是：

有些人在尝试扫描仪网址系统漏洞，看一下特殊部位是不是有特殊文档。剖析如下所示：

head 是 http 中像 GET、POST 一样的要求方法，与 GET 不一样的是：手机客户端向服务器发送 HEAD 要求。网络服务器只能回到网页页面的 head 头顶部一部分，这就比要求网页页面主要一部分快得多。网址日志纪录的 IP 显而易见是根据HEAD扫描仪网址网站根目录中有可能的文档，根据 HTTP 状态码，网络攻击就可以知晓它任意扫描仪的文档是不是存有，假如存有得话就开展免费下载。自然，日志中清一色的404(要求的資源不会有)表明网络攻击并沒有成功。阅读推荐：常见的网址日志分析工具

针对这类搜索引擎蜘蛛的浏览，大家采用立即屏蔽掉IP方式，可是另一方也是有将会会转换不一样的IP开展浏览，针对转换IP的方法，大家只有见一个屏蔽掉一个，没有办法预料另一方要应用的IP。