SEO优化_robots设置详细解读

版块：SEO优化类型：普通作者：a18781823907 查看：8791 回复：0 获赞：0 时间：2021-08-06 00:09:06

robots内容详细解读

robots.txt是纯文本文件，用于声明网站中不想被蜘蛛抓取的部分，robots不是一个规定,是一种约束

蜘蛛访问网站的时候首先查看的是robots：如果存在就按照robots规则抓取、如果不存在蜘蛛就沿着链接直接爬行

1.robots作用

1.1、防止私密或重要的内容被搜索引擎抓取

1.2、节省服务器资源

1.3、减少重复抓取，提高网站质量

1.4、制定sitemap文件位置

2.写法

该文件放置在文件的根目录下，并且文件名必须小写：http://www.dbgzs.shop/robots.txt

3.语法

3.1、User-agent:

3.1.1、指定哪个搜索引擎蜘蛛：Baiduspider（百度）、Googlebot（谷歌）、Sogouspider（搜狗）

3.1.2、*代码所有搜索引擎

3.2、Allow:表示允许蜘蛛抓取的栏目或文件

3.2.1、Allow:/web/ 表示允许访问web目录

3.2.2、Allow:/*.htm$ 表示允许访问html文件

3.3、Disallow：禁止抓取栏目或文件
Disallow:/web/：禁止抓取web目录
Disallow:/*.htm$：禁止抓取html文件

Disallow:/ 禁止抓取网站所有内容：
/表示根目录

4.工具：http://tool.chinaz.com/robots/

5.问题

5.1、如果搜索引擎已经收录了你的网页，这时候你不想让搜索引擎收录网页咋办？

5.2、robots是不能删除搜索引擎中已经收录的页面

5.3、robots meta标签来解决该问题

6.robots meta标签：针对具体的页面

6.1、语法

6.1.1、<meta name='robots' content='index,follow'/>（<meta name='robots' content='all'/>）：允许搜索引擎抓取页面与页面的链接

7.解释

index：表示搜索引擎可以抓取该页面

noindex：表示搜索引擎不可以抓取该页面

follow：表示搜索引擎蜘蛛可以爬寻该页面的上的链接

nofollow：表示搜索引擎蜘蛛不可以爬寻该页面的上的链接

提醒：有些时候也友情链接交换可能会被加上nofollow，大家可以查看一下（避免灰帽）
robots设置详细解读篇，你还可以了解：文本和图片标签的优化

全站外链： TEC传感器 | 猫掌外链

免责声明

1、小猪外链里发表的文章仅代表作者本人的观点，与本网站立场无关。
2、小猪外链网资源分享仅为个人学习、交流之用，同时向原著作者表达敬意。
3、小猪外链网仅提供信息存储空间服务，小猪外链网信息均来源于用户自行发布，不承担任何法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，可以按照《小猪外链网文章侵权处理流程》进行处理，同时向原著作者表达敬意。
4、内容由网友自主上传，如有侵权、违规请联系邮箱616859395@qq.com进行处理。

如果觉得本文还不错请点个赞或者打赏点金币哦~

拒绝伸手党，拿走请回复，尊重楼主，尊重你我他~

回复列表

默认热门正序倒序

robots内容详细解读robots.txt是纯文本文件，用于声明网站中不想被蜘蛛抓取的部分，robots不是一个规定,是一种约束蜘蛛访问网站的时候首先查看的是robots：如果存在就按照robots规则抓取、如果不存在蜘蛛就沿着链接直接爬行  1.robots作用1.1、防止私密或重要的内容被搜索引擎抓取1.2、节省服务器资源1.3、减少重复抓取，提高网站质量1.4、制定sitemap文件位置2.写法该文件放置在文件的根目录下，并且文件名必须小写：http://www.dbgzs.shop/robots.txt3.语法3.1、User-agent:3.1.1、指定哪个搜索引擎蜘蛛：Baiduspider（百度）、Googlebot（谷歌）、Sogouspider（搜狗）3.1.2、*代码所有搜索引擎 3.2、Allow:表示允许蜘蛛抓取的栏目或文件3.2.1、Allow:/web/   表示允许访问web目录3.2.2、Allow:/*.htm$   表示允许访问html文件  3.3、Disallow：禁止抓取栏目或文件 Disallow:/web/：禁止抓取web目录 Disallow:/*.htm$：禁止抓取html文件Disallow:/ 禁止抓取网站所有内容： /表示根目录 <img alt="" src="uploadfiles/images/1031/20210806/000906_D9kC4M.png" style="outline-width: 0px; display: block; width: 969px; height: 330px;">  4.工具：http://tool.chinaz.com/robots/5.问题5.1、如果搜索引擎已经收录了你的网页，这时候你不想让搜索引擎收录网页 咋办？5.2、robots是不能删除搜索引擎中已经收录的页面5.3、robots meta标签来解决该问题  6.robots meta标签：针对具体的页面6.1、语法6.1.1、<meta name='robots' content='index,follow'/>（<meta name='robots' content='all'/>）：允许搜索引擎抓取页面与页面的链接<meta name='robots' content='noindex,follow'/>：不允许搜索引擎抓取页面与允许页面的链接<meta name='robots' content='index,nofollow'/>：允许搜索引擎抓取页面与不允许页面的链接<meta name='robots' content='noindex,nofollow'/>（<meta name='robots' content='none'/>）：不允许搜索引擎抓取页面与不允许页面的链接7.解释index：表示搜索引擎可以抓取该页面noindex：表示搜索引擎不可以抓取该页面follow：表示搜索引擎蜘蛛可以爬寻该页面的上的链接nofollow：表示搜索引擎蜘蛛不可以爬寻该页面的上的链接 提醒：有些时候也友情链接交换可能会被加上nofollow，大家可以查看一下（避免灰帽） robots设置详细解读篇，你还可以了解：<a href="https://www.pos56.cn/SEOyouhua/123.html" rel="nofollow" style="margin: 0px; padding: 0px; outline: none 0px; color: rgb(102, 102, 102); transition: all 0.5s ease 0s;">文本和图片标签的优化</a>

首 1 尾