单个Html页面通过meta标签实现robots禁止搜索引擎爬取或者所引的方式

站长苏飞

单个Html页面通过meta标签实现robots禁止搜索引擎爬取或者所引的方式
咱们先来看例子吧

1.禁止搜索引擎索爬虫爬取此网页，但搜索引擎可以通过此网页的链接继续爬取其它网页

[HTML] 纯文本查看 复制代码

<meta name="robots" content="noindex" />

2.禁止搜索引擎索爬虫爬取此网页，但搜索引擎不可以通过此网页的链接继续爬取其它网页

[HTML] 纯文本查看 复制代码

<meta name="robots" content="nofollow" />

3.上面示例定义了此网页不被搜索引擎索引进数据库，且搜索引擎不可以通过此网页的链接继续索引其它网页

[HTML] 纯文本查看 复制代码

<meta name="robots" content="none" />

针对谷歌GOOGLEBOT使用robots

可以将name的属性只定义为GOOGLEBOT标识为谷歌搜索引擎

[HTML] 纯文本查看 复制代码

<meta name="googlebot" content="noindex, nofollow" />

针对百度baiduspider使用robots


可以将name的属性只定义为baiduspider标识为百度搜索引擎。

[HTML] 纯文本查看 复制代码

<meta name="baiduspider" content="noarchive" />

站长苏飞

robots语法

[HTML] 纯文本查看 复制代码

<meta name="robots" content="robotterms" />

robotterms是一组使用逗号(,)分割的值，通常有如下几种取值：none，noindex，nofollow，all，index和follow。


robots取值

• none搜索引擎将忽略此网页，等价于noindex，nofollow。
• noindex搜索引擎不索引此网页。
• nofollow搜索引擎不继续通过此网页的链接索引搜索其它的网页。
• all搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。
• index搜索引擎索引此网页。
• follow搜索引擎继续通过此网页的链接索引搜索其它的网页。
  

robots的使用说明

• robots提供的搜索引擎对网页的索引方式
• 如果网页没有提供robots，搜索引擎认为网页的robots属性为all(index，follow)；