robots meta标签同样是放置于网页的head区,用来告诉搜索机器人哪些页面需要索引,哪些页面不需要索引。Content的参数有all、none、index、noindex、follow、nofollow,默认是all。以下是各个参数的解释:

all:文件将被检索,且页面上的链接可以被跟踪;

none:文件将不被检索,且页面上的链接不可以被跟踪;(和 “noindex, no follow”起相同作用)

index:文件将被检索;(让robot/spider登录)

follow:页面上的链接可以被查询;

noindex:文件将不被检索,但页面上的链接可以被查询;(不让robot/spider登录)

nofollow:文件可以被检索,页面上的链接不可以被查询。(不让robot/spider顺着此页的连接往下抓取)

用法:<Meta name=”Robots” Content=”All|None|Index|Noindex|Follow|Nofollow”>

这样就产生了四种写法:

1. <meta name=”robots” content=”index, follow” /> ——表示此页面允许索引并跟踪此页面上的链接
2. <meta name=”robots” content=”noindex, nofollow” /> ——表示此页面不允许索引也不让跟踪链接
3. <meta name=”robots” content=”index, nofollow” /> —— 索引此页面,但不跟踪此页面的链接
4. <meta name=”robots” content=”noindex, follow” /> ——不收录此页面,但跟踪此页面上的链接