robots meta标签同样是放置于网页的head区，用来告诉搜索机器人哪些页面需要索引，哪些页面不需要索引。Content的参数有all、none、index、noindex、follow、nofollow，默认是all。以下是各个参数的解释：

all：文件将被检索，且页面上的链接可以被跟踪；

none：文件将不被检索，且页面上的链接不可以被跟踪；(和 “noindex, no follow”起相同作用)

index：文件将被检索；（让robot/spider登录）

follow：页面上的链接可以被查询；

noindex：文件将不被检索，但页面上的链接可以被查询；(不让robot/spider登录)

nofollow：文件可以被检索，页面上的链接不可以被查询。(不让robot/spider顺着此页的连接往下抓取)

用法：<Meta name=”Robots” Content=”All|None|Index|Noindex|Follow|Nofollow”>

这样就产生了四种写法：

1. <meta name=”robots” content=”index, follow” /> ——表示此页面允许索引并跟踪此页面上的链接
2. <meta name=”robots” content=”noindex, nofollow” /> ——表示此页面不允许索引也不让跟踪链接
3. <meta name=”robots” content=”index, nofollow” /> —— 索引此页面，但不跟踪此页面的链接
4. <meta name=”robots” content=”noindex, follow” /> ——不收录此页面，但跟踪此页面上的链接