Meta robots标签是一种HTML头部元数据标签，用于指示搜索引擎如何处理指定页面的内容。它告诉网络爬虫如何爬取索引优化。这些标签是在
和之间添加的，旨在为“robots（搜索引擎蜘蛛）”提供有关如何索引和缓存页面内容的指令。 以下是meta robots标签的写法： - - - - 其中，“content”属性指定一组用逗号分隔的值，可以是以下之一： - index：告诉爬虫允许索引该页面； - noindex：告诉爬虫不允许索引该页面； - follow：告诉爬虫允许跟随页面上的链接； - nofollow：告诉爬虫不允许跟随页面上的链接。nofollow标签是一种发送信号给搜索引擎，表明某个链接并没有推荐价值或者仍然需要被确认，从而在搜索引擎收录索引中减少该链接的收录的技术。当引用链接的页面需要降低权重，或者是垃圾链接以及狗仔站点被引用时，采用 rel=”nofollow” 就能限制搜索引擎把这些链接当做收录的对象，达到抑制搜索结果质量下降的目的。
Canonical标签与301的区别】1，在几个网页内容完全相同（或高度相似）的时候，如果希望两个网页都可以被用户正常访问到，就使用Canonical标签；如果仅让用户访问其中的一个，直接使用301跳转更方便。来源：百度搜索资源平台 百度搜索学堂
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
