要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
由于最近在忙另外一个项目，文章就耽误了，最近又有徒弟相关问题，还有一些同学催更。针对徒弟们问题，我们再来给大家统一讲解!一、15天定律(如何过)讲3个SEO相关小问题！权重+收录+15天定律！ SEO优化 经验心得 第1张15天定律徒弟新上了一个站、说最近开始掉收录、蜘蛛都是正常蜘蛛，抓取也是正常抓取，就只是收录掉，曲线也有点下降。讲3个SEO相关小问题！权重+收录+15天定律！ SEO优化 经验
什么是robots.txt文件?搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录，我们可以通过设置robots.txt文件告知搜索引擎机器人。如果网站上没有禁止搜索引擎收录的内容，则不用设置robots.txt文件，或设置为空。robots
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
