要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
如果有人问你百度自然优化的精髓是什么?希望答案不再是“狂发外链”了。如今百度不再是5年前的百度，大量的算法更新对搜索引擎优化者的思维和手法有了更高的要求。然而百度更喜欢系统化用户体验偏向性的优化，站内优化部分也不仅仅是靠关键词和TITLE走天下的时代了。文军数字营销总监、咨道学堂创始人、帅气的爆老师总结了8个核心要素和思维走向，希望对SEO新手及要转变思维的SEO人有所帮助。SEO站内优化八大要素
要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用
