我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
新站想要提升自己的收录率，那么可以适当的从这些方面出发，让高质量的内容吸引搜索引擎蜘蛛流连忘返，让搜索引擎蜘蛛在来过一次网站之后还想要再来第二次。让搜索引擎蜘蛛深深的被网站的魅力吸引，从而达到自己优化网站的目的。一个新站最纠结的就是网站收录，因为通常搜索引擎蜘蛛对新站都不是非常的信任，而此时新站想要提升搜索引擎收录，可以说是痴心妄想，但是其实也不是完全的绝路，想要提升收录，还是有办法的。下面给大家
导读：实战的文章就是好，图文并茂的讲诉了SEO优化过程，比谈理论的SEO文章要好狠多，手把手教你通过站内、站外的SEO优化，作者接手半年的网站通过优化PR达到4、外链也增加不少，尤其是外链建设，好文章我也愿意给他一条外链。本文适合新人阅读，有干货。B2B网站SEO优化实战经验分享 网站优化 SEO优化 SEO推广 第1张（配图：环境在艰苦也要学习SEO）卢大哥，我是新浪微博和微信中的@小旭依然，，
一些域名之前通过robots.txt文件屏蔽了蜘蛛，后来对搜索引擎开放了，但搜索结果里，还是显示以下内容:“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。”解决办法：在百度上搜索该域名，在搜索结果页面的末尾，点击用户反馈。来源：搜外网
【Robots简介】robots.txt是一个协议，是搜索引擎访问网站时第一个要查看的文件，它存在的目的是告诉搜索引擎哪些页面能被抓取，哪些页面不能被抓取。当spider访问一个站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，spider会按照文件中的内容来确定访问的范围；如果该文件不存在，所有的spider将能够访问网站上所有没有被口令保护的页面。【具体介绍】1、User
