我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
1.避免复制粘贴：不要直接从其他网站复制粘贴內容至您的网站。这样做可能导致您的网站被搜索引擎惩罚或降低排名。 2.注重独特性和原创性：尽可能地使您的內容原创并与其他网站区别开来。也可以为您的网站添加独特的元素，例如照片、视频或图表。 3.利用引用和链接：如果您需要引用其他网站的內容，一定要注明出处并添加链接。这样可以避免被认为是侵权行为。 4.删除重复內容：如果您的网站上存在重复內容，应立即删除。
1. 网站质量下降：如果一个网站的质量下降，如内容质量、页面运营质量、用户体验质量降低等原因，百度搜索引擎就会降低它的收录。 2. 违反百度SEO规则：如果一个网站违反了百度SEO排名规则，如使用不良的SEO技术、严重的垃圾信息投递等， 百度搜索引擎就会对该网站进行惩罚并降低它的收录。 3. 网站更新不及时： 如果一个网站不定期地更新网页内容，搜索引擎就会认为它已经失效、陈旧，从而降低它的收录
1. 银行和金融机构的网站，因为这些网站可能包含敏感信息，例如客户的个人和财务信息。 2. 医疗保健机构的网站，因为这些网站可能包含个人医疗信息。 3. 艺术、音乐和影片网站，因为这些网站可能包含受版权法保护的内容。 4. 政府网站，特别是警察局和情报机构的网站，因为这些机构的网站可能包含安全敏感信息。 5. 搜索引擎的漏洞报告网站，因为这些网站可能敏感地显示诸如数据库配置、文件位置等敏感
一些域名之前通过robots.txt文件屏蔽了蜘蛛，后来对搜索引擎开放了，但搜索结果里，还是显示以下内容:“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。”解决办法：在百度上搜索该域名，在搜索结果页面的末尾，点击用户反馈。来源：搜外网
