我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
本文局限在我个人经验。仅供参考，面试不上不要怪我。说几个我面试会问的问题，以及常见的问题。1.谈谈你是怎么做SEO?可以围绕个别细节单独展开错误回答：只说改改页面，发发外链，写写内容，只做首页关键词排名，或者少数几个关键词排名的可以回去等通知了正确回答：从用户角度考虑搜索习惯，构建网站结构，内容策略，观察数据。然后能够针对一个点展开回答的，例如如何收集词库，如何规划页面，是否有运营内容的经验，是否
1. 关键词选择优化：关键词是SEO优化的核心，要选择高搜索量、低竞争度、与网站主题相关的关键词，并在网站各个页面上合理使用，让搜索引擎更好地识别网站主题。 2. 网站结构优化：网站结构要清晰、简单，方便搜索引擎爬行，对于搜索引擎友好。要进行合理分类、目录、标签等优化，让搜索引擎更好地抓取网站内容。 3. 内容优化：网站内容要原创、有价值、与主题相关，用简洁、明了的语言描述，提高用户体验和搜索
【Robots简介】robots.txt是一个协议，是搜索引擎访问网站时第一个要查看的文件，它存在的目的是告诉搜索引擎哪些页面能被抓取，哪些页面不能被抓取。当spider访问一个站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，spider会按照文件中的内容来确定访问的范围；如果该文件不存在，所有的spider将能够访问网站上所有没有被口令保护的页面。【具体介绍】1、User
robots是什么robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定
