我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
1、什么是权重？ 权重是指一个网站或网页在搜索引擎结果中的排名，它的具体测量单位通常是PR（PageRank），它是一个介于0-10之间的数值，数值越大，权重越高，网站在搜索结果中的排名也会更靠前。 2、什么是收录？ 收录是指搜索引擎将网页链接收入自己的索引库。此时，如果网友在搜索关键词时与这些网页的内容相关，则搜索引擎会将它们的索引信息返回给网友，以便用户直接访问相关网页，实现搜索功能。
要恢复网站的排名，需要通过以下步骤： 1. 初步分析：了解降权的原因是什么，哪些页面受影响最大。这需要使用各种SEO工具或请专业人员进行分析。 2. 修正问题：确定问题，及时进行修正。这可能包括删除重复内容，修复错误的外部链接，解决网站性能问题，删除被惩罚的页面等。 3. 重构内容：让网站内容更有价值，更具吸引力。这可能需要对页面上的标题、描述、页面结构和文本进行改进，以及增强与相关主题相关
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
