我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
提高网站内页权重的方法有以下几个方面： 1. 内部链接优化：建立网站内部链接的关联性，将权重从高的页面传递到内页。在主页和其他高权重页面中添加内部链接，将内部链接关键词与目标内页相关联，增加内页被搜索引擎发现和收录的机会。 2. 增加内页的外部链接：通过外部链接指向内页，传递外部权重。可以通过与其他网站合作、提供有价值的内容或与行业相关的合作活动来吸引其他网站的链接。 3. 内页内容优化：优
除了使用第三方联署计划网络服务外，第二种方式是使用运行在自己网站上的联署计划程序。这个程序可以是买的，也可以是自己开发的。选择或开发联署计划软件时，有以下功能需要考虑：实时统计现在的站长都希望统计是实时的，进行了广告或推广活动后，能立即看到效果如何，并及时修改策略。所以联署计划程序也需要实时统计。统计的数字就包括：图标显示次数，链接点击率，用户转化率，成本，有用户完成引导或销售时通知站长，佣金数字
非标准扩展协议是指为特定需求而开发的协议，它们不是由标准化组织或工作组所制定的，并且通常只在特定的应用程序或系统内部使用。 在机器人领域，非标准扩展协议可以用于实现特殊的功能或针对特定的应用需求。例如，某些机器人可能需要与其他设备进行协同工作，因此可能需要使用非标准的协议来实现通信和控制。 在开发机器人或机器人应用程序时，非标准扩展协议也可用于灵活地实现自定义的功能和控制。例如，一些机器人应用
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
