我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
Web3.0的到来后基于互联网营销模式层出不穷，seo就是其中一块炙手可热的领域。本人对百度算法跟踪研究已近5年的时间，我主要从事的是算法逆向，也就是通过一些相关指标来判断百度排名规则。在叙述百度算法之前我先讲一下我在前不久之前看到百度搜索研发部博客中的一篇文章《浅谈网页搜索排序中的投票模型》里面叙述了美国的选举制度，这其实就是百度的其中一种投票体系的原型，我是这么认为的。用一张简单的图来阐述一下
Google技术副总裁是不会公开谈论Google排名算法的。Google排名算法是Google的核心技术之一，其具体实现和算法细节都是高度机密和保密的。这是为了防止人们利用这些信息来获得不公平的竞争优势。因此，任何外部人员都无法得知Google排名算法的具体实现和算法细节。
一些域名之前通过robots.txt文件屏蔽了蜘蛛，后来对搜索引擎开放了，但搜索结果里，还是显示以下内容:“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。”解决办法：在百度上搜索该域名，在搜索结果页面的末尾，点击用户反馈。来源：搜外网
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
