要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
Web3.0的到来后基于互联网营销模式层出不穷，seo就是其中一块炙手可热的领域。本人对百度算法跟踪研究已近5年的时间，我主要从事的是算法逆向，也就是通过一些相关指标来判断百度排名规则。在叙述百度算法之前我先讲一下我在前不久之前看到百度搜索研发部博客中的一篇文章《浅谈网页搜索排序中的投票模型》里面叙述了美国的选举制度，这其实就是百度的其中一种投票体系的原型，我是这么认为的。用一张简单的图来阐述一下
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫扫除规范”（RobotsExclusionProtocol），网站经过Robots协议通知查找引擎哪些页面可以抓取，哪些页面不能抓取 是查找引擎的一部分来定位和索引互联网上的每个可能答复查找恳求的网页，一般只在评论robots的HTML标签或许robots.txt文件的时分运用。
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
