robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全问题。因此，对于任何一个网站来说，编写一个有效的robots.txt文件都是非常必要的。
今天看完一本不错的书《锦绣蓝图：怎样规划令人流连忘返的网站》，此书主要针对的是网站规划，是很值得信息架构师学习的一本书，前端设计和开发人员也值得一读。书中讲了一些原先令很多人忽视的网站设计要素，例如“信息架构”一章，阐述了“标签”（元数据）是组织信息的基础，让我对Tags的作用有了新的认识，而在“导航之道”一章，阐述了一个简单的道理：好的页面导航能让用户找到自己想要的东西。关于导航的设计，让我想到
Nofollow标签的应用场景有以下几种： 1. 防止链接垃圾邮件：网站管理员不希望搜索引擎将链接视为站点权威的一部分，以避免被链接垃圾邮件所滥用。 2. 不推荐的链接：网站管理员认为某个链接不适合站点的主题或内容，但仍然希望保留该链接。 3. 遵守广告政策：网站所承载的广告链接应该包含Nofollow标签。 4. 提高页面权重：对于站外链接，若链接是通过付费广告，或是首页推荐等方式获得的，可以
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常
网站误封Robots该如何处理robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！如果误封禁，请及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新。来源：百度搜索资源平台
