robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
作者：百度站长平台 发布时间：2013年5月28日各位网站管理员，很高兴的通知大家，外链分析&拒绝外链工具在今天双剑合璧，华丽升级。升级后的外链分析工具可支持批量拒绝外链及撤销拒绝等管理，这是继开放全网外链查询、上线拒绝外链工具之后的又一次大的功能升级，方便站长将站长更好的分析及管理外链数据，帮助网站更好的运营。本次工具亮点：1、将拒绝外链功能整合到外链分析工具中
平台要推出关键词影响力工具的消息早在2015年10月就放出了，很多站长都超级关注，在工具上线推广的当天，便有平台用户建设工程教育网网络营销负责人任晓亮便写出了分享帖，并向平台提出了问题。第二天学堂进行回复后，最早一篇“关键词影响力”的文章真正问世啦：早在10月中旬百度站长平台就发出预告，即将推出“关键词影响力”工具，记得那时笔者是相当的开心，官方说“可以帮助站长及时了解网站关键词在全网关键词的变化
robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: *
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。INDEX 指令告诉搜索机器人抓取该页面；FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；Robots Me
