什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
使用说明1、普通收录工具可以向百度搜索主动推送资源，缩短爬虫发现网站链接的时间，不保证收录和展现效果。2、API提交和手动提交共享配额，每日至多提交10万条有价值的内容，sitemap提交配额不与其他方式共享，具体配额以站点页面显示数据为准 。配额不可累计，当日有效。3、若链接存在跳转关系，请直接提交跳转后链接。如网站换域名，需提交新域名资源；进行HTTPS改造页面，请提交HTTPS资源。来源：百
尊敬的用户： 您好！感谢您一直以来对百度搜索资源平台的支持和信任。为了提高我们的服务质量，我们将于近期升级百度搜索资源平台的死链提交工具。具体升级内容如下： 1. 升级后的死链提交工具将支持多个链接的提交，帮助用户更快速、更便捷地提交死链信息。 2. 升级后的死链提交工具将支持PC端和移动端的链接提交，满足用户的不同需求。 3. 升级后的死链提交工具将支持一键识别死链功能，用户无需手动检查
robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
头条搜索Robots匹配说明是指在头条搜索引擎中，用户输入的搜索关键词与已经编写好的机器人规则进行匹配，用以判断搜索结果的排序和展示方式。这些机器人规则是由头条搜索建立的算法模型，通过对用户的搜索历史、搜索习惯、查询的信息内容等多方面的分析，提供给用户最符合其需求的搜索结果。Robots匹配在很大程度上影响用户在头条搜索引擎中的搜索体验和结果准确性。
