什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
站点的提交配额迟迟没有上升；普通收录工具提交sitemap文件后一直提示“抓取失败”；通过死链提交工具提交了死链，但线上一直未删除链接；······朋友们，在使用搜索资源平台资源提交系列工具的时候，你是否遇到过这些问题？3月26日，我们特地邀请了百度搜索的产品运营刘碧霞同学，在【百度搜索线上公开课】中为开发者们解答了在使用普通收录、快速收录、死链提交工具时的相关疑问。错过了直播课的开发者们，这篇课
抓取异常是指在进行网页爬取过程中，因为一些问题导致无法成功获取所需的数据或者获取数据不完整的情况。这些问题可能包括网络连接问题、网站反爬机制的限制、数据格式不规范等。抓取异常会导致爬虫程序出错，无法按照预期获取所需数据。为了解决这些问题，需要对程序进行调试和优化，或者采用一些防封策略来应对网站的反爬机制。
robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
