什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
百度搜索资源平台是一款面向网站和APP的资源管理平台，可以让站长们更好地管理自己的网站资源，包括网站首页、栏目页面、文章页面、图片、视频等，并能够快速实现资源的收录和排名，提升网站曝光度和搜索引擎优化效果。 以下是使用百度搜索资源平台快速收录资源的步骤： 1. 登录百度搜索资源平台，进入“我的网站”页面。 2. 在“我的网站”页面中，点击“添加网站”按钮，填写网站域名和其他基本信息，点击“提
1、用户仅可使用百度提供的智能小程序及其服务，不得在严重违反用户协议、联网平台协议、互联网法律法规和国家有关政策的情况下，从事下列行为： （1）发布、传播、储存违反国家法律、危害国家安全、国家社会公共利益、国家 互联网社会公共利益信息； （2）发布、传播、储存与帐号所属实体的有关信息（虚假信息、不完整信息、过时 信息）； （3）发布、传播、储
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文
误区一:我的网站上的所有文件都需要蜘蛛抓取，那我就没必要在添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该做网站中添加一个robots.txt
