robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
百度搜索资源平台是为了满足广大用户的搜索需求，提供各类搜索资源的平台。在百度搜索资源平台上，用户可以搜索到各类合作项目，包括但不限于以下几类： 1. 产品合作项目：用户可以搜索到与各种产品相关的合作项目。这包括与制造商、供应商、分销商等的合作项目，用户可以获取到针对产品的合作方案、销售渠道、品牌推广等信息。 2. 技术合作项目：用户可以搜索到与技术相关的合作项目。这包括与科技公司、研发机构、技
若站点内容已被滤镜，站点按照《移动落地页广告白皮书》规范整改后，滤镜问题两周自动恢复。
误区一:我的网站上的所有文件都需要蜘蛛抓取，那我就没必要在添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该做网站中添加一个robots.txt
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
