robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
1. 什么是站点品牌展现？在搜索结果页中，标题及摘要下方展现的，内容来源站点的头像与名称，叫作站点品牌展现。相比只展示一串网站地址的方式，品牌展现更直观地体现了内容来源，加强了搜索用户对内容来源的信任度、对站点品牌的记忆度。△移动端展现△PC端展现2. 如何优先获得品牌展现权益？报名通道：填写《搜索权益获取》问卷 。满足以下条件可优先获得品牌展现权益：站点关联智能小程序，成功生效至少一条替换规则，
常见错误推荐解决办法无法解析您网站的域名请检查网站的DNS设置是否正确，并更新您网站自己的DNS无法连接到您网站的服务器请检查网站服务器设置是否正确，是否可正常访问获取验证文件或网页发生错误请检查服务器设置，或者稍后重试您网站跳转次数过多请检查服务器设置，是否设置了多次跳转，如果设置了多次跳转，请取消跳转后重新尝试验证您的网站服务器检查结果为空请检查服务器是否对百度做了特殊的设置（例如：对百度进行
有同学问百度站长学堂一个关于robots的问题：我们有个站点的目录结构使用的是中文，这样式儿的：www.a.com/冒险岛/123.html，那在制作robots文件和sitemap文件的时候，可以直接使用中文吗？百度能获取到吗？在实际操作中我们发现，sitemap中有文件是可以生效的，但robots封禁貌似没有反应，所以想确认一下：robots文件是否支持中文?工程师解答：Baiduspider
要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
