robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
截至7月28日，百度站长平台与反作弊团队联合完成了首次反作弊消息推送与反馈流程。在收到消息提醒的站点中，有40%的站点进行了反馈，其中81%的站点确实完成整改通过审核，避免受到惩罚。但同时我们发现，还有大量消息处于未读的状态，也就是说站长还不知道自己的站点存在违规行为，错失整改最佳时机而遭受惩罚。所以我们再次提醒广大站长，及时登录百度站长平台，验证站点、完善联系方式，随时关注百度站长平台发来的提醒
今天百度搜索资源平台首页发出公告，有相关权限的移动站点可以通过站点属性工具向百度提交站点LOGO信息，以争取在移动搜索结果中获得更强势的展现。与此同时，百度搜索资源平台根据已有的PC线上用户体验和反馈，同时修改了PC端LOGO尺寸，请需要修改的管理员尽快行动起来。在此，百度搜索学堂统将最新尺寸公布出来，供大家参考，同时附上《站点属性（LOGO）审核原则》，希望大家提交一次立即过关！PC端站点LOG
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。9月11日，百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。如您
常见的robots.txt文件用法实例：1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时，有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取（或者也可以建一个空的robots.txt文件）User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分，既然是允许所有文件被抓取，可以
