robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
作者：百度站长平台 发布时间：2013年5月28日各位网站管理员，很高兴的通知大家，外链分析&拒绝外链工具在今天双剑合璧，华丽升级。升级后的外链分析工具可支持批量拒绝外链及撤销拒绝等管理，这是继开放全网外链查询、上线拒绝外链工具之后的又一次大的功能升级，方便站长将站长更好的分析及管理外链数据，帮助网站更好的运营。本次工具亮点：1、将拒绝外链功能整合到外链分析工具中
随着移动互联网的迅速发展，搜索视频需求与日俱增，视频资源质量良莠不齐。为了保障行业生态健康以及搜索用户体验，现将移动视频行业体验规范整理如下，希望同广大优质视频行业站点共创和谐视频行业环境，为搜索用户提供更便捷、顺畅的观看体验。同时，我们也将为符合搜索规范的站点提供更加快速、稳定的收录权益。为保障行业生态健康以及搜索用户体验，现将移动视频行业体验规范整理如下，请各资源方参考提升自身资源体验价值，以
| 什么是robots文件？Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。| 为什么要做robots文件？网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。| 如何制作 robots文件？编写robots.txt文件并上传到网站根目录。| 制作 robots.txt注意事项● 所有搜索引擎则用星号表示● All
以下是一些可能需要使用robots.txt文件制止抓取的网站目录： 1. 敏感网站：包括医疗机构、政府机构、银行和其他敏感机构的网站。 2. 私人网站：包括个人博客、论坛和社交媒体账号。 3. 用户数据：包括个人信息、照片、视频和其他敏感数据。 4. 搜索引擎排除页面：包括不想在搜索引擎结果中出现的页面。 5. 网站目录：包括一些不需要搜索引擎索引的目录，如网站的管理员和内部页面。 6
