什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
目录什么是站内搜索？如何创建站内搜索？管理您的站内搜索基本信息搜索框样式提交数据结果页设置获得收入搜索干预统计信息附录什么是站内搜索？站内搜索全称为“百度自定义站内搜索（Custom Search）”，旨在帮助站长面向其站点用户低成本地提供高质量的搜索服务。借助站内搜索工具，您可以：自定义搜索框和搜索结果页的展现样式提交数据给百度，增加收录量关联广告位以获得收入根据需要进行搜索结果置顶、屏蔽等干预
百度站长平台2015年第一期“蝶变行动”专场沙龙昨日在京举办。此次沙龙面向2014年底百度站长平台举办的首届蝶变行动筛选出的47家站点，百度站长平台专家分享了《百度新好站扶持计划》，并在SEO、新站扶持等方面与创业者展开讨论。百度站长平台专家姬东琪分享《百度新好站扶持计划》时表示，百度将从提升抓取配额，邀请新站进入VIP俱乐部，以及在移动搜索工具和资源合作这三大方 面帮助新站更快成长。注重用户体验
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
一些域名之前通过robots.txt文件屏蔽了蜘蛛，后来对搜索引擎开放了，但搜索结果里，还是显示以下内容:“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。”解决办法：在百度上搜索该域名，在搜索结果页面的末尾，点击用户反馈。来源：搜外网
