为什么我的网站已经加了robots.txt，还能在百度搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。
来源：百度搜索资源平台 百度搜索学堂
常见的robots.txt文件用法实例：1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时，有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取（或者也可以建一个空的robots.txt文件）User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分，既然是允许所有文件被抓取，可以
robots.txt概念如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？答案是：使用一个叫做robots.txt的文件。robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取，哪些不允许抓取。搜索引擎蜘蛛访问网站任何文件之前，需先访问robots.txt文件，然后抓取robots.txt文件允许的路径，跳过其禁止的路径。总结：robots.txt是一个简单的.txt文件
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。INDEX 指令告诉搜索机器人抓取该页面；FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；Robots Me
