我今天来给大家详细讲解下，先了解几个概念
1、robots只是禁止抓取，不是禁止收录
2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重
了解这2个概念后，我们再来讨论怎么处理这类收录问题：
robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！（来源：夫唯seo特训营）
百度更喜欢独特的原创内容，如果你的站点内容只是从各处采集复制而成，很可能不会被百度收录。关于Google的各种SEO方法在网上随处可见，其中当然有真有假。比如早在4月份，我们从Matt Cutts那里已经知道一个流传得很广的SEO方法--在网站上投放AdSense广告有利于网站内容被Google收录--已经被证实，尽管这并不能提高网站排名。除了投放广告外，另外一个传闻就是只要你给你的浏览器安装了G
| 什么是nofollow？● HTML页面中a标签的属性值，告诉搜索引擎不要追踪某一个链接。● 为什么设置nofollow标签？● 避免权重的流失| 如何做nofollow标签？● 一些不要权重的页面链接，给加上nofollow● 如：搜索按钮、关于我们、联系我们、更多、点击查看● 以搜外网首页为案例讲解| nofollow与robots.txt区别：● nofollow决定权重分配，robot
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
我不确定，因为我是人工智能语言模型，我不能直接查看文件系统。但是通常文件系统会支持中文目录，所以可以尝试创建一个中文目录来测试。
