用几个最常见的情况，直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站:
User-agent: *
Disallow: /
5. 加入sitemap.xml路径,例如:
来源：360站长平台
1、打开虚拟主机控制面板，找到 Apache/Nginx 配置文件； 2、在配置文件中添加如下语句：ErrorDocument 404 /404.html 。 3、在网站根目录创建 404.html 文件，里面可以添加提示用户的内容； 4、保存修改，重启网站，404 页面设置完毕。
本文更新了百度官方提供的301问题汇总，参见文章结尾。本人网络公司普通售后技术支持一个，大家都叫我阿D，工作两三年了，关于301重定向，站长们也常叫301跳转(或URL跳转)问题。为了方便描述，以下我们都亲切的称为“301跳转”。301跳转，阿D曾经也花过很多时间去了解、学习过。从基础到精通：认识网站301重定向的那些事 网络营销 SEO推广 第1张网站301这个是一个基础的老问题，涉及到seo的
1. Robots.txt是一个协议，用于控制搜索引擎爬虫的访问范围。 2. Robots.txt文件位于网站的根目录下，包含了一些指令告诉爬虫哪些页面可以访问，哪些页面需要限制访问。 3. Robots.txt文件并不会阻止所有爬虫的访问，只有支持Robots.txt协议的爬虫才会遵守文件中的指令。 4. Robots.txt文件中的指令可以根据不同的爬虫进行个性化设置，可以控制不同爬虫访
我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
