obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
1. 银行和金融机构的网站，因为这些网站可能包含敏感信息，例如客户的个人和财务信息。 2. 医疗保健机构的网站，因为这些网站可能包含个人医疗信息。 3. 艺术、音乐和影片网站，因为这些网站可能包含受版权法保护的内容。 4. 政府网站，特别是警察局和情报机构的网站，因为这些机构的网站可能包含安全敏感信息。 5. 搜索引擎的漏洞报告网站，因为这些网站可能敏感地显示诸如数据库配置、文件位置等敏感
（6月18号注： 昨天很多读者大概没看到这篇帖子，而且整天忙着处理不可抗力造成的问题很累，今天就不更新了。）经常看到有人在论坛里问URL的绝对路径和相对路径问题，在网站中应该使用哪种？对SEO有什么影响？这实际上没有绝对的答案，两者各有优缺点。Google员工JohnMu前几天在Google Groups中做了一个挺全面的总结。下面半翻译半解释评论。绝对路径URL优点是：+）如果有人抄袭采集你的内
用几个最常见的情况，直接举例说明：1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录：User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录
控制页面的抓取、索引是SEO优化网站结构时经常需要用到的技术。常见的工具包括：robots文件页面的noindex标签链接的nofollow属性页面的301转向页面的canonical标签等这几个工具各有各的特定应用场景，但都是用于控制网站内部结构，之间容易混淆，还经常需要配合使用，SEO们必须准确理解这几个工具的机制和原理，不然很容易出错。这篇贴子讨论robots文件。Robots文件的作用ro
