obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
1.进入360搜索站长平台，点击左侧菜单栏的“Sitemap”选项。 2.点击“添加Sitemap”按钮。 3.填写Sitemap的相关信息，包括Sitemap的URL、名称、语言、文件类型等等，最后点击“保存”按钮。 4.返回Sitemap列表页面，将新添加的Sitemap展开，点击“立即提交”按钮。 5.等待搜索引擎爬虫抓取Sitemap，并开始对站点进行索引。 6.查看S
可能有很多seo小伙伴都不知道canonical标签是什么，因为很多人基本都没用到过着个标签，其实这个标签在某些情况下用处还是比较大的，下面来给大家介绍一下canonical标签的意义及用法?canonical标签是什么意思canonical标签介绍canonical标签就是告诉搜索引擎哪个页面是权威页面，推出来的时间很久了，是Google、雅虎、微软等搜索引擎一起推出的一个标签，它的主要作用是用
什么是robots.txt文件?搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录，我们可以通过设置robots.txt文件告知搜索引擎机器人。如果网站上没有禁止搜索引擎收录的内容，则不用设置robots.txt文件，或设置为空。robots
【Robots简介】robots.txt是一个协议，是搜索引擎访问网站时第一个要查看的文件，它存在的目的是告诉搜索引擎哪些页面能被抓取，哪些页面不能被抓取。当spider访问一个站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，spider会按照文件中的内容来确定访问的范围；如果该文件不存在，所有的spider将能够访问网站上所有没有被口令保护的页面。【具体介绍】1、User
