obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
死链（Dead Link）是指网页上已经失效但仍然出现在超链接中的链接，或者指向网页内的地址。 死链的标准通常有以下几点： 1. 服务器错误或页面不存在：点击链接后页面无法正常打开，出现404等错误页面。 2. 指向过期或已删除的网页：点击链接后打开网页内容已不存在或已过期。 3. 指向被禁止访问的网页：点击链接后无法打开，可能是因为网页被禁止访问或需要权限才能访问。 4. 指向已更改地
nofollow标签最初是由Google引入的，旨在告诉搜索引擎跟踪链接的方式。它的作用是让网站管理员控制搜索引擎是否跟踪某个链接并传递权重。也就是说，如果一个页面包含了nofollow标签，搜索引擎就不会将该页面与被链接的页面相关联，也不会将该页面作为链接目标的一部分考虑。这样可以避免一些不必要的链接传递权重，同时可以防止人工操纵搜索引擎排名。 然而，随着时间的推移，nofollow标签的作用
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分:<meta name="robots" content="noarchive">要允许其他搜索引擎显示快照，但仅防止搜索引擎显示，请使用以下标记:<meta name="Baiduspider" content="noa
