obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
301永久重定向是一种将一个网页的访问请求跳转到另一个网页的方法，这个跳转是永久的，也就是说，搜索引擎会把原来的网址直接替换为新的网址，旧网址的权重和排名结构都会被传递给新的网址。具体实现方法如下： 1. 在服务器上设置301永久重定向 首先，需要在服务器端配置301永久重定向。如果你使用的是Apache服务器，可以在.htaccess文件中设置，如下： ``` RewriteEngine
2011年第一文，在这里祝大家新年快乐，今天卢松松就归纳下之前所有网站的架构对SEO的影响，有许多网友问过重复的问题，我在这里归总一下。在以后的日子里，我还将不断优化本站提供的模板下载，在符合SEO的同时，更加兼顾模板的性能问题，为本站模板用户创造出高访问量网站模板优化。一：W3C标准对SEO的影响。我们看到每个网页的源文件（右键查看源文件），几乎每个网站最顶部都有以下代码：<!DOCTYP
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
我希望我的网站内容被百度索引但不被保存快照，我该怎么做？Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可
