1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用文件夹：如果存放在公用文件夹，所以网站确实包含多个链接，则所有用到robots.txt文件的页面都将使用同一份robots文件。需要将robots.txt文件放在每个页面的根目录下来避免混淆和混合索引。
上周有站长朋友在百度站长平台社区提出了一些关于301跳转的问题，我们特别邀请Baiduspider技术专家对此做了解答。在后续与Baiduspider技术专家沟通时，我们又获得了一些信息，今天通过采访的形式将内容传递给更多的站长朋友。问：我设置了301跳转，多久可以生效？答：目前百度无法承诺301跳转的生效时间，因为站长感受到的生效时间会受多因素影响，比如Baiduspider再次抓取这个页面发现
“nofollow” 标签是Google、Yahoo和微软公司前几年一起提出的一个标签，链接加上这个标签后就不会被计算权值，搜索引擎支持nofollow属性，在很大程度上抑制博客或论坛的垃圾留言。对站长来说是一件大好事。下面卢松松就整理了一些nofollow的常见问题。nofollow常见问题解答 SEO优化 网站优化 SEO推广 第1张这个标签通常是用在博客的评论或论坛帖子中，因为这些地方是最多
360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
