Categories


Tags


robots.txt使用教程

用几个最常见的情况,直接举例说明:

1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。

2. 禁止所有SE收录网站的某些目录:

User-agent: *

Disallow: /目录名1/

Disallow: /目录名2/

Disallow: /目录名3/

3. 禁止某个SE收录本站,例如禁止百度:

User-agent: Baiduspider

Disallow: /

4. 禁止所有SE收录本站:

User-agent: *

Disallow: /

5. 加入sitemap.xml路径


Public @ 2013-01-15 16:09:31

360搜索对Robots协议的扩展

360搜索对Robots协议进行了扩展,增加了以下几个指令: 1. User-Agent:用于指定搜索引擎访问网站时使用的用户代理字符串,可以设置多个User-Agent。 2. Crawl-delay:用于指定搜索引擎访问网站时的延迟时间,单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap:用于指定网站的sitemap文件的地址,搜索引擎将通过该文件获取站点

Public @ 2023-05-29 17:00:21

我设置了301跳转,多久可以生效?

我设置了301跳转,多久可以生效?答:目前百度无法承诺301跳转的生效时间,因为站长感受到的生效时间会受多因素影响,比如Baiduspider再次抓取这个页面发现其设置了301的时间、网页的重要程度以及自身质量等。来源:百度搜索资源平台 百度搜索学堂

Public @ 2019-11-23 16:09:07

Robots文件的作用和规范写法

控制页面的抓取、索引是SEO优化网站结构时经常需要用到的技术。常见的工具包括:robots文件页面的noindex标签链接的nofollow属性页面的301转向页面的canonical标签等这几个工具各有各的特定应用场景,但都是用于控制网站内部结构,之间容易混淆,还经常需要配合使用,SEO们必须准确理解这几个工具的机制和原理,不然很容易出错。这篇贴子讨论robots文件。Robots文件的作用ro

Public @ 2012-12-30 16:09:20

更多您感兴趣的搜索

0.542008s