Categories


Tags


常见的robots.txt文件用法实例

常见的robots.txt文件用法实例:

1、禁止所有搜索引擎抓取网站的任何部分

User-agent: *

Disallow: /

这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时,有的会先屏蔽所有蜘蛛抓取。

2、允许所有的spider抓取(或者也可以建一个空的robots.txt文件)

User-agent: *

Allow: /

这是允许所有搜索引擎抓取网站的任何部分,既然是允许所有文件被抓取,可以不用创建robtos.txt文件,即默认全部允许抓取。

3、禁止spider抓取特定目录

User-agent: *

Disallow: /a/

Disallow: /b/

Disallow: /c/

这是禁止所有的spider抓取a、b、c目录。这个规则我们最常用到,比如网站的程序后台、程序目录等都可以禁止spider抓取,以减少spider无意义的浪费我们的空间资源。

4、禁止spider抓取搜索结果页面

User-agent: *

Disallow: /so_article?*

如果你网站的搜索结果页面URL格式如:/so_article?keyword=搜索关键字,则按以上格式进行屏蔽,注意最后带了一个星号*,代表屏蔽so_article?带头的所有URL。

对于大部分网站,常用的就是以上4种情况。

来源:搜外网


Public @ 2010-05-21 16:09:23

如何解决网址规范化问题

解决网址规范化问题有以下几点方法:1.确保使用的CMS系统只产生规范化网址,无论是否有静态化。2.在Google管理员工具中设置首选域。3.所有内部链接保持统一,都指向规范化网址。4.使用canonical标签。5.使用301转向,把不规范化URL全部转向到规范化URL。6.提交给搜索引擎的XML网站地图中全部使用规范化网址。来源:搜外网

Public @ 2010-02-20 16:11:22

定向锚文本是什么?定向锚文本的意义

锚文本指的是,带着关键词的一个链接。如:SEO。在本站的所有教程中,我们发现,锚文本起到根本性的作用。如果一定要给SEO一个简单的操作要素,可以简单说,SEO工作就是不断的做锚文本。今天我们要学会一个词,叫定向锚文本。理解这个词,对我们彻底把SEO做到极致有重要指导意义。定向锚文本是什么定向锚文本指的是一个词与其指向的页面正在优化的关键词具有一致性。比如说关键词是SEO,并且带有链接,打开这个链接

Public @ 2018-03-19 16:11:31

robots文件之前屏蔽了蜘蛛,现已开放,如何更新快照

一些域名之前通过robots.txt文件屏蔽了蜘蛛,后来对搜索引擎开放了,但搜索结果里,还是显示以下内容:“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述。”解决办法:在百度上搜索该域名,在搜索结果页面的末尾,点击用户反馈。来源:搜外网

Public @ 2011-07-02 16:09:24

如何使用Robots避免蜘蛛黑洞?

蜘蛛黑洞:蜘蛛黑洞指的是网站通过极低的成本运营,制造出大量和内容相识但参数不同的动态URL ,像一个无限循环的“黑洞”将蜘蛛困住,蜘蛛花费太多的时间在网站,浪费了大量资源抓取的网页为无效网页。如果你的网站存在蜘蛛黑洞现象,尽快的处理好,蜘蛛黑洞不利于网站的收录,也会影响搜索引擎对网站的评分。如何使用Robots避免蜘蛛黑洞?如何利用Robots避免蜘蛛黑洞操作:普通的筛选结果页基本都是使用静态链接

Public @ 2014-02-24 16:09:26

更多您感兴趣的搜索

0.470155s