Categories


Tags


常见的robots.txt文件用法实例

常见的robots.txt文件用法实例:

1、禁止所有搜索引擎抓取网站的任何部分

User-agent: *

Disallow: /

这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时,有的会先屏蔽所有蜘蛛抓取。

2、允许所有的spider抓取(或者也可以建一个空的robots.txt文件)

User-agent: *

Allow: /

这是允许所有搜索引擎抓取网站的任何部分,既然是允许所有文件被抓取,可以不用创建robtos.txt文件,即默认全部允许抓取。

3、禁止spider抓取特定目录

User-agent: *

Disallow: /a/

Disallow: /b/

Disallow: /c/

这是禁止所有的spider抓取a、b、c目录。这个规则我们最常用到,比如网站的程序后台、程序目录等都可以禁止spider抓取,以减少spider无意义的浪费我们的空间资源。

4、禁止spider抓取搜索结果页面

User-agent: *

Disallow: /so_article?*

如果你网站的搜索结果页面URL格式如:/so_article?keyword=搜索关键字,则按以上格式进行屏蔽,注意最后带了一个星号*,代表屏蔽so_article?带头的所有URL。

对于大部分网站,常用的就是以上4种情况。

来源:搜外网


Public @ 2010-05-21 16:09:23

面包屑导航设置:一个小地方,却作用很大

| 什么是面包屑导航?面包屑导航也叫位置导航,告诉用户我们当前位置是在网站的什么位置。| 为什么要做面包屑导航优化?1、有利于SEO优化简单易懂、便于用户精准定位站点内容,占用位置小,视觉上容易接受,有效降低跳出率。2、提高用户体验它可以合理引导蜘蛛爬行,完善站内结构,传递权重,提高关键词排名。| 如何优化面包屑导航?1、注意给首页的链接为首选域、不带index后缀为标准化URL2、给首页的锚文本

Public @ 2015-06-01 16:11:41

搜索问答剧场【七】“robots文件”常见问题解析

哈喽大家好!【搜索问答剧场】最新一集如期而至,平小雕又带着满满的知识干货回来啦!准备好迎接知识的洗礼了嘛?第五集【搜索问答剧场】中,跟大家提到了【Robots】工具。本期就来详细教大家如何灵活地使用【Robots】工具,以及如何正确设置网站整体的抓取范围。一、了解robots文件1、Q:什么是robots文件?A:robots文件用于指定spider在网站上的抓取范围,在文件中可以声明网站中不想被

Public @ 2015-05-15 15:16:25

如何使用Robots避免蜘蛛黑洞?

蜘蛛黑洞:蜘蛛黑洞指的是网站通过极低的成本运营,制造出大量和内容相识但参数不同的动态URL ,像一个无限循环的“黑洞”将蜘蛛困住,蜘蛛花费太多的时间在网站,浪费了大量资源抓取的网页为无效网页。如果你的网站存在蜘蛛黑洞现象,尽快的处理好,蜘蛛黑洞不利于网站的收录,也会影响搜索引擎对网站的评分。如何使用Robots避免蜘蛛黑洞?如何利用Robots避免蜘蛛黑洞操作:普通的筛选结果页基本都是使用静态链接

Public @ 2014-02-24 16:09:26

更多您感兴趣的搜索

0.425026s