Categories


Tags


巧用robots文件管理引导搜索引擎蜘蛛对网站的抓取

许多年前,让网站被搜索引擎选中包括填写表格,注册该网站,并手动编辑希望该网站被搜索的关键词,这个过程随着搜索引擎网络爬虫或网络蜘蛛的出现而改变。本文就robots相关内容,做详细的介绍。

什么是搜索引擎蜘蛛?

搜索引擎蜘蛛是一种自动程序,它沿着从一个网页到另一个网页的链接在互联网上爬行,为内容编制索引并将其添加到数据库中。这意味着,只要网站有一个来自其他网站且搜索引擎已经知道的链接,然后它会找到随着时间的推移。链接到站点越多,发生这种情况的速度就越快。

不幸的是,这些蜘蛛可以非常密集地访问网站。这是因为他们加载每个页面和文件,以便为数据库编目。蜘蛛会导致虚拟专用数据库负载过高,可能会给访问者带来问题。为了帮助解决这些负载问题,有一种标准化的方法来控制这些爬虫的行为,方法是将名为robots.txt的文件放在网站的根目录中。但是,没有任何强制遵守此文件的内容。所以,虽然大多数网络搜索引擎爬虫会服从它,但有些爬虫可能不会。

robots.txt文件有特定的形式,请看以下示例:

User-agent: googlebot

Disallow: /images

Allow: /images/metadata

crawl-delay: 2

sitemap: /sitemap.xml

按顺序查看每个指令行:

首先从“User-agent”(用户代理)行开始:机器人或网络浏览器将使用用户代理来标识自身,而各种搜索引擎爬虫将拥有自己的用户代理。遵循“User-agent”指令的任何其他指令将仅对给定的用户代理有效。带星号(*)的用户代理将被视为引用所有用户代理。在示例文件中,该指令与googlebot搜索引擎蜘蛛程序相关。

“Disallow”(禁止)指令用于告诉搜索引擎蜘蛛程序有关不加载的目录或文件。需要注意的是,尽管搜索引擎蜘蛛不会加载文件,如果它跟踪到它们的链接,它仍然会在搜索结果中列出这些文件。因此,它不能用来阻止页面出现在搜索结果中。“Disallow”可能是所有搜索引擎蜘蛛都支持的唯一指令。因此在示例中,不允许爬行/images目录。

“Allow”(允许)指令可用于指定搜索引擎蜘蛛可以加载的禁止目录中的文件或目录。虽然并不是所有的搜索引擎蜘蛛都支持这个指令,但大多数蜘蛛都支持。在示例中,允许蜘蛛加载 /images/metadata目录中的文件。

下一个指令是“crawl-delay”(爬行延迟),惠州网站建设它以秒为单位给出蜘蛛在加载下一页之前将等待的数字。这是降低蜘蛛速度的最好方法,尽管可能不想让数字太高,除非站点上只有很少的页面,因为这将极大地限制蜘蛛每天可以加载的页面数量。

最后,是“sitemap”(网站地图)指令,可以将蜘蛛引导到网站的XML网站地图文件,它也可以用来帮助网站进行索引。

控制搜索引擎蜘蛛

在robots.txt中可以填充尽可能多或很少的用户代理,以控制访问站点的方式。对于所有蜘蛛来说,从一个用户代理区开始,然后为特定的蜘蛛添加单独的部分是有意义的,因为它们可能会给站点带来问题。创建了robots.txt之后,就需要对它进行测试,以确保它是有效的。如果语法中出现输入错误或拼写错误,则可能会导致蜘蛛忽略正在设置的规则。幸运的是,有很多测试它的工具,还有一些主要的搜索引擎,比如谷歌提供的测试工具。(来源:夫唯seo特训营)


Public @ 2017-11-23 16:09:28

建立符合搜索抓取习惯的网站

编者按:前两周简要地给大家介绍了搜索抓取系统工作原理,根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。1、简单明了的网站结构Spider抓取相当于对web这个有向图进行遍历,那么一个简单明了结构层次分明的网站肯定是它所喜欢的,并尽量保证spider的可读性。(1)树型结构最优的结构即“首页—频道—详情页”;(2)扁平首页到详情页的层次尽量少,既对抓取友好又可以很好的传递权重

Public @ 2021-12-30 16:12:04

什么是meta robots 标签?meta robots 标签的写法

网站上有些页面不希望被搜索引擎收录,我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签?meta robots 标签是页面head部分meta标签的一种,用于指令搜索引擎禁止索引(收录)本页内容。meta robots 标签的写法:<meta name=”robots”content=”noindex,nofollow”>标签的意义:禁止

Public @ 2012-07-08 16:09:26

robots协议

 Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫扫除规范”(RobotsExclusionProtocol),网站经过Robots协议通知查找引擎哪些页面可以抓取,哪些页面不能抓取  是查找引擎的一部分来定位和索引互联网上的每个可能答复查找恳求的网页,一般只在评论robots的HTML标签或许robots.txt文件的时分运用。

Public @ 2010-10-17 15:26:25

更多您感兴趣的搜索

0.405909s