Categories


Tags


如何提高spider抓取网站?提高spider抓取策略(1)

SEO网站优化SEOER,每天都要时刻关注百度蜘蛛有没有来抓取网站,抓取了网站哪些内容,没有抓取网站哪些内容,再没有抓取的页面上观察调整网站的问题。

想要提高爬虫抓取频率可以从几个方面着手,简单介绍提高spider抓取网站的策略。

提高spider抓取策略有哪些?

一、抓取友好性:抓取压力调配降低对网站的访问压力

带宽造成访问压力大,会直接影响网站的正常用户访问,为了不影响网站的正常用户访问,又能让spider抓取有价值性的页面。

1、IP压力控制

如果一个域名下存在多个IP,或者是多个域名下对应同一个IP,需要根据IP和域名多种条件进行压力调配控制。也可以在站长平台中使用压力反馈工具,人工调配对网站的抓取压力,这样spider会优先根据站长的要求进行抓取压力控制。

2、站点的抓取速度

如果在同一个站点,抓取速度控制有两类:第一类,一段时间内的抓取频率;第二类,一段时间内的抓取流量。同一个站点在不同的时间内抓取的速度是不同的,根据站点的类型来设置。

二、常用抓取返回码示意

1、404:“NOT FOUND”,表示该网页已经失效,通常在库中删除,spider如果发现这条URL是不会抓取的。

2、503:“Service Unavailable”,表示该网页暂时不能访问。网页返回503状态码,百度spider不会直接删除这条URL,再访问多次的情况下,网页如果恢复正常,就能正常抓取。如果继续返回503,才会认为是失效链接,从库中删除。

3、403:“Forbidden”, 表示该网页目前禁止访问。如果生成的是新的URL,spider是暂时不会抓取,也是会再访问多次;如果是被收录的URL,不会直接删除,短期内同样反复访问几次。如果网页正常访问,则正常抓取;如果仍然禁止访问,那么这条URL也会被认为是失效链接,从库中删除。

4、301:“Moved Permanently”, 表示该网页重定向到新的URL。如果站点需要更换域名、站点改版的情况下,需要设置301重定向,也可以在站长平台上网站改版工具提交,有效减少网站的流量损失。

来源:搜外网


Public @ 2010-03-31 16:22:35

通过HTTP状态代码看搜索引擎怎么Crawl你的站

通过HTTP状态代码通通透透看搜索引擎怎么Crawl你的站。下面的表格是所有 HTTP 状态代码及其定义。代码指示2xx成功200正常;请求已完成。201正常;紧接 POST 命令。202正常;已接受用于处理,但处理尚未完成。203正常;部分信息 — 返回的信息只是一部分。204正常;无响应 — 已接收请求,但不存在要回送的信息。3xx重定向301已移动 — 请求的数据具有新的位置且更改是永久的。

Public @ 2009-12-30 15:35:42

我不想我的网站被Baiduspider访问,我该怎么做?

您可以在网站的 robots.txt 文件中添加以下内容,以阻止 Baiduspider 访问您的网站: User-agent: Baiduspider Disallow: / 这会告诉 Baiduspider 不要访问您的整个网站。请注意,这也可能会阻止其他搜索引擎的访问。如果您只想阻止 Baiduspider 的访问,可以使用以下代码: User-agent: Baiduspider D

Public @ 2023-05-31 13:50:13

哪些网站垃圾蜘蛛可以屏蔽?屏蔽无流量搜索引擎抓取

? 1. 通过robots.txt可屏蔽Google、Baidu、Bing等常见的网站搜索引擎的抓取; 2. 通过User Agent阻止未知垃圾爬虫或无流量搜索引擎,通过历史行为表明该蜘蛛具有不良意图抓取数据; 3. 通过代理服务器设置黑名单,可以限制不同来源IP的访问; 4. 通过验证码屏蔽爬虫或机器人,使搜索结果不准确、不可用; 5. 通过网络防火墙设置黑白名单,阻止一些特定的网站

Public @ 2023-02-24 22:00:34

Google爬行缓存代理(crawl caching proxy)

Google爬行缓存代理是指一个系统或应用程序,作为一种中间层,扮演缓存服务器的角色,将已抓取的网络页面存储在缓存中,等待后续的请求。在Google上,这个代理系统用于加速用户访问网站的过程,提高网站的响应速度,并减少搜索引擎爬虫的访问量。通过这种方式,Google能够有效地降低网站的负载,并利用缓存的内容来提高用户的搜索体验。Google的爬行缓存代理充分体现了其对网络性能和用户体验的重视,也是

Public @ 2023-04-02 07:00:11

更多您感兴趣的搜索

0.419082s