Categories


Tags


通过HTTP状态代码看搜索引擎怎么Crawl你的站

通过HTTP状态代码通通透透看搜索引擎怎么Crawl你的站。

下面的表格是所有 HTTP 状态代码及其定义。

代码指示

2xx成功

200正常;请求已完成。

201正常;紧接 POST 命令。

202正常;已接受用于处理,但处理尚未完成。

203正常;部分信息 — 返回的信息只是一部分。

204正常;无响应 — 已接收请求,但不存在要回送的信息。

3xx重定向

301已移动 — 请求的数据具有新的位置且更改是永久的。

302已找到 — 请求的数据临时具有不同 URI。

303请参阅其它 — 可在另一 URI 下找到对请求的响应,且应使用 GET 方法检索此响应。

304未修改 — 未按预期修改文档。

305使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。

306未使用 — 不再使用;保留此代码以便将来使用。

4xx客户机中出现的错误

400错误请求 — 请求中有语法问题,或不能满足请求。

401未授权 — 未授权客户机访问数据。

402需要付款 — 表示计费系统已有效。

403禁止 — 即使有授权也不需要访问。

404找不到 — 服务器找不到给定的资源;文档不存在。

407代理认证请求 — 客户机首先必须使用代理认证自身。

415介质类型不受支持 — 服务器拒绝服务请求,因为不支持请求实体的格式。

5xx服务器中出现的错误

500内部错误 — 因为意外情况,服务器不能完成请求。

501未执行 — 服务器不支持请求的工具。

502错误网关 — 服务器接收到来自上游服务器的无效响应。

503无法获得服务 — 由于临时过载或维护,服务器无法处理请求。

比如说:

2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET /index/119.htm - 304 Baiduspider+(+http://www.baidu.com/search/spider.htm)

这就意味着百度蜘蛛在2004-12-03 07:33:25爬过/index/119.htm这一页,它发现这页是没有更新过的。

再比如说:2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET /index/120.htm - Googlebot/2.1

(http://www.google.com/bot.html)

这就意味着Google蜘蛛在2004-12-03 07:33:25爬过/index/119.htm这一页,它发现这页是新的,并全部爬完。

作者:佚名 来源:网络

来源:月光博客


Public @ 2009-12-30 15:35:42

Baiduspider抓取造成的带宽堵塞?

Baiduspider是百度搜索引擎的网络爬虫程序,用于抓取网页内容并建立索引。由于百度搜索引擎的流量庞大,Baiduspider的爬取行为可能会对网站的带宽造成一定的压力,尤其是对于小型网站或者带宽较小的服务器来说,这种压力可能会导致带宽堵塞。 当Baiduspider爬取网页时,它会发送大量的HTTP请求到目标服务器,从而消耗服务器的带宽资源。如果网站的带宽无法满足Baiduspider的抓

Public @ 2023-07-26 06:50:45

如何判断是否冒充Baiduspider的抓取?

建议您使用DNS反向查找和DNS正向查找相结合的方式来确定抓取来源的ip是否属于百度,根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:    6.1 在linux平台下:(1)使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.b

Public @ 2021-10-08 15:56:48

HTTP状态码有什么用,和SEO有什么关系?

HTTP状态码是由Web服务器在响应客户端请求时返回的状态标识。它们用于表示服务器处理请求的结果,并提供了关于请求状态的信息。 HTTP状态码对于SEO(搜索引擎优化)很重要,原因如下: 1. 200状态码:表示成功返回请求。对于搜索引擎爬虫来说,收到200状态码意味着页面能够正常访问,这能够对网站的排名产生积极的影响。 2. 301和302状态码:301状态码表示永久重定向,即已移动的内容

Public @ 2023-07-21 13:50:35

爬虫抓取诊断403什么意思?

当爬虫程序请求服务器时,如果服务器返回403错误码,则意味着服务器正确地接收了请求,但由于某些原因,服务器禁止该请求的访问。这通常表示访问被拒绝,可能是由于HTTP请求头或身份验证方面的问题。服务器可能会要求用户进行身份验证或者限制用户的访问权限。建议重新检查请求头和身份验证,以确保请求被正确发送并且可以被服务器接受。

Public @ 2023-06-15 18:50:09

更多您感兴趣的搜索

0.432061s