Categories


Tags


通过HTTP状态代码看搜索引擎怎么Crawl你的站

通过HTTP状态代码通通透透看搜索引擎怎么Crawl你的站。

下面的表格是所有 HTTP 状态代码及其定义。

代码指示

2xx成功

200正常;请求已完成。

201正常;紧接 POST 命令。

202正常;已接受用于处理,但处理尚未完成。

203正常;部分信息 — 返回的信息只是一部分。

204正常;无响应 — 已接收请求,但不存在要回送的信息。

3xx重定向

301已移动 — 请求的数据具有新的位置且更改是永久的。

302已找到 — 请求的数据临时具有不同 URI。

303请参阅其它 — 可在另一 URI 下找到对请求的响应,且应使用 GET 方法检索此响应。

304未修改 — 未按预期修改文档。

305使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。

306未使用 — 不再使用;保留此代码以便将来使用。

4xx客户机中出现的错误

400错误请求 — 请求中有语法问题,或不能满足请求。

401未授权 — 未授权客户机访问数据。

402需要付款 — 表示计费系统已有效。

403禁止 — 即使有授权也不需要访问。

404找不到 — 服务器找不到给定的资源;文档不存在。

407代理认证请求 — 客户机首先必须使用代理认证自身。

415介质类型不受支持 — 服务器拒绝服务请求,因为不支持请求实体的格式。

5xx服务器中出现的错误

500内部错误 — 因为意外情况,服务器不能完成请求。

501未执行 — 服务器不支持请求的工具。

502错误网关 — 服务器接收到来自上游服务器的无效响应。

503无法获得服务 — 由于临时过载或维护,服务器无法处理请求。

比如说:

2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET /index/119.htm - 304 Baiduspider+(+http://www.baidu.com/search/spider.htm)

这就意味着百度蜘蛛在2004-12-03 07:33:25爬过/index/119.htm这一页,它发现这页是没有更新过的。

再比如说:2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET /index/120.htm - Googlebot/2.1

(http://www.google.com/bot.html)

这就意味着Google蜘蛛在2004-12-03 07:33:25爬过/index/119.htm这一页,它发现这页是新的,并全部爬完。

作者:佚名 来源:网络

来源:月光博客


Public @ 2009-12-30 15:35:42

我希望我的网站内容被搜狗索引但不被保存快照,我该怎么做?

sogou spider遵守互联网meta robots协议。您可以利用网页meta的设置,使搜狗显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,虽然您已经在网页中通过meta禁止了搜狗在搜索结果中显示该网页的快照,但搜狗搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。

Public @ 2019-12-28 15:38:55

各搜索引擎蜘蛛介绍

搜索引擎蜘蛛是搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容。一般用法为“ spider+URL”,后面的URL(网址)是搜索引擎的痕迹,如果要查看某搜索引擎是否来爬取过你们的网站,可查看服务器的日志里是否有该URL,同时还能查看来的时间、频率等…1、百度蜘蛛:可以根据服务器的负载能力调节访问密度,大

Public @ 2011-05-10 16:22:33

如何查询域名或链接的http状态码

这四种情况下,需查询域名或链接的http状态码:1、域名做了https,需查询http的域名是否301到https的域名上;2、多个域名解析同一个网站上,需查询次要域名是否301到主域名上;3、查询老域名内页是否301给新域名的对应内页;4、查询网站内部死链接,是否正确返回404;5、查询不带www的域名是否301给带www的域名。来源:搜外网

Public @ 2011-06-08 15:35:44

HTTP状态码有什么用,和SEO有什么关系?

HTTP状态码是由Web服务器在响应客户端请求时返回的状态标识。它们用于表示服务器处理请求的结果,并提供了关于请求状态的信息。 HTTP状态码对于SEO(搜索引擎优化)很重要,原因如下: 1. 200状态码:表示成功返回请求。对于搜索引擎爬虫来说,收到200状态码意味着页面能够正常访问,这能够对网站的排名产生积极的影响。 2. 301和302状态码:301状态码表示永久重定向,即已移动的内容

Public @ 2023-07-21 13:50:35

更多您感兴趣的搜索

0.468473s