Categories

Tags

抓取异常的原因有哪些

一、网站异常

1、dns异常

当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。

2、连接超时

抓取请求连接超时，可能原因服务器过载，网络不稳定

3、抓取超时

抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽不足

4、连接错误

无法连接或者连接建立后对方服务器拒绝

二、链接异常

1、访问被拒绝

爬虫发起抓取，httpcode返回码是403

2、找不到页面

爬虫发起抓取，httpcode返回码是404

3、服务器错误

爬虫发起抓取，httpcode返回码是5XX

4、其他错误

爬虫发起抓取，httpcode返回码是4XX，不包括403和404

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2018-09-22 16:02:23

一张图看懂收录与索引的区别

在过去的一段时间里，大家一度对收录和索引的概念非常模糊，百度工程师也曾“粗暴”地说过“收录和索引是一回事”。但实际工作中，院长发现，其实收录和索引都有其各自的重要意义，并不能含糊地混为一谈，于是制作了这样一张图，让大家快速了解收录与索引的区别。1，收录和索引分别指什么收录：页面被Baiduspider发现、分析过索引：Baiduspider经初步分析后认为有意义，做建库处理2， 收录和索引的关系包

 Public @ 2021-05-28 15:34:45

百度资源平台五大功能

本文重点介绍百度资源平台五大功能：1、抓取诊断我们可以通过百度资源平台的抓取诊断来判断，判断网站被蜘蛛抓取时是否正常，同时可以分析当前的ip、返回值、速度、内容是否正常，pc和移动端的抓取是否有异常。诊断是抓取成功那就是正常，如果是抓取异常，就要检查详情看哪里出了问题，然后针对性的解决。2、抓取频次通过抓取频次我们可以了解到蜘蛛每天抓取我们网站的次数，如果抓取次数过低，就要想办法引蜘蛛。如果原本抓

 Public @ 2021-06-06 16:03:53

网站内容页面收录少、收录慢、不收录怎么办？

如果遇到链接已经提交或网站的访问记录中有百度蜘蛛来访，但页面长期未收录的情况，请详细描述您的问题、url和提供相关完整截图，以便工作人员分析处理，同时建议您可以前往百度站长社区的相关问题讨论。

 Public @ 2019-11-15 16:06:40

更多您感兴趣的搜索

0.423902s