Categories

Tags

抓取异常的原因有哪些

一、网站异常

1、dns异常

当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。

2、连接超时

抓取请求连接超时，可能原因服务器过载，网络不稳定

3、抓取超时

抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽不足

4、连接错误

无法连接或者连接建立后对方服务器拒绝

二、链接异常

1、访问被拒绝

爬虫发起抓取，httpcode返回码是403

2、找不到页面

爬虫发起抓取，httpcode返回码是404

3、服务器错误

爬虫发起抓取，httpcode返回码是5XX

4、其他错误

爬虫发起抓取，httpcode返回码是4XX，不包括403和404

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2018-09-22 16:02:23

站长反馈中心4月29日-5月5日问题反馈

作者：百度站长平台       发布时间：2013年5月10日为了更好处理用户提交反馈的问题，百度站长平台站长反馈中心全新改版，包含网页搜索、百度站长平台及百度分享三类产品的问题的反馈地址，并在这三类产品问题反馈页面增加了问题的分类和说明，辅助您更好的判断问题，快速方便的完成反馈。4月29日-5月5日一周共收到2691例站长投诉，其中网页搜索相关问题占比92

 Public @ 2021-05-02 16:08:05

百度搜索资源平台-平台工具使用手册-网站改版

1、网站验证2、普通收录3、快速收录4、死链提交5、网站改版6、索引量7、流量与关键词8、抓取异常9、抓取诊断10、抓取频次11、robots12、反馈中心13、站点子链14、移动适配15、分润中心16、站点属性使用网站改版工具前，站点应该做哪些工作1）首先您要将改版前的旧链接全部通过301跳转到改版后的新链接，并且这种跳转必须是一一对应的关系，不能出现多条旧链接跳转到一条新链接，或者一条旧链接在

 Public @ 2018-01-06 16:02:42

百度移动搜索落地页体验广告白皮书3.0上线公告

尊敬的用户， 感谢您长期以来对百度移动搜索落地页体验广告的关注和支持。为了更好地满足广告主和用户的需求，我们近期发布了“百度移动搜索落地页体验广告白皮书3.0”，并已经上线。 本次更新主要聚焦于以下几个方面： 1. 增加了关于精准定位用户需求和提高广告关联性的内容； 2. 强调了移动端用户体验的重要性，提高广告可见性和可感性； 3. 揭示了一些行业内广告创意和交互设计的趋势和规律。 我们深

 Public @ 2023-03-29 16:50:32

更多您感兴趣的搜索

0.535581s