Categories

Tags

抓取异常的原因有哪些

一、网站异常

1、dns异常

当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。

2、连接超时

抓取请求连接超时，可能原因服务器过载，网络不稳定

3、抓取超时

抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽不足

4、连接错误

无法连接或者连接建立后对方服务器拒绝

二、链接异常

1、访问被拒绝

爬虫发起抓取，httpcode返回码是403

2、找不到页面

爬虫发起抓取，httpcode返回码是404

3、服务器错误

爬虫发起抓取，httpcode返回码是5XX

4、其他错误

爬虫发起抓取，httpcode返回码是4XX，不包括403和404

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2018-09-22 16:02:23

百度搜索资源平台-平台工具使用手册-漏洞检测（已下线）

漏洞检测（该工具已下线）漏洞检测工具使用说明一，高危漏洞高危漏洞包括SQL注入漏洞、XSS跨站脚本漏洞、页面存在源代码泄露、网站存在备份文件、网站存在包含SVN信息的文件、网站存在Resin任意文件读取漏洞。SQL注入漏洞：网站程序忽略了对输入字符串中包含的SQL语句的检查，使得包含的SQL语句被数据库误认为是合法的SQL指令而运行，导致数据库中各种敏感数据被盗取、更改或删除。XSS跨站脚本漏洞：

 Public @ 2020-12-15 16:02:38

关于索引量，你必须知道的事

网站被Baiduspider抓取收录后，经过一系列计划才得以建入索引库，有了和搜索用户见面的机会。所以，索引量一直是站长们关注的焦点，但我们发现，依然有很多站长对索引量存在误读。于是学堂整理了一些常见问题，纠正一些错误的看法。误：站长可以通过site查询站点收录量正：索引量数据以百度搜索资源平台索引量工具为准，SITE仅为估值误：索引量增加了，流量就会多；索引量减少，流量危险正：索引量分多个层级，

 Public @ 2015-01-03 15:34:46

百度搜索资源平台-关于索引量工具数据异常的公告

近日，搜索资源平台【索引量】工具，由于工具计算系统不稳定导致数据异常，当前问题已紧急修复，索引量数据重新上线。后续，平台产品和技术同学会进一步加强相关工具数据的稳定输出，避免类似问题出现。针对站长反馈的索引量相关问题，说明如下：1、索引量数据不仅仅只有增长，也会有下降。索引量是指可以被搜索用户搜索到的网站数据库，百度搜索基于用户需求和资源质量等维度对索引量数据进行评估，不定期的更新索引量数据库。可

 Public @ 2021-08-24 16:05:18

百度站长平台工具2.0闪亮登场

亲爱的网站管理员经过站长平台上下工作人员的共同努力，平台工具2.0终于上线啦。为了提供给用户更简单的操作流程、更强大的功能覆盖、更全面的数据呈现，提高用户体验，全体工作人员在保证工具质量与稳定性上精益求精，大家会看到，新版工具的基本功能更加完善，数据稳定性有所提升，缩短了生效时间，就连帮助文档和引导文案也更加人性化。同时，2.0工具还加强了数据提交功能，如网页提交，包括新链实时推送、死链提交、移动

 Public @ 2016-08-02 16:07:03

更多您感兴趣的搜索

0.552852s