Categories


Tags


Baiduspider抓取造成的带宽堵塞?

Baiduspider抓取造成的带宽堵塞?

Baiduspider的正常抓取并不会造成您网站的带宽堵塞,造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞,请尽快和我们联系。您可以将信息反馈至反馈中心,如果能够提供您网站该时段的访问日志将更加有利于我们的分析。

如果大家对百度spider还有别的疑问,大家可以到[学堂同学汇][学习讨论] 《 百度spider介绍》讨论帖中发表自己的看法,我们的工作人员会关注这里并与大家进行探讨。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2019-04-06 15:38:40

如何让 sogou spider 不抓我的网站

sogou spider 支持 robots 协议,您可以在网站的根目录放置 robots.txt。robots.txt 的规则请参阅 http://www.robotstxt.org/。需要注意的是,最新更新的 robots.txt 可能需要几个星期才能体现出效果来,另外,被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。

Public @ 2011-12-05 15:38:56

如何用程序识别Baiduspider ua

近日 ,Baiduspider针对移动抓取user agent(以下简称ua)进行了升级,与PC端的抓取ua做到版本统一,均称为Baiduspider/2.0。从此次更新的移动ua和PC ua来看,不管是移动ua还是PC ua都包含有关键字Baiduspider,我们可以由此判断访客ua是不是来自百度。与PC ua不同的是,移动ua包含有关键字android和mobile,再通过这两个关键字,我们

Public @ 2016-12-20 15:38:45

BaiDuSpider百度蜘蛛占用流量,robots.txt设置

在网站根目录下的 robots.txt 文件可以用来告诉搜索引擎蜘蛛(包括百度蜘蛛)哪些页面可以访问,哪些页面不可访问。通过设置 robots.txt 文件,可以控制蜘蛛的爬取范围,减少不必要的流量消耗。 以下是一个提供给百度蜘蛛的 robots.txt 示例: ``` User-agent: Baiduspider Disallow: /path/to/disallowed/page.htm

Public @ 2023-07-28 12:00:44

更多您感兴趣的搜索

0.466284s