Categories


Tags


屏蔽百度爬虫的方法

在百度C2C产品“百度有啊”即将上线的时候,淘宝网站曾经屏蔽百度搜索爬虫,禁止百度搜索引擎抓取淘宝网站的网页内容,淘宝官方的解释是“杜绝不良商家欺诈”。

在技术层面,淘宝屏蔽百度的方法是,在网站的robots.txt文件中加上如下内容:

User-agent: Baiduspider

Disallow: /

但实际上这种方法并不能完全屏蔽百度的爬虫,至今在百度上输入site:taobao.com还是可以看到内容,要不要索引网站,还是由百度说了算,要是遵守robots协议,那才不会索引,因此要想完全屏蔽百度的爬虫,需要在.htaccess中加入一些语句才可以,下面介绍两种方法。

方法1:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

RewriteRule .* - [F]

方法2:

SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot

<Limit GET POST>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

当然,对于普通中文网站来说,还是不建议屏蔽百度的爬虫,通常情况下做一些大型的英文网站,才有必要这么做,以节省流量。

来源:月光博客


Public @ 2012-08-15 15:56:41

搜狗搜索蜘蛛爬虫抓取

蜘蛛爬虫是一种自动化程序,用于在互联网上抓取网页和提取其中的信息。搜狗搜索的蜘蛛爬虫被用于收集来源于各种网站的数据,以用于搜索引擎的索引和排名。下面是关于搜狗搜索蜘蛛爬取的一些信息: 1. 网页抓取:搜狗搜索蜘蛛通过HTTP请求技术可以访问网页,并从中提取HTML代码。 2. 链接跟踪:蜘蛛通过跟踪网页中的链接来继续抓取其他相关网页。它会自动发现和跟踪新的链接,以便持续地获取更多的数据。 3

Public @ 2023-07-30 09:50:26

BaiDuSpider百度蜘蛛占用流量,robots.txt设置

注:以下BaiDuSpider等于百度蜘蛛、Googlebot等于google蜘蛛、Sogou Spider等于搜狗蜘蛛一、问题因某些原因,搜索引擎蜘蛛抓取网站占用很大流量,如图:网站访问日志也可看见很多蜘蛛爬行记录。如果是正常的搜索引擎蜘蛛访问,不建议对蜘蛛进行禁止,否则网站在百度等搜索引擎中的收录和排名将会丢失,造成客户流失等损失。可以优先考虑升级虚拟主机型号以获得更多的流量或升级为云服务器(

Public @ 2009-04-20 15:56:40

遇Baiduspider抓取,反馈时间多久合适

进入移动时代,同学们肯定会发现,百度官方和各知名SEO大拿们都在不断强调一个词:速度!最重要的莫过于,从用户点击搜索结果到页面完全加载完毕,不可超过3秒,否则有可能被限制展现(因为百度做过测试,当页面在3秒以上还无法打开的话,用户会选择关闭该网页)。于是大家各种针对速度的问题也多了起来,在深圳VIP大讲堂中,我们看到了这样一个简单的对话:同学问:站点遇到百度蜘蛛抓取,应该在多长时间内给出反馈?时间

Public @ 2015-11-08 15:38:40

更多您感兴趣的搜索

0.530643s