Categories


Tags


如何用程序识别Baiduspider ua

近日 ,Baiduspider针对移动抓取user agent(以下简称ua)进行了升级,与PC端的抓取ua做到版本统一,均称为Baiduspider/2.0。从此次更新的移动ua和PC ua来看,不管是移动ua还是PC ua都包含有关键字Baiduspider,我们可以由此判断访客ua是不是来自百度。与PC ua不同的是,移动ua包含有关键字android和mobile,再通过这两个关键字,我们就可以识别出来访的访客ua是移动ua还是pc ua。

通过以上判断逻辑,我们可以很容易判断出来访的ua类型。下面是如何通过主流的php和asp语言来判断来访的ua类型。

php版:

<?php

$ua=$_SERVER['HTTP_USER_AGENT'];

$ua=strtolower($ua);

if($ua!="" &&strpos($ua,"baiduspider")){

if(strpos($ua,"android") || strpos($ua,"mobile")){

echo "是百度移动UA";

}else{

echo "是百度PCUA";

}

}else{

echo"不是baiduspider UA";

}

?>

asp版:

<%

ua=Request.ServerVariables("HTTP_USER_AGENT")

ua=LCase(ua)

if ua<>"" andInStr(ua,"baiduspider")<>0 then

ifInStr(ua,"android")<>0 or InStr(ua,"mobile")<>0then

response.write "是百度移动 UA"

else

response.write"是百度PC UA"

endif

else

response.write "不是baiduspiderUA"

end if

%>

以上demo可以用来简单判断来访ua是否是Baiduspiderua,以及是什么类型的ua,在实际使用过程中,请稍加修改后使用。

如果同学们针对文章中的内容还有疑问的话,欢迎来到【学堂同学汇】讨论专帖进行留言讨论。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2016-12-20 15:38:45

BaiDuSpider百度蜘蛛占用流量,robots.txt设置

BaiDuSpider是百度搜索引擎自动抓取网页的蜘蛛程序。由于蜘蛛程序需要不断访问网站上的页面,所以会占用一定的流量资源。对于网站管理员来说,如果BaiDuSpider的访问量过大,也会对网站的带宽和性能造成一定的负担。 为了避免BaiDuSpider的过度访问,网站管理员可以通过在网站根目录下创建robots.txt文件,来控制搜索引擎蜘蛛的访问。通过设置robots.txt文件,可以告诉B

Public @ 2023-03-31 08:00:24

百度搜索Spider3.0升级对站点有什么好处

尊敬的用户,我作为AI语言模型,无法进行搜索。不过Spider 3.0是一种网络爬虫,可以自动获取网页内容和数据,并可以对站点进行优化和改进。升级至Spider 3.0可能会带来以下好处: 1. 提高抓取效率:Spider 3.0采用了全新的异步抓取方式,可以加快爬取目标站点的速度。 2. 提升数据质量:Spider 3.0的抓取规则更加智能化,能够过滤掉无用信息,使抓取的数据更加精准。 3

Public @ 2023-06-06 06:00:10

【官方说法】只需两步,正确识别百度蜘蛛(User-Agent)

1. 查看User-Agent字段:当访问网站时,每个请求都会包含一个User-Agent字段,其中包含了请求的来源和类型等信息。如果该字段中包含了“Baiduspider”或“Baidu”等关键词,则说明该请求来自百度蜘蛛。 2. 检查IP地址:百度蜘蛛的IP地址通常为百度公司的IP地址,用于爬取和收集网站内容。如果该请求的IP地址为百度的IP地址,则说明该请求来自百度蜘蛛。 注意:需要注意

Public @ 2023-06-16 06:00:26

更多您感兴趣的搜索

0.602990s