Categories


Tags


如何用程序识别Baiduspider ua

近日 ,Baiduspider针对移动抓取user agent(以下简称ua)进行了升级,与PC端的抓取ua做到版本统一,均称为Baiduspider/2.0。从此次更新的移动ua和PC ua来看,不管是移动ua还是PC ua都包含有关键字Baiduspider,我们可以由此判断访客ua是不是来自百度。与PC ua不同的是,移动ua包含有关键字android和mobile,再通过这两个关键字,我们就可以识别出来访的访客ua是移动ua还是pc ua。

通过以上判断逻辑,我们可以很容易判断出来访的ua类型。下面是如何通过主流的php和asp语言来判断来访的ua类型。

php版:

<?php

$ua=$_SERVER['HTTP_USER_AGENT'];

$ua=strtolower($ua);

if($ua!="" &&strpos($ua,"baiduspider")){

if(strpos($ua,"android") || strpos($ua,"mobile")){

echo "是百度移动UA";

}else{

echo "是百度PCUA";

}

}else{

echo"不是baiduspider UA";

}

?>

asp版:

<%

ua=Request.ServerVariables("HTTP_USER_AGENT")

ua=LCase(ua)

if ua<>"" andInStr(ua,"baiduspider")<>0 then

ifInStr(ua,"android")<>0 or InStr(ua,"mobile")<>0then

response.write "是百度移动 UA"

else

response.write"是百度PC UA"

endif

else

response.write "不是baiduspiderUA"

end if

%>

以上demo可以用来简单判断来访ua是否是Baiduspiderua,以及是什么类型的ua,在实际使用过程中,请稍加修改后使用。

如果同学们针对文章中的内容还有疑问的话,欢迎来到【学堂同学汇】讨论专帖进行留言讨论。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2016-12-20 15:38:45

什么是搜索引擎蜘蛛

搜索引擎蜘蛛可以简单的理解为页面信息采集工具,不需要人工去采集,它会自动根据URL链接一个一个爬行过去,然后再抓取页面的信息,然后再存到服务器的列队中,为用户提供目标主题所需要的数据资源,搜索引擎蜘蛛不是所有的页面都会抓取的,主要有三个原因:一是技术上的原因。二是服务器存储方面的原因。三是提供用户搜索数据量太大,会影响效率。所以说,搜索引擎蜘蛛一般只是抓取那些重要的网页,而在抓取的时候评价重要性主

Public @ 2017-10-04 16:22:29

我不想我的网站被Baiduspider访问,我该怎么做?

Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止Baiduspider访问您网站上的部分文件。 注意:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法,请参看我们的介绍:robots.txt写作方

Public @ 2010-07-26 15:56:48

更多您感兴趣的搜索

0.425309s