Categories


Tags


Chrome浏览器模拟百度蜘蛛访问

某些网站可能针对搜索引擎挂马(百度/360/搜狗等),Chrome浏览器可以安装User-Agent Switcher for Chrome模拟百度蜘蛛来访问网页,如果是针对搜索引擎挂马的就会显示。

下载蜘蛛模拟软件,模拟蜘蛛访问查看非法信息。

准备工作

已经安装Google Chrome浏览器

安装扩展

访问 User-AgentSwitcher_1_0_43.crx 并下载这个扩展

按照下图打开Chrome浏览器 - 扩展程序

设置百度蜘蛛

安装完成在扩展程序页面可以看到User-Agent Switcher for Chrome点选项

按照如下截图添加百度蜘蛛(蓝色的文字部分)

New User-agent name:baidu

New User-Agent String:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html;soso;360;sogou)

Group:spider

Append?:Repalce

Indicator Flag:1

测试

安装扩展后Chrome浏览器右上角多出一个小眼睛,点击小眼睛 - spider - baidu,这样就可以模拟百度蜘蛛访问了。

比如访问一个针对搜索引擎挂马的网页:http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [这个地址可能会会失效],这样就可以看到被挂马的情况。(默认情况下访问这个地址可能会跳转到网站首页。)

注意事项

如果之前已经用正常模式访问过非法信息网页,再模拟百度蜘蛛的时候可能会失效,清除下浏览器缓存(cookie),然后重新选择百度蜘蛛访问非法信息页面测试。

此方法仅针对搜索引擎挂马有效,其它挂马类型并不适用。

来源:西部数码


Public @ 2019-10-16 16:22:26

sogou spider 喜欢收录什么样的页面

内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。链接层次较浅的页面。过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。如果是动态网页,请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。来源:搜狗资源平台

Public @ 2021-05-15 15:38:49

apache、iis6、ii7独立ip主机屏蔽拦截蜘蛛抓取(适用vps云主机服务器)

* Apache:通过在网站主机的.htaccess文件中添加下面一行代码即可实现: `SetEnvIfNoCase User-Agent "bot|crawl|spider|Yahoo|ia_archiver| other_spider|Googlebot" bad_bot` * IIS6:打开IIS管理器,右键点击网站,点击“属性”,然后选择“文件夹”,点击高级,在高级属性中勾选

Public @ 2023-03-04 13:00:19

什么是搜索引擎蜘蛛

搜索引擎蜘蛛可以简单的理解为页面信息采集工具,不需要人工去采集,它会自动根据URL链接一个一个爬行过去,然后再抓取页面的信息,然后再存到服务器的列队中,为用户提供目标主题所需要的数据资源,搜索引擎蜘蛛不是所有的页面都会抓取的,主要有三个原因:一是技术上的原因。二是服务器存储方面的原因。三是提供用户搜索数据量太大,会影响效率。所以说,搜索引擎蜘蛛一般只是抓取那些重要的网页,而在抓取的时候评价重要性主

Public @ 2017-10-04 16:22:29

更多您感兴趣的搜索

0.445193s