Categories


Tags


Chrome浏览器模拟百度蜘蛛访问

某些网站可能针对搜索引擎挂马(百度/360/搜狗等),Chrome浏览器可以安装User-Agent Switcher for Chrome模拟百度蜘蛛来访问网页,如果是针对搜索引擎挂马的就会显示。

下载蜘蛛模拟软件,模拟蜘蛛访问查看非法信息。

准备工作

已经安装Google Chrome浏览器

安装扩展

访问 User-AgentSwitcher_1_0_43.crx 并下载这个扩展

按照下图打开Chrome浏览器 - 扩展程序

设置百度蜘蛛

安装完成在扩展程序页面可以看到User-Agent Switcher for Chrome点选项

按照如下截图添加百度蜘蛛(蓝色的文字部分)

New User-agent name:baidu

New User-Agent String:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html;soso;360;sogou)

Group:spider

Append?:Repalce

Indicator Flag:1

测试

安装扩展后Chrome浏览器右上角多出一个小眼睛,点击小眼睛 - spider - baidu,这样就可以模拟百度蜘蛛访问了。

比如访问一个针对搜索引擎挂马的网页:http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [这个地址可能会会失效],这样就可以看到被挂马的情况。(默认情况下访问这个地址可能会跳转到网站首页。)

注意事项

如果之前已经用正常模式访问过非法信息网页,再模拟百度蜘蛛的时候可能会失效,清除下浏览器缓存(cookie),然后重新选择百度蜘蛛访问非法信息页面测试。

此方法仅针对搜索引擎挂马有效,其它挂马类型并不适用。

来源:西部数码


Public @ 2019-10-16 16:22:26

BaiDuSpider百度蜘蛛占用流量,robots.txt设置

BaiDuSpider百度蜘蛛是百度搜索引擎的爬虫程序,负责抓取并建立Web页面的索引。百度蜘蛛会消耗服务器的流量和资源,对于一些限制流量的网站,可能会受到影响。为了控制百度蜘蛛的访问,可以使用robots.txt文件进行设置。 robots.txt文件是一种网站协议,用来告诉搜索引擎蜘蛛访问网站的规则。如果在网站根目录下没有设置robots.txt文件,搜索引擎蜘蛛将按照默认规则进行访问。为了

Public @ 2023-04-17 20:00:34

百度蜘蛛IP段地址大全

做网站优化的过程中很重要的一点,就是网站日志的分析。通过来访记录的日志文件我们能了解到网站出现的很多问题。以网站日志上的百度蜘蛛IP为例:123.125.68.*这个蜘蛛每每来,另外来的少,示意网站大概要进入沙盒了,或被者降权。220.181.68.*天天这个IP段只增不减很有大概进沙盒或K站。220.181.7.*、123.125.66.*代表百度蜘蛛IP拜访,预备抓取你工具。121.14.89

Public @ 2022-12-06 16:22:30

apache、iis6、ii7独立ip主机屏蔽拦截蜘蛛抓取(适用vps云主机服务器)

如果是正常的搜索引擎蜘蛛访问,不建议对蜘蛛进行禁止,否则网站在百度等搜索引擎中的收录和排名将会丢失,造成客户流失等损失。可以优先考虑升级虚拟主机型号以获得更多的流量或升级为云服务器(不限流量)。更多详情请访问: http://www.west.cn/faq/list.asp?unid=6261. 使用网站管理助手环境:http://www.west.cn/faq/list.asp?unid=650

Public @ 2018-06-02 16:22:26

apache、iis6、ii7独立ip主机屏蔽拦截蜘蛛抓取(适用vps云主机服务器)

在VPS云主机服务器上,可以通过以下方式屏蔽拦截蜘蛛抓取: 1. Apache服务器: 在Apache配置文件(httpd.conf或apache2.conf)中添加以下代码: ``` SetEnvIfNoCase User-Agent ".*((Googlebot)|(Baiduspider)|(Yahoo! Slurp)|(bingbot)|(YandexBot)).*" bad_bot

Public @ 2023-06-20 14:00:28

更多您感兴趣的搜索

0.412444s