Categories


Tags


利用百度蜘蛛referer找到报错页面入口

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错(4xx或者5xx)原因。随后社区版主飞鹰正义也对文章做了补充修正,现推荐给各位同学们。

什么是百度蜘蛛的referer

百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:

上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额,属于“买1送1”。

对于站长的意义

如果你发现有一批URL(仅限于img,js,css)报错(4xx或者5xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

举个例子

比如我们的SEO日志分析系统中可以看到,符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报404。

从发现问题至今过了1个月,查遍整个网站我也没找到入口。今天偶然仔细查了一下日志,想起了百度蜘蛛的referer,马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面(往往是这样)。收录流量都不错。由于最近公司图片系统更新,图片的URL全部更改了,但这套页面并没有跟着更新。

如果站点没有记录referer怎么办

iis请在这里勾选“cs(Referer)”:

apache请参考:

apache log配置“Combined Log Format”章节

apache log配置的官方链接

Nginx请参考:

nginx log配置

nginx log配置的官方链接

结束语

· 很多SEO问题并不是立即致命的,所以没有及时解决。流量就像蚂蚁啃大象一样一点一点啃掉了。

· 系统性的知识积累还是会在关键时刻发挥作用的。

· 感谢飞鹰对本文的修正。

至此文章虽然结束但是讨论可以继续,大家可以到[学堂同学汇] 《利用百度蜘蛛referer找到报错页面入口》讨论帖,与作者刘明进行探讨。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2012-04-14 15:38:46

如何防止“被黑”?

要防止被黑,即避免成为黑客攻击的目标或受害者,以下是一些建议: 1. 使用强密码:选择复杂的密码,并定期更改,避免使用与个人信息相关的密码。 2. 多因素身份验证:启用多因素身份验证(MFA)以增加账户安全性,通常需要输入密码和收到的验证码等。 3. 更新软件和系统:及时更新操作系统、应用程序和安全补丁,以防止已知漏洞被黑客利用。 4. 谨慎点击链接和附件:不打开不信任的电子邮件、短信或其

Public @ 2023-07-26 06:00:34

目的性越强,你的网站数据分析越有价值

大数据时代已经来临,但是今天我们不聊这么高大上的东西,哈哈,我也不会,我们今天要聊的是网站数据分析。我们知道它是网站运营中必不可少的一部分,怎么才能知道自己的运营效果,最好的办法就是通过数据分析。但是对于新手朋友来说,这是个比较头疼的问题,通过安装数据统计代码,每天也能收集大量的网站数据,但是越看越头大,更别提从里面发现问题了。这种现象就会直接影响你网站运营中一个很重要的环节——优化。或者这样说,

Public @ 2015-10-30 15:32:29

【官方说法】百度蜘蛛抓取流量暴增的原因

Spider对网站抓取数量突增往往给站点带来很大烦恼,纷纷找平台想要Baiduspider IP白名单,但实际上BaiduSpider IP会随时变化,所以并不敢公布出来,担心站长设置不及时影响抓取效果。百度是怎么计算分配抓取流量的呢?站点抓取流量暴增的原因有哪些呢?总体来说,Baiduspider会根据站点规模、历史上网站每天新产出的链接数量、已抓取网页的综合质量打分等等,来综合计算抓取流量,同

Public @ 2011-07-18 15:38:37

Baiduspider抓取造成的带宽堵塞?

Baiduspider的正常抓取并不会造成您网站的带宽堵塞,造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞,请尽快和我们联系。您可以将信息反馈至 投诉平台 ,如果能够提供您网站该时段的访问日志将更加有利于我们的分析。

Public @ 2022-11-07 15:56:46

更多您感兴趣的搜索

0.422318s