Categories


Tags


利用百度蜘蛛referer找到报错页面入口

大家应该都知道百度已经全站https并取消referer关键词显示了,那么“百度蜘蛛referer”又是什么?有什么妙用吗?艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错(4xx或者5xx)原因。随后社区版主飞鹰正义也对文章做了补充修正,现推荐给各位同学们。

什么是百度蜘蛛的referer

百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:

上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时,又抓取了网页中的:img、js和css才会带上referer字段。这部分额外的抓取量,应该不会占用百度分配的抓取配额,属于“买1送1”。

对于站长的意义

如果你发现有一批URL(仅限于img,js,css)报错(4xx或者5xx),但是一直找不到入口在哪,也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。

举个例子

比如我们的SEO日志分析系统中可以看到,符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报404。

从发现问题至今过了1个月,查遍整个网站我也没找到入口。今天偶然仔细查了一下日志,想起了百度蜘蛛的referer,马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面(往往是这样)。收录流量都不错。由于最近公司图片系统更新,图片的URL全部更改了,但这套页面并没有跟着更新。

如果站点没有记录referer怎么办

iis请在这里勾选“cs(Referer)”:

apache请参考:

apache log配置“Combined Log Format”章节

apache log配置的官方链接

Nginx请参考:

nginx log配置

nginx log配置的官方链接

结束语

· 很多SEO问题并不是立即致命的,所以没有及时解决。流量就像蚂蚁啃大象一样一点一点啃掉了。

· 系统性的知识积累还是会在关键时刻发挥作用的。

· 感谢飞鹰对本文的修正。

至此文章虽然结束但是讨论可以继续,大家可以到[学堂同学汇] 《利用百度蜘蛛referer找到报错页面入口》讨论帖,与作者刘明进行探讨。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2012-04-14 15:38:46

站点流量异常追查文档-特征页分析

### 一、背景 特征页分析可以用来检测网站上的用户行为,旨在帮助检测到网站的异常行为。通过在特征页上收集和分析关键的用户行为数据,以便能够准确地追查这些网站上发生的异常。 ### 二、基本原理 特征页分析基于网站的特征页访问模式来检测用户的行为,从而找出任何可能的异常。它以每个特征页作为分析的基础,以监控网站特征页访问的异常行为,帮助网站更快地检测异常并采取适当措施。特征页是一个部分,

Public @ 2023-02-27 18:01:18

A5营销团队告诉我的SEO诊断那些事

1. 网站结构和内容优化:确保网站结构清晰,内容有价值、优质,并且符合搜索引擎算法的要求。 2. 关键词优化:根据用户搜索习惯和竞争情况,选择目标关键词,并在网站中合理地使用,如标题、页面描述、URL、标签等。 3. 内部链接优化:合理设置内部链接,让搜索引擎更好地发现和抓取网站内容。 4. 外部链接优化:通过获取高质量外部链接,提升网站的权威性和排名。 5. 移动优化:针对移动设备进行优

Public @ 2023-04-19 00:50:27

屏蔽百度爬虫的方法

1. 设置robots.txt文件 在根目录中建立一个robots.txt文件,设置禁止百度抓取即可达到屏蔽百度爬虫的效果,具体设置内容如下: User-agent: Baiduspider Disallow: / 2. 自定义Http请求 百度爬虫最显著的特征就是它的User_Agent中包含Baiduspider,一般在Http头中添加请求头:X-Baidu-Env:martin-

Public @ 2023-03-05 04:00:12

BaiDuSpider百度蜘蛛占用流量,robots.txt设置

BaiDuSpider(百度蜘蛛)是百度搜索引擎的爬虫程序,它会访问网页并获取其中的信息,从而建立网站的索引和排名。由于百度蜘蛛需要频繁访问网站,因此它会占用网站的流量和带宽资源。 为了控制百度蜘蛛的访问,网站管理员可以使用robots.txt文件进行设置。robots.txt是一个文本文件,位于网站根目录下,用于告诉搜索引擎爬虫哪些页面可以访问,哪些页面不允许访问。具体来说,可以在robots

Public @ 2023-06-10 09:00:15

更多您感兴趣的搜索

0.440452s