Categories


Tags


ETag使用效果对比&;经验分享

提起向百度提交数据,大家基本都会想到sitemap,最近又推出的ETag是什么东东?真的能有效果吗?其实在ETag推出之初,我们平台的非技术人员对效果也是没有预期的,于是请智联招聘SEO负责人桃李重点关注数据变化,就是希望能给各位同学看到最真实的效果。

sitemap是解决网站收录至关重要的途径之一,而通常sitemap的更新都不是很及时,并且体量都相对较大,,此时也消耗了相应的网站流量及带宽。而ETag可以用来标示网页是否发生了变化,如果没有变化返回304状态码,就不用再重新传输整个网页了。

在我们的sitemap配置了ETag之后,对日志一段时间的监测发现,其sitemap响应时间以及耗时的平均时间均大幅度下降,爬虫访问sitemap文件的次数有所增加,对于收录而言,通过图表也能看出相对的增长曲线,我们的整体收录率大致提升范围在2% – 5%左右。所以在此,强烈建议大家设置sitemap的ETag,简简单单的一个小动作就能看到相对明显的效果还是很不错的。

ETag全称EntityTags,HTTP协议规格说明中定义“ETag”为“被请求变量的实体值”。我们也可以把ETag理解为是一个客户端与服务器关联的记号。这个记号告诉客户端,当前网页在上次请求之后是否有发生变化,当发生变化时,ETag的值重新计算,并返回200状态码。如果没有变化,返回304状态码。从而不会重新加载整个页面信息。

如下,是我司站点的sitemap文件的头信息:

我们看到,ETag中包含了一连串的数据,这就是计算出来的一个值,如果它发生变化,说明其页面内容一定发生了变化。如果页面没有发生变化时,头信息应该如下:

在我们与技术沟通配置ETag时,需要通过此种方式进行验证。第一次访问200状态码,有ETag的一行文本,再次访问该页面时,状态码为304,ETag的值不变。至此,我们就可以确定ETag配置成功。

另外,sitemap启用Etag后:

1、  百度可以更及时地响应sitemap的更新;

2、  页面没有更新的情况下,对流量的消耗极小;

3、  百度更加及时的抓取sitemap,便于更好的收录;

但多数情况下,ETag会与Last-Modified一起使用,这样可利用客户端(例如浏览器)的缓存。因为服务器首先产生Last-Modified/Etag标记,服务器可在稍后使用它来判断页面是否已经被修改。本质上,客户端通过将该记号传回服务器要求服务器验证其(客户端)缓存。

对于如何配置ETag站长学堂有很详细的文章指南:对站点服务器如何配置ETag,最好是对全站进行配置ETag,这样对于站点而言,在带宽消耗、爬虫抓取上的提升还是会有很大收益的。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2016-07-31 16:09:45

robots使用技巧

以下是一些使用robots.txt文件的技巧和最好的做法: 1. 不要放弃robots.txt - 一些网站管理员没有robots.txt文件,因为他们认为这是保护网站的安全措施,但事实上它可能会影响搜索引擎爬取。 2. 维护一个更新的robots.txt文件 - 确保您的robots.txt文件不是过时的。如果您从网站上删除了某些页面或文件夹,请务必更新文件以反映更改。 3. 不要使用ro

Public @ 2023-05-28 16:00:31

链接深度的具体作用

增加内页权重虽然,链接深度是网站的内部页面之间的链接,但如果这种内部链接达到一定的数量而且这一数量更是有质量的时候,那么网站内部页面的权重将会有极大的提升,随之而来的也是内部页面在搜索引擎搜索结果中排名的提升。有的时候我们可能会发现,某一网站内部页面在某一特定关键词下,在搜索引擎中排名会比首页要高得多,有可能就是这一页面的链接深度有“量”又有“质”造成的。增加首页权重由于网站的权重、PR值具有传递

Public @ 2016-06-12 16:11:34

站点地图的重要性

1、搜索引擎每天都是让爬虫在互联网爬行来抓取页面,站点地图的作用就是给爬虫爬行构造了一个方便快捷的通道,因为网站页面是一层一层的链接的,其中可能会存在死链接的情况,如果没有站点地图,爬虫爬行在某个页面就因死链接爬行不了,那么就不能收录那些断链接的页面。2、站点地图的存在不仅是满足搜索引擎爬虫的查看,更多是方便网站访客来浏览网站,特别是例如门户型网站由于信息量太多很多访客都是通过站点地图来寻找到自己

Public @ 2010-08-07 16:09:53

Sitemap 中的网址需要完整地指定吗?

在 Sitemap 中列出的网址应该是完整的网址,具有必要的协议、主机名和路径。这样可以确保搜索引擎能够正确地索引和访问您的网站或页面,并为用户提供正确的链接。如果网址不是完整的,则搜索引擎可能无法正确解析该网址,导致页面无法索引或无法正常访问。因此,为了确保最佳的 SEO 效果,建议在 Sitemap 中使用完整的网址。

Public @ 2023-04-09 05:50:19

更多您感兴趣的搜索

0.626510s