Categories


Tags


【院长帮帮忙】页面无用时间信息导致网页不被爬虫抓取(第一期)

在【院长帮帮忙】栏目露过面的站点是编织汇(www.bianzhihui.com),该站点通过反馈中心反馈页面内容迟迟不被抓取,经百度工程师追查,原来是因为页面上的无用时间信息——没有想到是不是?同学们快来看看这个案例吧。也想让院长帮助追查吗?快来看看这里!

站点求助:现象

编织汇网站内容发布后几个礼拜都未曾收录。案例如下:

http://www.bianzhihui.com/t/6717(教程详细页面举例)

http://www.bianzhihui.com/u/12306 (用户页面举例)

http://www.bianzhihui.com/h/154 (编织花样页面举例)

我们已将这些url放入sitemap,并使用了百度统计的集成的JS推荐,但是未曾有改善。

站点求助:自查

根据反馈中心的回复,使用抓取异常工具诊断:未发现异常

院长出手,内部追查

工程师结论: spider抓取很及时,但因为该网站没有设置内容产出时间,网站底部却有个老旧时间日期,导致spider误以为网页内容老旧(具体策略较复杂,在此不做赘述)。建议增加页面内容产生时间,去掉没有必要的时间信息

*以上为旧页面截图,“2014年9月9日”对时间识别造成干扰。

站点总结:

1,网页上切忌勿乱加时间,如我们网站的(始于2014年9月9日)这种时间是一个大忌

2,网页内容尽可能加上产出时间,也就是发布时间

3,百度site的结果时间和权重并无太多关系

4,跟百度沟通的时候,一定要条例清晰,证据确凿。自身的问题一定要先排查准确。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2015-07-21 15:22:04

【官方说法】只需两步,正确识别百度蜘蛛(User-Agent)

1. 查看User-Agent字段:当访问网站时,每个请求都会包含一个User-Agent字段,其中包含了请求的来源和类型等信息。如果该字段中包含了“Baiduspider”或“Baidu”等关键词,则说明该请求来自百度蜘蛛。 2. 检查IP地址:百度蜘蛛的IP地址通常为百度公司的IP地址,用于爬取和收集网站内容。如果该请求的IP地址为百度的IP地址,则说明该请求来自百度蜘蛛。 注意:需要注意

Public @ 2023-06-16 06:00:26

【院长帮帮忙】站点打不开,可能是referer设置问题!(第六期)

站点反馈,在移动搜索下站点被百度屏蔽了经查站点在PC端打开无影响,仅移动端无法打开,且落地页体验、内容均良好,站点并不是被百度屏蔽,而是站点M端的Referer值太长,导致网站打不开(Referer长度不能超过256,超过以后抓取结果为404)站点referer值referer值长度要求各位站长们记住了哦,如遇以上这种情况,被百度屏蔽的锅,我们可不背哦!来源:百度搜索资源平台 百度搜索学堂

Public @ 2022-06-28 15:22:06

【院长帮帮忙】资讯页不收录,原来是抢发惹的祸(第四期)

里约奥运会结束了,资讯站点的小编们终于可以松口气了,可有些SEOer却高兴不起来:编辑辛苦抢先制作的原创稿件,百度却不!收!录!院长奥运会期间接到了四五起这样的反馈,经追查,原来是站点的抢发行为不够友好,导致spider抓取失败。结论:1,页面制作完成后再放到spider可以发现的地方,这样才能达到最好的抓取效果。2,页面未对外公开之前,千万不要通过工具推送给百度呀。接到站长反馈后,院长联系了sp

Public @ 2009-06-13 15:22:04

更多您感兴趣的搜索

0.423754s