Categories


Tags


【院长帮帮忙】页面无用时间信息导致网页不被爬虫抓取(第一期)

在【院长帮帮忙】栏目露过面的站点是编织汇(www.bianzhihui.com),该站点通过反馈中心反馈页面内容迟迟不被抓取,经百度工程师追查,原来是因为页面上的无用时间信息——没有想到是不是?同学们快来看看这个案例吧。也想让院长帮助追查吗?快来看看这里!

站点求助:现象

编织汇网站内容发布后几个礼拜都未曾收录。案例如下:

http://www.bianzhihui.com/t/6717(教程详细页面举例)

http://www.bianzhihui.com/u/12306 (用户页面举例)

http://www.bianzhihui.com/h/154 (编织花样页面举例)

我们已将这些url放入sitemap,并使用了百度统计的集成的JS推荐,但是未曾有改善。

站点求助:自查

根据反馈中心的回复,使用抓取异常工具诊断:未发现异常

院长出手,内部追查

工程师结论: spider抓取很及时,但因为该网站没有设置内容产出时间,网站底部却有个老旧时间日期,导致spider误以为网页内容老旧(具体策略较复杂,在此不做赘述)。建议增加页面内容产生时间,去掉没有必要的时间信息

*以上为旧页面截图,“2014年9月9日”对时间识别造成干扰。

站点总结:

1,网页上切忌勿乱加时间,如我们网站的(始于2014年9月9日)这种时间是一个大忌

2,网页内容尽可能加上产出时间,也就是发布时间

3,百度site的结果时间和权重并无太多关系

4,跟百度沟通的时候,一定要条例清晰,证据确凿。自身的问题一定要先排查准确。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2015-07-21 15:22:04

Chrome浏览器模拟百度蜘蛛访问

Chrome浏览器可以通过安装相关的扩展程序来模拟百度蜘蛛访问。 以下是具体步骤: 1. 在Chrome浏览器中安装User-Agent Switcher for Chrome扩展程序。 2. 在浏览器的顶部右侧,点击扩展程序图标,然后选择User-Agent Switcher for Chrome。 3. 点击“Options”按钮,然后选择“Add new user-agent”,输入你要

Public @ 2023-03-31 03:00:23

Google爬行缓存代理(crawl caching proxy)

前两天人们注意到Google Adsense蜘蛛所抓取的网页会出现在搜索结果中。Matt Cutts在他的博客里迅速的做出了回应,对这种现象做了进一步解释。简单来说,Google在完成大爸爸数据中心升级后,各种蜘蛛抓取网页的机制产生了变化。不是各个蜘蛛直接抓取网页,而是由一个爬行缓存代理crawl caching proxy抓取网页,然后不同的蜘蛛从这个缓存中获取内容,从而节省了带宽。Matt C

Public @ 2019-08-28 16:22:27

【院长帮帮忙】第二期:服务器限制外网访问造成主动推送失败

《院长帮帮忙》栏目开始运营以后受到了广大站长欢迎,院长每天都会收到各种问题求助。为了更多站长获得收益,我们从中选取了最具有代表性的问题展现给大家。项目背景:和讯网参加星火计划2.0内测,按照站长平台主动提交技术说明代码,共提交两次,均返回报错。下面我们分享下整个case的排查过程:一、提交执行过程首先,按照链接主动提交的技术标准进行提交,具体内容参照《主动链接提交》。1、第一次提交代码curl -

Public @ 2017-05-18 15:22:02

【院长帮帮忙】移动适配不稳定、不生效,可能是这些原因造成的!(第五期)

1. 平台兼容性问题:不同移动设备或操作系统的适配方式可能不同,需要适配的平台越多,问题也就越多。解决方案是在开发前进行充分的市场调研和测试,确保在主流平台上的适配稳定生效。 2. 分辨率适配问题:不同移动设备的屏幕分辨率不同,可能导致界面显示异常或排版错乱。解决方案是通过媒体查询、百分比布局等技术手段,使页面能够根据不同分辨率自动适配。 3. 浏览器兼容性问题:不同浏览器对于HTML、CSS

Public @ 2023-07-27 10:00:35

更多您感兴趣的搜索

0.475927s