Categories


Tags


Google爬行缓存代理(crawl caching proxy)

前两天人们注意到Google Adsense蜘蛛所抓取的网页会出现在搜索结果中。Matt Cutts在他的博客里迅速的做出了回应,对这种现象做了进一步解释。

简单来说,Google在完成大爸爸数据中心升级后,各种蜘蛛抓取网页的机制产生了变化。不是各个蜘蛛直接抓取网页,而是由一个爬行缓存代理crawl caching proxy抓取网页,然后不同的蜘蛛从这个缓存中获取内容,从而节省了带宽。

Matt Cutts的帖子比较完整的翻译可以在幻灭和小添的博客里看到。

我要补充的是:第一:Matt Cutts特意指出,这个新的抓取机制不会让你的网页被抓取的更快,也不会对排名有任何影响。这个爬行缓存代理也不影响各个蜘蛛本来应该爬行的频率和时间表。只不过各个蜘蛛不直接爬行网页,而是从缓存中获取。

第二:更引起我注意的是,Matt Cutts说这个爬行缓存代理是大爸爸更新之后才有的。因为运行的很顺利,在其他人发现这种现象之前,Matt Cutts自己没意识到这种新的机制已经运行了。这说明Matt Cutts并不能掌握所有各个部门的最新情况,那么还有什么是Matt Cutts也还不知道的呢?

第三:Matt Cutts讲这个机制的目标是节省带宽,而不是隐藏页面(cloaked page)检测。我觉得弦外之音是,利用同样的技术,Google完全可以用其他的蜘蛛来检测隐藏页面。当然也可能是我过度敏感了。

另外,最近很多网站出现被收录的页面数目急剧下降的现象,我怀疑和这个新的页面抓取方法造成的混乱有关。很显然不是排名算法改变导致收录的网页数目下降,而是蜘蛛爬行的问题。

来源:SEO每天一贴 Zac 昝辉


Public @ 2019-08-28 16:22:27

Chrome浏览器模拟百度蜘蛛访问

某些网站可能针对搜索引擎挂马(百度/360/搜狗等),Chrome浏览器可以安装User-Agent Switcher for Chrome模拟百度蜘蛛来访问网页,如果是针对搜索引擎挂马的就会显示。下载蜘蛛模拟软件,模拟蜘蛛访问查看非法信息。准备工作已经安装Google Chrome浏览器安装扩展访问 User-AgentSwitcher_1_0_43.crx 并下载这个扩展按照下图打开Chrom

Public @ 2019-10-16 16:22:26

sogou spider 喜欢收录什么样的页面

内容优良而独特的页面。如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。链接层次较浅的页面。过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。如果是动态网页,请控制参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。来源:搜狗资源平台

Public @ 2021-05-15 15:38:49

哪些网站垃圾蜘蛛可以屏蔽?屏蔽无流量搜索引擎抓取

网站做的越大,蜘蛛越多。可是有时候会发现:网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了,严重的占用了服务器的资源。这个时候要怎么办呢?百度蜘蛛:Baiduspider谷歌蜘蛛:Googlebot360蜘蛛:360SpiderSOSO蜘蛛:Sosospider神马蜘蛛:YisouSpider微软必应: BingBot在国内,我们不要把这几个蜘蛛使用robots.txt屏蔽就可以了,至于其他的,都可以

Public @ 2020-10-09 16:22:29

Google爬行缓存代理(crawl caching proxy)

Google爬行缓存代理是Google搜索引擎通过代理服务器对网站进行爬行并缓存网页内容的一种技术。该技术可提高网站的访问速度和稳定性,同时也有利于搜索引擎的优化。 当用户访问一个网站时,Google爬行缓存代理会首先检查其缓存中是否有该网站的内容,如果有,则将缓存中的内容返回给用户;如果没有,则该代理服务器会向该网站服务器发送请求,并将获取到的内容缓存起来,以备将来的访问。 Google爬行

Public @ 2023-06-08 01:50:10

更多您感兴趣的搜索

0.531076s