Categories


Tags


搜索引擎如何抓取你的网页

搜索引擎优化(SEO)是搜索引擎有好的收录网页的过程,适当的SEO有利于蜘蛛爬行你的网站,使你的内容符合搜索引擎算法,以便确认它与关键词高度相关。

优化的目的就是使网页的内容便于蜘蛛理解,下面我就以百度新收录的一篇内容来进行说明,我以一个完整标题进行搜索,其目的是能反映出更多关键词在百度自然搜索的结果页面,能更好的说明搜索引擎是如何抓取你的网页的。

搜索引擎如何抓取你的网页 网站优化 SEO优化 SEO推广 第1张

(图一:百度最常见的自然搜索结果列表)

SEOer通常关注的是网页主体部分的自然搜索结果,百度和Google搜索结果页面大致相同,搜索结果页面通常为顶部、右侧、尾部均为广告链接,热门关键词会有广告,而我用这么长的词语就属于冷门词语,没有广告。

页面标题很重要

如图一所示,搜索引擎通常抓取的页面标题是HTML代码中的标题Title部分,所以说页面标题是写法对搜索引擎排名有重要的意义,通常页面标题Title的优化格式为:文章标题——栏目标题——网站标题。

它不一定只展示description

而第二行的描述部分通常会截取description部分,但更多时候会抓取正文的前200字,如果你要说具体显示description还是截取正文,是和用户搜索的关键词有关。比如图一中,百度截取了<h1>中的关键词,因为卢松松博客的中有“互联网”这个关键词。下图能直观的反应出这些问题。

搜索引擎如何抓取你的网页 网站优化 SEO优化 SEO推广 第2张

(图二:搜索引擎抓取的关键词分布一览)

把图一和图二结合起来看,我们就能清楚的分辨出,百度到底展示了网页的哪些部分,title、<h1>、截取正文和内容部分的关键词。;

用户搜索的关键词在搜索结果中都用红色高亮显示,用户可以非常迅速地看到该网页是否是自己想要的,通常百度和Google的搜索结果类似,我在这里就不多说了。

关键词的密度与分布

通过上面两张图,可以看出我搜索的有两大关键词“互联网”和“香港人”,通过图二我们可以看出,这两个关键词在我列出的6大部分中都有显示,它们均匀的分布在内容的各个部分,尤其是标题和title部分。当然由于我搜索关键词的问题,把整个标题都搜了一遍,所以分布的比较均匀。

而关键词的密度,至少我从来就没有在意过,如果在写文章的同时还考虑关键词密度的话是很累的。

我想,通过以上简单分析,大家应该能大致了解搜索引擎抓取你网页的什么部分了吧?

来源:卢松松博客


Public @ 2019-08-19 16:22:21

搜索引擎技术揭密:中文分词技术

信息的飞速增长,使搜索引擎成为人们查找信息的首选工具,Google、百度、中国搜索等大型搜索引擎一直是人们讨论的话题。随着搜索市场价值的不断增加,越来越多的公司开发出自己的搜索引擎,阿里巴巴的商机搜索、8848的购物搜索等也陆续面世,自然,搜索引擎技术也成为技术人员关注的热点。搜索引擎技术的研究,国外比中国要早近十年,从最早的Archie,到后来的Excite,以及altvista、overtur

Public @ 2011-06-23 16:12:35

搜索引擎是怎么删除重复网页的

搜索引擎是通过比较网页URL,内容和相关属性来删除重复网页的,具体步骤如下: 1. 搜索引擎收集器(Crawler)会在网络上发现新网页并收集,此时会有一定概率发现相同的网页,并添加到收集器的索引中去。 2. 收集器会识别新的网页,把重复的网页排除。 3. 然后,搜索引擎把新索引serves给布置在 Indexer(索引器)中,执行深入索引,会把相同内容的文章及URL排除,仅保留一条记录

Public @ 2023-02-24 23:12:24

搜索引擎工作原理

基本流程抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫(Spider)。爬虫顺着网页中的超链接,从这个网站爬到另一个网站,通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍,理论上,从一定范围的网页出发,就能搜集到绝大多数的网页。处理网页。搜索引擎抓到网页后,还要做大量的预处理工作,才能提供检索服务。其中,最重要的就是提取关键词,建立索引库和索

Public @ 2015-11-08 16:21:49

搜索引擎的工作原理

有人说,搜索引擎技术似乎不需要本地化,这一看就是彻底不懂这个领域的人讲的。当然,实话说,如果有人说,google在中文本地化方面做得非常好,我是可以部分同意的,同意的比例可能会比google工程师少一些。但我相信google工程师也会告诉你,搜索引擎是需要本地化的。今天写篇科普文,讲讲搜索引擎的技术机理和市场竞争的一些特点。当然,作为从事或有兴趣从事流量运营的朋友,是可以用另一个角度去理解本文。【

Public @ 2010-01-10 16:21:55

更多您感兴趣的搜索

0.590826s