Categories


Tags


搜索引擎如何抓取你的网页

搜索引擎优化(SEO)是搜索引擎有好的收录网页的过程,适当的SEO有利于蜘蛛爬行你的网站,使你的内容符合搜索引擎算法,以便确认它与关键词高度相关。

优化的目的就是使网页的内容便于蜘蛛理解,下面我就以百度新收录的一篇内容来进行说明,我以一个完整标题进行搜索,其目的是能反映出更多关键词在百度自然搜索的结果页面,能更好的说明搜索引擎是如何抓取你的网页的。

搜索引擎如何抓取你的网页 网站优化 SEO优化 SEO推广 第1张

(图一:百度最常见的自然搜索结果列表)

SEOer通常关注的是网页主体部分的自然搜索结果,百度和Google搜索结果页面大致相同,搜索结果页面通常为顶部、右侧、尾部均为广告链接,热门关键词会有广告,而我用这么长的词语就属于冷门词语,没有广告。

页面标题很重要

如图一所示,搜索引擎通常抓取的页面标题是HTML代码中的标题Title部分,所以说页面标题是写法对搜索引擎排名有重要的意义,通常页面标题Title的优化格式为:文章标题——栏目标题——网站标题。

它不一定只展示description

而第二行的描述部分通常会截取description部分,但更多时候会抓取正文的前200字,如果你要说具体显示description还是截取正文,是和用户搜索的关键词有关。比如图一中,百度截取了<h1>中的关键词,因为卢松松博客的中有“互联网”这个关键词。下图能直观的反应出这些问题。

搜索引擎如何抓取你的网页 网站优化 SEO优化 SEO推广 第2张

(图二:搜索引擎抓取的关键词分布一览)

把图一和图二结合起来看,我们就能清楚的分辨出,百度到底展示了网页的哪些部分,title、<h1>、截取正文和内容部分的关键词。;

用户搜索的关键词在搜索结果中都用红色高亮显示,用户可以非常迅速地看到该网页是否是自己想要的,通常百度和Google的搜索结果类似,我在这里就不多说了。

关键词的密度与分布

通过上面两张图,可以看出我搜索的有两大关键词“互联网”和“香港人”,通过图二我们可以看出,这两个关键词在我列出的6大部分中都有显示,它们均匀的分布在内容的各个部分,尤其是标题和title部分。当然由于我搜索关键词的问题,把整个标题都搜了一遍,所以分布的比较均匀。

而关键词的密度,至少我从来就没有在意过,如果在写文章的同时还考虑关键词密度的话是很累的。

我想,通过以上简单分析,大家应该能大致了解搜索引擎抓取你网页的什么部分了吧?

来源:卢松松博客


Public @ 2019-08-19 16:22:21

百度搜索引擎工作原理-1-抓取建库

百度搜索引擎的工作原理首先是抓取建库,这是一个自动化的过程,百度通过多种方式来收集Web页面。百度拥有多台服务器,它们负责索引世界上大量的网站,以及持续的更新内容。 百度抓取网页的方式有两种,一种是爬虫,它们自动访问web页面,抓取那些有可能带有搜索关键字的页面;另一种是人工抓取,百度人工审查网页,将其记录到百度索引数据库中。 抓取到的网页都会放入百度索引库中,该库中包含了网页的具体内容、

Public @ 2023-03-02 00:00:21

搜索引擎的工作原理

有人说,搜索引擎技术似乎不需要本地化,这一看就是彻底不懂这个领域的人讲的。当然,实话说,如果有人说,google在中文本地化方面做得非常好,我是可以部分同意的,同意的比例可能会比google工程师少一些。但我相信google工程师也会告诉你,搜索引擎是需要本地化的。今天写篇科普文,讲讲搜索引擎的技术机理和市场竞争的一些特点。当然,作为从事或有兴趣从事流量运营的朋友,是可以用另一个角度去理解本文。【

Public @ 2010-01-10 16:21:55

搜索引擎怎样抓到你?

用户行为方式怎样影响搜索引擎排名结果,是很多SEO一直关心探讨的问题。前一阵在点石论坛上就看到关于在百度大量点击搜索结果中自己的网站,从而进一步提高排名的讨论。其逻辑是,搜索结果中的某个网站被点击次数越多,说明越有用,用户越喜欢,搜索引擎会更进一步提高这个网站的排名。不过这种用户行为方式是噪声很大的数据,极容易作弊。搜索引擎要在这些数据中提炼出精华非常困难。前几天Google员工JohnMu就在G

Public @ 2015-05-11 16:21:51

爬行和抓取

爬行和抓取在计算机领域中都指数据采集的过程。 爬行是指使用网络爬虫程序,通过抓取网页上的数据来建立一个数据集。例如,搜索引擎就使用网络爬虫程序来收集网页上的内容,以便用户进行搜索。 抓取则是指通过编写程序从特定的网站或数据源上抓取数据,以便进行分析或者处理。例如,电商平台可以使用抓取程序从竞争对手的网站上抓取商品价格信息,以便制定自己的价格策略。 总的来说,爬行和抓取都是数据采集的方式,只是

Public @ 2023-04-07 23:50:49

更多您感兴趣的搜索

0.510716s