Categories


Tags


搜索引擎网页去重算法分析

相关统计数据表明:互联网上近似重复的网页的数量占网页总数量的比例高达29%,完全相同的网页大约占网页总数量的22%.研究表明,在一个大型的信息采集系统中,30%的网页是和另外70%的网页完全重复或近似重复的。

即:互联网的网页中相当高的比例的网页内容是近似相同或完全相同的!

搜索爬虫抓取会产生网页重复的类型:

1.多个URL地址指向同一网页以及镜像站点

如:www.sina.com 和www.sina.com.cn

指向同一个站点。

2. 网页内容重复或近似重复

如抄袭、转摘的内容,垃圾信息等

网页内容近似重复检测的两种应用场合:

一:在用户搜索阶段

目标是根据与用户给定的查询词找到已有索引列表中近似重复的文档,并排序输出。

二:爬虫抓取发现阶段

对一个新的网页,爬虫程序通过网页去重算法,最终决定是否对其索引。

搜索引擎网页去重算法分析 搜索引擎 好文分享 第1张

搜索引擎架构

近似重复网页类型,根据文章内容和网页布局格式的组合分为4种形式:

一:两篇文档在内容和布局格式上毫无区别,则这种重复称为完全重复页面。

二:两篇文档内容相同,但布局格式不同,则这种重复称为内容重复页面。

三:两篇文档有部分重要的内容相同,并且布局格式相同,则这种重复称为布局重复页面。

四:两篇文档有部分重要内容相同,但布局格式不同,则这种重复称为部分重复页面。

重复网页对搜索引擎的不利影响:

正常情况下,非常相似的网页内容不能或只能给用户提供少量的新信息,但在对爬虫进行抓取、索引和用户搜索 会消耗大量的服务器资源。

重复网页对搜索引擎的好处:

如果某个网页重复性很高,往往是其内容比较比较受欢迎的一种体现,也预示着该网页相对比较重要。应予以优先收录。当用户搜索时,在输出结果排序时,也应给与较高的权重。

重复文档的处理方式:

1.删除

2.将重复文档分组

近似重复网页举例:

搜索引擎网页去重算法分析 搜索引擎 好文分享 第2张

搜索引擎网页去重算法分析 搜索引擎 好文分享 第3张

近似重复网页举例

搜索引擎近似重复检测流程:

搜索引擎网页去重算法分析 搜索引擎 好文分享 第4张

搜索引擎近似重复检测流程

通用网页去重算法框架:

搜索引擎网页去重算法分析 搜索引擎 好文分享 第5张

通用网页去重框架

SimHash文档指纹计算方法

搜索引擎网页去重算法分析 搜索引擎 好文分享 第6张

SimHash文档指纹计算方法

说明:

1)从文档中提取具有权值的 特征集合来表示文档。如:假设特征都是由词组成的,词的权值由词频TF 来确定。

2)对每一个词,通过哈希算法生成N位(通常情况是64位或更多)的二进制数值,如上图,以生成8位的二进制值为例。每个词都对应各自不同的二进制值。

3)在N维(上图为8维)的向量V中,分别对每维向量进行计算。如果词相应的比特位的二进制数值为1,则对其特征权值进行加法运算;如果比特位数值为0,则进行减法运算,通过这种方式对向量进行更新。

4)当所有的词都按照上述处理完毕后,如果向量V中第i维是正数,则将N位的指纹中第i位设置为1,否则为0。

Jacccard相似性计算方法:

搜索引擎网页去重算法分析 搜索引擎 好文分享 第7张

Jacccard相似性计算方法

如上图,A和B代表2个集合,集合C代表集合A和B相同的部分。 A集合包含5个元素,B集合包含4个元素,而两者相同的元素有2个,即集合C的大小是2. Jaccard计算两个集合相同的元素占总元素的比例。

如图中,集合A和集合B共有7个不同的元素,相同元素个数2个,所以集合A和集合B的相似性为:2/7

在实际应用中,集合A 和 集合B 的特征都会经过哈希计算,转化成N位(64位甚至更多)的二进制数值,从而将集合A和B的相似性比较转化为二进制数值的比较,称为“海明距离”的比较。两个位数相同(如均为64位)相同位置上不同的二进制数值的个数称为“海明距离”。

对给定的文档A,假设经过特征抽取–哈希指纹运算后的二进制数值是:1 0 0 0 0 0 1 0

对给定的文档B, 假设经过特征抽取—哈希指纹运算后的二进制数值是:0 0 1 0 0 0 0 1

经过比较,文档A 和 B的 第1位、第3位、第7位、第8位四个位置的数值不同,即海明距离为4. 两个文档的二进制位数不同的个数越多,海明距离越大。海明距离越大,说明两个文档不相似性越大,反之,则越小。

不同搜索引擎可能会以不同的海明距离值 来判断两个网页内容是否近似重复。相关分析认为,一般情况下,对一个64位的二进制数值来说,将海明距离<=3作为判断是否近似重复的标准比较合理.

作者:AlbertTan

来源:卢松松博客


Public @ 2020-07-15 16:21:55

搜索引擎工作流程

搜索引擎工作流程主要有数据采集、数据预处理、数据处理、结果展示等阶段。在各工作阶段分别使用了网络爬虫、中文分词、大数据处理、数据挖掘等技术。网络爬虫也被称为蜘蛛或者网络机器人,它是搜索引擎抓取系统的重要组成部分。网络爬虫根据相应的规则,以某些站点作为起始站点通过各页面上的超链接遍历整个互联网,利用URL弓I用根据广度优先遍历策略从一个html文档爬行到另一个html文档来抓取信息。中文分词是中文搜

Public @ 2017-09-27 16:22:24

爬行和抓取

爬行是指动物的行动方式,通常涉及身体的爬行和爬行的动作,如爬行动物(如蛇和蜥蜴)和爬行昆虫(如蚂蚁和蜘蛛)。 抓取是指通过握住或接触来获取动物或物体的行动。抓取可以包括动物的牙齿、爪子、手指、手掌和指甲等器官或物品如工具或表面。抓取通常是为了获取食物或其他资源,或者以进行自我保护或攻击。

Public @ 2023-04-16 07:00:07

搜索引擎收录网页的四个阶段

作为SEO从业者,不仅要被搜索引擎抓取,还要被收录,最重要的是在收录后有良好的排名,本文将简单分析下搜索引擎收录网页的四个阶段。每个网站、每个网页的排名都是不一样的,看看你的网站处于哪个阶段呢?搜索引擎收录网页的四个阶段 PageRank 搜索引擎 建站教程 第1张网页收录第一阶段:大小通吃搜索引擎的网页抓取都是采取「大小通吃」的策略,也就是把网页中能发现的链接逐一加入到待抓取URL中,机械性的将

Public @ 2012-08-25 16:22:23

数据分析:如何追踪访客初始来源

了解网站的运营情况、了解用户构成是保证网站健康持续发展的重要基础,所以看数据做分析是网站优化人员每日必做的工作。上周平台发布了《网站分析白皮书(站长版)》,本周小编又发现了一篇非常好的实战型文章《在Google Analytics中如何跟踪访客的初始来源》,作者马骏是已获得GOOGLE Analytics IQ认证的网站访客行为分析师,得知平台要转载此文章后很贴心地将原文中的英文内容都做成了中文的

Public @ 2020-09-06 16:21:48

更多您感兴趣的搜索

0.448694s