爬行和抓取在计算机领域中都指数据采集的过程。 爬行是指使用网络爬虫程序，通过抓取网页上的数据来建立一个数据集。例如，搜索引擎就使用网络爬虫程序来收集网页上的内容，以便用户进行搜索。 抓取则是指通过编写程序从特定的网站或数据源上抓取数据，以便进行分析或者处理。例如，电商平台可以使用抓取程序从竞争对手的网站上抓取商品价格信息，以便制定自己的价格策略。 总的来说，爬行和抓取都是数据采集的方式，只是针对的对象不同，爬行是针对整个网络，抓取则是针对特定的网站或数据源。
搜索引擎检索系统是指实现引用文献资源检索、特定学科知识检索等服务的系统。包括主要用于进行引文检索的数据库管理系统、多元综合检索系统，浏览引擎，等。 其主要功能包括：引文的资源的收集、索引、目录和存储；对文献进行分类和检索；检索系统中相关检索结果的排序和显示；浏览系统中各式学术服务，比如新闻信息、拥有特定学科内容的网站；支持Web检索、模糊检索、多备份系统等功能，以确保检索准确性；在线的文献的
百度搜索引擎的工作原理首先是抓取建库，这是一个自动化的过程，百度通过多种方式来收集Web页面。百度拥有多台服务器，它们负责索引世界上大量的网站，以及持续的更新内容。 百度抓取网页的方式有两种，一种是爬虫，它们自动访问web页面，抓取那些有可能带有搜索关键字的页面；另一种是人工抓取，百度人工审查网页，将其记录到百度索引数据库中。 抓取到的网页都会放入百度索引库中，该库中包含了网页的具体内容、
搜索引擎接收到用户输入的搜索词后，需要对搜索词做一些处理，才能进入排名过程。搜索词处理包括以下几方面:（1）中文分词。与页面索引时一样，搜索词也必须进行中文分词，将查询字符串转换为以词为基础的关键词组合。分词原理与页面分词相同。（2）指令的处置。平时咱们在搜索时会输入多个词语，实在默认的情况下，搜索引擎把多个默认的词语都依照“与”来进行词语。比方你搜索“seo”“培训”时，搜索引擎会默认咱们输入的
相关统计数据表明：互联网上近似重复的网页的数量占网页总数量的比例高达29%，完全相同的网页大约占网页总数量的22%.研究表明，在一个大型的信息采集系统中，30%的网页是和另外70%的网页完全重复或近似重复的。即：互联网的网页中相当高的比例的网页内容是近似相同或完全相同的!搜索爬虫抓取会产生网页重复的类型：1.多个URL地址指向同一网页以及镜像站点如：www.sina.com 和www.sina.c
