爬行和抓取 是搜索引擎工作的第一步，完成数据收集任务。
1、蜘蛛：
搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。
2、跟踪链接：
为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也是搜索引擎蜘蛛这个名称的由来。
3、吸引蜘蛛：
理论上蜘蛛能爬行和抓取所有页面，但实际上不能，也不会这么做。SEO人员想要让自己的更多页面被收录，就要想方设法吸引蜘蛛抓取。
4、地址库：
为了避免重复爬行和抓取网址，搜索引擎会建立一个地址库，记录已经被发现还没有抓取的页面，以及已经被抓取的页面。
5、文件储蓄：
搜索引擎蜘蛛抓取的数据存入原始页面数据库。其他的页面数据与用户浏览器得到的HTML是完全一样的。每个URL都是这样一个独特的文件编号。
来源：搜外网
百度搜索引擎工作原理大致如下： 1. 爬虫抓取网页：百度的爬虫程序会从互联网抓取网页并将其存入数据库中。 2. 预处理：百度对所有网页进行预处理，这个过程会去除无用信息、提取关键词、计算每个网页的PageRank等。 3. 查询处理：当用户输入关键词进行搜索时，百度会将查询处理成一组词条，并进行分类别处理，比如确定搜索意图是找资讯、图片、视频等。 4. 检索匹配：百度搜索引擎会对数据库中的
PPCblog.com呈现给我们一幅由Jess Bachman（在WallStats.com工作）精心描绘的示意图，这张流程图展示了每天拥有3亿次点击量的Google搜索按钮背后搜索引擎在那不到1秒的响应时间内所进行的处理。这张流程图演示了在你点击Google搜索按钮后，在Google返回查询结果前那一眨眼的功夫里，Google是如何处理你的搜索请求的？这可是搜索巨人Google年赢利额高达200
搜索引擎是通过比较网页URL，内容和相关属性来删除重复网页的，具体步骤如下： 1. 搜索引擎收集器(Crawler)会在网络上发现新网页并收集，此时会有一定概率发现相同的网页，并添加到收集器的索引中去。 2. 收集器会识别新的网页，把重复的网页排除。 3. 然后，搜索引擎把新索引serves给布置在 Indexer(索引器)中，执行深入索引，会把相同内容的文章及URL排除，仅保留一条记录
（1）爬虫：从互联网爬取原始网页数据，存储于文档知识库服务器。（2）文档知识库服务器：存储原始网页数据，通常是分布式Key-Value数据库，能根据URL/UID快速获取网页内容。（3）索引：读取原始网页数据，解析网页，抽取有效字段，生成索引数据。索引数据的生成方式通常是增量的，分块/分片的，并会进行索引合并、优化和删除。生成的索引数据通常包括：字典数据、倒排表、正排表、文档属性等。生成的索引存储
