爬行和抓取 是搜索引擎工作的第一步，完成数据收集任务。
1、蜘蛛：
搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。
2、跟踪链接：
为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也是搜索引擎蜘蛛这个名称的由来。
3、吸引蜘蛛：
理论上蜘蛛能爬行和抓取所有页面，但实际上不能，也不会这么做。SEO人员想要让自己的更多页面被收录，就要想方设法吸引蜘蛛抓取。
4、地址库：
为了避免重复爬行和抓取网址，搜索引擎会建立一个地址库，记录已经被发现还没有抓取的页面，以及已经被抓取的页面。
5、文件储蓄：
搜索引擎蜘蛛抓取的数据存入原始页面数据库。其他的页面数据与用户浏览器得到的HTML是完全一样的。每个URL都是这样一个独特的文件编号。
来源：搜外网
作为SEO从业者，不仅要被搜索引擎抓取，还要被收录，最重要的是在收录后有良好的排名，本文将简单分析下搜索引擎收录网页的四个阶段。每个网站、每个网页的排名都是不一样的，看看你的网站处于哪个阶段呢?搜索引擎收录网页的四个阶段 PageRank 搜索引擎 建站教程 第1张网页收录第一阶段：大小通吃搜索引擎的网页抓取都是采取「大小通吃」的策略，也就是把网页中能发现的链接逐一加入到待抓取URL中，机械性的将
虽然搜索引擎排名技术和算法一直在提高，但我相信所有搜索引擎都或多或少有人工干预，就算最标榜一切以算法和自动化为目标的Google，也肯定有人工因素。去年就曾经有人报道（http://www.searchbistro.com/index.php?/archives/19-Google-Secret-Lab,-Prelude.html），Google在很多国家的大学招募学生，进行搜索引擎结果的评价工作
搜索引擎的工作原理可以简单地概括为以下几个步骤： 1. 搜索引擎的爬虫程序从网络上收集网页并建立一个索引，这个索引包括每个网页的关键词、标题、链接等信息。 2. 用户输入搜索关键词，搜索引擎会根据这个关键词来查找索引，找到与该关键词相关的网页。 3. 搜索引擎会对这些相关网页进行排序，通常是按照重要性和相关性等因素来排序，然后呈现给用户。 4. 用户点击搜索结果中的链接，进入相应网页。
百度曾在站长贴吧里做过这样一个回复：从用户体验角度，“有些转载未必比原创差”。比方一篇科技原创博文，被知名门户网站的科技频道转载。如果这种转载保留原创者姓名和出处链接，实际上对原创者是有利的，因为起到了更好的传播效果。只是国内的转载，很多是掐头去尾，使原创者比较受伤。据资料表明近似重复网页的数量占网页总数的的比较高达全部页面的29%，而完全相同的页面大约占全部页面的22%。很多站长都会抱怨，自己写
