爬行和抓取 是搜索引擎工作的第一步，完成数据收集任务。
1、蜘蛛：
搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。
2、跟踪链接：
为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也是搜索引擎蜘蛛这个名称的由来。
3、吸引蜘蛛：
理论上蜘蛛能爬行和抓取所有页面，但实际上不能，也不会这么做。SEO人员想要让自己的更多页面被收录，就要想方设法吸引蜘蛛抓取。
4、地址库：
为了避免重复爬行和抓取网址，搜索引擎会建立一个地址库，记录已经被发现还没有抓取的页面，以及已经被抓取的页面。
5、文件储蓄：
搜索引擎蜘蛛抓取的数据存入原始页面数据库。其他的页面数据与用户浏览器得到的HTML是完全一样的。每个URL都是这样一个独特的文件编号。
来源：搜外网
搜索引擎优化（SEO）是搜索引擎有好的收录网页的过程，适当的SEO有利于蜘蛛爬行你的网站，使你的内容符合搜索引擎算法，以便确认它与关键词高度相关。优化的目的就是使网页的内容便于蜘蛛理解，下面我就以百度新收录的一篇内容来进行说明，我以一个完整标题进行搜索，其目的是能反映出更多关键词在百度自然搜索的结果页面，能更好的说明搜索引擎是如何抓取你的网页的。搜索引擎如何抓取你的网页 网站优化 SEO优化 SE
搜索引擎的基本工作原理是：用户向搜索引擎输入一系列关键词，搜索引擎会从自身拥有的网页数据库中根据相关算法去检索出匹配度最高的搜索结果进行显示和返回给用户。 搜索引擎的基本流程包括： 1. 网页爬虫：搜索引擎会通过程序自动爬取网页上的数据。 2. 网页索引：搜索引擎会把所有爬取的数据进行索引，并在索引中建立统一的编号，以便后续的检索。 3. 网页分类：搜索引擎会把所有索引的内容进行分类，
百度曾在站长贴吧里做过这样一个回复：从用户体验角度，“有些转载未必比原创差”。比方一篇科技原创博文，被知名门户网站的科技频道转载。如果这种转载保留原创者姓名和出处链接，实际上对原创者是有利的，因为起到了更好的传播效果。只是国内的转载，很多是掐头去尾，使原创者比较受伤。据资料表明近似重复网页的数量占网页总数的的比较高达全部页面的29%，而完全相同的页面大约占全部页面的22%。很多站长都会抱怨，自己写
用户行为方式怎样影响搜索引擎排名结果，是很多SEO一直关心探讨的问题。前一阵在点石论坛上就看到关于在百度大量点击搜索结果中自己的网站，从而进一步提高排名的讨论。其逻辑是，搜索结果中的某个网站被点击次数越多，说明越有用，用户越喜欢，搜索引擎会更进一步提高这个网站的排名。不过这种用户行为方式是噪声很大的数据，极容易作弊。搜索引擎要在这些数据中提炼出精华非常困难。前几天Google员工JohnMu就在G
