点 HTTP状态代码是指网站服务器对用户请求的响应结果。根据不同的HTTP状态代码，搜索引擎可以了解网页更新的频率，以及网页存在的情况，从而判断是否应该继续Crawl你的站点： HTTP 200：这是最常见的状态码，表示请求成功。搜索引擎会解析服务器返回的网页内容，并继续向您的站点爬取其他页面。 HTTP 301/302：这些状态码表示链接已经更改，搜索引擎会更新当前网页的链接，并继续爬取新的链接。 HTTP 404：这个状态码表示网页不存在，搜索引擎会忽略这个页面，并爬取其它可用的页面。 HTTP 403：这个状态码表示服务器拒绝了用户请求，搜索引擎会终止此次爬取行为，并跳过此页面。
做过SEO或站长的都应该知道，网站要想做排名就必须使网站文章先收录，而网站内容收录由跟搜索引擎蜘蛛的来访抓取有很大的关系。搜索引擎蜘蛛，又被称为网页爬虫，网络机器人，在FOAF社区中间，也经常被称为网页追逐者，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外它还有一些不常使用的名字，如：蚂蚁，自动索引，模拟程序或者蠕虫。那么，对于一个网站来说，是不是来网站爬行的搜索引擎蜘蛛越多越好呢
1. 在robots.txt文件内添加一行禁止Baiduspider访问的指令：User-agent: Baiduspider；Disallow: / 2. 添加http协议头，指示不要访问网站的任何网页：X-Robots-Tag: noindex，noarchive，nosnippet，nofollow 3. 将任何和Baiduspider相关的IP地址拉黑。
我认为503状态码最大的作用是告知搜索引擎：现在服务器压力过大，网站(某个网页)稍后再抓取，503是指目前无法使用服务器(由于超载或进行停机维护)。通常，这只是一种暂时的状态。按照百度的说法，网站关闭或其他临时情况，这个时候网站应该返回：“503 Service Temporarily Unavailable”!使用503状态码，而不是404错误页面。如果网站需要临时维护或者未建立好就上线的页面，
通过HTTP状态代码通通透透看搜索引擎怎么Crawl你的站。下面的表格是所有 HTTP 状态代码及其定义。代码指示2xx成功200正常；请求已完成。201正常；紧接 POST 命令。202正常；已接受用于处理，但处理尚未完成。203正常；部分信息 — 返回的信息只是一部分。204正常；无响应 — 已接收请求，但不存在要回送的信息。3xx重定向301已移动 — 请求的数据具有新的位置且更改是永久的。
