点 HTTP状态代码是指网站服务器对用户请求的响应结果。根据不同的HTTP状态代码，搜索引擎可以了解网页更新的频率，以及网页存在的情况，从而判断是否应该继续Crawl你的站点： HTTP 200：这是最常见的状态码，表示请求成功。搜索引擎会解析服务器返回的网页内容，并继续向您的站点爬取其他页面。 HTTP 301/302：这些状态码表示链接已经更改，搜索引擎会更新当前网页的链接，并继续爬取新的链接。 HTTP 404：这个状态码表示网页不存在，搜索引擎会忽略这个页面，并爬取其它可用的页面。 HTTP 403：这个状态码表示服务器拒绝了用户请求，搜索引擎会终止此次爬取行为，并跳过此页面。
在百度C2C产品“百度有啊”即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是“杜绝不良商家欺诈”。在技术层面，淘宝屏蔽百度的方法是，在网站的robots.txt文件中加上如下内容：User-agent: BaiduspiderDisallow: /但实际上这种方法并不能完全屏蔽百度的爬虫，至今在百度上输入site:taobao.com还是可以看
有以下几种方式可以让 sogou spider 不抓取你的网站： 1. 使用 robots.txt 文件。在网站根目录下添加 robots.txt 文件，并加入以下代码： User-agent: Sogou Disallow: / 这将告诉 Sogou 爬虫不要访问网站的任何页面和文件。 2. 使用 meta 标签。在网站的头部添加以下 meta 标签： 这将告诉所有的搜索引擎爬虫不
近期，百度站长平台发现有一些网站把未建好的页面放到线上，并且这些页面在被百度抓取的时候返回码是404，于是页面被百度抓取后，会被当成死链直接删除。但是这个页面在第二天或者过几天就会建好，并上线到网站内展现出来，但是由于之前已经被百度当做死链删除，所以要再次等这些链接被发现，然后抓取，才能展现，这样的操作最终会导致一些页面在一段时间内不会在百度出现。比如某个大型门户网站爆出大量新闻时效性很强的专题未
我认为503状态码最大的作用是告知搜索引擎：现在服务器压力过大，网站(某个网页)稍后再抓取，503是指目前无法使用服务器(由于超载或进行停机维护)。通常，这只是一种暂时的状态。按照百度的说法，网站关闭或其他临时情况，这个时候网站应该返回：“503 Service Temporarily Unavailable”!使用503状态码，而不是404错误页面。如果网站需要临时维护或者未建立好就上线的页面，
