通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
永久重定向也被称为301重定向，是一条对网站阅览器的指令来显现阅览器被要求显现的不同的URL，当一个网页经历过其URL的最终一次改变今后时运用，一个永久定向是一种效劳器端的重定向，可以被查找引擎蜘蛛适当地处理
最初，链接多半是为了介绍其它连接给访问者，然而，随着搜索引擎门户网站(如百度，谷歌)的崛起和介入，一个网站外部链接的作用变得更加重要了，用户通过超级链接获得丰富的网站内容，搜索引擎蜘蛛也是沿着一个网站的页面链接层层跟踪深入，完成对该网站的信息抓取。链接是搜索引擎判断一个网站是否优秀，是否重要的一个重要因素。尤其是Google来说，当有很多网站主动连接一个网站时，搜索引擎会认为那个网站很重要，给予的
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
头条搜索Robots匹配说明是指在头条搜索过程中，搜索引擎会先根据用户的搜索关键词和搜索历史等信息，匹配出相关内容并展示给用户。而在这个过程中，搜索引擎会使用一种名为Robots的自动化程序来对网站进行定期的抓取和索引，以保持搜索结果的实时性和准确性。Robots程序会自动遵循搜索引擎协议和规则，对网站进行扫描和抓取，同时遵循相关网站的robots.txt文件中的规则来限制抓取行为。因此，网站发布
