通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
网址规范化（URL canonicalization）是SEO工作中经常遇到，因而必须了解的一个重要步骤。就我检查过的网站来看，99%的网站有各种各样、程度不同的URL规范化问题。什么是网址规范化？网址规范化问题指的是网站上由于种种原因，同一个页面出现多个网址，搜索引擎挑选显示的URL有可能不是最恰当的、站长想要的那个URL网址。网址规范化就是通过一些SEO技术手段，帮助搜索引擎判断出真正的、站长
Apache制作404页面： 1. 在网站根目录下创建一个名为“errors”的文件夹。 2. 在“errors”文件夹中创建一个名为“404.html”的文件，这将是你的404错误页面。 3. 在“404.html”文件中添加自定义内容，例如：您所寻找的页面不存在或已被删除。 4. 在httpd.conf文件中添加下面的代码： ``` ErrorDocument 404 /errors
对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态URL ，就像一个无限循环的“黑洞”将spider困住，Baiduspider浪费了大量资源抓取的却是无效网页。比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，
robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全
