通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
301重定向是一种网页重定向方式，它通知浏览器将请求的URL永久重定向到另一个URL。下面是一些与301重定向相关的问题和答案： 1. 什么是301重定向？ 答：301重定向是一种HTTP状态码，用于永久性重定向用户所请求的URL到另一个URL。 2. 301重定向和302重定向有什么不同？ 答：301重定向是永久性重定向，告诉搜索引擎和浏览器该URL已经永久地移动到了其他位置，而
亲爱的网站管理员，很高兴的告诉大家，百度站长平台robots工具全新升级，升级后能够实时查看网站在百度中已生效的的robots文件，并支持对robots进行语法及逻辑校验，有助于站长更清晰的管理网站的robots文件，避免错误的封禁搜索引擎。功能亮点：1、实时查看网站在百度中已生效的robots文件内容并可通知百度更新：升级后的robots能够查看网站已生效的robots文件，同时会展现网站最新的
设置搜索robots协议的后果针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。来源：百度搜索资源平台
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
