通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
清晰的导航系统是网站设计的重要目标，对网站信息架构、用户体验影响重大。SEO也越来越成为导航设计时需要考虑的因素之一。站在用户的角度上，网站导航系统需要解决两个问题。（1）我现在在哪里？用户可能从任何一个内页进入网站，有时候从首页进入，点击多个链接后，用户也忘了是怎么来到当前页面的。导航系统这时候就要清楚告诉用户现在处在网站总体结构的哪一部分。页面设计风格的统一、面包屑导航的使用、主导航系统当前所
编者按：前两周简要地给大家介绍了搜索抓取系统工作原理，根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。1、简单明了的网站结构Spider抓取相当于对web这个有向图进行遍历，那么一个简单明了结构层次分明的网站肯定是它所喜欢的，并尽量保证spider的可读性。（1）树型结构最优的结构即“首页—频道—详情页”；（2）扁平首页到详情页的层次尽量少，既对抓取友好又可以很好的传递权重
1. 下面是一个拒绝所有机器人访问的robots.txt： ``` User-agent: * Disallow: / ``` 2. 下面的robots.txt用于阻止百度搜索引擎访问整个站点： ``` User-agent: Baiduspider Disallow: / ``` 3. 下面的robots.txt文件用于阻止所有搜索引擎访问以private开头的任何URL： ```
1)、图像目录图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多cms的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img;2)、网站模板目录如
