Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站索引效率，从而表现出良好的搜索引擎优化效果。
清晰的导航系统是网站设计的重要目标，对网站信息架构、用户体验影响重大。SEO也越来越成为导航设计时需要考虑的因素之一。站在用户的角度上，网站导航系统需要解决两个问题。（1）我现在在哪里？用户可能从任何一个内页进入网站，有时候从首页进入，点击多个链接后，用户也忘了是怎么来到当前页面的。导航系统这时候就要清楚告诉用户现在处在网站总体结构的哪一部分。页面设计风格的统一、面包屑导航的使用、主导航系统当前所
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分：<meta name="robots" content="noarchive">要允许其他搜索引擎显示快照，但仅防止搜索引擎显示，请使用以下标记：<meta name="Baiduspider" content="noa
一些域名之前通过robots.txt文件屏蔽了蜘蛛，后来对搜索引擎开放了，但搜索结果里，还是显示以下内容:“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。”解决办法：在百度上搜索该域名，在搜索结果页面的末尾，点击用户反馈。来源：搜外网
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
