站点地图是一个网站所有链接的容器。很多网站的连接层次比较深，爬虫很难抓取到，站点地图可以方便爬虫抓取网站页面，通过抓取网站页面，清晰了解网站的架构，网站地图一般存放在根目录下并命名sitemap，为爬虫指路，增加网站重要内容页面的收录。站点地图就是根据网站的结构、框架、内容，生成的导航网页文件。站点地图对于提高用户体验有好处，它们为网站访问者指明方向，并帮助迷失的访问者找到他们想看的页面。
站点地图，是一种指明信息资源方位与联系，并且具有导航功能的可视化工具。其关键在于信息的获取、信息的检索、信息的表示和信息的关联四个方面。简而言之，就是以类似地图的形式，将主页的信息按照类日罗列起来，并提供相应的链接，它可以为用户提供主页的整体信息，是用户准确找到自己所需信息的快速入口 。
robots.txt概念如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？答案是：使用一个叫做robots.txt的文件。robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取，哪些不允许抓取。搜索引擎蜘蛛访问网站任何文件之前，需先访问robots.txt文件，然后抓取robots.txt文件允许的路径，跳过其禁止的路径。总结：robots.txt是一个简单的.txt文件
使用nofollw的意义nofollow 是一个HTML标签的属性值。它的出现为网站管理员提供了一种方式，即告诉搜索引擎"不要追踪此网页上的链接"或"不要追踪此特定链接。这个标签的意义是告诉搜索引擎这个链接不是经过作者自己编辑的，所以这个链接不是一个信任票。简单的说就是，如果A网页上有一个链接指向B网页，但A网页给这个链接加上了 rel="nofollow&
百度一直致力于将优质内容索引并呈现给搜索用户，因此百度站长平台推出了Sitemap工具，网站可通过该工具将优质资源主动反馈提交给百度站长平台，加强百度对优质资源的收录，优化收录效果。Sitemap（即站点地图）就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页，包括百度通过传统抓取方式可能找不到的网页。您还可以使用Sitemap提供有关您网站的其他信息，如上次
sitemap数据提交后，一般在1小时内会被百度处理。处理完成的时间视文件大小而定。
