Sitemap协议类型有： 1. XML Sitemap：用于向搜索引擎提交网站的网页地址，让搜索引擎更好地抓取网站内容。 2. News Sitemap：用于将新闻文章的标题和链接提交给搜索引擎，以便它们可以快速索引新闻。 3. Image Sitemap：用于提交图片的URL和相关信息，帮助搜索引擎更好地索引和展示图片搜索结果。 4. Video Sitemap：用于提交视频的URL和相关信息，帮助搜索引擎更好地索引和展示视频搜索结果。 Sitemap协议包含的内容通常包括： 1. URL：可以是网站页面、新闻文章、图片或视频的URL。 2. 时间戳：指示每个页面的最后修改时间。 3. 更改频率：指示页面内容更新频率，有always、hourly、daily、weekly、monthly、yearly和never七种选项。 4. 优先级：指示该页面在网站中的重要性，范围从0.0到1.0。
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。来源：360站
以下是一些使用robots.txt文件的技巧和最好的做法： 1. 不要放弃robots.txt - 一些网站管理员没有robots.txt文件，因为他们认为这是保护网站的安全措施，但事实上它可能会影响搜索引擎爬取。 2. 维护一个更新的robots.txt文件 - 确保您的robots.txt文件不是过时的。如果您从网站上删除了某些页面或文件夹，请务必更新文件以反映更改。 3. 不要使用ro
Sitemap（即站点地图）就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页。您还可以使用Sitemap提供有关您网站的其他信息，如上次更新日期、Sitemap文件的更新频率等，供百度Spider参考。百度对已提交的数据，不保证一定会抓取及索引所有网址。但是，我们会使用Sitemap中的数据来了解网站的结构等信息，这样可以帮助我们改进抓取策略，并在日后能更好
