robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全问题。因此，对于任何一个网站来说，编写一个有效的robots.txt文件都是非常必要的。
Sitemap协议是一种用于向搜索引擎提供网站结构信息的标准协议。其包含的内容包括网站中所有页面的URL、页面最后更新时间、页面更新频率等信息。 目前，Sitemap协议一共有以下两种类型： 1. XML Sitemap：用于描述网站的全部网页，包括网页的URL、标识、访问频率、权重等信息。XML Sitemap可以包含多个XML文件，但每个XML文件的大小不能超过50MB。 2. HTML
a：网页的<Canonical>是告诉搜索引擎在若干的内容相同，URL不同的页面中那个最规范，最希望被收录的，避免相同内链的网页通过不同URL带来权重分散的问题，从而达到页面权重集中的目的。
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录--保证服务器性能。比如:大多数网站服务器都有程序储存在"cgi-bin"目录下，因此在ro
尊敬的用户： 为了更好地保护网站主的合法权益、提升百度搜索用户搜索体验，百度搜索于2020年10月27日发布了新版robots协议，主要特性包括： 1. 支持抓取控制与数据保护视角的并存 新增规定了两个特殊的抓取指令： allow-if-previously-blocked 和 noindex-if-previously-indexed，用于方便网站主在控制抓取行为的同时，保护网站内容的安全
