Sitemap（即站点地图）就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页。您还可以使用Sitemap提供有关您网站的其他信息，如上次更新日期、Sitemap文件的更新频率等，供百度Spider参考。
百度对已提交的数据，不保证一定会抓取及索引所有网址。但是，我们会使用Sitemap中的数据来了解网站的结构等信息，这样可以帮助我们改进抓取策略，并在日后能更好地对网站进行抓取。
此外，Sitemap 与搜索排名没有关系。
来源：百度搜索资源平台 百度搜索学堂
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
2019年9月10日，Google官方博客表示，nofollow属性将不再仅代表拒绝传递权重，而将拓展为三种属性：rel="sponsored"、rel="ugc"、rel="nofollow"。 1. rel=”sponsored” 该属性用于标示被广告赞助的链接，例如广告合作，展示商标，赞助商链接等。它是告诉搜索引擎，链接是被广告商赞助，而非独立推荐。 2. rel=”ugc” 该属性
ETag 是一种用于标识网络资源的字符串。ETag 是由服务器为每个资源生成的，并且在资源内容发生变化时会改变。 ETag 主要用于缓存控制和条件请求。以下是 ETag 的一些作用： 1. 缓存验证：当客户端请求资源时，可以在请求头中通过 If-None-Match 字段将上一次请求中得到的 ETag 值发送给服务器。服务器可以根据这个值来判断资源是否发生了变化。如果 ETag 值匹配，服务器
一、ETag简介ETag(EntityTags)是URL的tag，用来标示URL对象是否改变，这样可利用客户端（例如浏览器）的缓存。由服务器首先产生ETag，客户端通过将该记号传回服务器要求服务器验证其（客户端）缓存。服务器使用它来判断页面是否已经被修改，如果未修改返回304，而不必重新传输整个对象。二、现在站点Sitemap存在的问题1.发现更新不及时当站点或其Sitemap发生更新时，百度难以
