Sitemap协议是一种用于向搜索引擎提供网站结构信息的标准协议。其包含的内容包括网站中所有页面的URL、页面最后更新时间、页面更新频率等信息。 目前，Sitemap协议一共有以下两种类型： 1. XML Sitemap：用于描述网站的全部网页，包括网页的URL、标识、访问频率、权重等信息。XML Sitemap可以包含多个XML文件，但每个XML文件的大小不能超过50MB。 2. HTML Sitemap：用于向用户展示网站结构，包含网站的所有页面链接。HTML Sitemap通常放在网站的底部，方便用户浏览和导航。 需要注意的是，Sitemap协议仅仅是搜索引擎中的一种优化手段，对于SEO来说，优化网站的内容和外部链接也是不可缺少的。
| 什么是robots文件？Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。| 为什么要做robots文件？网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。| 如何制作 robots文件？编写robots.txt文件并上传到网站根目录。| 制作 robots.txt注意事项● 所有搜索引擎则用星号表示● All
1、禁止索引 /wp-admin：用于管理wordpress网站的控制面板，不允许百度收录，避免流量分散。 User-agent: * Disallow: /wp-admin/ 2、禁止索引/wp-includes：WordPress中的核心文件，利用文件禁止百度爬行，提高访问速度。 User-agent: * Disallow: /wp-includes/ 3、禁止索引/wp-c
sitemap异常原因解释解决方法爬虫被封禁可能是您的网站对Bytespider的UA或IP进行封禁建议您根据我们公布的UA和IP进行解封，第二天重新抓取之后会恢复正常sitemap文件数据量过大可能是您的sitemap节点数量超过了5w个建议您拆分为几个小的sitemap文件sitemap地址非法可能是您的sitemap地址不可访问或者存在xml和txt混合模式的数据建议您按照我们的要求提交si
ETag是HTTP协议提供的一种用于判断资源是否发生变化的机制。ETag是一个字符串，由服务器生成，在资源被更新时会发生变化。客户端请求资源时，服务器会将资源的ETag值一起返回，客户端可以缓存资源，并记录ETag值。当客户端再次请求该资源时，会将上次记录的ETag值一同发送给服务器。如果此时服务器返回的ETag值与客户端记录的值相同，就说明资源没有变化，客户端可以直接使用缓存的资源，减少网络请求
