站点地图分类
1、sitemap(sitemap.xml,sitemap.txt)这一类站点地图包含了该网站的所有连接,一般提交给爬虫去爬。让搜索引擎去收录网站内容。
2、站点导航,主要是面向访问网站的用户。将网站连接分类,整理后展现在用户面前。
URL是统一资源定位符,对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。我们看到的互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。URL优化也需要讲究一些准则,按照以下方法优化下去,搜索引擎会更加喜爱你的网站哦。URL优化方法1、文件和目录的描述性名称一致对英文网站来说,目录名称以及文件名应该具备一定的描述性,以便于
robots.txt 是一个标准,它通过提供一些规则,告诉搜索引擎爬虫哪些网页可以被爬取,哪些网页不应该被爬取。但是,一些搜索引擎爬虫可能会忽略这些规则,直接抓取它们想要的网页。 此外, robots.txt 文件的存在只是一个建议而不是命令。在一些情况下,搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页,这有可能是因为发布这个网页的人想要让它被收录,也有可能是因为机器人误解了
ETag(Entity Tag)是HTTP协议中的一个头部字段,用于标识资源的某个版本。 ETag的作用主要有以下几点: 1. 缓存控制:当客户端请求一个资源时,服务器可以通过ETag来判断资源是否发生了变化。如果ETag与客户端提供的If-None-Match头字段一致,说明资源没有发生变化,服务器可以返回一个304 Not Modified状态码,告诉客户端可以使用本地缓存的副本,从而节省带