站点地图分类
1、sitemap(sitemap.xml,sitemap.txt)这一类站点地图包含了该网站的所有连接,一般提交给爬虫去爬。让搜索引擎去收录网站内容。
2、站点导航,主要是面向访问网站的用户。将网站连接分类,整理后展现在用户面前。
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数,设置为多少秒,以等待同服务器之间连续请求,如:User-agent:*Crawl-delay:10来源:360站长平台
名称 搜索引擎google蜘蛛: googlebot百度蜘蛛:baiduspideryahoo蜘蛛:slurpalexa蜘蛛:ia_archivermsn蜘蛛:msnbotaltavista蜘蛛:scooterlycos蜘蛛: lycos_spider_(t-rex)alltheweb蜘蛛: fast-webcrawler/inktomi蜘蛛: slurp一个在线写robots.txt的工具。最后
ETag是一种HTTP协议中的实体标签,用于标记某个资源的版本号。它在浏览器与服务器之间起到了缓存控制的作用,提高了网页的加载速度和用户的浏览体验。下面是ETag使用效果对比和经验分享: 1. 提高缓存命中率:当用户再次访问同一资源时,浏览器会向服务器发送请求,服务器会比较资源的ETag值与请求头中的If-None-Match值是否一致。如果一致,则返回状态码304 Not Modified,表