Categories


Tags


站点地图的构建技巧

重要页面

如果站点地图包含太多链接,人们浏览的时候就会迷失。因此如果网站页面总数超过了100个的话,就需要挑选出最重要的页面。建议挑选下面这些页面放到网站地图中去:产品分类页面;主要产品页面;FAQ和帮助页面;位于转化路径上的所有关键页面,访问者将从着陆页面出发,然后沿着这些页面实现转化;访问量最大的前10个页面;如果有站内搜索引擎的话,就挑选出从该搜索引擎出发点击次数最高的那些页面。

地图布局

站点地图布局一定要简洁,所有的链接都是标准的HTML文本,并且要尽可能多的包含关键字,不要使用图片来做站点地图里的链接,这样爬虫就不能抓取了。一定要使用标准的HTML文本来做链接,链接中要包括尽可能多的目标关键字。比如:可以使用“无公害除草剂、杀虫剂和杀菌剂”来代替“我们的产品”为标题。

用户习惯

用户一般会期望每个页面的底部都有一个指向站点地图的链接,可以充分利用人们的这一习惯。如果网站有一个搜索栏的话,那么可以在这个搜索栏的附近增加一个指向网站地图的链接,甚至可以在搜索结果页面的某个固定位置放置站点地图的链接。

把sitemap写进robots.txt里

在引擎爬虫进来抓取网页的时候,会首先查看robots.txt,如果首先把sitemap写进robots.txt里那么在效率上会大大提高,从而获得搜索引擎的好感。


Public @ 2013-11-27 16:11:49

关于robots.txt的二三事

【Robots简介】robots.txt是一个协议,是搜索引擎访问网站时第一个要查看的文件,它存在的目的是告诉搜索引擎哪些页面能被抓取,哪些页面不能被抓取。当spider访问一个站点时,会首先检查该站点根目录下是否存在robots.txt,如果存在,spider会按照文件中的内容来确定访问的范围;如果该文件不存在,所有的spider将能够访问网站上所有没有被口令保护的页面。【具体介绍】1、User

Public @ 2017-02-13 16:09:19

什么是ETag?ETag作用有哪些

ETag是HTTP协议中的一个响应头部字段,用于标识HTTP请求的资源版本。一般由服务器生成,类似于一个唯一标识符,与该资源的内容相关联。ETag的值可以是任何由服务器生成的标识符,例如文件的修改时间戳、哈希值等。 ETag的主要作用有以下几个: 1. 缓存控制:当客户端请求资源时,客户端可以与服务器之间比较ETag的值来判断资源是否过期。如果ETag值相同,则表明资源没有发生变化,客户端可以

Public @ 2023-03-28 23:50:29

更多您感兴趣的搜索

0.564103s