Categories


Tags


站点地图的构建技巧

重要页面

如果站点地图包含太多链接,人们浏览的时候就会迷失。因此如果网站页面总数超过了100个的话,就需要挑选出最重要的页面。建议挑选下面这些页面放到网站地图中去:产品分类页面;主要产品页面;FAQ和帮助页面;位于转化路径上的所有关键页面,访问者将从着陆页面出发,然后沿着这些页面实现转化;访问量最大的前10个页面;如果有站内搜索引擎的话,就挑选出从该搜索引擎出发点击次数最高的那些页面。

地图布局

站点地图布局一定要简洁,所有的链接都是标准的HTML文本,并且要尽可能多的包含关键字,不要使用图片来做站点地图里的链接,这样爬虫就不能抓取了。一定要使用标准的HTML文本来做链接,链接中要包括尽可能多的目标关键字。比如:可以使用“无公害除草剂、杀虫剂和杀菌剂”来代替“我们的产品”为标题。

用户习惯

用户一般会期望每个页面的底部都有一个指向站点地图的链接,可以充分利用人们的这一习惯。如果网站有一个搜索栏的话,那么可以在这个搜索栏的附近增加一个指向网站地图的链接,甚至可以在搜索结果页面的某个固定位置放置站点地图的链接。

把sitemap写进robots.txt里

在引擎爬虫进来抓取网页的时候,会首先查看robots.txt,如果首先把sitemap写进robots.txt里那么在效率上会大大提高,从而获得搜索引擎的好感。


Public @ 2013-11-27 16:11:49

关于robots.txt的二三事

【Robots简介】robots.txt是一个协议,是搜索引擎访问网站时第一个要查看的文件,它存在的目的是告诉搜索引擎哪些页面能被抓取,哪些页面不能被抓取。当spider访问一个站点时,会首先检查该站点根目录下是否存在robots.txt,如果存在,spider会按照文件中的内容来确定访问的范围;如果该文件不存在,所有的spider将能够访问网站上所有没有被口令保护的页面。【具体介绍】1、User

Public @ 2017-02-13 16:09:19

玩转robots协议

2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案,索赔金额高达一亿元,这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中,百度称自己的Robots文本中已设定不允许360爬虫进入,而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初,针对双方摩擦加剧的情况,在中

Public @ 2019-05-13 16:09:21

sitemap里有大量的转码链接,是否有影响?

问sitemap里爬出了心中链接,要将它改成静态的吗?使用sitemap工具,生成了sitemap,里面有大量的转码链接,这些链接都是tag页的。11-8.应该是TAG和html之间的这个应该是调用的什么东西,在浏览器里会变成中文。sitemap里不用改,这个可以吗?像这样 html结尾的,就是静态页面。在sitemap里,就是这个地址。  浏览器里是显示为中文E6%AF%8D%E5%A

Public @ 2020-06-01 16:09:51

什么是ETag?ETag作用有哪些

ETag是HTTP协议提供的一种用于判断资源是否发生变化的机制。ETag是一个字符串,由服务器生成,在资源被更新时会发生变化。客户端请求资源时,服务器会将资源的ETag值一起返回,客户端可以缓存资源,并记录ETag值。当客户端再次请求该资源时,会将上次记录的ETag值一同发送给服务器。如果此时服务器返回的ETag值与客户端记录的值相同,就说明资源没有变化,客户端可以直接使用缓存的资源,减少网络请求

Public @ 2023-03-25 23:50:19

更多您感兴趣的搜索

0.493225s