Categories


Tags


Robots META标签的写法

Robots META标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。

INDEX 指令告诉搜索机器人抓取该页面;

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。

这样,一共有四种组合:

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>

<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>

<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>

其中

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>可以写成<META NAME=”ROBOTS” CONTENT=”ALL”>;

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>可以写成<META NAME=”ROBOTS” CONTENT=”NONE”>

绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以限制GOOGLE是否保留网页快照。例如:

<META NAME=”googlebot” CONTENT=”index,follow,noarchive”>

表示抓取该站点中页面并沿着页面中链接抓取,但是不在GOOLGE上保留该页面的网页快照。


Public @ 2019-08-04 16:09:30

301设置:一定要做的集中权重的方法

1. 确定风险限制:在设置好集中权重之前,首先应该确定一个风险限制,即股票组合投资的最大容差,通过筛选从而减少投资组合中股票偏离行业指数储备组合的可能性。 2. 集中权重:根据企业权重设定原则,最重要的是集中权重,即将一定数量的权利集中在一个行业板块或者一家企业上。 3. 调整权重:集中权重也可以细化到每一只股票的内容上,通过调整不同股票的权重,以达到透明度平衡,跨行业组合,从而使股票组合更

Public @ 2023-02-26 03:00:25

再谈Canonical标签

前几天站长社区有站长朋友谈了一下对Canonical标签的看法,认为这是一个与301类似、解决网站内重复页面的好办法。那么我们来谈谈这两者有什么区别,使用Canonical标签时又该注意些什么。【Canonical标签与301的区别】1,在几个网页内容完全相同(或高度相似)的时候,如果希望两个网页都可以被用户正常访问到,就使用Canonical标签;如果仅让用户访问其中的一个,直接使用301跳转更

Public @ 2015-05-27 16:11:17

网站误封Robots该如何处理

robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。很多站长同学在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不必要损失!那么如果误操作封禁了robots怎么办?今天我们请到了厦门258网站运营负责人——郑军伟,为我们分享网站robots误封禁后该如何操作?【案例背景】网站开发2.0版本,技术选择了在线开发,为了避免搜索引擎抓取开

Public @ 2009-10-29 16:08:56

关于robots.txt的二三事

1. Robots.txt是一个协议,用于控制搜索引擎爬虫的访问范围。 2. Robots.txt文件位于网站的根目录下,包含了一些指令告诉爬虫哪些页面可以访问,哪些页面需要限制访问。 3. Robots.txt文件并不会阻止所有爬虫的访问,只有支持Robots.txt协议的爬虫才会遵守文件中的指令。 4. Robots.txt文件中的指令可以根据不同的爬虫进行个性化设置,可以控制不同爬虫访

Public @ 2023-04-11 13:00:34

更多您感兴趣的搜索

0.498058s