Categories


Tags


Robots META标签的写法

Robots META标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。

INDEX 指令告诉搜索机器人抓取该页面;

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。

这样,一共有四种组合:

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>

<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>

<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>

其中

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>可以写成<META NAME=”ROBOTS” CONTENT=”ALL”>;

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>可以写成<META NAME=”ROBOTS” CONTENT=”NONE”>

绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以限制GOOGLE是否保留网页快照。例如:

<META NAME=”googlebot” CONTENT=”index,follow,noarchive”>

表示抓取该站点中页面并沿着页面中链接抓取,但是不在GOOLGE上保留该页面的网页快照。


Public @ 2019-08-04 16:09:30

canonical标签是什么?canonical标签主要有什么作用?

可能有很多seo小伙伴都不知道canonical标签是什么,因为很多人基本都没用到过着个标签,其实这个标签在某些情况下用处还是比较大的,下面来给大家介绍一下canonical标签的意义及用法?canonical标签是什么意思canonical标签介绍canonical标签就是告诉搜索引擎哪个页面是权威页面,推出来的时间很久了,是Google、雅虎、微软等搜索引擎一起推出的一个标签,它的主要作用是用

Public @ 2016-07-05 16:11:21

头条搜索Robots匹配说明

在今日头条中,根据用户输入的关键字进行搜索,系统针对关键字进行多维度搜索,内容形成聚合后,统一展示给用户。同时,今日头条采用了多种Robot来爬取和抓取用户的相关关键字,然后精确的匹配给用户,技术上主要是Robot学习算法,和文本分析算法。 Robot算法主要是爬取网站上的关键字,并根据搜索词语进行匹配。Robot算法还可以根据语义分析算法来进行分析和匹配,优化搜索效果。Robot算法也可以

Public @ 2023-02-26 03:54:31

巧用Robots避免蜘蛛黑洞

对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,

Public @ 2020-05-11 16:08:55

更多您感兴趣的搜索

0.680939s