Categories


Tags


RobotsMETA标签的写法

Robots META标签中没有大小写之分,name="Robots"表示所有的搜索引擎,可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以","分隔。

INDEX 指令告诉搜索机器人抓取该页面;

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。

这样,一共有四种组合:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="ALL">;

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成<META NAME="ROBOTS" CONTENT="NONE">

目前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令"archive",可以限制GOOGLE是否保留网页快照。例如:

<META NAME="googlebot" CONTENT="index,follow,noarchive">

表示抓取该站点中页面并沿着页面中链接抓取,但是不在GOOLGE上保留该页面的网页快照。

来源:360站长平台


Public @ 2019-11-07 16:09:03

从SEO角度优化网站结构带来哪些好处?

1. 提高网站的可访问性:通过优化网站的结构,使搜索引擎能够更好地识别和索引网站的内容,进而提高网站的可访问性和搜索引擎排名。 2. 提升用户体验:一个良好的网站结构能够让用户更轻松地找到他们需要的信息,提升用户体验和满意度。 3. 促进网站增长:一个优化良好的网站结构能够提升网站内部链接的质量和数量,从而提升页面排名和网站的整体流量,促进网站的增长。 4. 降低跳出率:通过优化网站结构,使

Public @ 2023-06-02 14:00:25

百度搜索资源平台-sitemap全网开放及建议启用Etag的公告

亲爱的网站管理员:百度站长平台即将正式全网开放sitemap权限,所有通过百度站长平台验证的网站均可以在百度站长工具的链接提交里添加网站的sitemap,而从近期sitemap全网开放会进入内测阶段,站长平台会挑选没有sitemap提交权限的站点参加内测,内测的报名入口《申请sitemap全网开放内测名额》。另外,本次sitemap全网开放,将取消由站长来设置sitemap文件更新周期的功能,而是

Public @ 2013-01-24 16:09:46

哪些网站的目录需求运用robots.txt文件制止抓取

1)、图像目录图像是构成网站的首要组成元素。跟着现在建站越来越便利,许多cms的呈现,真实做到了会打字就会建网站,而正是由于如此便利,网上呈现了许多的同质化模板网站,被重复运用,这样的网站查找引擎是必定不喜爱的,就算是你的网站被录入了,那你的作用也是很差的。若是你非要用这种网站的话,主张你大概在robots.txt文件中进行屏蔽,一般的网站图像目录是:imags 或许 img;2)、网站模板目录如

Public @ 2015-08-28 16:09:28

robots.txt文件的格式

User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項: - User-agent:要設定的是區分搜索引擎的機器人,可設定多個。若不加此欄位,則視為通用設定。 - Disallow:機器人不可存取的目錄或檔案,在此設定時,要注意目錄名稱或檔案名稱是完整的,不

Public @ 2023-06-17 03:50:39

更多您感兴趣的搜索

0.462368s