Categories


Tags


什么是meta robots 标签?meta robots 标签的写法

网站上有些页面不希望被搜索引擎收录,我们可以使用robots的文件或者meta robots 标签。

什么是meta robots 标签?

meta robots 标签是页面head部分meta标签的一种,用于指令搜索引擎禁止索引(收录)本页内容。

meta robots 标签的写法:

<meta name=”robots”content=”noindex,nofollow”>

标签的意义:禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。

Noindex:搜索引擎不索引此网页(可以抓取,但不出现在搜索结果中)。

Nofollow: 搜索引擎不继续通过此网页的链接索引搜索其它的网页。

<meta name>=”robots”content=”noindex” >

标签的意义:禁止索引本页面,但允许蜘蛛跟踪页面上的链接,也可以传递权重。

使用了noindex meta robots标签的页面会被抓取,但不会被索引,也就是说页面URL不会出现在搜索结果中,这一点与robots文件不同。

meta robots 标签的作用:

1、不想让网站被收录使用meta robots 标签,禁止搜索引擎索引本页,同时禁止跟踪页面上的链接。

2、禁止索引本页面,但是允许蜘蛛跟踪页面链接,也可以传递权重。

meta robots标签很多搜索引擎是不支持的,只有少数搜索引擎能够识别并按给定的值抓取。因此还是推荐用robots.txt文件来限制抓取,大家了解有关meta robots 标签知识以及写法。

来源:搜外网


Public @ 2012-07-08 16:09:26

网站Nofollow标签的应用场景

Nofollow标签的应用场景有以下几种: 1. 防止链接垃圾邮件:网站管理员不希望搜索引擎将链接视为站点权威的一部分,以避免被链接垃圾邮件所滥用。 2. 不推荐的链接:网站管理员认为某个链接不适合站点的主题或内容,但仍然希望保留该链接。 3. 遵守广告政策:网站所承载的广告链接应该包含Nofollow标签。 4. 提高页面权重:对于站外链接,若链接是通过付费广告,或是首页推荐等方式获得的,可以

Public @ 2023-04-23 01:50:14

robots.txt使用教程

robots.txt 是一个文本文件,用于指示搜索引擎爬虫哪些页面可以被抓取,哪些页面不应该被抓取。在建立一个网站时,可以通过 robots.txt 控制搜索引擎爬虫对网站的访问,以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1:新建 robots.txt 文件 在网站的根目录下,新建一个名为 robots.txt 的文本文件。 步骤2:编辑 robots.txt 文件

Public @ 2023-04-18 01:00:34

什么是robots文件

什么是robots文件Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网

Public @ 2017-09-19 16:02:20

更多您感兴趣的搜索

0.546192s