Categories


Tags


搜索问答剧场【七】“robots文件”常见问题解析

哈喽大家好!

【搜索问答剧场】最新一集如期而至,平小雕又带着满满的知识干货回来啦!准备好迎接知识的洗礼了嘛?

第五集【搜索问答剧场】中,跟大家提到了【Robots】工具。

本期就来详细教大家如何灵活地使用【Robots】工具,以及如何正确设置网站整体的抓取范围。

一、了解robots文件

1、Q:什么是robots文件?

A:robots文件用于指定spider在网站上的抓取范围,在文件中可以声明网站中不想被搜索引擎抓取或指定被抓取的资源。

2、Q:robots.txt文件怎么写?

文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

"<field>:<optional space><value><optionalspace>"

在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:

User-agent:该项的值用于描述搜索引擎robot的名字。

Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。

Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

说明:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

robots.txt文件举例:

3、Q:robots.txt文件放在哪里?

A:robots.txt文件应该放置在网站根目录下。网站对应robots文件的URL:

详情可参考《什么是robots文件》

二、如何使用【Robots】工具

1、Q:【Robots】工具的作用?

A:站长可以通过搜索资源平台【Robots】工具来创建、校验、更新robots.txt文件,或查看网站robots.txt文件是否成功生效的情况。

2、Q:使用【Robots】工具的注意事项?

A:【Robots】工具目前支持48k的文件内容检测。同时请保证网站的robots.txt文件不要过大,目录最长不超过250个字符。

robots文件更新和提交后,百度蜘蛛不是立即调整停止/开放抓取的,搜索引擎需要逐渐完成robots.txt的更新。

3、Q:robots.txt中设置了禁止百度收录网站的内容,为何还出现在百度搜索结果中?

A:可能存在以下问题:

(1)robots文件不能够有效访问。站长可以在资源平台-【Robots】工具查看robots文件的访问情况。

(2)文件暂未生效。robots文件在结果中生效一般需要1-2周,可以关注。

4、【Robots】工具校验提示解读?

A:可能出现以下情况:

显示错误码404,robots文件可能无法被访问。

显示错误码301,robots文件可能存在跳转。

显示错误码500,robots页面访问失败。

以上情况时,建议自查robots文件情况针对性优化后,重新提交校验。

5、Q:robots文件误封禁,如何处理?

A:(1)修改robots文件,封禁改为允许。

(2)在搜索资源平台检测并更新robots文件,若显示抓取失败,可以多尝试点击几次,触发蜘蛛抓取站点。

(3)关注【抓取频次】数据情况,可以适当调整抓取频次。

(4)可以使用【链接提交】,主动提交相关资源链接。

来源:百度搜索资源平台


Public @ 2015-05-15 15:16:25

新手如何掌握制作和提交网站地图?

制作网站地图: 1. 确定网站结构:确定网站的所需页面、页面之间的关系以及内容分布。 2. 确定信息架构:根据网站结构,制定信息架构,将各个页面的内容划分为不同的类别和子类别。 3. 绘制网站地图:使用绘图工具或专业的网站地图制作软件绘制网站地图,将页面之间的关系以树状结构展示。 4. 确认并完善:与网站设计师、开发人员合作,确认网站地图是否准确无误,并根据实际情况进行完善。 提交网站地图:

Public @ 2023-04-11 17:00:45

定向锚文本如何解决SEO问题?定向锚文本案例展示

我们创造“定向锚文本”这个概念主要是解释以下的问题:搜索引擎如何判断一个网站原创度高低?1、如果搜索引擎收录这个页面时,他的数据库里都没这篇内容,则说明是原创的;2、如果某个网站,曾经发的绝大部分内容都是原创的,则新发的内容也很容易被认为是原创的;另外一点,也是咱们今天要讲的,如果这个网站上的内容,都做好了非常细致的定向锚文本,则这个网站容易被认为是原创的。如果只是简单转载或采集的内容,一定不会做

Public @ 2013-02-22 16:11:31

robots非标准扩展协议

非标准扩展协议是指为特定需求而开发的协议,它们不是由标准化组织或工作组所制定的,并且通常只在特定的应用程序或系统内部使用。 在机器人领域,非标准扩展协议可以用于实现特殊的功能或针对特定的应用需求。例如,某些机器人可能需要与其他设备进行协同工作,因此可能需要使用非标准的协议来实现通信和控制。 在开发机器人或机器人应用程序时,非标准扩展协议也可用于灵活地实现自定义的功能和控制。例如,一些机器人应用

Public @ 2023-06-26 19:00:17

头条搜索Robots匹配说明

头条搜索Robots匹配说明是指在头条搜索引擎中,用户输入的搜索关键词与已经编写好的机器人规则进行匹配,用以判断搜索结果的排序和展示方式。这些机器人规则是由头条搜索建立的算法模型,通过对用户的搜索历史、搜索习惯、查询的信息内容等多方面的分析,提供给用户最符合其需求的搜索结果。Robots匹配在很大程度上影响用户在头条搜索引擎中的搜索体验和结果准确性。

Public @ 2023-04-05 00:50:10

更多您感兴趣的搜索

0.399415s