Categories


Tags


视频极速体验解决方案-百度搜索robots协议全新升级公告

Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

9月11日,百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

如您的网站未设置robots协议,百度搜索对网站视频URL的收录将包含视频播放页URL,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外,综艺影视类长视频,搜索引擎仅收录页面URL。

什么是视频极速体验页

搜索视频极速体验服务旨在提升用户观看视频体验的一项富媒体体验升级服务,本服务针对短视频需求场景进行体验优化,将为搜索用户提供稳定、流畅、清晰的播放及浏览体验。视频极速体验服务包含视频极速页和合作平台两部分服务,网站可前往平台完善服务设置,获取各项搜索权益。详情参考《视频极速体验服务说明》。

设置搜索robots协议的后果

针对短视频类内容,视频搜索将不再索引、展现网站的视频资源,历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ,该目录下内容将从搜索中屏蔽,其余内容在搜索中则以正常结果展示。

robots.txt文件的格式

robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL,or NL作为结束符),每一条记录的格式如下所示:

"<field>:<optional space><value><optionalspace>"

在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:

User-agent:该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

使用"*"and"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

"*"匹配0或多个任意字符

"$"匹配行结束符。

最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

robots.txt文件用法举例

网站误封Robots该如何处理

robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不必要损失!如果误封禁,请及时删除或修改robots文件,并到百度搜索资源平台robots工具中进行检测和更新。

目录

1. 前言

2. 视频极速体验服务说明

3. 百度搜索robots协议全新升级公告

4. 视频转存说明文档

5. 视频极速体验服务权益激活协议

6. 视频极速页分润结算Q&A

来源:百度搜索资源平台 百度搜索学堂


Public @ 2012-02-22 15:38:33

站点流量异常追查文档-特征页分析

特征页分析是站点流量异常追查中的一个关键步骤,目的是发现异常流量来源并采取相应的措施。下面是特征页分析的具体步骤: 1. 定义特征页:根据站点的业务特点和用户行为,定义出可能引起异常流量的特征页。例如,注册登录、结算页面、特价促销页面等。 2. 分析流量变化:通过流量监控工具分析特征页的访问量变化,查看是否存在异常的访问峰值或者间歇性的访问流量。 3. 分析来源渠道:针对异常的流量,通过分析

Public @ 2023-04-09 04:01:34

网站被挂木马与777权限的奥妙

某天VIP大讲堂微信群里的一位同学说网站被人挂马了,查了半天也查不到原因。艺龙SEO负责人刘明问了一句“是不是技术把linux系统里网站的核心目录设置777文件权限了”,同学查后发现果然如此。那么,777是什么?老虎机吗?爱偷懒的程序员都该会心一笑,省事大法啊。这简单的数字背后代表了一套伟大的文件权限控制思想。院长赶紧请刘明长叙一篇,让我们随着刘明的解释慢慢理解。一、当用户访问一个网页这个时候,你

Public @ 2020-02-19 15:37:39

视频极速体验解决方案-视频转存说明文档

视频极速体验解决方案-视频转存说明文档 1. 背景介绍: 在日常生活中,我们经常会遇到需要将视频从一个设备或者存储介质转移到另一个设备或者存储介质的情况。例如,将手机上的视频转存到电脑上,或者将一个硬盘上的视频转存到另一个硬盘上。视频转存的过程往往非常耗时,尤其是在视频文件较大的情况下。因此,我们需要一个快速且高效的视频转存解决方案,以提高转存的效率和体验。 2. 解决方案简介:

Public @ 2023-07-27 09:00:47

视频极速体验解决方案-前言

搜索视频极速体验服务是搜索为提升用户观看视频体验新推出的一项富媒体体验升级服务,本服务针对短视频需求场景进行体验优化,将为用户提供稳定、流畅、清晰的播放体验。视频极速体验是基于熊掌ID,为资源方提供品牌、流量等多重权益的播放体验模式,百度搜索邀请全网优秀视频生产者,共同加入并体验视频极速体验合作。目录1. 前言2. 视频极速体验服务说明3. 百度搜索robots协议全新升级公告4. 视频转存说明文

Public @ 2016-03-24 15:38:34

更多您感兴趣的搜索

0.446274s