Categories


Tags


头条搜索Robots匹配说明

匹配方式

分两部分:1.path部分,2.参数部分

匹配支持?*$?两种通配符

?*? 表示任何有效字符的 0 个或多个个案。

?$? 表示网址结束。

path部分

与google匹配方式保持一致,也就是只有/或是*开头的规则才有机会匹配上

?/?

匹配根目录以及任何下级网址

?/fish?

?/fish?开头的

匹配项

* ?/fish?

* ?/fish.html?

* ?/fish/salmon.html?

* ?/fishheads?

* ?/fishheads/yummy.html?

* ?/fish.php?id=anything?

不匹配项

* ?/Fish.asp?

* ?/catfish?

* ?/?id=fish?

?/fish\*?

等同于 ?/fish?。结尾的通配符会被忽略。

匹配项:

* ?/fish?

* ?/fish.html?

* ?/fish/salmon.html?

* ?/fishheads?

* ?/fishheads/yummy.html?

* ?/fish.php?id=anything?

不匹配项:

* ?/Fish.asp?

* ?/catfish?

* ?/?id=fish?

?/fish/?

结尾的斜杠表示此项与此文件夹中的任何内容均匹配。

匹配项:

* ?/fish/?

* ?/fish/?id=anything?

* ?/fish/salmon.htm?

不匹配项:

* ?/fish?

* ?/fish.html?

* ?/Fish/Salmon.asp?

?/\*.php?

匹配项:

* ?/filename.php?

* ?/folder/filename.php?

* ?/folder/filename.php?parameters?

* ?/folder/any.php.file.html?

* ?/filename.php/?

不匹配项:

* ?/?(即使其映射到 /index.php)

* ?/windows.PHP?

?/\*.php$?

匹配项:

* ?/filename.php?

* ?/folder/filename.php?

不匹配项:

* ?/filename.php?parameters?

* ?/filename.php/?

* ?/filename.php5?

* ?/windows.PHP?

?/fish\*.php?

匹配项:

* ?/fish.php?

* ?/fishheads/catfish.php?parameters?

不匹配项: ?/Fish.PHP?

?\*/ `` fish `` /?

包含/fish/的path

匹配项:

* ?/search/fish/filename.php?parameters?

* ?/fish/filename.php?parameters?

不匹配项:

* ?/Fish.PHP?

?.htm$?

错误写法,不能与.htm结尾的url匹配

参数部分

支持参数无序匹配,参数key value均支持?\*?通配符

?/home.php?mod=?

value可以是任意值

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&mod=xxx?

不匹配项

* ?/home.php?c=0&smod=939?

* ?/home.php?c=0&mods=939?

?/home.php?mod=\*?

value可以是任意值,等同于?/home.php?mod=?

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&mod=xxx?

不匹配项

* ?/home.php?c=0&smod=939?

* ?/home.php?c=0&mods=939?

?/home.php?mod=9?

参数值要求完全相对才匹配

匹配项

* ?/home.php?c=0&mod=9?

不匹配项

* ?/home.php?c=0&mod=939?

?/home.php?mod=9\*?

value以9开头的

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&mod=9xx?

* ?/home.php?c=0&mod=9?

不匹配项

* ?/home.php?c=0&mod=3xx?

* ?/home.php?c=0&mod=39x?

?/home.php?mod=\*9?

value以9结尾

匹配项

* ?/home.php?c=0&mod=xx9?

不匹配项

* ?/home.php?c=0&mod=34?

* ?/home.php?c=0&mods=9?

* ?/home.php?c=0&mod=93?

?/home.php?mod=\*39?

value以39结尾的

匹配项

* ?/home.php?c=0&mod=939?

不匹配项

* ?/home.php?c=0&mod=9319?

?/home.php?\*mod=939?

key以mod结尾的

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&smod=939?

不匹配项

* ?/home.php?c=0&mods=939?

?/home.php?mod\*=939?

key以mod开头的

匹配项

* ?/home.php?c=0&mods=939?

* ?/home.php?c=0&mod=939?

不匹配项

* ?/home.php?c=0&smod=939?

?/home.php?\*mod\*=939?

key包含mod字符串

匹配项

* ?/home.php?c=0&smods=939?

* ?/home.php?c=0&mods=939?

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&smod=939?

不匹配项

* ?/home.php?c=0&msod=939?

?/home.php?\*mod\*=\*39\*?

key 包括mod字符串,value包含39字符串

匹配项

* ?/home.php?c=0&smods=939?

* ?/home.php?c=0&smod=39?

* ?/home.php?c=0&mod=939?

不匹配项

* ?/home.php?c=0&msod=93?

?/home.php?mod?

参数部分采用前缀匹配

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&mods=939?

不匹配

* ?/home.php?c=0&smod=939?

?/home.php?mod\*?

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&mods=939?

不匹配项

* ?/home.php?c=0&smod=34

来源:头条搜索站长平台


Public @ 2011-09-27 16:09:01

URL是什么?URL里包含关键词对收录有帮助吗?

URL是统一资源定位器,是一个指向网页的地址。URL里包含关键词是对收录有帮助的,因为搜索引擎可以通过URL中的关键词来判断网页的主题和内容。同时,URL中的关键词也有助于用户在搜索结果中快速找到相关页面。但是,过多地添加关键词在URL中会被搜索引擎认为是作弊行为,影响网站的排名。

Public @ 2023-06-10 16:00:11

网站误封Robots该如何处理

robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。很多站长同学在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不必要损失!那么如果误操作封禁了robots怎么办?今天我们请到了厦门258网站运营负责人——郑军伟,为我们分享网站robots误封禁后该如何操作?【案例背景】网站开发2.0版本,技术选择了在线开发,为了避免搜索引擎抓取开

Public @ 2009-10-29 16:08:56

robots是什么?

robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。搜索引擎通过一

Public @ 2017-11-12 16:09:33

禁止搜索引擎收录的方法

1. 什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当

Public @ 2015-10-28 16:08:55

更多您感兴趣的搜索

0.524725s