Categories


Tags


头条搜索Robots匹配说明

匹配方式

分两部分:1.path部分,2.参数部分

匹配支持?*$?两种通配符

?*? 表示任何有效字符的 0 个或多个个案。

?$? 表示网址结束。

path部分

与google匹配方式保持一致,也就是只有/或是*开头的规则才有机会匹配上

?/?

匹配根目录以及任何下级网址

?/fish?

?/fish?开头的

匹配项

* ?/fish?

* ?/fish.html?

* ?/fish/salmon.html?

* ?/fishheads?

* ?/fishheads/yummy.html?

* ?/fish.php?id=anything?

不匹配项

* ?/Fish.asp?

* ?/catfish?

* ?/?id=fish?

?/fish\*?

等同于 ?/fish?。结尾的通配符会被忽略。

匹配项:

* ?/fish?

* ?/fish.html?

* ?/fish/salmon.html?

* ?/fishheads?

* ?/fishheads/yummy.html?

* ?/fish.php?id=anything?

不匹配项:

* ?/Fish.asp?

* ?/catfish?

* ?/?id=fish?

?/fish/?

结尾的斜杠表示此项与此文件夹中的任何内容均匹配。

匹配项:

* ?/fish/?

* ?/fish/?id=anything?

* ?/fish/salmon.htm?

不匹配项:

* ?/fish?

* ?/fish.html?

* ?/Fish/Salmon.asp?

?/\*.php?

匹配项:

* ?/filename.php?

* ?/folder/filename.php?

* ?/folder/filename.php?parameters?

* ?/folder/any.php.file.html?

* ?/filename.php/?

不匹配项:

* ?/?(即使其映射到 /index.php)

* ?/windows.PHP?

?/\*.php$?

匹配项:

* ?/filename.php?

* ?/folder/filename.php?

不匹配项:

* ?/filename.php?parameters?

* ?/filename.php/?

* ?/filename.php5?

* ?/windows.PHP?

?/fish\*.php?

匹配项:

* ?/fish.php?

* ?/fishheads/catfish.php?parameters?

不匹配项: ?/Fish.PHP?

?\*/ `` fish `` /?

包含/fish/的path

匹配项:

* ?/search/fish/filename.php?parameters?

* ?/fish/filename.php?parameters?

不匹配项:

* ?/Fish.PHP?

?.htm$?

错误写法,不能与.htm结尾的url匹配

参数部分

支持参数无序匹配,参数key value均支持?\*?通配符

?/home.php?mod=?

value可以是任意值

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&mod=xxx?

不匹配项

* ?/home.php?c=0&smod=939?

* ?/home.php?c=0&mods=939?

?/home.php?mod=\*?

value可以是任意值,等同于?/home.php?mod=?

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&mod=xxx?

不匹配项

* ?/home.php?c=0&smod=939?

* ?/home.php?c=0&mods=939?

?/home.php?mod=9?

参数值要求完全相对才匹配

匹配项

* ?/home.php?c=0&mod=9?

不匹配项

* ?/home.php?c=0&mod=939?

?/home.php?mod=9\*?

value以9开头的

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&mod=9xx?

* ?/home.php?c=0&mod=9?

不匹配项

* ?/home.php?c=0&mod=3xx?

* ?/home.php?c=0&mod=39x?

?/home.php?mod=\*9?

value以9结尾

匹配项

* ?/home.php?c=0&mod=xx9?

不匹配项

* ?/home.php?c=0&mod=34?

* ?/home.php?c=0&mods=9?

* ?/home.php?c=0&mod=93?

?/home.php?mod=\*39?

value以39结尾的

匹配项

* ?/home.php?c=0&mod=939?

不匹配项

* ?/home.php?c=0&mod=9319?

?/home.php?\*mod=939?

key以mod结尾的

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&smod=939?

不匹配项

* ?/home.php?c=0&mods=939?

?/home.php?mod\*=939?

key以mod开头的

匹配项

* ?/home.php?c=0&mods=939?

* ?/home.php?c=0&mod=939?

不匹配项

* ?/home.php?c=0&smod=939?

?/home.php?\*mod\*=939?

key包含mod字符串

匹配项

* ?/home.php?c=0&smods=939?

* ?/home.php?c=0&mods=939?

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&smod=939?

不匹配项

* ?/home.php?c=0&msod=939?

?/home.php?\*mod\*=\*39\*?

key 包括mod字符串,value包含39字符串

匹配项

* ?/home.php?c=0&smods=939?

* ?/home.php?c=0&smod=39?

* ?/home.php?c=0&mod=939?

不匹配项

* ?/home.php?c=0&msod=93?

?/home.php?mod?

参数部分采用前缀匹配

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&mods=939?

不匹配

* ?/home.php?c=0&smod=939?

?/home.php?mod\*?

匹配项

* ?/home.php?c=0&mod=939?

* ?/home.php?c=0&mods=939?

不匹配项

* ?/home.php?c=0&smod=34

来源:头条搜索站长平台


Public @ 2011-09-27 16:09:01

内部链接(站内链接)的优化

1. 相关性优化:内部链接应该将相关的页面和文章链接起来,帮助搜索引擎理解网站结构和页面之间的关系,提高网站整体的相关性。 2. 锚文本优化:内部链接的锚文本应该使用有意义的关键词,避免使用无意义的词语或重复关键词,同时要注意使用恰当的关键词密度,避免过度优化。 3. 页面深度优化:内部链接的页面深度应该合理,不要让页面深度过深或过浅,要让搜索引擎和用户能够轻松地找到页面和内容。 4. 外部

Public @ 2023-03-26 19:50:26

robots非标准扩展协议

非标准扩展协议是指为特定需求而开发的协议,它们不是由标准化组织或工作组所制定的,并且通常只在特定的应用程序或系统内部使用。 在机器人领域,非标准扩展协议可以用于实现特殊的功能或针对特定的应用需求。例如,某些机器人可能需要与其他设备进行协同工作,因此可能需要使用非标准的协议来实现通信和控制。 在开发机器人或机器人应用程序时,非标准扩展协议也可用于灵活地实现自定义的功能和控制。例如,一些机器人应用

Public @ 2023-06-26 19:00:17

常见的robots.txt文件用法实例

常见的robots.txt文件用法实例:1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时,有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取(或者也可以建一个空的robots.txt文件)User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分,既然是允许所有文件被抓取,可以

Public @ 2010-05-21 16:09:23

更多您感兴趣的搜索

0.452939s