头条搜索Robots匹配说明
匹配方式
分两部分：1.path部分，2.参数部分
匹配支持?*$?两种通配符
?*? 表示任何有效字符的 0 个或多个个案。
?$? 表示网址结束。
path部分
与google匹配方式保持一致，也就是只有/或是*开头的规则才有机会匹配上
?/?
匹配根目录以及任何下级网址
?/fish?
?/fish?开头的
匹配项
* ?/fish?
* ?/fish.html?
* ?/fish/salmon.html?
* ?/fishheads?
* ?/fishheads/yummy.html?
* ?/fish.php?id=anything?
不匹配项
* ?/Fish.asp?
* ?/catfish?
* ?/?id=fish?
?/fish\*?
等同于 ?/fish?。结尾的通配符会被忽略。
匹配项：
* ?/fish?
* ?/fish.html?
* ?/fish/salmon.html?
* ?/fishheads?
* ?/fishheads/yummy.html?
* ?/fish.php?id=anything?
不匹配项：
* ?/Fish.asp?
* ?/catfish?
* ?/?id=fish?
?/fish/?
结尾的斜杠表示此项与此文件夹中的任何内容均匹配。
匹配项：
* ?/fish/?
* ?/fish/?id=anything?
* ?/fish/salmon.htm?
不匹配项：
* ?/fish?
* ?/fish.html?
* ?/Fish/Salmon.asp?
?/\*.php?
匹配项：
* ?/filename.php?
* ?/folder/filename.php?
* ?/folder/filename.php?parameters?
* ?/folder/any.php.file.html?
* ?/filename.php/?
不匹配项：
* ?/?（即使其映射到 /index.php）
* ?/windows.PHP?
?/\*.php$?
匹配项：
* ?/filename.php?
* ?/folder/filename.php?
不匹配项：
* ?/filename.php?parameters?
* ?/filename.php/?
* ?/filename.php5?
* ?/windows.PHP?
?/fish\*.php?
匹配项：
* ?/fish.php?
* ?/fishheads/catfish.php?parameters?
不匹配项： ?/Fish.PHP?
?\*/ `` fish `` /?
包含/fish/的path
匹配项：
* ?/search/fish/filename.php?parameters?
* ?/fish/filename.php?parameters?
不匹配项：
* ?/Fish.PHP?
?.htm$?
错误写法，不能与.htm结尾的url匹配
参数部分
支持参数无序匹配，参数key value均支持?\*?通配符
?/home.php?mod=?
value可以是任意值
匹配项
* ?/home.php?c=0&mod=939?
* ?/home.php?c=0&mod=xxx?
不匹配项
* ?/home.php?c=0&smod=939?
* ?/home.php?c=0&mods=939?
?/home.php?mod=\*?
value可以是任意值，等同于?/home.php?mod=?
匹配项
* ?/home.php?c=0&mod=939?
* ?/home.php?c=0&mod=xxx?
不匹配项
* ?/home.php?c=0&smod=939?
* ?/home.php?c=0&mods=939?
?/home.php?mod=9?
参数值要求完全相对才匹配
匹配项
* ?/home.php?c=0&mod=9?
不匹配项
* ?/home.php?c=0&mod=939?
?/home.php?mod=9\*?
value以9开头的
匹配项
* ?/home.php?c=0&mod=939?
* ?/home.php?c=0&mod=9xx?
* ?/home.php?c=0&mod=9?
不匹配项
* ?/home.php?c=0&mod=3xx?
* ?/home.php?c=0&mod=39x?
?/home.php?mod=\*9?
value以9结尾
匹配项
* ?/home.php?c=0&mod=xx9?
不匹配项
* ?/home.php?c=0&mod=34?
* ?/home.php?c=0&mods=9?
* ?/home.php?c=0&mod=93?
?/home.php?mod=\*39?
value以39结尾的
匹配项
* ?/home.php?c=0&mod=939?
不匹配项
* ?/home.php?c=0&mod=9319?
?/home.php?\*mod=939?
key以mod结尾的
匹配项
* ?/home.php?c=0&mod=939?
* ?/home.php?c=0&smod=939?
不匹配项
* ?/home.php?c=0&mods=939?
?/home.php?mod\*=939?
key以mod开头的
匹配项
* ?/home.php?c=0&mods=939?
* ?/home.php?c=0&mod=939?
不匹配项
* ?/home.php?c=0&smod=939?
?/home.php?\*mod\*=939?
key包含mod字符串
匹配项
* ?/home.php?c=0&smods=939?
* ?/home.php?c=0&mods=939?
* ?/home.php?c=0&mod=939?
* ?/home.php?c=0&smod=939?
不匹配项
* ?/home.php?c=0&msod=939?
?/home.php?\*mod\*=\*39\*?
key 包括mod字符串，value包含39字符串
匹配项
* ?/home.php?c=0&smods=939?
* ?/home.php?c=0&smod=39?
* ?/home.php?c=0&mod=939?
不匹配项
* ?/home.php?c=0&msod=93?
?/home.php?mod?
参数部分采用前缀匹配
匹配项
* ?/home.php?c=0&mod=939?
* ?/home.php?c=0&mods=939?
不匹配
* ?/home.php?c=0&smod=939?
?/home.php?mod\*?
匹配项
* ?/home.php?c=0&mod=939?
* ?/home.php?c=0&mods=939?
不匹配项
* ?/home.php?c=0&smod=34
来源：头条搜索站长平台