很多的网站由于不懂SEO的优化，乱定义URL链接，或者更改URL链接，最终造成了‘一个页面多条URL的情况是非常常见的。最常见的是：伪静态链接、动态链接这样的。如果搜索引擎收录了非常多的‘混合’类型的链接，这样网站的评分就会被大幅度的降低了，这个时候最正确的方式：查看排名，如果排名中两个类型的链接都存在，那么就使用canonical标签来做权威链接的定义。如果只存在某一种类型的链接，那么就把另外一
支持XML格式和TXT文本格式。
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。9月11日，百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。如您
robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了
