名称 搜索引擎
google蜘蛛: googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛: lycos_spider_(t-rex)
alltheweb蜘蛛: fast-webcrawler/
inktomi蜘蛛: slurp
一个在线写robots.txt的工具。
最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录
来源：360站长平台
使用Canonical 标签时要特别注意的两点】1，百度虽然支持Canonical标签，但并不保证完全遵守该标签。请站长注意，最好在完全相同的网页中使用Canonical标签——这样可以提升Canonical标签的使用效果。*之前的帮助文档中的确提到高度相似的网页也可以使用Canonical标签，但在实际过程中我们发现，相似网页使用Canonical标签的成功率较低。2，还有一点非常非常重要，请各
相对路径的优点和缺点： 优点： 1. 相对路径相对于当前目录，因此可以方便地指向同一目录下的其他文件或目录。 2. 相对路径比绝对路径更短，更易于输入和阅读。 3. 相对路径的可移植性更强，因为它们不依赖于特定的文件系统或服务器配置。 缺点： 1. 如果文件或目录被移动到其他目录中，相对路径可能无法正常工作。 2. 对于嵌套较深的目录结构，相对路径会变得较复杂。 3. 如果有多个文件夹中命名相
robots.txt 是一个文本文件，用于指示搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。在建立一个网站时，可以通过 robots.txt 控制搜索引擎爬虫对网站的访问，以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1：新建 robots.txt 文件 在网站的根目录下，新建一个名为 robots.txt 的文本文件。 步骤2：编辑 robots.txt 文件
robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
