1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用文件夹：如果存放在公用文件夹，所以网站确实包含多个链接，则所有用到robots.txt文件的页面都将使用同一份robots文件。需要将robots.txt文件放在每个页面的根目录下来避免混淆和混合索引。
首选域设置是指在网络或系统中指定首选的域名服务器。当计算机需要解析一个域名时，它会先询问首选域名服务器，如果该服务器无法解析，则会继续询问其它域名服务器。首选域名服务器的选择可以影响网络或系统的性能和可靠性。
301重定向是一种常见的网站管理技术，它允许网站管理员将一个页面的URL重定向到另一个页面的URL上。这种技术的主要目的是帮助网站维护者将旧的、无用的或已删除的网页指向新的、有用的或更新的网页上，从而保证网站上的链接和搜索结果都能得到正确的指引。 以下是关于301重定向的一些基础知识： 1. 301重定向与302重定向的区别 301重定向是一种永久重定向，它会告诉搜索引擎和其他网站，被重定向
robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了
名称 搜索引擎google蜘蛛: googlebot百度蜘蛛:baiduspideryahoo蜘蛛:slurpalexa蜘蛛:ia_archivermsn蜘蛛:msnbotaltavista蜘蛛:scooterlycos蜘蛛: lycos_spider_(t-rex)alltheweb蜘蛛: fast-webcrawler/inktomi蜘蛛: slurp一个在线写robots.txt的工具。最后
