1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用
360搜索支持Robots协议的主要命令，以下为具体说明：1. user-agent360搜索各产品的爬虫user-agent为：- 网页搜索 360Spider- 图片搜索 360Spider-Image- 视频搜索 360Spider-Video2. Allow站长可通过Allow命令指定建议收录的文件、目录 。3. Disallow站长可通过Disallow命令指定不建议收录的文件、目录。
404页面是指用户请求的页面不存在或者无法访问时，服务器返回的错误页面。对于用户来说，404页面给人一种网站失误或不可靠的印象，但如果设计得当，404页面也可以是有趣的、有创意的，并可以引导用户继续浏览网站。 以下是404页面设计的一些建议： 1. 提供清晰的错误提示：页面应该提供简短明了的错误提示，让用户知道他们访问的页面不存在。 2. 保持网站风格一致：404页面应该与网站的设计风格一致
404页面是什么？
404页面是指在网站上访问某个不存在的页面时，服务器返回的错误页面。一般来说，404页面会告诉用户当前访问的页面不存在，并提供一些相关链接或搜索框，帮助用户继续浏览网站。