robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: * Disallow: /private/ Disallow: /secret/ User-agent: Baiduspider Disallow: /admin/ User-agent: Googlebot Disallow: /tmp/
sitemap数据提交后，一般在1小时内会被百度处理。处理完成的时间视文件大小而定。
静态URL是指在网页中固定不变的URL链接，不依赖于用户的操作或数据库动态生成，而是由网站的开发者手动编写或生成的。 静态URL的优点包括： 1. 简洁直观：静态URL通常是简短、易于理解的，可以清晰地表达页面的内容和结构。 2. 便于搜索引擎索引：搜索引擎可以更容易地识别和索引静态URL，提高网站的搜索排名。 3. 可读性好：用户可以直接从URL中了解到页面的主题和内容，增加用户的点击意愿。
robots是什么robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件