robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: * Disallow: /private/ Disallow: /secret/ User-agent: Baiduspider Disallow: /admin/ User-agent: Googlebot Disallow: /tmp/
301跳转生效后，原网页是否会被删除？答：不会，会与跳转后的新网页同时存在。来源：百度搜索资源平台 百度搜索学堂
301重定向可以用来优化网站排名，优化网站排名时，其中有个重要环节就是合理管理网站URL，即配置301重定向。 此外，还可以充分利用301重定向来做到以下几点： 1. 降低多余的网页：很多网站存在大量的多余页面，这些页面可以利用301重定向来减少用户等待时间； 2. 减少“不受欢迎”的网页：301重定向可以让搜索引擎及用户跳过不太正确的页面，缩短搜索的步骤； 3. 降低“404”错误：
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态URL ，就像一个无限循环的“黑洞”将spider困住，Baiduspider浪费了大量资源抓取的却是无效网页。比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，
