百度各个产品使用不同的user-agent：
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
面包屑（Breadcrumbs）是一种用于进行网页导航的UI设计技术，它将当前页面的位置信息清楚的提示给用户，从而让用户在浏览网站时更加清晰，导航页面更加便捷。 面包屑导航的原理是类似于一个视觉式的系统路径，它跟踪其用户当前处于网站哪个部分，是用户在当前网页或者浏览器窗口中显示当前页面标题以及它所处网站结构位置的链式结构，它显示用户已经在网站中浏览过的路线，并且可以像浏览这个路线一样，把用户
不会。网址在 Sitemap 中的位置并不会影响百度对它的识别或使用方式。
1. 下面是一个拒绝所有机器人访问的robots.txt： ``` User-agent: * Disallow: / ``` 2. 下面的robots.txt用于阻止百度搜索引擎访问整个站点： ``` User-agent: Baiduspider Disallow: / ``` 3. 下面的robots.txt文件用于阻止所有搜索引擎访问以private开头的任何URL： ```
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
