百度各个产品使用不同的user-agent：
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
网站内链，指网站的各级导航、锚文本和由图片、图标、视频等媒体附带的站内链接，狭义上仅指在网站内部指向其它内部页面的锚文本。网站内链可以使用户轻松实现站内的页面跳转。一个结构清晰的网站和金字塔类似，即从首页沿一级和二级导航跳转向各个分页面，各个分页面之间以关键词锚文本或页面切换的方式互相跳转，实现了站内页面的连贯性和相关性。好的网站内链不仅能加快用户提取页面内关键信息的速度，而且能使各大搜索引擎的蜘
301重定向可以用来优化网站排名，优化网站排名时，其中有个重要环节就是合理管理网站URL，即配置301重定向。 此外，还可以充分利用301重定向来做到以下几点： 1. 降低多余的网页：很多网站存在大量的多余页面，这些页面可以利用301重定向来减少用户等待时间； 2. 减少“不受欢迎”的网页：301重定向可以让搜索引擎及用户跳过不太正确的页面，缩短搜索的步骤； 3. 降低“404”错误：
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
