百度各个产品使用不同的user-agent：
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
| 什么是网站301？● 不带www的域名301到带www的域名● 老的链接301给新的链接| 为什么做网站301？● 权重集中● 权重传递| 如何做网站301？● 服务器上，宝塔面板● 服务器技术操作● IDC服务器面板上实现● 网站程序后台实现注：index不用301给主域名；动态URL不用301给伪静态链接。（搜外网）
301重定向可以用来优化网站排名，优化网站排名时，其中有个重要环节就是合理管理网站URL，即配置301重定向。 此外，还可以充分利用301重定向来做到以下几点： 1. 降低多余的网页：很多网站存在大量的多余页面，这些页面可以利用301重定向来减少用户等待时间； 2. 减少“不受欢迎”的网页：301重定向可以让搜索引擎及用户跳过不太正确的页面，缩短搜索的步骤； 3. 降低“404”错误：
robots.txt 是一个文本文件，用于指示搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。在建立一个网站时，可以通过 robots.txt 控制搜索引擎爬虫对网站的访问，以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1：新建 robots.txt 文件 在网站的根目录下，新建一个名为 robots.txt 的文本文件。 步骤2：编辑 robots.txt 文件
蜘蛛黑洞：蜘蛛黑洞指的是网站通过极低的成本运营，制造出大量和内容相识但参数不同的动态URL ，像一个无限循环的“黑洞”将蜘蛛困住，蜘蛛花费太多的时间在网站，浪费了大量资源抓取的网页为无效网页。如果你的网站存在蜘蛛黑洞现象，尽快的处理好，蜘蛛黑洞不利于网站的收录，也会影响搜索引擎对网站的评分。如何使用Robots避免蜘蛛黑洞？如何利用Robots避免蜘蛛黑洞操作：普通的筛选结果页基本都是使用静态链接
