百度各个产品使用不同的user-agent：
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
什么是动态的URL和静态的URL？动态的URL形式：http://baike.baidu.com/notexists?word=%B6%AF%CC%ACURLhttp://www.seowhy.com/index.php?3_77_zhhttps://www.seowhy.com/"https://www.seowhy.com/a/37.html" target="_
要实现301跳转，可以按照以下步骤操作： 1. 确认被重定向的页面或网站已经关闭或不再使用。 2. 在服务器上创建一个 .htaccess 文件，或者使用已经存在的 .htaccess 文件。 3. 在 .htaccess 文件中添加代码： Redirect 301 /原网址 http://新网址 其中，“原网址”是你想重定向的页面或者网站的网址，而“新网址”是你想
用几个最常见的情况，直接举例说明：1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录：User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录
360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。在命令中可以使用*、$等通配符。示例：
