百度各个产品使用不同的user-agent:
无线搜索
Baiduspider-mobile
图片搜索
Baiduspider-image
视频搜索
Baiduspider-video
新闻搜索
Baiduspider-news
百度搜藏
Baiduspider-favo
百度联盟
Baiduspider-cpro
商务搜索
Baiduspider-ads
网页以及其他搜索
Baiduspider
来源：360站长平台
动态URL是指包含有会发生改变的参数的URL。它们比静态URL会影响更大的范围，从而获得不同数据。动态URL的特点是可以通过改变URL中的查询字符串参数或“pathinfo”(也称为URL重写)来获得不同类型的大量数据，从而影响整个网站的功能和架构。
404页面是指在网站中访问的页面不存在或者找不到时，服务器返回的错误页面，一般返回状态码为404。以下是404页面的制作建议： 1. 突出提示信息：应突出404错误提示信息，告知用户页面不存在，并给予建议或转到网站首页。 2. 留下联系方式：如果是用户信息输入错误导致的404页面，可以留下联系方式，方便用户与网站联系。 3. 美化页面设计：可以设计一张有趣、富有创意或者符合主题的图片作为40
搜索引擎通过一种程序robot(又称spider)，自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo