Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。
有可能是以下原因导致： 1. 网站的质量下降，内容质量差或者存在过多的垃圾信息； 2. 网站出现技术问题，如服务器故障、网站无法访问等； 3. 网站的外部链接质量不高，过多的低质量链接影响了网站权重； 4. 百度的算法更新，可能会导致一些网站的排名变化； 5. 竞争激烈，同行业的其他网站优化更好，排名上升，导致自己的排名下降。 针对这些可能的原因，应该对网站进行优化，提高网站内容质量、解决技术
1. 在360搜索中输入您的网址，搜索，如果没有搜出结果，说明您的网站未被360搜索收录； 2. 在 360 相关数据查询平台（http://data.se.360.cn/rank/index.html）中输入您的域名，搜索，如果搜索出来有关于您域名的信息，说明您的网站已被 360 搜索收录。
百度站长平台发布公告宣布新版Baiduspider移动ua上线，同时公布了PC版Baiduspider UA，那么该如何正确识别移动UA呢？我们百度站长平台技术专家孙权老师给出了答案：新版移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile S
百度spider，也叫"百度蜘蛛"，是百度用于抓取网络上的网页内容的爬虫程序。它会自动搜索网络上的网页，抓取页面上的关键词和摘要，并将它们保存在百度的数据库中。百度的蜘蛛不仅可以抓取网页上的文本信息，还可以抓取网页上的图像和多媒体文件，以及网站上的链接。百度蜘蛛可以在短时间内快速地抓取大量信息，因此十分实用。它也可以抓取动态网页内容，对网络内容进行检索更新，从而搜集到最新最准确的检索结果。
