因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过 投诉平台 反馈请求处理。
近期百度搜索最大的动作应该就是百度Spider3.0升级了，简单的概括下升级的特点就是：抓取更实时，收录效率更快，对原创优质内容更青睐。此次升级是把当前离线、全量计算为主的系统，改造成实时、增量计算的全实时调度系统，万亿规模的数据进行实时读写，可以收录90%的网页，速度提升80%！『抓取、建库更快—提交的内容更容易被抓取』链接发现方面：如今sipder每天发现的新链接在500亿左右的量级，说明啥？
sogou spider 会根据网页的重要性和历史变化情况来动态调整更新时间，更新已经抓取过的页面
百度搜索引擎是中国最大的搜索引擎之一，它的基础知识包括如下几点： 1. 检索方式：百度搜索引擎是基于关键词的检索方式，用户输入关键字进行查询，百度会通过算法分析索引库中的信息，并以相关度排序呈现给用户。 2. 搜索排名：百度的搜索结果排名是按照一系列算法计算出的，在搜索结果页面中，排名越靠前的页面一般来说被认为是相关度更高的页面。 3. 网页收录：百度会通过网络爬虫程序收集并存储互联网上的信
为了给搜索用户更好的体验、对站点实现更好地索引和呈现，百度搜索需要访问网站的CSS、Javascript和图片信息，以便更精准地理解页面内容，实现搜索结果最优排名，百度搜索会全面启用最新UA来访问站点的上述资源。从3月24日（2017）开始，百度搜索抽取了部分优质站点进行抓取内测，可能会对站点服务器造成一定压力影响，请尽量不要对UA进行封禁，以免造成不可逆转的损失。最新UA如下：PC：Mozill
