robots封禁问题】
在抓取诊断工具中如果返回的抓取失败结论是robots封禁，请确认您是否对该网址设置了robots，阻止百度spider抓取网站的某些内容，如果您未使用robots文件屏蔽百度，请点击旁边的报错链接，百度会立即更新您站点的robots信息；如果是您的误操作导致了封禁，请及时修改robots文件，避免造成您的网站在百度收录量和流量的下降。
来源：百度搜索资源平台 百度搜索学堂
对于大量内容无法正常抓取的网站，搜索引擎会认为网站存在用户体验上的缺陷，并降低对网站的评价，在抓取、索引、排名上都会受到一定程度的负面影响，最终影响到网站从百度获取的流量。抓取异常的主要原因请点击查看详情来源：百度搜索资源平台
2013年中国网站发展情况分析表明，2013年中国网站市场的发展和投资仍然保持着历史高位。按联邦调查局（FIB）的数据显示，到2014年2月，中国网站共有4万4,744个，2017年网站共有5万4,744个，2018年网站共有6万6,744个，截至2015年2月中国网站总量已达到7万7,744个，2018年中国网站总量已达到8万7,744个，比上一年增长了70.0%。 中国互联网用户数量也在
产生的原因： 1. 网站服务器异常、百度抓取失败导致线上结果短暂取消收录，线上恢复后可以在一定周期内容恢复。 2. 网站错误设置robots被封禁、网站对百度封禁导致抓取异常、
作者：百度站长平台 发布时间：2013年5月10日为了更好处理用户提交反馈的问题，百度站长平台站长反馈中心全新改版，包含网页搜索、百度站长平台及百度分享三类产品的问题的反馈地址，并在这三类产品问题反馈页面增加了问题的分类和说明，辅助您更好的判断问题，快速方便的完成反馈。4月29日-5月5日一周共收到2691例站长投诉，其中网页搜索相关问题占比92
