进入移动时代，同学们肯定会发现，百度官方和各知名SEO大拿们都在不断强调一个词：速度！最重要的莫过于，从用户点击搜索结果到页面完全加载完毕，不可超过3秒，否则有可能被限制展现（因为百度做过测试，当页面在3秒以上还无法打开的话，用户会选择关闭该网页）。于是大家各种针对速度的问题也多了起来，在深圳VIP大讲堂中，我们看到了这样一个简单的对话：
同学问：站点遇到百度蜘蛛抓取，应该在多长时间内给出反馈？时间太长会不会被惩罚？
工程师答：1秒是最好，最多4至5秒也可以接受，如果时间再长，恐怕蜘蛛会过段时间再来了。当然如果这种情况经常发生，对你站点的抓取是非常不利的。
在深圳Baiduspider3.0主题的高端沙龙中，我们的高级工程师也有这样一页PPT，其中提到历史抓取效果好和服务器稳定的站点，Spider会优先抓取处理。
来源：百度搜索资源平台 百度搜索学堂
内容优良而独特的页面，如果您的页面内容和互联网上已存在的其他页面有高度的相似性，可能不会被 sogou spider 收录。链接层次较浅的页面，过深的链接层次，尤其是动态网页的链接，会被丢弃而不收录。如果是动态网页，请控制一下参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面，越有可能被 sogou spider 丢弃。
sogou spider对于同一个IP地址的服务器主机，只建立一个连接，抓取间隔速度控制在几秒一次。一个网页被收录后，最快也要几天以后才会去更新。如果sogou spider持续不断地抓取您的网站，请注意您的网站上的网页是否每次访问都产生新的链接。
百度Spider在2017年3月同时推出渲染UA在移动端和PC端进行内测（《百度Spider新增渲染UA抓取公告》），内测期间分析了多个抓取量异常的case，均非渲染UA造成。本周百度Spider渲染UA在移动端全流量上线，PC端还未全部覆盖。特提醒PC站长，截止目前，对搜索引擎和用户有价值的内容，还是尽量不要使用JS加载的方式，以免造成不能索引等损失。来源：百度搜索资源平台
经常听到开发者问，百度蜘蛛是什么？最近百度蜘蛛来的太频繁服务器抓爆了！最近百度蜘蛛都不来了怎么办？还有很多站点想得到百度蜘蛛的IP段，想把IP加入白名单，但IP地址范围动态变化不固定，我们无法对外公布。那么如何才能识别正确的百度蜘蛛呢？今日干货带你轻松两步正确识别百度蜘蛛：一、查看UA信息如果UA信息不对，可以直接判断为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景，这三个渠道UA
