Baiduspider对网页的抓取，是通过网页与网页之间的链接实现的。
网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，某些网页即便通过您的网站内部链接无法访问到，但是，如果别人的网站上有指向这些页面的链接，那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限，和普通用户是一样的。因此，普通用户没有权限访问的内容，Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录，原因有两点：
A. 该内容在Spider访问时是没有权限限制的，但抓取之后，内容的权限发生了变化
B. 该内容有权限限制，但是由于网站安全漏洞问题，导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上，则Spider就会循着这条路径抓出受限内容
如果您不希望这些私密性内容被百度收录，一方面可以通过Robots协议加以限制；另一方面，也可以通过反馈中心反馈给我们进行解决。
请注册百度搜索资源平台http://ziyuan.baidu.com，绑定站点，如整站未收录或半年内收录≤10条则系统会通过弹窗发送“新站保护”通道，按照要求提交则可快速收录。
情况一网页已不存在如果网页已不存在，请确保服务器返回 404（未找到）。这样可让搜狗知道该网页已不存在，无需再在搜索结果中显示。情况二网页仍存在请使用 robots.txt 阻止 sogou spider 进行抓取。请注意，在通常情况下，即使您已通过 robots.txt 禁止抓取某个网址，但如果我们在其他网站中发现该网址，仍会将相应网页编入索引。这里需要说明一点，如果页面变死链了，并且设置了ro
新站点为什么迟迟不收录？资源的收录有一定的周期，如果是有价值的资源，将会在周期内被百度蜘蛛抓取并收录，如果资源未被收录，则需要开发者从站点资源是否优质，内容类型是否与搜索中的其他资源相似两个角度分析自身内容是否存在问题。来源：百度搜索资源平台 百度搜索学堂
百度并不允诺所有网页都可从百度搜索到。如果您的网页长时间无法从百度搜索到，或者突然从百度的搜索结果中消失，可能的原因有：A. 您的网页不符合用户的搜索体验B. 您的网站所在服务器不稳定，被百度暂时性去除，稳定之后，问题会得到解决C. 您的网页内容有不符合国家法律和法规规定的地方D. 其他技术性问题以下的说法是错误的和毫无根据的：A. 参与了百度推广但未续费，会从百度搜索结果中消失B. 参与了其他搜
