Baiduspider对网页的抓取，是通过网页与网页之间的链接实现的。
网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，某些网页即便通过您的网站内部链接无法访问到，但是，如果别人的网站上有指向这些页面的链接，那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限，和普通用户是一样的。因此，普通用户没有权限访问的内容，Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录，原因有两点：
A. 该内容在Spider访问时是没有权限限制的，但抓取之后，内容的权限发生了变化
B. 该内容有权限限制，但是由于网站安全漏洞问题，导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上，则Spider就会循着这条路径抓出受限内容
如果您不希望这些私密性内容被百度收录，一方面可以通过Robots协议加以限制；另一方面，也可以通过反馈中心反馈给我们进行解决。
Site语法是一种在搜索引擎中使用的高级搜索技巧，用于限定搜索结果的范围。它可以使用户在搜索时只查找特定网站、具有特定域名的网站或特定类型的文档内容。以下是Site语法的说明： 1.在搜索词前面加上“site:”可以限定搜索结果来自特定网站。 2.在“site:”后面加上网站的域名可以指定搜索结果来自该域名的所有页面。 3.通过在“site:”和域名之间添加关键词可以限制搜索结果只包括特定主
情况一网页已不存在如果网页已不存在，请确保服务器返回 404（未找到）。这样可让搜狗知道该网页已不存在，无需再在搜索结果中显示。情况二网页仍存在请使用 robots.txt 阻止 sogou spider 进行抓取。请注意，在通常情况下，即使您已通过 robots.txt 禁止抓取某个网址，但如果我们在其他网站中发现该网址，仍会将相应网页编入索引。这里需要说明一点，如果页面变死链了，并且设置了ro
1. 在360搜索中输入您的网址，搜索，如果没有搜出结果，说明您的网站未被360搜索收录； 2. 在 360 相关数据查询平台（http://data.se.360.cn/rank/index.html）中输入您的域名，搜索，如果搜索出来有关于您域名的信息，说明您的网站已被 360 搜索收录。
百度只收录了网站首页分两种情况，一种是新网站只被百度收录了首页，另一种是网站很长时间了，也是只被百度收录了首页而已。针对这两种情况，应该如何解决呢？无论是新网站还是老站点只是被百度收录了首页这个问题，很多SEO从业者都有碰到这样的问题，今天，赵彦刚与你一起分享关于百度只收录网站首页的两种情况。新网站只被百度收录首页的解决办法新站点出现这种情况时，要先明确网站到底有多新。假设网站从创建到被百度收录首
