Baiduspider对网页的抓取，是通过网页与网页之间的链接实现的。
网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，某些网页即便通过您的网站内部链接无法访问到，但是，如果别人的网站上有指向这些页面的链接，那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限，和普通用户是一样的。因此，普通用户没有权限访问的内容，Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录，原因有两点：
A. 该内容在Spider访问时是没有权限限制的，但抓取之后，内容的权限发生了变化
B. 该内容有权限限制，但是由于网站安全漏洞问题，导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上，则Spider就会循着这条路径抓出受限内容
如果您不希望这些私密性内容被百度收录，一方面可以通过Robots协议加以限制；另一方面，也可以通过反馈中心反馈给我们进行解决。
为确保永久删除您的内容，请进行以下某项操作。如果您没有进行相应操作，那么您的网站稍后可能会重新显示在搜索结果中。A.如果网页已不存在，请确保服务器返回 404（未找到）或 410（不存在）。这样可让搜狗知道该网页已不存在，无需再在搜索结果中显示。B.如果网页仍存在，但您不想让其显示在搜索结果中，请使用 robots.txt 阻止 sogou spider 进行抓取。请注意，在通常情况下，即使您已通
Site语法可以使您设定搜索范围，实现更加精准的搜索。例如在百度贴吧中查找有关“甄嬛传”的内容，可以使用“甄嬛传 site:tieba.baidu.com”进行搜索。这同intitle，inurl，本质上是相同的。而在这些高级语法下的结果数，和常规搜索一样，都是对结果数量的估算值，并非准确数字。通过site语法查询网站内容的收录情况，并不能够作为您的网站是否优质的参照。很有可能site下的“结果数
第一步，向各大搜索引擎进行提交。百度提交地址：http://www.baidu.com/search/url_submit.html谷歌提交地址：http://www.google.com/addurl/?hl=zh-CN&continue=/addurl第二步，友情链接。这个很重要，如果新站能有几个PR值高的同类网站给你链接，推荐一下的话，很快就能被收录。西部数码为广大网站提供了免费友情
站点应该是面向用户的，而不是面向搜索引擎的。一个受到用户欢迎的站点，最终也会受到搜索引擎欢迎；反过来，如果你的站点做了很多针对搜狗的优化，但却给用户带来大量负面体验，那么，你的站点最终肯定会受到搜狗的处罚。搜狗更喜欢有原创内容的网页，而不是简单抄袭和采集互联网上已有内容的网页。对于已经被重复了千百遍的内容，搜狗可能会不予收录。请谨慎使用你的站点链接。与一些垃圾站点做友情链接，很可能会使你的网站受到
