Categories


Tags


为什么我的网站中的一些私密网页也会被百度收录?

Baiduspider对网页的抓取,是通过网页与网页之间的链接实现的。

网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。

百度Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录,原因有两点:

  A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化

  B. 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容

如果您不希望这些私密性内容被百度收录,一方面可以通过Robots协议加以限制;另一方面,也可以通过反馈中心反馈给我们进行解决。


Public @ 2020-06-19 15:55:52

百度快照为什么会更新?

首先,需要澄清一下网页的抓取频率和快照的更新频率是完全不同的两个概念。每一个被百度收录的网站,baiduspider都会根据其网站内容更新的频率不断的检查有无新网页产生,通常情况下,Baiduspider的抓取频率会和网站产生新内容的速度相符,通常说的更新,是指Baiduspider对网页内容的抓取。每个新抓取或者新检查过的网页,我们都会根据其重要程度以及其时效性价值以不同的速度去创建索引,通常所

Public @ 2014-02-08 15:34:26

新站,百度一直不收录,怎么诊断?

1.搜索引擎页面是否受到限制:可以通过搜索引擎如Google或Bing来检查你的页面是否被屏蔽或限制了。如果没有显示,则有可能是百度限制了你的站点,或者是你的网站还需要一些时间才能被收录。 2.站点是否得到了合适的链接:搜索引擎的排名和收录受到链接的影响。如果你的站点没有得到合适的链接,那么百度可能无法识别和收录你的站点。因此,确保你的网站得到了合适的链接是很重要的。 3.网站是否有技术问题:

Public @ 2023-04-01 06:50:37

更多您感兴趣的搜索

0.437573s