Categories


Tags


为什么我的网站内一些不设链接的私密性网页,甚至是需要访问权限的网页,也会被搜狗收录?

sogou spider对网页的抓取,是通过网页与网页之间的链接实现的。

网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。

搜狗Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被搜狗收录,原因有两点:

A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化。

B. 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容。

如果您不希望这些私密性内容被搜狗收录,一方面可以通过robots协议加以限制;另一方面,也可以通过删除快照反馈给我们进行解决或者通过站长平台使用死链提交告知我们对其进行删除。


Public @ 2017-04-25 15:55:44

内容变更/快照内容错误怎么办?

如果您发现内容有变更或快照内容错误,可以考虑以下几个步骤: 1.检查您的网络环境,尝试刷新页面,可能是页面加载出现了问题; 2.查看网站或应用程序的帮助中心或支持页面,了解相关问题的解决方法; 3.如果您认为内容有变更或快照内容错误,请联系网站或应用程序的客服支持团队,他们可能会提供解决方案; 4.如果您是该内容的拥有者,请联系搜索引擎,请求他们更新索引,以反映最新的内容状态。

Public @ 2023-06-20 06:00:10

为什么我的网站在百度收录的数量和其他搜索引擎相比相差很多?

有可能有以下几个原因导致您的网站在百度收录的数量和其他搜索引擎相比相差很多: 1. 索引机制不同:不同的搜索引擎使用不同的算法和机制来确定哪些网页应该被收录。百度可能将更多的重点放在中国市场,因此对其他国际网站的收录相对较少。 2. 偏重内容:百度在搜索结果中更看重网页的内容,在网站的质量和内容上有更高的要求。如果您的网站的内容质量不高,百度就可能会降低收录或排名。 3. SEO优化问题:百

Public @ 2023-06-30 09:50:22

网站只收录主页,内容页一直都不收录的原因有哪一些?

1. 网站内容需要深度处理,搜索引擎抓取和存储成本较高; 2. 内容页上的链接多而杂,非主题相关,容易引起搜索结果质量下降; 3. 网站内容不唯一,使搜索结果污染增多,无针对性; 4. 网站内容长篇混杂,容易引发重复内容,搜索引擎无法识别优先级; 5. 有些内容很少被搜索,搜索引擎认为收录没必要; 6. 有些内容过于垃圾或敏感,搜索引擎不愿意收录; 7. 网站代码或网络设置错误,违

Public @ 2023-02-26 01:00:24

更多您感兴趣的搜索

0.440794s