Categories


Tags


为什么我的网站内一些不设链接的私密性网页,甚至是需要访问权限的网页,也会被搜狗收录?

sogou spider对网页的抓取,是通过网页与网页之间的链接实现的。

网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。

搜狗Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被搜狗收录,原因有两点:

A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化。

B. 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容。

如果您不希望这些私密性内容被搜狗收录,一方面可以通过robots协议加以限制;另一方面,也可以通过删除快照反馈给我们进行解决或者通过站长平台使用死链提交告知我们对其进行删除。


Public @ 2017-04-25 15:55:44

为什么我的网站收录数量越来越少?

可能有以下几个原因: 1. 网站质量下降:如果您的网站质量下降,例如内容质量差、页面加载速度慢、安全性差等,搜索引擎可能会降低您网站的排名,进而减少收录数量。 2. 违反搜索引擎策略:如果您的网站存在过多的黑帽SEO、伪造内容、钓鱼网站等,搜索引擎会对您的网站采取惩罚措施,从而降低收录数量。 3. 竞争加剧:如果您的网站所处的行业竞争增加,其他网站优化等因素可能会导致您的网站被淘汰,从而减少

Public @ 2023-04-27 01:50:13

搜索引擎体系结构

搜索引擎基本结构一般包括:搜索器、索引器、检索器、用户接口等四个功能模块。1、搜索器:搜索器也叫网络蜘蛛,是搜索引擎用来爬行和抓取网页的一个自动程序,在系统后台不停歇地在互联网各个节点爬行,在爬行过程中尽可能快的发现和抓取网页。2、索引器。它的主要功能是理解搜索器所采集的网页信息,并从中抽取索引项。3、检索器。其功能是快速查找文档,进行文档与查询的相关度评价,对要输出的结果进行排序。4、用户接口。

Public @ 2018-03-04 16:22:54

什么样的网页会被百度认为是没有价值而不被百度收录?

以下是一些可能会被百度认为是没有价值的网页: 1. 原创度低:内容复制粘贴自其他网站,没有独特性和原创性。 2. 内容质量低:网页内容质量差、无意义、过时或不准确。 3. 广告密度高:网页广告密度过高,影响用户体验,让用户难以找到有价值的内容。 4. 页面速度慢:网页打开速度慢,需要很长时间加载,用户体验差。 5. 多次违反百度规则:在过去多次违反百度规则,被百度扣除权重或直接罚站。

Public @ 2023-05-30 23:50:22

什么样的站点会受到搜狗欢迎?

站点应该是面向用户的,而不是面向搜索引擎的。一个受到用户欢迎的站点,最终也会受到搜索引擎欢迎;反过来,如果你的站点做了很多针对搜狗的优化,但却给用户带来大量负面体验,那么,你的站点最终肯定会受到搜狗的处罚。搜狗更喜欢有原创内容的网页,而不是简单抄袭和采集互联网上已有内容的网页。对于已经被重复了千百遍的内容,搜狗可能会不予收录。请谨慎使用你的站点链接。与一些垃圾站点做友情链接,很可能会使你的网站受到

Public @ 2016-02-29 15:55:42

更多您感兴趣的搜索

0.516302s