Categories


Tags


为什么我的网站内一些不设链接的私密性网页,甚至是需要访问权限的网页,也会被搜狗收录?

sogou spider对网页的抓取,是通过网页与网页之间的链接实现的。

网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。

搜狗Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被搜狗收录,原因有两点:

A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化。

B. 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容。

如果您不希望这些私密性内容被搜狗收录,一方面可以通过robots协议加以限制;另一方面,也可以通过删除快照反馈给我们进行解决或者通过站长平台使用死链提交告知我们对其进行删除。


Public @ 2017-04-25 15:55:44

搜索结果摘要不合预期的N种可能

1. 错误理解关键字:可能是因为搜索引擎错误地解析了用户输入的关键字,导致搜索结果与用户期望的不符合。 2. 搜索引擎算法问题:可能是搜索引擎的算法导致了不合预期的搜索结果,例如搜索引擎对于某些关键字的权重设置不准确,或者算法没有考虑到用户的具体意图。 3. 竞争性搜索结果:可能是因为竞争性搜索结果的存在,导致用户的搜索结果被其他网站排名较高的页面所占据。 4. 观点多样性:可能是因为搜索引

Public @ 2023-07-26 18:00:28

新站,百度一直不收录,怎么诊断?

百度一直不收录新站的诊断,从这四个方面:1、查询域名历史,确保没被拉黑。如果这个域名之前被人用来做了灰色行业,则可能被百度等搜索引擎拉入黑名单。查看域名历史的查询工具:https://didi.seowhy.com/history.html2、进入百度搜索资源平台,确保抓取诊断正常。对首页、1-2个栏目页面、任选5-10个内页进行抓取诊断。确保能够成功抓取,并返回200。3、检查robots.tx

Public @ 2018-12-02 15:55:28

网站一个多月了 一直没收录,这个是什么原因

? 1. 网站URL不正确或不完整:请检查您的网站URL是否正确,是否包含所有主要关键字,以及是否完整可被搜索引擎找到; 2. 网站不具备足够的权重:搜索引擎以权重来评估网站可被收录的可能性,如果您的网站权重较低,则可能会导致不被收录; 3. 网站内容不符合搜索引擎的规则:不要使用搜索引擎不认可的技术,避免过多的关键字堆砌和不实信息等,还可以尝试调整与主题无关的内容; 4. 网站优化不当:

Public @ 2023-02-25 05:48:26

更多您感兴趣的搜索

0.526280s