Categories


Tags


为什么我的网站内一些不设链接的私密性网页,甚至是需要访问权限的网页,也会被搜狗收录?

sogou spider对网页的抓取,是通过网页与网页之间的链接实现的。

网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。

搜狗Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被搜狗收录,原因有两点:

A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化。

B. 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容。

如果您不希望这些私密性内容被搜狗收录,一方面可以通过robots协议加以限制;另一方面,也可以通过删除快照反馈给我们进行解决或者通过站长平台使用死链提交告知我们对其进行删除。


Public @ 2017-04-25 15:55:44

搜索结果摘要不合预期的N种可能

1. 错误理解关键字:可能是因为搜索引擎错误地解析了用户输入的关键字,导致搜索结果与用户期望的不符合。 2. 搜索引擎算法问题:可能是搜索引擎的算法导致了不合预期的搜索结果,例如搜索引擎对于某些关键字的权重设置不准确,或者算法没有考虑到用户的具体意图。 3. 竞争性搜索结果:可能是因为竞争性搜索结果的存在,导致用户的搜索结果被其他网站排名较高的页面所占据。 4. 观点多样性:可能是因为搜索引

Public @ 2023-07-26 18:00:28

搜索引擎面临哪些问题

网页时效性:互联网上的用户众多,数据信息来源极广,互联网上的网页是呈实时动态变化的,网页的更新、删除等变动极为频繁,有时候会出现新更新的网页在爬虫程序还来不及抓取的时候却已经被删除的情况,这将大大影响搜索结果的准确性。  大数据存储问题:爬虫抓取的数据在经过预处理后数据量依然相当庞大,这给大数据存储技术带来相当大的挑战。当前大部分搜索引擎都是利用结构化的数据库来存储数据,结构化的数据库存

Public @ 2013-08-22 16:22:54

怎样做SEO有利于搜索引擎索引收录(1)

以下是一些有利于搜索引擎索引收录的SEO技巧: 1. 关键字优化:使用关键字在网站的标题、页面内容、图片标签和URL中。这将有助于搜索引擎了解您的网站内容并进行索引。 2. 优质内容:创建高质量、原创且有价值的内容对于搜索引擎索引和排名至关重要。确保您的内容与目标受众密切相关,并尽可能提供详细和有用的信息。 3. 网站结构优化:建立良好的网站结构,使搜索引擎能够轻松地浏览和索引您的网站。使用

Public @ 2023-07-23 23:00:33

怎么让网站被搜索引擎收录?

以下是一些增加网站被搜索引擎收录的方法: 1. 确认网站已经完全建成并运行正常,网站的所有页面都应该可以正常访问。 2. 开始网站内部优化。通过选择关键词、使用XML Sitemap、设置正确的title、description等标签,以及良好的导航和链接结构等,可以让搜索引擎更容易理解网站的内容和结构。 3. 注册Google Analytics和Google Search Console

Public @ 2023-06-08 09:50:17

更多您感兴趣的搜索

0.531341s