Categories


Tags


为什么我的网站内一些不设链接的私密性网页,甚至是需要访问权限的网页,也会被搜狗收录?

sogou spider对网页的抓取,是通过网页与网页之间的链接实现的。

网页之间的链接类型,除了站点内部的页面链接之外,还有不同网站之间的互相链接。因此,某些网页即便通过您的网站内部链接无法访问到,但是,如果别人的网站上有指向这些页面的链接,那么这些页面还是会被搜索引擎所收录。

搜狗Spider的访问权限,和普通用户是一样的。因此,普通用户没有权限访问的内容,Spider也没有权限访问。之所以看上去某些访问权限限制内容被搜狗收录,原因有两点:

A. 该内容在Spider访问时是没有权限限制的,但抓取之后,内容的权限发生了变化。

B. 该内容有权限限制,但是由于网站安全漏洞问题,导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上,则Spider就会循着这条路径抓出受限内容。

如果您不希望这些私密性内容被搜狗收录,一方面可以通过robots协议加以限制;另一方面,也可以通过删除快照反馈给我们进行解决或者通过站长平台使用死链提交告知我们对其进行删除。


Public @ 2017-04-25 15:55:44

怎样做SEO有利于搜索引擎索引收录(1)

怎样做SEO有利于搜索引擎索引收录,即如何构建便于搜索引擎识别、索引、展现的移动网站。以下将从域名、服务器、加载速度、站点结构、URL结构、PC站与移动站适配、网站被动抓取、网页筛选建库8个方面来分别讲解:1、域名与PC网站一样,域名越短越好。一个好的移动域名,不仅容易记忆、易于输入,还能方便用户向其他人推荐。短并且具有语义化特性的域名让用户更直观地了解网站主旨。2、服务器域名选好了之后,就要配置

Public @ 2011-11-27 15:55:35

百度快照为什么会更新?

首先,需要澄清一下网页的抓取频率和快照的更新频率是完全不同的两个概念。每一个被百度收录的网站,baiduspider都会根据其网站内容更新的频率不断的检查有无新网页产生,通常情况下,Baiduspider的抓取频率会和网站产生新内容的速度相符,通常说的更新,是指Baiduspider对网页内容的抓取。每个新抓取或者新检查过的网页,我们都会根据其重要程度以及其时效性价值以不同的速度去创建索引,通常所

Public @ 2014-02-08 15:34:26

 新建的网站未收录怎么办?

答:页面是否被收录,与页面是否具有价值有关,原则上内容越贴近用户的搜索需要,网页就会越快地被搜索引擎收录。但通常情况下页面从产生到收录需要一定周期,时间从几分钟到几天不等,这取决于网页的搜索价值和重要性的高低。长时间不收录的原因可能包括:1) 页面被惩罚整站或目录没有进行收录,2) 网页没有被搜索引擎发现,因为网页没有放置外部链接,本身是个孤岛页面。针对第一种情况,首先请查看网站是否出现过无法打开

Public @ 2014-10-05 15:34:34

如何让网站已经收录的无关页面,彻底不收录?

要让网站已经收录的无关页面彻底不再被收录,可以按照以下步骤进行操作: 1. 在搜索引擎的Webmaster工具中提交网站地图(sitemap),确保所有需要收录的页面都已包含在网站地图中。 2. 对于想要排除的页面,可以通过robots.txt文件来限制搜索引擎的访问。在robots.txt文件中添加适当的Disallow规则,指定不希望被搜索引擎收录的页面或目录。例如,如果想要排除某个目录,

Public @ 2023-07-29 11:00:34

更多您感兴趣的搜索

0.457112s