Categories


Tags


如何让 sogou spider 不抓我的网站

sogou spider 支持 robots 协议,您可以在网站的根目录放置 robots.txt。

robots.txt 的规则请参阅 http://www.robotstxt.org/。需要注意的是,最新更新的 robots.txt 可能需要几个星期才能体现出效果来,另外,被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。


Public @ 2011-12-05 15:38:56

我希望我的网站内容被搜狗索引但不被保存快照,我该怎么做?

sogou spider遵守互联网meta robots协议。您可以利用网页meta的设置,使搜狗显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,虽然您已经在网页中通过meta禁止了搜狗在搜索结果中显示该网页的快照,但搜狗搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。

Public @ 2019-12-28 15:38:55

搜狗资源平台-抓取压力查询功能说明:

sogou spider对于同一个IP地址的服务器主机,只建立一个连接,抓取间隔速度控制在几秒一次。一个网页被收录后,最快也要几天以后才会去更新。如果sogou spider持续不断地抓取您的网站,请注意您的网站上的网页是否每次访问都产生新的链接。

Public @ 2015-06-24 15:38:54

更多您感兴趣的搜索

0.486264s