Categories


Tags


我希望我的网站内容被搜狗索引但不被保存快照,我该怎么做?

sogou spider遵守互联网meta robots协议。您可以利用网页meta的设置,使搜狗显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。

和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,虽然您已经在网页中通过meta禁止了搜狗在搜索结果中显示该网页的快照,但搜狗搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。


Public @ 2019-12-28 15:38:55

如何提高spider抓取网站?提高spider抓取策略(1)

SEO网站优化SEOER,每天都要时刻关注百度蜘蛛有没有来抓取网站,抓取了网站哪些内容,没有抓取网站哪些内容,再没有抓取的页面上观察调整网站的问题。想要提高爬虫抓取频率可以从几个方面着手,简单介绍提高spider抓取网站的策略。提高spider抓取策略有哪些?一、抓取友好性:抓取压力调配降低对网站的访问压力带宽造成访问压力大,会直接影响网站的正常用户访问,为了不影响网站的正常用户访问,又能让spi

Public @ 2010-03-31 16:22:35

360搜索蜘蛛IP段及蜘蛛ip被拦截的问题解决方法

360搜索蜘蛛的IP段有很多,不同的版本可能会有不同的IP段。一般来说,以下几个IP段是比较常见的: - 180.76.0.0/16 - 220.181.0.0/16 - 119.63.192.0/21 - 101.226.0.0/15 如果您想限制360搜索蜘蛛的访问,可以通过防火墙或CMS插件进行IP屏蔽。具体方法如下: 1. 防火墙:在防火墙设置中添加规则,拒绝360搜索蜘蛛的IP段访

Public @ 2023-03-30 06:50:24

为什么我的网站已经加了robots.txt,还能在搜狗搜索出来

因为搜索引擎索引数据库的更新需要时间。虽然sogou spider已经停止访问您网站上的网页,但搜狗搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫,也可以通过删除快照反馈请求处理。

Public @ 2018-01-11 15:38:56

更多您感兴趣的搜索

0.686071s