为什么我的网站已经加了robots.txt,还能在搜狗搜索出来
因为搜索引擎索引数据库的更新需要时间。虽然sogou spider已经停止访问您网站上的网页,但搜狗搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫,也可以通过删除快照反馈请求处理。
因为搜索引擎索引数据库的更新需要时间。虽然sogou spider已经停止访问您网站上的网页,但搜狗搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫,也可以通过删除快照反馈请求处理。
根据360搜索蜘蛛的IP汇总,以下是一些常见的360搜索蜘蛛的IP地址: 1. 180.163.220.0 - 180.163.220.255 2. 180.163.221.0 - 180.163.221.255 3. 180.163.222.0 - 180.163.222.255 4. 180.163.223.0 - 180.163.223.255 5. 180.163.225.0 - 180
一般用在网站被挂马以后,直接访问没有问题,可以通过模拟百度或其他搜索引擎来访问,即可发现问题。比如下面的例子,直接访问没问题,使用模拟搜索引擎访问即可发现问题。比如访问一个针对搜索引擎挂马的网页:http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [这个地址可能会会失效],这样就可以看到被挂马的情况。(默认情
因为搜索引擎索引数据库的更新需要时间。虽然sogou spider已经停止访问您网站上的网页,但搜狗搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫,也可以通过删除快照反馈请求处理。
sogou spider 对于同一个 IP 地址的服务器主机,只建立一个连接,抓取间隔速度控制在几秒一次。一个网页被收录后,最快也要过几天以后才会去更新。如果持续不断地抓取您的网站,请注意您的网站上的网页是否每次访问都产生新的链接。如果您认为 sogou spider 对于您的网站抓取过快,请与我们联系,最好能提供访问日志中sogou spider 访问的部分。点此投诉spider抓取过快