Categories


Tags


大量爬虫进入了我的网站

邵俊凡 提问于 3年 之前

zac大神,我发现在一段时间里有大量的爬虫进入我的网站,这有什么影响,这种行为会降低我网站的权重吗?会驱逐高质量的百度蜘蛛吗?我百度发现恶意爬虫会增加流量,增加网站负担。如果是,我该怎么应对?

2 个回答

Zac 管理员 回答于 3年 之前

假设你说的是非搜索引擎的恶意蜘蛛/爬虫,来采集内容之类的。

有大量恶意蜘蛛,对SEO没有直接影响,和搜索引擎眼里网站的权重一点关系都没有。搜索引擎并不会知道你网站上有没有恶意蜘蛛,也不会影响百度蜘蛛的抓取频率,完全没有关系。

当然,如果服务器不够强,或者恶意蜘蛛量太多,拖慢服务器,甚至页面打不开了,那肯定会影响真正搜索引擎的抓取。不过,其它任何因素导致的服务器响应慢,都会导致这个结果。

如果恶意蜘蛛数量在每天几万之内,服务器就出问题了,那说明需要换服务器了。如果超过这个量,可以屏蔽恶意蜘蛛(如果你确认是恶意的话)。

刘馨文 回答于 3年 之前

北京旅游景点:如果我这样发的话算不算一条外链,或者是不是引蜘蛛到我的网站啊?

Zac 管理员 回复于 3年 之前

网址已经删了。即使不删除也不是一个外链。

来源:SEO每天一贴 Zac 昝辉


Public @ 2014-05-27 15:53:56

网页源文件过大是否影响蜘蛛抓取与建立索引?

石野 提问于 3年 之前zac老师,我想请教一下,首页网页源文件过大如290k左右、网页内容较多页面较长,百度快照显示不完整,这样的情况是否影响蜘蛛程序的抓取与建立索引?1 个回答Zac 管理员 回答于 3年 之前页面文件过大,当然有可能影响抓取和收录。不过通常1-2M的文件都不是问题,甚至更大点。你的页面只是290K的话,属于正常范围,不应该有什么影响。你可以检查一下原始日志,看看百度蜘蛛抓取的

Public @ 2011-08-26 16:04:05

网站抓取了一些不存在的目录跟页面?

可能是因为网站存在未处理的URL链接或者被其他网站或者搜索引擎误解导致的,也有可能是恶意的爬虫在尝试攻击网站。为了解决这个问题,可以通过以下方式进行: 1. 对于不存在的页面,应该返回404错误页面或者301重定向到一个已有的页面; 2. 建立一个robots.txt文件来限制搜索引擎或者爬虫的访问; 3. 定期检查日志文件来发现存在攻击性的IP地址或者爬虫; 4. 部署防火墙、权限管理和加密措

Public @ 2023-05-30 19:00:18

Matt Cutts的杂七杂八的最新指示

站长世界组织的Pubcon上星期在拉斯维加斯召开。Matt Cutts与Brett Tabke做了一个对谈,下面简单翻译一下主要内容。其实也谈不上翻译,因为经常是人家五句话被我翻成一句话了。只是说说我理解的主要意思。要求信达雅的朋友,请看原文。问:在Google,通常一天都是怎么过的?Matt Cutts答:这很难讲,得看有什么要处理的东西和新闻。比如说.cn域名的恶意软件等,出现问题,就尽快解决

Public @ 2015-05-16 16:04:39

关键词排名消失问题

关键词排名消失的问题可能由以下原因引起: 1. 竞争对手优化 - 如果竞争对手增加了他们的优化工作,并且在搜索引擎中排名更高,那么您的排名可能会下降或消失。 2. 内容或网站质量 - 如果您的网站内容质量较低或过时,或者您的网站遭受了被搜索引擎惩罚的情况,那么您的排名可能会下降。 3. 搜索算法更新 - 搜索引擎不断更新他们的搜索算法,以提供更好的搜索结果。如果您的网站没有按照新算法进行优化

Public @ 2023-06-28 22:00:28

更多您感兴趣的搜索

0.483394s