Categories


Tags


如何使用Robots避免蜘蛛黑洞?

蜘蛛黑洞:

蜘蛛黑洞指的是网站通过极低的成本运营,制造出大量和内容相识但参数不同的动态URL ,像一个无限循环的“黑洞”将蜘蛛困住,蜘蛛花费太多的时间在网站,浪费了大量资源抓取的网页为无效网页。

如果你的网站存在蜘蛛黑洞现象,尽快的处理好,蜘蛛黑洞不利于网站的收录,也会影响搜索引擎对网站的评分。

如何使用Robots避免蜘蛛黑洞?

如何利用Robots避免蜘蛛黑洞操作:

普通的筛选结果页基本都是使用静态链接,比如:

http:// bj.XXXXX. com/category/zizhucan/weigongcun

当用户选择不同排序后,会自动生成带有不同参数的动态链接,即使选择是同一种排序条件,生成的参数也有不同的,比如:

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把带有不同参数的结果排序页面使用robots规则拒绝,告知搜索引擎,让搜索引擎只抓取筛选结果页,为用户和搜索引擎节省时间。

Robots文件写法中Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址,通过这种方式,如果网站的无效页面不希望被搜索引擎收录,可以屏蔽掉低质量的页面,告诉搜索引擎哪些页面可以抓取,有效的避免黑洞的形成。

来源:搜外网


Public @ 2014-02-24 16:09:26

nofollow标签的作用有重大变化

nofollow标签最初是由Google引入的,旨在告诉搜索引擎跟踪链接的方式。它的作用是让网站管理员控制搜索引擎是否跟踪某个链接并传递权重。也就是说,如果一个页面包含了nofollow标签,搜索引擎就不会将该页面与被链接的页面相关联,也不会将该页面作为链接目标的一部分考虑。这样可以避免一些不必要的链接传递权重,同时可以防止人工操纵搜索引擎排名。 然而,随着时间的推移,nofollow标签的作用

Public @ 2023-06-05 14:00:19

URL是什么?URL里包含关键词对收录有帮助吗?

URL是Uniform Resource Locator,即统一资源定位符,也称为网址。它是指用于定位互联网上资源的字符串,通常以http或https开头。 URL中包含的关键词可以对搜索引擎的收录有帮助,因为搜索引擎会通过分析URL中的信息来判断网页的主题和内容,从而更好地理解和索引网页。例如,如果你的URL中包含了关键词,那么搜索引擎会更容易识别你的页面与这些关键词相关,从而提高你的页面在搜

Public @ 2023-06-16 11:50:23

网站误封Robots该如何处理

robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。很多站长同学在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不必要损失!那么如果误操作封禁了robots怎么办?今天我们请到了厦门258网站运营负责人——郑军伟,为我们分享网站robots误封禁后该如何操作?【案例背景】网站开发2.0版本,技术选择了在线开发,为了避免搜索引擎抓取开

Public @ 2009-10-29 16:08:56

更多您感兴趣的搜索

0.454625s