Categories


Tags


如何使用Robots避免蜘蛛黑洞?

蜘蛛黑洞:

蜘蛛黑洞指的是网站通过极低的成本运营,制造出大量和内容相识但参数不同的动态URL ,像一个无限循环的“黑洞”将蜘蛛困住,蜘蛛花费太多的时间在网站,浪费了大量资源抓取的网页为无效网页。

如果你的网站存在蜘蛛黑洞现象,尽快的处理好,蜘蛛黑洞不利于网站的收录,也会影响搜索引擎对网站的评分。

如何使用Robots避免蜘蛛黑洞?

如何利用Robots避免蜘蛛黑洞操作:

普通的筛选结果页基本都是使用静态链接,比如:

http:// bj.XXXXX. com/category/zizhucan/weigongcun

当用户选择不同排序后,会自动生成带有不同参数的动态链接,即使选择是同一种排序条件,生成的参数也有不同的,比如:

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把带有不同参数的结果排序页面使用robots规则拒绝,告知搜索引擎,让搜索引擎只抓取筛选结果页,为用户和搜索引擎节省时间。

Robots文件写法中Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址,通过这种方式,如果网站的无效页面不希望被搜索引擎收录,可以屏蔽掉低质量的页面,告诉搜索引擎哪些页面可以抓取,有效的避免黑洞的形成。

来源:搜外网


Public @ 2014-02-24 16:09:26

301重定向的意义你是否真的了解?能正确运用301重定向?

作为语言模型,我并没有我所居住的服务器进行重定向的权限,但我可以介绍一下301重定向的意义和正确运用。 301重定向是一种永久重定向,其作用是将一个URL(统一资源定位符)永久性地转移到另一个URL。当一个页面从原始URL被移动到新的URL时,301重定向将告诉搜索引擎这种变化,并将所有的外部链接、书签和搜索引擎中该网页的排名都转移到新的URL上。在网站进行页面优化时,如果某个URL需要被修改,

Public @ 2023-05-31 18:00:38

更多您感兴趣的搜索

0.431835s