Categories


Tags


如何使用Robots避免蜘蛛黑洞?

蜘蛛黑洞:

蜘蛛黑洞指的是网站通过极低的成本运营,制造出大量和内容相识但参数不同的动态URL ,像一个无限循环的“黑洞”将蜘蛛困住,蜘蛛花费太多的时间在网站,浪费了大量资源抓取的网页为无效网页。

如果你的网站存在蜘蛛黑洞现象,尽快的处理好,蜘蛛黑洞不利于网站的收录,也会影响搜索引擎对网站的评分。

如何使用Robots避免蜘蛛黑洞?

如何利用Robots避免蜘蛛黑洞操作:

普通的筛选结果页基本都是使用静态链接,比如:

http:// bj.XXXXX. com/category/zizhucan/weigongcun

当用户选择不同排序后,会自动生成带有不同参数的动态链接,即使选择是同一种排序条件,生成的参数也有不同的,比如:

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把带有不同参数的结果排序页面使用robots规则拒绝,告知搜索引擎,让搜索引擎只抓取筛选结果页,为用户和搜索引擎节省时间。

Robots文件写法中Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址,通过这种方式,如果网站的无效页面不希望被搜索引擎收录,可以屏蔽掉低质量的页面,告诉搜索引擎哪些页面可以抓取,有效的避免黑洞的形成。

来源:搜外网


Public @ 2014-02-24 16:09:26

IIS网站服务器性能优化指南

以下是一些建议,可以帮助你优化IIS网站服务器性能: 1. 使用最新版本的IIS:确保你正在使用最新版本的IIS,因为每个新版本都会带来一些性能和安全性方面的改进。 2. 配置连接并发限制:根据服务器硬件和应用程序需求,调整IIS的连接并发限制,以确保服务器资源的最佳利用。 3. 启用输出缓存:启用IIS的输出缓存功能,可以缓存静态内容以减轻服务器负载,提高网站的响应速度。 4. 使用Gz

Public @ 2023-07-22 07:50:44

导航结构是什么?导航结构优化方法

导航结构是啥网站导航的作用就是引导用户快速找到主要信息,指引用户到达目标页面,一个好的导航对于吸引用户和搜索引擎优化都非常重要。导航结构的作用1、引导用户访问指定页面。其中全局导航、分类导航、辅助导航都是根据这个目的进行的。2、告诉用户所在网页位置。这个在面包屑导航中得到了充分的体现,它帮助用户识别当前浏览的页面与网站整体内容间关系,及其与网站中其它内容的联系和区分。3、理清网站各内容与链接间的联

Public @ 2015-09-17 16:11:43

robots文件之前屏蔽了蜘蛛,现已开放,如何更新快照

一些域名之前通过robots.txt文件屏蔽了蜘蛛,后来对搜索引擎开放了,但搜索结果里,还是显示以下内容:“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述。”解决办法:在百度上搜索该域名,在搜索结果页面的末尾,点击用户反馈。来源:搜外网

Public @ 2011-07-02 16:09:24

Robots文件的作用和规范写法

控制页面的抓取、索引是SEO优化网站结构时经常需要用到的技术。常见的工具包括:robots文件页面的noindex标签链接的nofollow属性页面的301转向页面的canonical标签等这几个工具各有各的特定应用场景,但都是用于控制网站内部结构,之间容易混淆,还经常需要配合使用,SEO们必须准确理解这几个工具的机制和原理,不然很容易出错。这篇贴子讨论robots文件。Robots文件的作用ro

Public @ 2012-12-30 16:09:20

更多您感兴趣的搜索

0.541832s