Categories


Tags


通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。

搜外网站后台日志分析结果如下图:

image.

搜外主站实际上不存在php后缀的URL地址。

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。

在robots.txt文件填写屏蔽规则如下:

Disallow: /*.asp$

Disallow: /*.php$

Disallow: /*.aspx$

注意前面一个*,后面一个$,代表后缀。

参考搜外的robots.txt文件写法,点击这里

来源:搜外网


Public @ 2015-07-18 16:09:24

网站架构对SEO的影响

2011年第一文,在这里祝大家新年快乐,今天卢松松就归纳下之前所有网站的架构对SEO的影响,有许多网友问过重复的问题,我在这里归总一下。在以后的日子里,我还将不断优化本站提供的模板下载,在符合SEO的同时,更加兼顾模板的性能问题,为本站模板用户创造出高访问量网站模板优化。一:W3C标准对SEO的影响。我们看到每个网页的源文件(右键查看源文件),几乎每个网站最顶部都有以下代码:<!DOCTYP

Public @ 2010-08-23 16:12:06

动态URL是什么?动态URL有什么特点?

动态URL(Dynamic URL)是一种包含动态参数的URL地址,这些参数可以随着不同的请求而生成不同的URL。动态URL通常用于动态网页的生成和查询,例如搜索引擎结果页面、电子商务网站的商品页面等。 动态URL的特点包括: 1. 包含动态参数,这些参数会随着用户的不同请求而改变。 2. 动态URL的内容可以是从数据库中动态生成的。 3. 动态URL可能会出现重复内容,因为同一内容可能有不同的

Public @ 2023-06-17 04:00:18

robots里这样写,就能避免蜘蛛爬这个“index.htm”这个首页?

我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页?User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页,想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档,主要是规避备案巡查我的网站和我备案的不一样,服务器那边要求改,我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址,,“index.htm”这个后缀地址

Public @ 2019-12-16 16:09:25

更多您感兴趣的搜索

0.573243s