Categories


Tags


通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。

搜外网站后台日志分析结果如下图:

image.

搜外主站实际上不存在php后缀的URL地址。

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。

在robots.txt文件填写屏蔽规则如下:

Disallow: /*.asp$

Disallow: /*.php$

Disallow: /*.aspx$

注意前面一个*,后面一个$,代表后缀。

参考搜外的robots.txt文件写法,点击这里

来源:搜外网


Public @ 2015-07-18 16:09:24

XML格式中,“priority”提示会影响结果排名吗?

不一定。在XML格式中,“priority”标签可以用于指定网页的权重或重要性,但具体影响结果排名的因素还有很多其他因素,如关键词匹配度、网页内容质量、链接质量等。因此,“priority”标签只是其中的一个因素,不一定会对结果排名产生直接影响。

Public @ 2023-06-10 09:50:07

从基础到精通:认识网站301重定向的那些事

301重定向是一种常见的网站管理技术,它允许网站管理员将一个页面的URL重定向到另一个页面的URL上。这种技术的主要目的是帮助网站维护者将旧的、无用的或已删除的网页指向新的、有用的或更新的网页上,从而保证网站上的链接和搜索结果都能得到正确的指引。 以下是关于301重定向的一些基础知识: 1. 301重定向与302重定向的区别 301重定向是一种永久重定向,它会告诉搜索引擎和其他网站,被重定向

Public @ 2023-06-06 03:50:30

Robots META标签的写法

Robots META标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;Robots Me

Public @ 2019-08-04 16:09:30

robots.txt文件的格式

User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項: - User-agent:要設定的是區分搜索引擎的機器人,可設定多個。若不加此欄位,則視為通用設定。 - Disallow:機器人不可存取的目錄或檔案,在此設定時,要注意目錄名稱或檔案名稱是完整的,不

Public @ 2023-06-17 03:50:39

更多您感兴趣的搜索

0.574468s