Categories


Tags


robots里这样写,就能避免蜘蛛爬这个“index.htm”这个首页?

我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页?

User-agent: *

Disallow: /index.htm

11-30.

我的index.htm是现在默认的首页,想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档,主要是规避备案巡查

我的网站和我备案的不一样,服务器那边要求改,我就整了个htm文档来规避下。

写法没有问题。但正常的不建议屏蔽首页地址,,“index.htm”这个后缀地址是需要处理掉的。

当然,如果只是应付备案短暂需求,,就只能这样处理。

后续备案处理后,尽快处理后缀“index.htm”。同时robots修改回去。

来源:搜外网


Public @ 2019-12-16 16:09:25

如何选择seo外包商而不被忽悠

1. 确定您的SEO需求:在选择SEO外包商之前,您需要明确自己的SEO需求,包括想要SEO优化的关键词、目标地区以及SEO预算等。 2. 搜索并筛选SEO外包商:通过搜索引擎或SEO相关论坛等途径,搜索和筛选SEO外包商。注意,不要只依赖广告或推送邮件找到SEO外包商。 3. 评估SEO外包商的能力:通过SEO外包商的网站、案例、口碑等信息,评估其SEO能力和信誉度。可以向SEO外包商索取真

Public @ 2023-04-08 15:01:33

如何查看网站是否被挂木马?

在21世纪互联网今天,很多的企业最不愿意看到的就是自己花费心思建设的官方网站,在还没有为企业赢得一定的利润之前,就应该被挂木马,并且据天津网站建设-文率科技了解,目前很多的企业对于网站建设并不了解,不知道如何监测和预防木马的出现,为此,文率小编今天特意为大家总结一些关于网站监测木马的方式,希望能够更好的帮助您运营企业网站。一、在线监测从事SEO优化工作的站长应该都清楚,如果在搜索引擎框框内输入si

Public @ 2016-08-27 15:37:43

robots简介

搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游

Public @ 2022-05-30 16:09:18

更多您感兴趣的搜索

0.507625s