Categories


Tags


robots.txt语法教程

用几个最常见的情况,直接举例说明:

1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。

2. 禁止所有SE收录网站的某些目录:

User-agent: *

Disallow: /目录名1/

Disallow: /目录名2/

Disallow: /目录名3/

3. 禁止某个SE收录本站,例如禁止百度:

User-agent: Baiduspider

Disallow: /

4. 禁止所有SE收录本站:

User-agent: *

Disallow: /

5. 加入sitemap.xml路径,例如:

来源:360站长平台


Public @ 2017-12-16 16:09:16

404页面该怎么做?

404页面是指在网站中访问的页面不存在或者找不到时,服务器返回的错误页面,一般返回状态码为404。以下是404页面的制作建议: 1. 突出提示信息:应突出404错误提示信息,告知用户页面不存在,并给予建议或转到网站首页。 2. 留下联系方式:如果是用户信息输入错误导致的404页面,可以留下联系方式,方便用户与网站联系。 3. 美化页面设计:可以设计一张有趣、富有创意或者符合主题的图片作为40

Public @ 2023-06-26 03:00:15

robots里这样写,就能避免蜘蛛爬这个“index.htm”这个首页?

我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页?User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页,想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档,主要是规避备案巡查我的网站和我备案的不一样,服务器那边要求改,我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址,,“index.htm”这个后缀地址

Public @ 2019-12-16 16:09:25

robots文件之前屏蔽了蜘蛛,现已开放,如何更新快照

一些域名之前通过robots.txt文件屏蔽了蜘蛛,后来对搜索引擎开放了,但搜索结果里,还是显示以下内容:“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述。”解决办法:在百度上搜索该域名,在搜索结果页面的末尾,点击用户反馈。来源:搜外网

Public @ 2011-07-02 16:09:24

更多您感兴趣的搜索

0.490860s