Categories


Tags


常见的robots.txt文件用法实例

常见的robots.txt文件用法实例:

1、禁止所有搜索引擎抓取网站的任何部分

User-agent: *

Disallow: /

这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时,有的会先屏蔽所有蜘蛛抓取。

2、允许所有的spider抓取(或者也可以建一个空的robots.txt文件)

User-agent: *

Allow: /

这是允许所有搜索引擎抓取网站的任何部分,既然是允许所有文件被抓取,可以不用创建robtos.txt文件,即默认全部允许抓取。

3、禁止spider抓取特定目录

User-agent: *

Disallow: /a/

Disallow: /b/

Disallow: /c/

这是禁止所有的spider抓取a、b、c目录。这个规则我们最常用到,比如网站的程序后台、程序目录等都可以禁止spider抓取,以减少spider无意义的浪费我们的空间资源。

4、禁止spider抓取搜索结果页面

User-agent: *

Disallow: /so_article?*

如果你网站的搜索结果页面URL格式如:/so_article?keyword=搜索关键字,则按以上格式进行屏蔽,注意最后带了一个星号*,代表屏蔽so_article?带头的所有URL。

对于大部分网站,常用的就是以上4种情况。

来源:搜外网


Public @ 2010-05-21 16:09:23

什么是Sitemap

Sitemap(即站点地图)就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页。您还可以使用Sitemap提供有关您网站的其他信息,如上次更新日期、Sitemap文件的更新频率等,供百度Spider参考。百度对已提交的数据,不保证一定会抓取及索引所有网址。但是,我们会使用Sitemap中的数据来了解网站的结构等信息,这样可以帮助我们改进抓取策略,并在日后能更好

Public @ 2013-10-13 16:09:44

链接深度的具体作用

增加内页权重虽然,链接深度是网站的内部页面之间的链接,但如果这种内部链接达到一定的数量而且这一数量更是有质量的时候,那么网站内部页面的权重将会有极大的提升,随之而来的也是内部页面在搜索引擎搜索结果中排名的提升。有的时候我们可能会发现,某一网站内部页面在某一特定关键词下,在搜索引擎中排名会比首页要高得多,有可能就是这一页面的链接深度有“量”又有“质”造成的。增加首页权重由于网站的权重、PR值具有传递

Public @ 2016-06-12 16:11:34

robots.txt语法教程

用几个最常见的情况,直接举例说明:1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。2. 禁止所有SE收录网站的某些目录:User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站,例如禁止百度:User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录

Public @ 2017-12-16 16:09:16

我希望我的网站内容被百度索引但不被保存快照,我该怎么做?

我希望我的网站内容被百度索引但不被保存快照,我该怎么做?Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置,使百度显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照,但百度搜索引擎数据库中如果已经建立了网页索引信息,可

Public @ 2014-06-20 16:08:58

更多您感兴趣的搜索

0.436420s