Categories


Tags


百度搜索资源平台-sitemap全网开放及建议启用Etag的公告

亲爱的网站管理员:

百度站长平台即将正式全网开放sitemap权限,所有通过百度站长平台验证的网站均可以在百度站长工具的链接提交里添加网站的sitemap,而从近期sitemap全网开放会进入内测阶段,站长平台会挑选没有sitemap提交权限的站点参加内测,内测的报名入口《申请sitemap全网开放内测名额》。

另外,本次sitemap全网开放,将取消由站长来设置sitemap文件更新周期的功能,而是强烈建议网站对sitemap启用Etag,通过Etag信息百度可以用最小的抓取流量,来探测sitemap文件的更新。

作为百度引入资源的入口,sitemap对网页的收录极具意义,创建并提交开启Etag的sitemap有助于百度及时发现并了解网站整体链接信息。您还可以使用sitemap提供有关您网站的其他信息,如上次更新日期、sitemap文件的更新频率等,供百度Spider参考。sitemap的创建提交方法已经在站长学院的sitemap全网开放专题中给出了示例,请大家及时关注。

来源:百度搜索资源平台


Public @ 2013-01-24 16:09:46

通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。搜外网站后台日志分析结果如下图:image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。在robots.txt文件填写屏蔽规则如下:Disallow: /*.asp$Disallow: /*.php$Disallo

Public @ 2015-07-18 16:09:24

更多您感兴趣的搜索

0.423348s