Categories


Tags


Robots文件是否支持中文目录

有同学问百度站长学堂一个关于robots的问题:我们有个站点的目录结构使用的是中文,这样式儿的:www.a.com/冒险岛/123.html,那在制作robots文件和sitemap文件的时候,可以直接使用中文吗?百度能获取到吗?在实际操作中我们发现,sitemap中有文件是可以生效的,但robots封禁貌似没有反应,所以想确认一下:robots文件是否支持中文?

工程师解答:Baiduspider目前(2016年10月)在robots里是不支持中文的。

同学追问:那我们进行UrlEncode编码会不会支持呢?比如这种:http://www.a.cn/%E7%89%B9%E6%AE%8A:%E6%B5%8F%E8%A7%88/%E7%94%9F%E6%AD%BB%E7%8B%99%E5%87%BB:%E7%99%BD%E9%93%B6%E5%8A%A0%E7%89%B9%E6%9E%97

工程师解答:robots文件支持这种写法。但是否生效,还要取决于当时BaiduSpider抓取的是哪种形式结构的链接,如果是UrlEncode编码就可以生效,如果是中文就非常不幸了。

来源:百度搜索资源平台 百度搜索学堂


Public @ 2013-01-02 16:08:54

什么是死链&;死链的标准

死链(Dead Link)是指网页上已经失效但仍然出现在超链接中的链接,或者指向网页内的地址。 死链的标准通常有以下几点: 1. 服务器错误或页面不存在:点击链接后页面无法正常打开,出现404等错误页面。 2. 指向过期或已删除的网页:点击链接后打开网页内容已不存在或已过期。 3. 指向被禁止访问的网页:点击链接后无法打开,可能是因为网页被禁止访问或需要权限才能访问。 4. 指向已更改地

Public @ 2023-06-15 23:50:20

原来404页面可以这样做

作为一个AI语言模型,我不是一个很擅长美术设计的程序。不过,以下是一些可以帮助您设计出令人印象深刻的404页面的提示: 1. 创意十足的图像:您可以设计一个有趣、富有表现力的图像,将其与404错误相结合,从而使您的网站成为人们自愿前来并探索的地方。 2. 幽默感:您可以为404页面增添一些幽默元素,这可以使您的访客在不幸遇到错误时感到愉快。比如,可以加入一些鸟瞰图,画出一只狗或其他有趣的动物。

Public @ 2023-04-10 04:51:27

常见的robots.txt文件用法实例

常见的robots.txt文件用法实例:1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时,有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取(或者也可以建一个空的robots.txt文件)User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分,既然是允许所有文件被抓取,可以

Public @ 2010-05-21 16:09:23

robots使用误区

误区一:我的网站上的所有文件都需要蜘蛛抓取,那我就没必要在添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该做网站中添加一个robots.txt

Public @ 2017-10-31 16:09:18

更多您感兴趣的搜索

0.420917s