Categories


Tags


头条搜索站长平台-sitemap异常原因解释

sitemap异常原因解释解决方法

爬虫被封禁可能是您的网站对Bytespider的UA或IP进行封禁建议您根据我们公布的UA和IP进行解封,第二天重新抓取之后会恢复正常

sitemap文件数据量过大可能是您的sitemap节点数量超过了5w个建议您拆分为几个小的sitemap文件

sitemap地址非法可能是您的sitemap地址不可访问或者存在xml和txt混合模式的数据建议您按照我们的要求提交sitemap地址

站点服务不可用我们请求您的网站3次后发现您的网站仍旧不可访问会暂时停止抓取,则返回该原因请您检查服务器是否可正常运转,如果正常,等正常调度后正常抓取

sitemap地址不存在可能是您的地址无法访问,返回404,我们获取不了任何信息请您排查sitemap地址链接,等正常调度后可恢复正常抓取

txt文件未发现有效链接可能是您的txt文件链接并非按照要求提供html链接请您按照我们的规范格式提交

xml文件数据量过大可能是您的xml文件大小超过10M,item数目超过1W个建议您拆分几个小的xml文件

来源:头条搜索站长平台


Public @ 2021-01-02 16:09:47

Robots文件是否支持中文目录

有同学问百度站长学堂一个关于robots的问题:我们有个站点的目录结构使用的是中文,这样式儿的:www.a.com/冒险岛/123.html,那在制作robots文件和sitemap文件的时候,可以直接使用中文吗?百度能获取到吗?在实际操作中我们发现,sitemap中有文件是可以生效的,但robots封禁貌似没有反应,所以想确认一下:robots文件是否支持中文?工程师解答:Baiduspider

Public @ 2013-01-02 16:08:54

在Unix/Linux主机上设置301永久重定向的方法

在Unix/Linux主机上设置的方法可以用.htaccess文件1. Apache模块 mod_alias的 Redirect 和 RedirectMatch命令上面提到2个命令使用方法相似。而区别就是后者RedirectMatch基于正则表达式匹配对当前的URL发送一个外部重定向语法为:Redirect [status] URL-path URLRedirectMatch [status] r

Public @ 2016-01-08 16:09:39

什么是ETag?ETag作用有哪些

ETag(Entity Tag)是HTTP协议中头部字段之一,它是服务器用来标识特定资源版本的字符串。 ETag的作用主要有以下几个: 1. 缓存控制:通过比较客户端请求中的If-Match或If-None-Match字段和服务器中资源的ETag值来判断资源是否可以使用缓存,从而控制浏览器是否需要重新请求资源。 2. 实现乐观锁定:ETag可以用来实现乐观锁定,即在多用户并发修改同一实体的情

Public @ 2023-06-08 14:00:12

百度搜索资源平台-sitemap全网开放及建议启用Etag的公告

亲爱的网站管理员:百度站长平台即将正式全网开放sitemap权限,所有通过百度站长平台验证的网站均可以在百度站长工具的链接提交里添加网站的sitemap,而从近期sitemap全网开放会进入内测阶段,站长平台会挑选没有sitemap提交权限的站点参加内测,内测的报名入口《申请sitemap全网开放内测名额》。另外,本次sitemap全网开放,将取消由站长来设置sitemap文件更新周期的功能,而是

Public @ 2013-01-24 16:09:46

更多您感兴趣的搜索

0.419594s