Categories


Tags


头条搜索站长平台-sitemap异常原因解释

sitemap异常原因解释解决方法

爬虫被封禁可能是您的网站对Bytespider的UA或IP进行封禁建议您根据我们公布的UA和IP进行解封,第二天重新抓取之后会恢复正常

sitemap文件数据量过大可能是您的sitemap节点数量超过了5w个建议您拆分为几个小的sitemap文件

sitemap地址非法可能是您的sitemap地址不可访问或者存在xml和txt混合模式的数据建议您按照我们的要求提交sitemap地址

站点服务不可用我们请求您的网站3次后发现您的网站仍旧不可访问会暂时停止抓取,则返回该原因请您检查服务器是否可正常运转,如果正常,等正常调度后正常抓取

sitemap地址不存在可能是您的地址无法访问,返回404,我们获取不了任何信息请您排查sitemap地址链接,等正常调度后可恢复正常抓取

txt文件未发现有效链接可能是您的txt文件链接并非按照要求提供html链接请您按照我们的规范格式提交

xml文件数据量过大可能是您的xml文件大小超过10M,item数目超过1W个建议您拆分几个小的xml文件

来源:头条搜索站长平台


Public @ 2021-01-02 16:09:47

robots使用误区

1. 不需要在每个页面都添加robots.txt文件:robots.txt文件只是一份给搜索引擎看的指令,如果不希望搜索引擎从该页面抓取数据,那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备:robots.txt文件可用于搜索引擎爬虫,但也可以在部分机型的移动设备上进行yu处理,可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用

Public @ 2023-03-03 14:00:19

提交Sitemap

Sitemap(站点地图)是一种文件,站长可通过该文件列出网站上的网页,将网站内容的组织结构告知搜索引擎。神马等搜索引擎网页抓取工具会读取此文件,以便更加智能地抓取网站内容理想状况下,如果您的网站网页间关联得当,神马的网页抓取工具便能够发现其中的大多数网页。即便如此,提交站点地图仍有助于搜索引擎更加有效地抓取网站,尤其是当网站符合以下某个条件时:1.网站为新建网站且指向该网站的外部链接不多。搜索引

Public @ 2022-11-08 16:09:48

更多您感兴趣的搜索

0.466022s