您的网站地图爬虫是自己写的吗?
不是,我们使用的是一些开源的网站地图爬虫,例如Scrapy、BeautifulSoup等等。
Public @ 2023-02-25 05:12:05
不是,我们使用的是一些开源的网站地图爬虫,例如Scrapy、BeautifulSoup等等。
在日志中出现:HEAD /db.rar HTTP/1.1" 404 160 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)"是什么意思呢? 应该如何解决呢?夫唯MSIE 8.0 从这个可以看出是 IE 8.0的浏览器访问了,HEAD /db.rar 这个代表访
问题:网站被百度APP转了编码,如何解决回答:做独立的移动端站点,同时做好移动适配,基本不会被转码。如果还存在转码的情况,可以在Head中增加上:<meta http-equiv="Cache-Control" content="no-siteapp" />来源:A5营销
Amanecer 提问于 3年 之前zac老师您好,希望您在百忙中能抽空帮我解答一下这个疑惑。我就是一个seo新手,最近一直在网络到处找资料学习seo,感觉很杂,很乱,请问老师对于一个seo新手您有什么建议? 其次最近发现有些网站,搜录不高,内容不多,但是为什么百度权重确非常高?到底百度权重高低和文章内容多少有没有关系? 比如meitu.com,这个网站内容不多,百度收录不多,但为什么百度权重非常
安小雨 提问于 3年 之前Baiduspider无法正常抓取,服务器错误:爬虫发起抓取,httpcode返回码是5XX1 个回答Zac 管理员 回答于 3年 之前这个貌似没什么好回答的。500或5XX错误就是服务器错误,检查服务器,问工程师、程序员啊,为什么会返回5XX错误。这个和搜索引擎算法、和SEO都没有别的关系了,完全是服务器问题。来源:SEO每天一贴 Zac 昝辉