Categories


Tags


您的网站地图爬虫是自己写的吗?

james 提问于 1年 之前

请问Zac大佬,您的爬虫是自己写的吗,可以付费或者免费分享吗?

1 个回答

Zac 管理员 回答于 1年 之前

当然不是啊。生成网站地图是任何CMS的标配,或至少有插件可用。我博客用的WordPress,WordPress本身从5.5版本已经有内置生成sitemap.xml功能,也有很多插件,搜索wordpress sitemap.xml plugin可以看到一大堆。我博客的sitemap.xml是All in One SEO插件生成的。

如果CMS不能生成sitemap.xml就不要用了。

如果是自己开发的CMS,通常是从数据库中直接提取URL,应该不会是靠爬虫抓取生成的。

来源:SEO每天一贴 Zac 昝辉


Public @ 2011-01-20 15:54:18

为什么文章不收录(行业网站)

哎呀哎呀哎呀 提问于 4年 之前就是网站权重2,网站结构良好,做了sitemap,有做外链,为什么文章不收录(行业网站)王子寒 回复于 4年 之前考虑你内容质量与蜘蛛抓去轨迹是否覆盖你的内容。12 个回答zhongjiecheng 回答于 4年 之前你的网站在等等吧,行业网站百度一般在6个月左右权重会有2到3。你持续更新外链还有文章就可以。我比较喜欢做小型网站优化Zac 管理员 回答于 4年 之前

Public @ 2015-07-19 16:04:08

如何获知BaiduSpider在网站爬行的规律

BaiduSpider是百度搜索引擎的网络爬虫,其爬行规律与其他爬虫类似,通常有以下几点: 1. BaiduSpider会按照网站的robots.txt文件中的规则来进行爬行,如果该文件中禁止爬取某些页面或目录,BaiduSpider会遵循规则进行爬行。 2. BaiduSpider的爬行频率通常是不固定的,它会根据网站的内容更新频率、网站的重要性等因素进行调整。 3. BaiduSpide

Public @ 2023-04-14 13:50:31

这样算是一个链接吗?

何骝 提问于 3年 之前你好,请问下如果我在一篇文章里,对其中的关键词想加上超链接,但是加不了,只能用这种形式:关键词(www.ABC.com)类似这种形式,不知道搜索引擎是否识别,能算一个外链吗?谢谢,打扰了随风 回复于 3年 之前这算是纯文本链接,算是外链,但是外链的作用微乎其微。2 个回答Zac 管理员 回答于 3年 之前这只是普通文字,不是链接。有可能对页面抓取有些作用,搜索引擎能从文字中

Public @ 2012-01-02 15:53:54

更多您感兴趣的搜索

0.486090s