Categories


Tags


nofollow标签的作用有重大变化

2019年9月10日,Google官方博客表示,nofollow属性将不再仅代表拒绝传递权重,而将拓展为三种属性:rel="sponsored"、rel="ugc"、rel="nofollow"。 1. rel=”sponsored” 该属性用于标示被广告赞助的链接,例如广告合作,展示商标,赞助商链接等。它是告诉搜索引擎,链接是被广告商赞助,而非独立推荐。 2. rel=”ugc” 该属性

Public @ 2023-04-26 02:50:15

玩转robots协议

2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案,索赔金额高达一亿元,这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中,百度称自己的Robots文本中已设定不允许360爬虫进入,而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初,针对双方摩擦加剧的情况,在中

Public @ 2019-05-13 16:09:21

360搜索对Robots协议的扩展

360搜索根据站长们的反馈,会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率,减少站长们维护Robots协议文件的技术成本。360搜索首个扩展命令是:indexpage,站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法,智能调整爬虫抓取频率,实现对您网站新内容的更高频率抓取。在命令中可以使用*、$等通配符。示例:

Public @ 2019-02-15 16:09:33

更多您感兴趣的搜索

0.486960s