Categories

Tags

Sitemap协议类型及包含范围

Sitemap协议是一种用于向搜索引擎提供网站结构信息的标准协议。其包含的内容包括网站中所有页面的URL、页面最后更新时间、页面更新频率等信息。 目前，Sitemap协议一共有以下两种类型： 1. XML Sitemap：用于描述网站的全部网页，包括网页的URL、标识、访问频率、权重等信息。XML Sitemap可以包含多个XML文件，但每个XML文件的大小不能超过50MB。 2. HTML Sitemap：用于向用户展示网站结构，包含网站的所有页面链接。HTML Sitemap通常放在网站的底部，方便用户浏览和导航。 需要注意的是，Sitemap协议仅仅是搜索引擎中的一种优化手段，对于SEO来说，优化网站的内容和外部链接也是不可缺少的。

 Public @ 2023-04-18 11:50:23

玩转robots协议

2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案，索赔金额高达一亿元，这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中，百度称自己的Robots文本中已设定不允许360爬虫进入，而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初，针对双方摩擦加剧的情况，在中

 Public @ 2019-05-13 16:09:21

禁止收录机制

有些时候，站长并不希望某些页面被抓取和收录，如付费内容、测试阶段的页面、复制内容页面等。网站上不出现链接，或者使用JavaScript、Flash链接，使用nofollow等方法都不能保证页面一定不会被收录。站长自己虽然没有链接到不想被收录的页面，其他网站可能由于某种原因出现导入链接，导致页面被收录。要确保页面不被收录，需要使用robots文件或Meta Robots标签。来源：搜外网

 Public @ 2017-07-11 16:21:36

站点地图注意要点

真实有效站点地图的主要目的是方便搜索抓取的，如果地图存在死链或坏链，会影响网站在搜索引擎中网站权重的，所以要仔细检查有无错误的链接地址，提交前通过站长工具，检查网站的链接是否有效。简化站点地图不要出现重复的链接，要采用标准W3C格式的地图文件，布局要简洁，清晰，如果地图是内容式地图，每页不要超过100内容个链接，采用分页的形式，逐一开来。更新建议经常更新站点地图，便于培养搜索爬虫爬行的频率。经常有

 Public @ 2016-06-24 16:09:53

更多您感兴趣的搜索

0.629739s