Categories


Tags


搜索引擎的Robots协议

robots.txt是一种存放于网站根目录下的文本文件,用于告诉搜索引擎的爬虫(spider),此网站中的哪些内容是不应被搜索引擎的索引,哪些是可以被索引。通常认为,robots.txt文件用来搜索引擎对目标网页的抓取。robots.txt协议并不是一个规范,而只是约定俗成的,通常搜索引擎会识别这个文件,但也有一些特殊情况。对于Google来说,使用robots也未必能阻止Google将网址编入索

Public @ 2018-04-08 16:09:21

搜索引擎自己应该是可以检测协议死链(404、403等)的,为什么还需要站长提交?

答:搜索引擎的蜘蛛的确是能够对404页面进行识别,但是蜘蛛去被动的识别网站的死链可能需要较长的时间,不利于网站及时清理在搜索引擎中已收录的死链,所以我们才在站长平台设置了死链提交功能。请站长在处理站点死链的时候,一定要注意收集整理好,然后前往站长平台进行提交。提交后,一旦验证死链真实性,将会比较快速地从搜索引擎删除提交的数据。提交链接:http://zhanzhang.so.com/?m=Dead

Public @ 2014-05-22 15:36:59

更多您感兴趣的搜索

0.533721s