Categories


Tags


robots协议

 Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫扫除规范”(RobotsExclusionProtocol),网站经过Robots协议通知查找引擎哪些页面可以抓取,哪些页面不能抓取  是查找引擎的一部分来定位和索引互联网上的每个可能答复查找恳求的网页,一般只在评论robots的HTML标签或许robots.txt文件的时分运用。

Public @ 2010-10-17 15:26:25

新浪死链处理经验分享

在第四次深“度”接触结束后,spider工程师表示新浪的死链处理工作一直效果不错,提醒学堂应该请其做个分享。新浪稳座国家级门户头把交椅,谁还敢说自己网站结构的复杂程度可以超越新浪。于是我们请王久明分享一下新浪在死链处理和死链预防(重要页面因修改而产生死链)方面的经验。一、在以下背景下会较多产生死链:1、时政新闻的敏感性;2、来自监管的删除需求;3、频道(编辑)自身删改的需求;4、搜索方期望资源方主

Public @ 2013-02-21 15:36:49

更多您感兴趣的搜索

0.493491s