sogou spider 如何反应我网站上页面的更新?
- 威海Spider 威海sogou spider
- 1973
sogou spider 会根据网页的重要性和历史变化情况来动态调整更新时间,更新已经抓取过的页面
Public @ 2010-09-06 15:38:57
sogou spider 会根据网页的重要性和历史变化情况来动态调整更新时间,更新已经抓取过的页面
内容优良而独特的页面,如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。链接层次较浅的页面,过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。如果是动态网页,请控制一下参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。
sogou spider 支持 robots 协议,您可以在网站的根目录放置 robots.txt。robots.txt 的规则请参阅 http://www.robotstxt.org/。需要注意的是,最新更新的 robots.txt 可能需要几个星期才能体现出效果来,另外,被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。
作弊网站内容低劣的网站违反国家政策和法律的网站