sogou spider User-Agent字段是什么?
- 威海Spider 威海sogou spider
- 1675
PC端UA为
Sogou web spider
Sogou inst spider
Sogou spider
无线端UA为
Sogou wap spider
来源:搜狗资源平台
Public @ 2010-04-23 15:38:50
PC端UA为
Sogou web spider
Sogou inst spider
Sogou spider
无线端UA为
Sogou wap spider
来源:搜狗资源平台
sogou spider遵守互联网meta robots协议。您可以利用网页meta的设置,使搜狗显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,虽然您已经在网页中通过meta禁止了搜狗在搜索结果中显示该网页的快照,但搜狗搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。
Sogou web spider 和 Sogou inst spider请注意,根据标准,ua区分大小写。
作弊网站内容低劣的网站违反国家政策和法律的网站
内容优良而独特的页面,如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。链接层次较浅的页面,过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。如果是动态网页,请控制一下参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。