Categories


Tags


360搜索对Robots协议的扩展

360搜索根据站长们的反馈,会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率,减少站长们维护Robots协议文件的技术成本。

360搜索首个扩展命令是:indexpage,站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法,智能调整爬虫抓取频率,实现对您网站新内容的更高频率抓取。

在命令中可以使用*、$等通配符。

示例:

使用通配符的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用通配符的:

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml


Public @ 2019-02-15 16:09:33

二级域名还是一级目录?

读者smart问:都说子站包围主站会很有利,想问一下关于子站的问题子站(二级域名)相对于网站的一级目录来说,权威性是不是要大些?搜索引擎是把子站作为独立的一个站来看待?还是也算为一级目录来看待?如果是作为独立的一个站来看待,那主站的内容就少了,那流量会算进主站吗?这是一个很好的问题,要做好搜索引擎优化,就是要在这种细节的地方多下功夫。搜索引擎会把二级域名当作一个独立的站点来看待,也就是说http:

Public @ 2019-10-04 16:11:37

网站设置301重定向怎么操作?301设置需要注意的事项

1. 打开网站的.htaccess文件,添加以下代码: ``` Redirect 301 /old-page.html http://www.yourwebsite.com/new-page.html ``` 2. 在301重定向前,确保新页面已经正常运行,并且地址没有变更。 3. 如果有多个旧页面需要重定向,可以逐个添加301重定向代码。 4. 重定向的目标地址必须是正确的URL

Public @ 2023-04-14 19:50:20

360搜索对Robots协议的支持

360搜索支持Robots协议的主要命令,以下为具体说明:1. user-agent360搜索各产品的爬虫user-agent为:- 网页搜索 360Spider- 图片搜索 360Spider-Image- 视频搜索 360Spider-Video2. Allow站长可通过Allow命令指定建议收录的文件、目录 。3. Disallow站长可通过Disallow命令指定不建议收录的文件、目录。

Public @ 2019-06-30 16:09:34

玩转robots协议

2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案,索赔金额高达一亿元,这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中,百度称自己的Robots文本中已设定不允许360爬虫进入,而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初,针对双方摩擦加剧的情况,在中

Public @ 2019-05-13 16:09:21

更多您感兴趣的搜索

0.434636s