Categories


Tags


360搜索对Robots协议的扩展

360搜索根据站长们的反馈,会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率,减少站长们维护Robots协议文件的技术成本。

360搜索首个扩展命令是:indexpage,站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法,智能调整爬虫抓取频率,实现对您网站新内容的更高频率抓取。

在命令中可以使用*、$等通配符。

示例:

使用通配符的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用通配符的:

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml


Public @ 2019-02-15 16:09:33

nofollow标签:节省权重流失10%

| 什么是nofollow?● HTML页面中a标签的属性值,告诉搜索引擎不要追踪某一个链接。● 为什么设置nofollow标签?● 避免权重的流失| 如何做nofollow标签?● 一些不要权重的页面链接,给加上nofollow● 如:搜索按钮、关于我们、联系我们、更多、点击查看● 以搜外网首页为案例讲解| nofollow与robots.txt区别:● nofollow决定权重分配,robot

Public @ 2009-03-25 16:08:51

首页链接的优化

在网络营销实战密码读者交流网站上,一个朋友问了一个关于首页链接的问题:关于网站的逻辑结构,应该是和树型物理结构相吻合,也就是也就是由首页到末端的发散,但是和物理结构不一样的是,每个频道和内容页都应该链接回主页,以加重主页的权重。使得整个网站的权重呈金字塔分布。而在导航中不同频道的链接文字描述应该准确描述该栏目的内容,这是很容易理解的。但是我感觉在大多数的网站中,链回主页的文字基本都是 “主页”,“

Public @ 2016-09-21 16:11:24

禁止搜索引擎收录的方法

以下是禁止搜索引擎收录网站的方法: 1. Robots.txt文件 在网站根目录下建立一个名为“robots.txt”的文件,通过添加禁止搜索引擎收录的指令来控制搜索引擎抓取页面的行为。 2. HTML标签 在网页头部添加的标记,使其被搜索引擎识别为不允许被收录的页面。 3. 登录权限 通过设置网站登录权限,使未登录用户无法访问该网页,从而使搜索引擎无法抓取该页面内容。 4. 封锁I

Public @ 2023-06-26 06:50:17

头条搜索Robots匹配说明

头条搜索Robots匹配说明是指在头条搜索过程中,搜索引擎会先根据用户的搜索关键词和搜索历史等信息,匹配出相关内容并展示给用户。而在这个过程中,搜索引擎会使用一种名为Robots的自动化程序来对网站进行定期的抓取和索引,以保持搜索结果的实时性和准确性。Robots程序会自动遵循搜索引擎协议和规则,对网站进行扫描和抓取,同时遵循相关网站的robots.txt文件中的规则来限制抓取行为。因此,网站发布

Public @ 2023-06-11 03:50:12

更多您感兴趣的搜索

0.500493s