我今天来给大家详细讲解下，先了解几个概念
1、robots只是禁止抓取，不是禁止收录
2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重
了解这2个概念后，我们再来讨论怎么处理这类收录问题：
robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！（来源：夫唯seo特训营）
本文更新了百度官方提供的301问题汇总，参见文章结尾。最近笔者在SEO总监群看到有朋友的网站遇到这样一个问题：网站更换新域名并做了301重定向，但是一段时间后老域名的排名转移到了新域名，而新域名的排名逐渐下降(越来越严重)，时隔半年排名也没有恢复。大型网站如何做301重定向的策略 建站工具 网站优化 建站教程 第1张我所经历的301这样让我想起了曾经做过的301，当时笔者担任华图的SEO负责人，为
要在网站的URL中显示品牌名字，可以按照以下步骤进行： 1. 修改网站的标题：将网站标题设置为品牌名称或包含品牌名称的短语。 2. 将品牌名称添加到网站域名中：可以选择在主域名前添加品牌名称，例如：brandname.com，或在子域名前添加品牌名称，例如：brandname.example.com。 3. 使用URL重写技术：使用URL重写技术，将网页的URL与品牌名称或关键词相关联，例如
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:User-agent:*Crawl-delay:10来源：360站长平台
非标准扩展协议是指为特定需求而开发的协议，它们不是由标准化组织或工作组所制定的，并且通常只在特定的应用程序或系统内部使用。 在机器人领域，非标准扩展协议可以用于实现特殊的功能或针对特定的应用需求。例如，某些机器人可能需要与其他设备进行协同工作，因此可能需要使用非标准的协议来实现通信和控制。 在开发机器人或机器人应用程序时，非标准扩展协议也可用于灵活地实现自定义的功能和控制。例如，一些机器人应用
