我今天来给大家详细讲解下，先了解几个概念
1、robots只是禁止抓取，不是禁止收录
2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重
了解这2个概念后，我们再来讨论怎么处理这类收录问题：
robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！（来源：夫唯seo特训营）
URL是Uniform Resource Locator，即统一资源定位符，也称为网址。它是指用于定位互联网上资源的字符串，通常以http或https开头。 URL中包含的关键词可以对搜索引擎的收录有帮助，因为搜索引擎会通过分析URL中的信息来判断网页的主题和内容，从而更好地理解和索引网页。例如，如果你的URL中包含了关键词，那么搜索引擎会更容易识别你的页面与这些关键词相关，从而提高你的页面在搜
静态URL是什么URL的定义，是指网页地址或者网页链接。一般通过URL中是否带有“?”、“=”“&”“php”'asp'等字符来分辩，换句话说就是不带有任何参数的URL，就是静态URL。静态URL在搜索引擎上有一定的好处。可以更加方便搜索引擎蜘蛛来抓取网页。一般买空间的时候都会咨询服务商提供URL静态功能。不过对于大型网站，内容非常多的话，静态URL就可以不必太注重了。不过
名称 搜索引擎google蜘蛛: googlebot百度蜘蛛:baiduspideryahoo蜘蛛:slurpalexa蜘蛛:ia_archivermsn蜘蛛:msnbotaltavista蜘蛛:scooterlycos蜘蛛: lycos_spider_(t-rex)alltheweb蜘蛛: fast-webcrawler/inktomi蜘蛛: slurp一个在线写robots.txt的工具。最后
