我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
转眼间博客已经整整一年没更新了。为了不要让SEO每天一贴变为多年一贴，在刚好一年的时候更新一下。今年简直是世界大乱，虽然各个事件会以怎样的方式结束还不知道，但可以肯定的是，对世界、对国家、对个人，都有方向性的巨大影响，影响大到想对世界、对人生发些感慨，都不知道从何说起了。所以还是回到seo这个小话题吧。前几天一位国内某大型电商SEO部门的朋友问我些问题，其中一个很有意思，一两句话又说不清楚，所以写
判断网站权重的真假有以下四种方法： 1. 查看域名年龄：真实网站通常存在较长的域名注册时间，而虚假网站通常是新注册的域名。可以使用WHOIS工具来查询域名的注册时间。 2. 分析反向链接：通过使用各类SEO工具，可以查看一个网站的反向链接情况，即其他网站指向该网站的链接数量和质量。真实网站一般有大量高质量的反向链接，而虚假网站通常没有或者只有一些低质量的反向链接。 3. 检查网站内容：真实网
在今日头条中，根据用户输入的关键字进行搜索，系统针对关键字进行多维度搜索，内容形成聚合后，统一展示给用户。同时，今日头条采用了多种Robot来爬取和抓取用户的相关关键字，然后精确的匹配给用户，技术上主要是Robot学习算法，和文本分析算法。 Robot算法主要是爬取网站上的关键字，并根据搜索词语进行匹配。Robot算法还可以根据语义分析算法来进行分析和匹配，优化搜索效果。Robot算法也可以
我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
