我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
1. 确定您的SEO需求：在选择SEO外包商之前，您需要明确自己的SEO需求，包括想要SEO优化的关键词、目标地区以及SEO预算等。 2. 搜索并筛选SEO外包商：通过搜索引擎或SEO相关论坛等途径，搜索和筛选SEO外包商。注意，不要只依赖广告或推送邮件找到SEO外包商。 3. 评估SEO外包商的能力：通过SEO外包商的网站、案例、口碑等信息，评估其SEO能力和信誉度。可以向SEO外包商索取真
在21世纪互联网今天，很多的企业最不愿意看到的就是自己花费心思建设的官方网站，在还没有为企业赢得一定的利润之前，就应该被挂木马，并且据天津网站建设-文率科技了解，目前很多的企业对于网站建设并不了解，不知道如何监测和预防木马的出现，为此，文率小编今天特意为大家总结一些关于网站监测木马的方式，希望能够更好的帮助您运营企业网站。一、在线监测从事SEO优化工作的站长应该都清楚，如果在搜索引擎框框内输入si
搜索引擎通过一种程序robot(又称spider)，自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游
1. 下面是一个拒绝所有机器人访问的robots.txt： ``` User-agent: * Disallow: / ``` 2. 下面的robots.txt用于阻止百度搜索引擎访问整个站点： ``` User-agent: Baiduspider Disallow: / ``` 3. 下面的robots.txt文件用于阻止所有搜索引擎访问以private开头的任何URL： ```
