我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
Matt Cutts的十段视频终于都翻译完了，其中有一些属于典型的老生常谈或官方回答，甚至有的不知所云，但还是有一些点对SEO工作很有帮助的。下面谈几个我感觉比较重要的地方。别把Matt Cutts的话当圣旨Matt Cutts在第一段视频里面提到过Google对两种黑体字bold和strong权重稍微有点不一样。但是后来经过同事的提醒，Matt Cutts做了改正，说Google对两种黑体字和两
搜索引擎优化软件是一个SEO谬误。SEO软件可以自动执行一些基本的SEO任务，例如分析关键词、优化标题和元标记、识别技术问题等等。然而，搜索引擎优化程序并不能实现真正的优化，这需要人工分析和调整。 真正的SEO需要一个全面的策略，包括内容创意，技术优化，外部链接和社交媒体互动等多种方面的工作。SEO软件可以帮助您加速某些SEO任务的过程，但不应该视为唯一的解决方案。最好的SEO方法是与人类SEO专
Robots.txt文件应放在网站的根目录下。
1)、图像目录图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多cms的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img;2)、网站模板目录如
