我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
博客的写作需要一定的搜索引擎优化（SEO）的技巧才可能得到良好的回报，这里有很简单的七个博客写作技巧和方法，虽然看起来很简单，但是这些技巧可以最大限度的使你的努力获得更多的收获和成果，目标只有一个：增加你的读者并且吸引他们阅读你的文章。1、删除代词，并将其修改为描述性的名词这个方法是为了帮助搜索引擎能更准确的索引和确定你文章的内容，名词有利于说明你的文章，并减少歧义，在大多数情况下，代词都很多余，
什么是站内站？站内站是指在主域名下采用二级目录建立一个同系统或不同系统的网站。从SEO角度讲，对于网站权重的提升是有意义的。站内站的使用技巧：1、企业网站上发布的内容一般为产品介绍、新闻等，内容比较单一，可以建立站内站丰富内容，比如：行业动态分析、产品专业知识等等。企业站建立站内站建议增加一级目录的博客系统，命名为某某企业博客或产品专业博客。例如：中文：bsstar.net/blog/ dgmai
一些域名之前通过robots.txt文件屏蔽了蜘蛛，后来对搜索引擎开放了，但搜索结果里，还是显示以下内容:“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。”解决办法：在百度上搜索该域名，在搜索结果页面的末尾，点击用户反馈。来源：搜外网
什么是robots.txt文件?搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录，我们可以通过设置robots.txt文件告知搜索引擎机器人。如果网站上没有禁止搜索引擎收录的内容，则不用设置robots.txt文件，或设置为空。robots
