我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
网站权重和PR值相辅相成，在看本文前首先点击锚文本链接复习PR值是什么？如何提高PR值？网站权重是什么网站权重是指网站在搜索引擎评价中的相对重要程度。类似于一个人的人品或威望一样，网站在搜索引擎那边也有一个威望的衡量指标，叫做网站权重。可以简单说，网站权重就是指网站的重要性。搜索引擎没有直接说它们支持网站权重这个说法，但做SEO过程，有了网站权重这个概念，可以让我们的SEO理论更容易理解。正因为人
读者姜翼问了一个同一架服务器上有多个网站是否影响SEO的问题：Zac老师，您好，问一个问题，就是一个服务器下面有多个网站，且这些网站做的关键词基本都差不多，或者说是相关，但这些网站的架构内容都不一样，他们之间会相互影响排名吗？搜索引擎（百度）会如何看待这些网站？谢谢。问题看起来简单，实际上有一些必须的背景并没有交代，所以要分两层回答。使用虚拟主机会影响SEO效果吗？如果仅仅是“同一个服务器，多个网
User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不
要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
