我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
前几天在点石论坛里有人问Google炸弹的问题，简单回答了一下。这两天Google炸弹又再一次扔向美国白宫，所以写篇帖子说一下。什么是Google炸弹？Google炸弹（Google Bombing）指的是这样一种情况：1）数目众多的网页链接指向某一个URL2）这些链接都使用特定关键词做链接文字3）被链接的URL中一般并不包含这个关键词，内容和这个关键词也基本无关4）达到的效果就是这个被链接的UR
宝马网站的删除并非是由于垃圾信息，而是因为Google的算法更改导致。此外，Google有一套完善的审查机制，不会盲目删除网站。对于国际性的非英语网站，Google同样会进行审核和排名，不会因为语言不同而偏袒某些网站。
网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签？meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。meta robots 标签的写法：<meta name=”robots”content=”noindex,nofollow”>标签的意义：禁止
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
