名称 搜索引擎
google蜘蛛: googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛: lycos_spider_(t-rex)
alltheweb蜘蛛: fast-webcrawler/
inktomi蜘蛛: slurp
一个在线写robots.txt的工具。
最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录
来源：360站长平台
Flash 是一种创作工具，设计人员和开发人员可使用它来创建演示文稿、应用程序和其它允许用户交互的内容。Flash 可以包含简单的动画、视频内容、复杂演示文稿和应用程序以及介于它们之间的任何内容。通常，使用 Flash 创作的各个内容单元称为应用程序，即使它们可能只是很简单的动画。您可以通过添加图片、声音、视频和特殊效果，构建包含丰富媒体的 Flash 应用程序。整个网站就是一个大Flash文件，
这两天研究Discuz 4.1，并成功地将原来一个Discuz 2.5的论坛升级到了最新版本，个人感觉这个论坛实在不错。我的Discuz 4.1是在Apache＋Php＋Mysql下运行的，并开启了Url Rewrite，之后我发现整个论坛的大部分页面都可以使用html的静态地址方式来访问，感觉真不错，Apache实在太强大了，难怪现在用Apache的站点那么多。IIS下能否也实现这种静态化功能呢
Robots.txt文件应放在网站的根目录下。
Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
