名称 搜索引擎
google蜘蛛: googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛: lycos_spider_(t-rex)
alltheweb蜘蛛: fast-webcrawler/
inktomi蜘蛛: slurp
一个在线写robots.txt的工具。
最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录
来源：360站长平台
几个小时前，Google官方博客发了个帖子：Evolving “nofollow” – new ways to identify the nature of links （演变中的nofollow – 判断链接性质的新方法），公布从今天开始，nofollow标签的作用和Google处理nofollow的方法有了重大变化。nofollow标签的历史经典的nofollow标签作用和使用方法以前的帖子写
因为，搜索引擎对各类网页的抓取过程可能存在不可抗力的因素，比如网络延迟、缓存策略、主机垮掉等，可能会导致抓取异常，无法正常检测死链。这时就需要站长通过提交，及时通知搜索引擎，让其及时发现并修复死链。
设置搜索robots协议的后果针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。来源：百度搜索资源平台
个人信息一旦在网上发布，很有可能会被百度搜索引擎抓取，特别是在知名社交网站、专业网站上发布的内容。可能您并不希望这类个人信息出现在百度搜索结果中，以下方式可以帮助您阻止个人信息在搜索结果中出现。如果您是在其他网站上发布的内容：1、在社交网站中（例如人人网，开心网等），您可以针对个人信息设置浏览权限，例如只有朋友或者自己可以浏览；如果您不愿让陌生人看到某些照片或信息，则应该慎重考虑是否公开发布这些内
