要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
读者hiisee问请问如何用PHP脚本在后台获取蜘蛛的详细信息呀？如哪里的蜘蛛／何时来的／搜索了哪几个页面／哪些它喜欢哪些不喜欢等，和判断浏览器是不是用一样的技术？谢谢，再次麻烦您了．刚好关于流量统计和分析以前还没有谈过，这两天分几个方面专门谈一下。今天先来谈作为SEO，怎样读服务器原始日志文件(server raw logfile)。网站服务器会把每一个访客来访时的一些信息自动记录下来，存在服务
前两天SEOMoz发现和解决了一个很奇怪的Google收录问题。SEOMoz有一个网页，是关于他们举办的Web 2.0大奖（Web 2.0 Awards）。URL是：http://www.seomoz.org/web2.0这个奖在网上还挺受欢迎，链接很多，URL是PR7。而且一直以来在Google搜索”Web 2.0 Award”时都排在第一位。但前几天SEOMoz发现搜索Web 2.0 Awar
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录--保证服务器性能。比如:大多数网站服务器都有程序储存在"cgi-bin"目录下，因此在ro
常见的robots.txt文件用法实例：1、禁止所有搜索引擎抓取网站的任何部分User-agent: *Disallow: /这是禁止所有目录和文件被所有搜索引擎收录。网站还没上线时，有的会先屏蔽所有蜘蛛抓取。2、允许所有的spider抓取（或者也可以建一个空的robots.txt文件）User-agent: *Allow: /这是允许所有搜索引擎抓取网站的任何部分，既然是允许所有文件被抓取，可以
