要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
一个网站想要获得巨大的流量，并不是仅仅优化你网站的那几个关键词就可以搞定的。而正确的方式就是要有一定的创意，创意这种东西很少有人能做得到。比方说利用SEO新闻热点获得流量的方式就是其中之一了，这个创意小编在给一些企业做SEO顾问时也有使用过，而且还取得了很不错的效果。关于SEO新闻热点，我们可以在网站新建一个新闻栏目，在里面发布一些行业新闻热点，或者是时事新闻热点，也就是大家所熟悉的蹭热点。一旦这
网站权重和PR值相辅相成，在看本文前首先点击锚文本链接复习PR值是什么？如何提高PR值？网站权重是什么网站权重是指网站在搜索引擎评价中的相对重要程度。类似于一个人的人品或威望一样，网站在搜索引擎那边也有一个威望的衡量指标，叫做网站权重。可以简单说，网站权重就是指网站的重要性。搜索引擎没有直接说它们支持网站权重这个说法，但做SEO过程，有了网站权重这个概念，可以让我们的SEO理论更容易理解。正因为人
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
