要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
感谢极客营销的投稿：高价值的链接，一个成功的链接配置，仍然是SEO界的重要议题。虽然“内容为王”的链接仍然是搜索引擎优化的重要组成部分。然而，这是现在重要的是要避免负面影响的链接，而不是建设越来越多的新的外链。当然每个人都希望有最好的链接到他们的网站 但是，它确实，这些链接真的是最好的吗?什么技术在英文SEO排名因素中仍然有积极的作用呢?大量事实和报告告诉我们怎样的链接建设会对我们SEO推广有负面
： 1、网站URL规范：采用静态的、统一的URL，避免参数多的动态页面与未经验证的特殊字符。 2、标题标签（title）：具体介绍当前页面内容，简短明了，一般不要超过70个字符。 3、关键词：选择精准、有价值的关键字，每个页面尽量不超过10个，放在meta标签中，并且在页面内容排布中结合占据优势。 4、Headings：尽量用H1~H4等级标题表述内容，每个页面只能有一个H1标签，层次清晰
网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签？meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。meta robots 标签的写法：<meta name=”robots”content=”noindex,nofollow”>标签的意义：禁止
1. Robots.txt是一个协议，用于控制搜索引擎爬虫的访问范围。 2. Robots.txt文件位于网站的根目录下，包含了一些指令告诉爬虫哪些页面可以访问，哪些页面需要限制访问。 3. Robots.txt文件并不会阻止所有爬虫的访问，只有支持Robots.txt协议的爬虫才会遵守文件中的指令。 4. Robots.txt文件中的指令可以根据不同的爬虫进行个性化设置，可以控制不同爬虫访
