要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
SEO工作人员一般分为三个岗位：SEO主管、SEO编辑、SEO外推。SEO主管：SEO主管要负责整个项目的执行和管控，除了要会建站、站内优化、长尾词挖掘、关键词布局效果监控等一系列的知识以外，还需要拥有团队管理和团队培训的能力。SEO编辑：SEO编辑负责网站内容的编辑和发布，SEO编辑和其他项目（例如公众号编辑、新闻编辑）的编辑有一些不一样，其中最重要的一点就是要懂得SEO知识，例如怎么挖掘长尾关
以SEO为目的的行业分析需要考察以下方面： 1. 竞争分析：了解该行业中的竞争对手及其优势和劣势，包括各自的排名、流量、转化率等。 2. 关键词分析：通过调查该行业中的最大搜索量和热门关键词，以及竞争强度和搜索量趋势，来确定最佳的关键词和字词组合。 3. 内容分析：分析该行业中的主要内容类型、质量和频次，了解其成功的因素和最佳的实践方法。 4. 用户行为分析：了解该行业中的用户行为和偏好，
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。INDEX 指令告诉搜索机器人抓取该页面；FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；Robots Me
用几个最常见的情况，直接举例说明：1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录：User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录
