要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
1. 首先访问搜外6系统，登录账号注册进入。 2. 将你要收录的文章上传到搜外6系统，并完善元信息（标题、正文、关键词、描述等），输入连接地址并自动生成推广文档二维码。 3. 选择要提交的收录网站，搜外6系统自动完成文档收录提交，并可以查看文章收录情况。 4. 设置时间更新任务，定时更新文章内容，让文章一直保持新鲜。
外出参会交流、与站长朋友沟通，到最后总是成为接受吐槽的垃圾桶，无非就是“大搜索的流量越来越没的搞”、“seo干不下去了，我该回家种地了”......难道SEO除了优化网站结构、梳理TDK、研究百度算法就没有其它更高端的事情可以做了么？前几天看到较早接触SEO行业的陈沿舟老师在微信公众帐号椰树（yeshu_chen）上发布了一篇文章《大型网站到了需要做改变的时候》，其中的主要观点非常有价值，特转给各
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！那么如果误操作封禁了robots怎么办？今天我们请到了厦门258网站运营负责人——郑军伟，为我们分享网站robots误封禁后该如何操作？【案例背景】网站开发2.0版本，技术选择了在线开发，为了避免搜索引擎抓取开
