| 什么是robots文件？
Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。
| 为什么要做robots文件？
网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。
| 如何制作 robots文件？
编写robots.txt文件并上传到网站根目录。
| 制作 robots.txt注意事项
● 所有搜索引擎则用星号表示
● Allow（允许）和Disallow（不允许）优先级
● 至少屏蔽一个，可以屏蔽：搜索结果页面/404页面
● 记得将sitemap放到Robots文件中
● 可以陆续放入更多，而不是一次性决定所有
● 网站后台地址/图片地址/下载文件地址/错误链接（搜外网）
第一、蜘蛛陷阱是什么？“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍，如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。SEO工作中，网页被收录是基础工作，但对于搜索引擎来讲，极少情况会100%收录你网站的所有网页，搜索引擎的爬虫程序设计的再精巧，也难以逾越所谓的蜘
1. 理解 HTTP 状态码 301/302： HTTP 状态码是用来告知浏览器服务器返回的状态信息，它是用来表示网络交互中出现的状态。301 是永久性跳转，指示浏览器所请求的页面已永久性移到新位置。302 是临时跳转，表示浏览器访问新的页面时会被重定向到另一个暂时的网址，会在指定的时间后返回原来的网址。 2. 定义 301/302 跳转： 要定义 301/302 跳转，首先要明确目的，
尊敬的用户： 为了更好地保护您的隐私和内容权益，百度搜索已经全新升级了robots协议。该协议将更加严格地限制搜索引擎爬取您的网站内容，以保障您的权益。 更新后的robots协议针对以下内容进行了调整： 1.增加禁止搜索引擎爬取的网页类型，如登录页、支付页、个人信息页等。 2.增加网站所有者对搜索引擎爬取的细节设置，包括最大爬取频率、爬取深度、爬取延时等。 3.优化 robots.txt
robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！那么如果误操作封禁了robots怎么办？今天我们请到了厦门258网站运营负责人——郑军伟，为我们分享网站robots误封禁后该如何操作？【案例背景】网站开发2.0版本，技术选择了在线开发，为了避免搜索引擎抓取开
