| 什么是robots文件？
Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。
| 为什么要做robots文件？
网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。
| 如何制作 robots文件？
编写robots.txt文件并上传到网站根目录。
| 制作 robots.txt注意事项
● 所有搜索引擎则用星号表示
● Allow（允许）和Disallow（不允许）优先级
● 至少屏蔽一个，可以屏蔽：搜索结果页面/404页面
● 记得将sitemap放到Robots文件中
● 可以陆续放入更多，而不是一次性决定所有
● 网站后台地址/图片地址/下载文件地址/错误链接（搜外网）
大家都知道外部链接对网站排名的重要性，同时也建议不要忽略了站内链接的作用。外部链接大部分情况下是不好控制的，而且要经过很长时间的积累，内部链接却完全在自己的控制之下，是SEO手中可优化的重点内容之一。下面列几个优化站内链接的技巧和经验。建立网站地图稍有规模的网站，比如几百页以上，只要有可能，最好给网站建一个完整的网站地图sitemap。同时把网站地图的链接放在首页上，使搜索引擎能很方便的发现和抓取
百度推出了移动Sitemap协议，用于将网址提交给移动搜索收录。百度移动Sitemap协议是在标准Sitemap协议基础上制定的，增加了<mobile:mobile/>标签，它有四种取值：<mobile:mobile/> ：移动网页<mobile:mobile type="mobile"/> ：移动网页<mobile:mobile ty
设置搜索robots协议的后果针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。来源：百度搜索资源平台
以下是一些使用robots.txt文件的技巧和最好的做法： 1. 不要放弃robots.txt - 一些网站管理员没有robots.txt文件，因为他们认为这是保护网站的安全措施，但事实上它可能会影响搜索引擎爬取。 2. 维护一个更新的robots.txt文件 - 确保您的robots.txt文件不是过时的。如果您从网站上删除了某些页面或文件夹，请务必更新文件以反映更改。 3. 不要使用ro
