用几个最常见的情况，直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站:
User-agent: *
Disallow: /
5. 加入sitemap.xml路径,例如:
来源：360站长平台
关于网站的URL设计，虽然很少有人问到院长，但是，院长却见过了各种各样五花八门的URL，现在，院长和大家聊聊什么是友好的URL设计1、在搭建网站结构、制作URL时，尽量避开非主流设计，追求简单美即可, 越简单越平常，越好2、不建议URL中含有中文字符，中文字符容易出现识别问题3、URL长度要求从www开始到结束，总长度不超过1024个字节4、避免无效参数，如ll等5、谨慎使用#参数，有可能会被爬虫
百度推出了移动Sitemap协议，用于将网址提交给移动搜索收录。百度移动Sitemap协议是在标准Sitemap协议基础上制定的，增加了<mobile:mobile/>标签，它有四种取值：<mobile:mobile/> ：移动网页<mobile:mobile type="mobile"/> ：移动网页<mobile:mobile ty
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。9月11日，百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。如您
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
