用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路径
301转向是指在网站代码中设置一个永久重定向，将一个网页的URL地址重定向到另一个URL地址。301转向的作用包括： 1. 改变URL结构时，将旧URL地址重定向到新URL地址，以保持搜索引擎的收录和排名。 2. 合并或重构网站时，将原来的网页重定向到新的网页，以避免404错误页面的出现，同时保留原来网页的SEO价值。 3. 修复破损的链接，将错误的URL重定向到正确的URL地址。 设置3
对于前端来说，#号是可以使用的，通常用于锚点定位页面位置、实现单页面应用的路由、以及在url上添加参数、实现滚动监听等。但是对于SEO来说，#号会被搜索引擎忽略，因此不应过度使用。
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址
个人信息一旦在网上发布，很有可能会被百度搜索引擎抓取，特别是在知名社交网站、专业网站上发布的内容。可能您并不希望这类个人信息出现在百度搜索结果中，以下方式可以帮助您阻止个人信息在搜索结果中出现。如果您是在其他网站上发布的内容：1、在社交网站中（例如人人网，开心网等），您可以针对个人信息设置浏览权限，例如只有朋友或者自己可以浏览；如果您不愿让陌生人看到某些照片或信息，则应该慎重考虑是否公开发布这些内
