为什么我的网站已经加了robots.txt，还能在百度搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。
来源：百度搜索资源平台 百度搜索学堂
1、网站一级目录的制作： （1）确定网站的主题，明确网站的定位与定位； （2）制定网站的大纲，分别考虑网站的主要的功能模块； （3）定义网站的一级目录，在各功能模块中合理划分下级目录； （4）在每个二级目录中根据功能模块制定三级及以下的多级目录。 2、网站一级目录的作用： （1）清晰明确、增强网站的友好性，为用户提供快捷、清晰的栏目分级； （2）促使网站首页和各个栏目更简洁，使网站在简明中更
GZIP是网站压缩加速的一种技术，对于开启后可以加快我们网站的打开速度，原理是经过服务器压缩，客户端浏览器快速解压的原理，可以大大减少了网站的流量。什么是GZIP答：GZIP最早由Jean-loup Gailly和Mark Adler创建，用于UNIX系统的文件压缩。我们在Linux中经常会用到后缀为.gz的文件，它们就是GZIP格式的。现今已经成为Internet 上使用非常普遍的一种数据压缩格
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
