Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站索引效率，从而表现出良好的搜索引擎优化效果。
锚文本指的是，带着关键词的一个链接。如：SEO。在本站的所有教程中，我们发现，锚文本起到根本性的作用。如果一定要给SEO一个简单的操作要素，可以简单说，SEO工作就是不断的做锚文本。今天我们要学会一个词，叫定向锚文本。理解这个词，对我们彻底把SEO做到极致有重要指导意义。定向锚文本是什么定向锚文本指的是一个词与其指向的页面正在优化的关键词具有一致性。比如说关键词是SEO，并且带有链接，打开这个链接
Google网站地图(sitemap)是Google提供给网站管理员的一个工具，来提高网站被收录的网页数目。一般来说，搜索引擎蜘蛛会跟着链接爬行到你网站的所有网页。但很多时候，由于种种原因，并不是所有网页都能被收录进搜索引擎数据库。比如说，你的网站是数据库动态生成的，URL中带有参数，一些网页离主页太远，你的网站PR值太低，新的网页可能过很长时间才有机会被抓取等等。Google Sitemap就允
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址
