要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
SEO是一个覆盖了多个方向的职业，很多时候SEO方案的成功与否和多部门执行情况密不可分，所以部门沟通成为了很多同学在实施方案的难题，今天我们邀请到资深SEO专家，智联招聘SEO负责人 赵彦刚为大家分享如何做好部分沟通！全文如下：部门沟通在一定程度上影响着SEO的产出，因为在大多数情况下SEO站在一个需求方的角度，通过沟通、商议与其他部门的同事确认需求的可执行性。但很多人都停在了需求的执行上，实际上
域名对SEO优化影响不大，但它还是能够给SEO带来某些帮助。首先，合理的域名能够减少检索引擎的检索时间，更快的检索，能够减少长的网址的解析时间，让SEO更容易完成检索，从而提高搜索结果的排名。其次，使用有关键词的域名，也能够增加网页搜索结果排名，但是对应到搜索结果中没有直接的优势。最后，在关键词和域名中增加搜索引擎优化标签，也能够增加关键词，有利于搜索引擎收录结果。综上所述，域名对SEO优化影
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。在命令中可以使用*、$等通配符。示例：
