要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
这几天WebmasterWorld.com的PubCon正在举行，感兴趣的可以去看看文字转播，Outspoken Media、Search Engine Journal和SERoundtable都有。在今天议程里看到一个Bing人员总结的高度浓缩的SEO技术，其实适用于所有搜索引擎，列出来纪念参考：搜索引擎认为最有价值的（按先后顺序）：内容社会化用户体验链接建设SEO5大SEO最应该花精力的地方：
1、如果是少量的百度快照不更新，而页面已经变化，或者说百度长时间没有更新网站快照可以通过http://help.baidu.com/newadd?prod_id=1&category=1 来更新网站的快照。2、如果大量的快照不更新，可以使用sitemap地图来提交数据，让百度抓取网站URL来提升更新效率。3、如果网站快照还是不更新，则代表站点被严重降权了！这个时候要想办法，找到网站降权的原
有同学问百度站长学堂一个关于robots的问题：我们有个站点的目录结构使用的是中文，这样式儿的：www.a.com/冒险岛/123.html，那在制作robots文件和sitemap文件的时候，可以直接使用中文吗？百度能获取到吗？在实际操作中我们发现，sitemap中有文件是可以生效的，但robots封禁貌似没有反应，所以想确认一下：robots文件是否支持中文?工程师解答：Baiduspider
1)、图像目录图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多cms的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img;2)、网站模板目录如
