Categories

Tags

robots使用技巧

1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录--保证服务器性能。比如:大多数网站服务器都有程序储存在"cgi-bin"目录下，因此在ro

 Public @ 2009-05-16 16:09:17

网站结构优化策略

网站内部结构优化对网站建设起到计划和指导的作用，对网站的内容维护、后期SEO起到关键作用。下面主要从网站结构、页面元素、导航结构、后期优化等方面来讲述网站的内部优化，从网站建设的前期就为SEO优化、后期维护提供方便和基础。URL地址优化为网站上的文件创建具有良好描述性的分类名和文件名，不仅可以更好地组织网站结构，还有助于搜索引擎更有效地抓取文件。虽然搜索引擎能够抓取复杂的URL，但提供相对简单的U

 Public @ 2013-05-20 16:12:05

robots里这样写，就能避免蜘蛛爬这个“index.htm”这个首页？

要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。

 Public @ 2023-06-09 00:50:07

我希望我的网站内容被百度索引但不被保存快照，我该怎么做？

我希望我的网站内容被百度索引但不被保存快照，我该怎么做？Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可

 Public @ 2014-06-20 16:08:58

更多您感兴趣的搜索

0.548417s