Categories

Tags

robots文件之前屏蔽了蜘蛛，现已开放，如何更新快照

一些域名之前通过robots.txt文件屏蔽了蜘蛛，

后来对搜索引擎开放了，但搜索结果里，还是显示以下内容:

“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。”

解决办法：

在百度上搜索该域名，在搜索结果页面的末尾，点击用户反馈。

来源：搜外网


 Public @ 2011-07-02 16:09:24

SEO服务的收费和价格问题

今天谈一点敏感的话题：SEO服务的价格和收费。首先声明，我只是谈我们自己的收费和定价方式，不一定适用于其他SEO服务提供商。我在与客户沟通的时候，往往感觉到SEO服务的价格经常是出乎客户本身预期的。这说明大部分人对SEO的过程、难度和效果十分不了解，他们以为那是很简单的事情。下面，我谈一下个人做SEO项目时决定价格的主要因素。第一，优化网站需要多少时间？优化某一个网站所需要的时间，取决于很多因素。

 Public @ 2021-01-05 15:30:16

网站质量与作弊

今天忽然想到一个问题，网站质量和作弊之间的关系。网站质量高，在搜索引擎的眼里权威度高，得到的排名也好，无可非议。作弊的网站被检测到后，被惩罚甚至封杀也符合逻辑。但是网站质量高和作弊之间并不必然是互相排斥的。一个质量高的网站提供有用的内容，其他站长也都链接过去，历史也长，却并不保证一定不作弊。比如新浪，搜狐，人民日报，中央电视台这些网站，大概每个人都会觉得他们质量高，有权威度。如果管理网站的人却偏偏

 Public @ 2018-07-16 15:32:43

什么是robots文件

robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。

 Public @ 2023-05-30 08:00:08

robots.txt文件放在哪里?

robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt

 Public @ 2017-01-09 16:08:57

更多您感兴趣的搜索

0.457976s