网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
微信 悬赏
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。
以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？
回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！
来源：A5营销
gavin 提问于 4年 之前因为来公司之前网站是外包给优化公司的，所以文章都在做。但我发现他们文章质量很差，就是几十个字而已，而且我发完文章会做好发布记录，链接一比对发现中间漏了几个序号。然后我把这几个链接输入查询确实存在这几个页面，但是网站找不到相关文章，发布时间也有问题。比如今天是十月二十九，但是文章发布时间显示十一月三号，应该是设置了到了那个时间点才回展现在网站上，请问zac老师这算涉及作
Kely 提问于 3年 之前ZAC老师，我的网站的博客分页页面的title都是一样的，由于是外包做得，没法修改。我想问下如果我把博客页面的分页页面价格noindex，合不合适，会对我的博客内容页有影响吗？我这个站主要是靠博客来优化关键词的。1 个回答Zac 管理员 回答于 3年 之前老的博客帖子会随着时间推移，被推到博客系统分页/翻页的后面去，不会显示在第一页上。因此，博客帖子的收录和权重获得是需
* Apache：通过在网站主机的.htaccess文件中添加下面一行代码即可实现： `SetEnvIfNoCase User-Agent "bot|crawl|spider|Yahoo|ia_archiver| other_spider|Googlebot" bad_bot` * IIS6：打开IIS管理器，右键点击网站，点击“属性”，然后选择“文件夹”，点击高级，在高级属性中勾选
做过SEO或站长的都应该知道，网站要想做排名就必须使网站文章先收录，而网站内容收录由跟搜索引擎蜘蛛的来访抓取有很大的关系。搜索引擎蜘蛛，又被称为网页爬虫，网络机器人，在FOAF社区中间，也经常被称为网页追逐者，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外它还有一些不常使用的名字，如：蚂蚁，自动索引，模拟程序或者蠕虫。那么，对于一个网站来说，是不是来网站爬行的搜索引擎蜘蛛越多越好呢
