网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
微信 悬赏
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。
以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？
回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！
来源：A5营销
Roy，嘉伟 提问于 3年 之前有点长，麻烦Zac哥了。事情背景：一个老的网站，已经运营多年，有不少的流量和排名。 然后在同一个服务器上，又搭建了一个一模一样的网站，只是域名不同。两个网站都是用asp写的，都生成了静态页面。又运营了几年，两个网站同时都有了不少流量、排名和权重。事情经过：我们需要运营网站，网站原来的后台有问题，我们又没人懂asp。因此技术人员把那个新的网站改成了php，静态变成动态
钱文中 提问于 3年 之前请问我维护的企业站 高考辅导这个词，百度指数接近200，从之前的排名七八十，最近突然上升到了第五名，请问需要注意什么，什么原因会导致排名这样大幅度的变化呢。1 个回答Zac 管理员 回答于 3年 之前想太多了。我觉得没有必要这么谨慎敏感，SEO也没有这么复杂微妙。排名上升了，继续该怎么做还是怎么做，和排名没上升是一样的：研究关键词、持续发布高质量内容、建设外链
很多SEO从业人员在刚刚接触这个行业的时候，经常会问——百度蜘蛛是什么？我们可以理解为百度蜘蛛就是用来抓取网站链接的IP，小编经常会听到百度蜘蛛来的太频繁，服务器要被抓爆了，如果你无法识别百度蜘蛛，你怎么知道是百度蜘蛛抓爆的呢？也有出现百度蜘蛛都不来了的情况，还有很多站点想得到百度蜘蛛的IP段，想把IP加入白名单，但无法识别百度IP。那怎么才能识别正确的百度蜘蛛呢？来来来，只需做着两点，就能正确识
1. 网站结构复杂和不合理：网站结构过于复杂或不合理会阻碍搜索引擎蜘蛛的爬行，导致关键页面无法被索引。 2. 缺乏关键词和优化：如果网站没有优化，或关键词使用不当或缺乏，搜索引擎无法判断网站内容的重要性，从而无法正确推荐网站给用户。 3. 网页载入时间过长：搜索引擎会优先考虑快速载入的网站。如果网站速度慢，搜索引擎会认为网站不够优秀，会影响网站的排名。 4. robots.txt 文件限制：
