网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
微信 悬赏
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。
以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？
回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！
来源：A5营销
网站上存在太多用户无法打开的页面，一方面会影响用户的浏览体验，另一方面影响了搜索引擎的索引，长期下来搜索引擎就减少爬行此站点。可以通过在百度站长平台使用死链工具提交站点的死链接。
陈帅兵 提问于 3年 之前一个网页，在网站不同的地方进入这个网页，显示网址不同。使用标准的.html网址也能访问。这样这个网页对于搜索引擎可以使用吗？会不会引发重复收录降权。备注，比如动态网址，现在进行了伪静态处理。但是留在其它地方的外链还是以前的动态网址。这样会不会引发重复收录降权。希望Zac哥哥能看懂，看不懂可以直接看备注。1 个回答Zac 管理员 回答于 3年 之前你说的情况，大概率会导致重
1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置
网络爬虫（又被称为网页蜘蛛，网络机器人，查找引擎蜘蛛，在FOAF社区中心，更常常的称为网页追逐者），是一种依照必定的规矩，主动的抓取万维网信息的程序或许脚本，别的一些不常运用的姓名还有蚂蚁，主动索引，模拟程序或许蠕虫
