网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
微信 悬赏
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。
以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？
回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！
来源：A5营销
PC端和移动端之间的差异主要来自于页面内容和结构，可能导致移动端页面被搜索引擎排除在搜索结果之外。例如，移动设备上的页面可能会使用不同的HTML和CSS代码，从而影响页面的可访问性和可读性。此外，页面加载速度和网站安全性等因素也可能影响搜索引擎的决策。 要解决此问题，可以采取以下步骤： 1.正确设置移动设备的优化。创建移动友好的网站，并确保它可以在各种设备上进行访问。使用响应式设计或动态网站，
一般情况下，移动端的页面和 PC 端的页面是相同的，因此如果已经提交了 PC 端的死链，Google 爬虫会在抓取移动端页面时自动检测并处理死链。但是，如果移动端和 PC 端的页面不同，或者存在移动端独有的死链，建议对移动端独有的死链进行单独提交。
在VPS云主机服务器上，可以通过以下方式屏蔽拦截蜘蛛抓取： 1. Apache服务器： 在Apache配置文件（httpd.conf或apache2.conf）中添加以下代码： ``` SetEnvIfNoCase User-Agent ".*((Googlebot)|(Baiduspider)|(Yahoo! Slurp)|(bingbot)|(YandexBot)).*" bad_bot
尽管搜索引擎在不断的升级算法，但是终究其还是程序，因此我们在布局网站结构的时候要尽可能的让搜索引擎蜘蛛能看的懂。每个搜索引擎蜘蛛都有自己的名字，在抓取网页的时候，都会向网站标明自己的身份。搜索引擎蜘蛛在抓取网页的时候会发送一个请求，这个请求中就有一个字段为User－agent，用于标识此搜索引擎蜘蛛的身份。例如Google搜索引擎蜘蛛的标识为GoogleBot，百度搜索引擎蜘蛛的标识为Baidu
