对于您网站上新产生的或者持续更新的页面，Baiduspider会持续抓取。此外，您也可以检查网站访问日志中Baiduspider的访问是否正常，以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 如果您发现Baiduspider非正常抓取您的网站，请通过投诉平台反馈给我们，并请尽量给出Baiduspider对贵站的访问日志，以便于我们跟踪处理。
为了给搜索用户更好的体验、对站点实现更好地索引和呈现，百度搜索需要访问网站的CSS、Javascript和图片信息，以便更精准地理解页面内容，实现搜索结果最优排名，百度搜索会全面启用最新UA来访问站点的上述资源。从3月24日（2017）开始，百度搜索抽取了部分优质站点进行抓取内测，可能会对站点服务器造成一定压力影响，请尽量不要对UA进行封禁，以免造成不可逆转的损失。最新UA如下：PC：Mozill
目前百度Spider抓取新链接的途径有两个，一是主动出击发现抓取，二就是从搜索资源平台的链接提交工具中获取数据，其中通过主动推送功能“收”上来的数据最受百度Spider的欢迎。对于站长来说，如果链接很长时间不被收录，建议尝试使用主动推送功能，尤其是新网站，主动推送首页数据，有利于内页数据的抓取。那么同学们要问了，为什么我提交了数据还是迟迟在线上看不到展现呢？那涉及的因素可就多了，在Spider抓取
您可以在网站的 robots.txt 文件中添加以下内容，以阻止 Baiduspider 访问您的网站： User-agent: Baiduspider Disallow: / 这会告诉 Baiduspider 不要访问您的整个网站。请注意，这也可能会阻止其他搜索引擎的访问。如果您只想阻止 Baiduspider 的访问，可以使用以下代码： User-agent: Baiduspider D
为了给搜索用户更好的体验、对站点实现更好地索引和呈现，百度搜索需要访问网站的CSS、Javascript和图片信息，以便更精准地理解页面内容，实现搜索结果最优排名，百度搜索会全面启用最新UA来访问站点的上述资源。从3月24日（2017）开始，百度搜索抽取了部分优质站点进行抓取内测，可能会对站点服务器造成一定压力影响，请尽量不要对UA进行封禁，以免造成不可逆转的损失。最新UA如下：PC：Mozill
