网页时效性：互联网上的用户众多，数据信息来源极广，互联网上的网页是呈实时动态变化的，网页的更新、删除等变动极为频繁，有时候会出现新更新的网页在爬虫程序还来不及抓取的时候却已经被删除的情况，这将大大影响搜索结果的准确性。
大数据存储问题：爬虫抓取的数据在经过预处理后数据量依然相当庞大，这给大数据存储技术带来相当大的挑战。当前大部分搜索引擎都是利用结构化的数据库来存储数据，结构化的数据库存储的数据具有高共享、低冗余等特点，然而由于结构化的数据库难以并发查询所以存在查询效率受限的问题。
检索结果可靠性：目前由于数据挖掘技术以及计算机硬件的限制使得数据处理准确度未能达到理想程度，而且由于一些个人或公司利用搜索引擎现有的漏洞通过作弊手段来干扰检索结果导致检索结果的可靠性可能会有损失。
怎样做SEO有利于搜索引擎索引收录，即如何构建便于搜索引擎识别、索引、展现的移动网站。以下将从域名、服务器、加载速度、站点结构、URL结构、PC站与移动站适配、网站被动抓取、网页筛选建库8个方面来分别讲解：1、域名与PC网站一样，域名越短越好。一个好的移动域名，不仅容易记忆、易于输入，还能方便用户向其他人推荐。短并且具有语义化特性的域名让用户更直观地了解网站主旨。2、服务器域名选好了之后，就要配置
首先，需要澄清一下网页的抓取频率和快照的更新频率是完全不同的两个概念。每一个被百度收录的网站，baiduspider都会根据其网站内容更新的频率不断的检查有无新网页产生，通常情况下，Baiduspider的抓取频率会和网站产生新内容的速度相符，通常说的更新，是指Baiduspider对网页内容的抓取。每个新抓取或者新检查过的网页，我们都会根据其重要程度以及其时效性价值以不同的速度去创建索引，通常所
搜索引擎是伴随互联网的发展而产生和发展的，互联网已成为人们学习、工作和生活中不可缺少的平台，几乎每个人上网都会使用搜索引擎。搜索引擎大致经历了四代的发展： 1、第一代搜索引擎1994年第一代真正基于互联网的搜索引擎Lycos诞生，它以人工分类目录为主，代表厂商是Yahoo， 特点是人工分类存放网站的各种目录，用户通过多种方式寻找网站，现在也还有这种方式存在。 2、第二代搜索引擎
一月份时，Google新的SEO代言人Gary Illyes在Google官方博客上发了一篇帖子：What Crawl Budget Means for Googlebot，讨论了搜索引擎蜘蛛抓取份额相关问题。对大中型网站来说，这是个颇为重要的SEO问题，有时候会成为网站自然流量的瓶颈。今天的帖子总结一下Gary Illyes帖子里的以及后续跟进的很多博客、论坛帖子的主要内容，以及我自己的一些案例