百度快照：指的是网站上被收录的页面，都在百度上的纯文本里备份。网页的抓取频率和快照的更新频率是两个不同的概念。被百度收录的网站，蜘蛛会根据该站点内容更新的频率，频繁的来站点检查是否有新的网页生成，蜘蛛的抓取频率会和网站产生新内容的速度相符，这个就叫蜘蛛对网页内容的抓取。百度快照自动更新原理：1、网站上被新抓取的页面或者是新检查过的网页，蜘蛛都会根据页面的价值性以及时效性的不同创建索引，快照更新时间
1. site：限定在特定网站内搜索； 2. inurl：限定搜索结果中必须包含特定关键词； 3. intitle：限定搜索结果中必须包含特定标题； 4. filetype：限定搜索结果为特定文件类型； 5. link：查找链接到特定网站的页面； 6. cache：查找搜索引擎缓存存储的副本； 7. related：查找相关网站； 8. info：查找特定网站的相关信息； 9. define：查找
搜索引擎的用户是网上搜索信息的人，客户是广告商。目前所有的搜索引擎都是通过搜索竞价广告赢利的，不同搜索引擎的区别只在于竞价广告出现的位置、数目及是否比较清晰地标明是广告，其PPC本质是一样的。要想通过搜索广告赢利，就必须有搜索用户使用搜索引擎。那站长们(以站长身份出现时而不是搜索用户)说到底不是搜索引擎的用户，更不是他们的客户。搜索引擎并不欠站长或SEO人员什么东西，网站收录不收录，排名怎么样，都
网页时效性：互联网上的用户众多，数据信息来源极广，互联网上的网页是呈实时动态变化的，网页的更新、删除等变动极为频繁，有时候会出现新更新的网页在爬虫程序还来不及抓取的时候却已经被删除的情况，这将大大影响搜索结果的准确性。 大数据存储问题：爬虫抓取的数据在经过预处理后数据量依然相当庞大，这给大数据存储技术带来相当大的挑战。当前大部分搜索引擎都是利用结构化的数据库来存储数据，结构化的数据库存
