网页时效性：互联网上的用户众多，数据信息来源极广，互联网上的网页是呈实时动态变化的，网页的更新、删除等变动极为频繁，有时候会出现新更新的网页在爬虫程序还来不及抓取的时候却已经被删除的情况，这将大大影响搜索结果的准确性。
大数据存储问题：爬虫抓取的数据在经过预处理后数据量依然相当庞大，这给大数据存储技术带来相当大的挑战。当前大部分搜索引擎都是利用结构化的数据库来存储数据，结构化的数据库存储的数据具有高共享、低冗余等特点，然而由于结构化的数据库难以并发查询所以存在查询效率受限的问题。
检索结果可靠性：目前由于数据挖掘技术以及计算机硬件的限制使得数据处理准确度未能达到理想程度，而且由于一些个人或公司利用搜索引擎现有的漏洞通过作弊手段来干扰检索结果导致检索结果的可靠性可能会有损失。
随着pc端与移动端网站的融合，原有索引量数据的展现逻辑已经不足以满足用户的需求，3月中旬特别对移动端的site算法进行了升级，并已正式上线！1、移动端增加site语法卡片，直观展示网站在移动端的索引量；2、移动端site语法与站长平台的索引量工具打平，保证统计方式和统计数量的一致性；3、移动端增加适配索引量，通过pc适配过来的移动url也可以通过site或者搜索url进行展现;来源：百度搜索资源平
情况一您是网站拥有者如果您是网站拥有者，则需要在验证网站所有权后申请删除整个网站或目录。为确保永久删除您的目录或网站，请使用 robots.txt 阻止抓取工具访问该目录（如果要删除的是网站，则应阻止抓取工具访问您的整个网站）。我们建议您在请求删除目录前或请求删除后不久执行该操作。否则，您的内容稍后可能会重新显示在搜索结果中。仅返回 404 HTTP 状态代码还不够，因为可能出现这样一种情况：即某
使用黑帽SEO的人，心里或多或少都存在一个假设，那就是搜索引擎没自己聪明。在前几天的搜索引擎怎样判断垃圾留言这个帖子里，就有读者认为我把搜索引擎快说成神了。我想很多人都会抱有这种想法，理由也很简单，搜索结果中含有大把大把的作弊网站，垃圾网站。如果搜索引擎真的那么聪明的话，这些网站怎么还会排名不错呢？对搜索引擎到底有多聪明，今天谈谈自己的想法。首先从常理上来说，主要搜索引擎内部的工程师，大多都是博士
复制内容网页有的时候会影响网页排名。比如说原本是你写的文章，本来应该排名很好，但是其他人抄袭或转载你的文章，而且搜索引擎不幸的判断那篇被抄袭或转载的网页是原始出处的话，你应有的排名就会被那个网页夺走。那么搜索引擎怎样才能从多个网页中挑出哪一个是原始出处呢？可能有以下几个考虑：1）网页PR值。网页PR值越高，被认为是原始版本的可能性就越大。2）网页第一次被收录的时间。网页被搜索引擎收录的时候越早，相
