1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
夫唯：第二个就是前一段时间我们看到的百度站长平台一些资讯，最近推出的移动搜索的索引，有网站各种数据包括PC端的，但实践过程当中看到好像PC端和移动端的排名并不是完全一致，有的时候PC端排名不错，在移动端排名就没有那么靠前。很多小的站长们就很关心说影响网站在手机端的排名比PC端排名差一点的因素到底有哪几个？王淘：本质来讲PC和移动现在是两套的权值系统，虽然说我们在用同一批网页在做事，但是移动那边他关
夫唯：还有最后一个问题就是咱们在前两年在互联网上经常看到一些大神他们说站长已死，也就是普通的最传统的一个人做一个站这种事情已经成为过去。这两年，我们百度移动流量已经超过PC，我想说有没有在移动搜索的时代在百度的移动平台上通过做一个小站从低端获得更高的流量，像最初的PC端的小站的情况一样。王淘：我是觉得不管是PC还是什么现在都有蛮多机会，只是看大家思路到底是什么样子的。因为现在互联网上资源也极大丰富
不要看所谓的IP段，IP也不是一沉不变的，过去开头有220.181的 大家都知道，但是后面百度方面在不同的城市都建立了更多的服务器，总要有IP的增加，而IP段不可能一直是固定的那几个。所以单纯的以IP段来看，是非常不严谨的。那么如何查看呢？可以使用cmd命令： nslookup IP地址 的方式来进行查看，如果返回的信息中，有百度子域名，那么说明是百度的IP，如果无法返回，或者返回了诸
某些网站可能针对搜索引擎挂马（百度/360/搜狗等），Chrome浏览器可以安装User-Agent Switcher for Chrome模拟百度蜘蛛来访问网页，如果是针对搜索引擎挂马的就会显示。下载蜘蛛模拟软件，模拟蜘蛛访问查看非法信息。准备工作已经安装Google Chrome浏览器安装扩展访问 User-AgentSwitcher_1_0_43.crx 并下载这个扩展按照下图打开Chrom
