1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
因为某种历史原因，我们公司的网站不能做独立的移动端，只能用PC站做自适应。现在我对移动端做了很多修改，主要是隐藏了很多不适合在移动端显示的内容，大概占全部内容的3分1，包括友链和很多内链。这样有可能会被百度惩罚吗？回答：自适应设计的页面在移动端适当隐藏一些不适合手机显示的内容是正常的，不会被百度惩罚。但不要隐藏主体内容和重要链接，不然有cloaking之嫌。隐藏内容的三分之一好像挺多的，那些隐藏的
问题：网站栏目导航改了会降权吗回答：正常的更改是不会降权的，但是如果不当的更改，导致的内链权重传递出现异常，会让排名缓慢的出现下降，这个时候就要重新优化导航条了。 一般我们建议的是：可以增加导航内链，但是不建议减少导航链接来源：搜外网
？ 1. 通过robots.txt可屏蔽Google、Baidu、Bing等常见的网站搜索引擎的抓取; 2. 通过User Agent阻止未知垃圾爬虫或无流量搜索引擎，通过历史行为表明该蜘蛛具有不良意图抓取数据; 3. 通过代理服务器设置黑名单，可以限制不同来源IP的访问； 4. 通过验证码屏蔽爬虫或机器人，使搜索结果不准确、不可用; 5. 通过网络防火墙设置黑白名单，阻止一些特定的网站
