1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
peterzhu 提问于 3年 之前你好，我想询问一下，关键词密度如今对于网站的重要性或者说影响力有多大？一个页面的关键词密度控制在什么范围之内对于网站优化来说是最好的？谢谢！1 个回答Zac 管理员 回答于 3年 之前关键词密度对网站SEO没多大影响。不必特意计算关键词密度。只要自然写作就好。通常写文章时，遵守最基本的作文要求，自然而然地会提到几次关键词，还有关键词的变体和一些支撑性的语义相关词
作品人物网 提问于 3年 之前zac老师你好我的网站vrrw.net采用pc端和移动端同一个数据库。一般是先在后台发布文章，等到当天的文章发布完成之后再点击一键生成，一次性生成移动端的静态页面。我想问一下这对移动端的优化有影响吗？qhpf298 回复于 3年 之前你应该用的开源cms，很大可能用的是织梦。要及时生成移动端，不然当蜘蛛顺着你pc爬行移动链接时，会出现页面404。Zac 管理员 回复于
贺贵江：短期打不开，请使用503错误来提示搜索引擎，时间长了的话，会影响的，因为长期打不开就相当于被屏蔽了。
很多SEO从业人员在刚刚接触这个行业的时候，经常会问——百度蜘蛛是什么？我们可以理解为百度蜘蛛就是用来抓取网站链接的IP，小编经常会听到百度蜘蛛来的太频繁，服务器要被抓爆了，如果你无法识别百度蜘蛛，你怎么知道是百度蜘蛛抓爆的呢？也有出现百度蜘蛛都不来了的情况，还有很多站点想得到百度蜘蛛的IP段，想把IP加入白名单，但无法识别百度IP。那怎么才能识别正确的百度蜘蛛呢？来来来，只需做着两点，就能正确识
