1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
晴天 提问于 3年 之前针对网站列表页的分页问题，该如何让后面的分页权重更集中在第一个列表页面？网站使用tag标签，太多的分页了，如何让后面的分页权重更加集中在第一个页面呢？2 个回答Zac 管理员 回答于 3年 之前如果是正常导航系统中的列表页，也就是栏目页，或分类页，没必要刻意把后面分页的权重集中到第一个列表页面。首先，网站导航系统的设置必然造成第一个列表页权重远高于后面分页，再集中没有必要。
beta 提问于 1年 之前这几天发现部分主要子域名首页及部分页面收录丢失，涉及的词排名也没有了。登陆原站长平台帐号提示“您无权访问该页面，点击确定按钮返回首页”，换帐号添加出现“您无权访问该页面，点击确定按钮返回首页”；10多年的老站了，内容采集为主，子域名非常多，近期没做大的改版。一直以来词的排名和页面收录量很好。1 个回答Zac 管理员 回答于 1年 之前估计你是写错了，换账号会出现的是你标
1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置
一般用在网站被挂马以后，直接访问没有问题，可以通过模拟百度或其他搜索引擎来访问，即可发现问题。比如下面的例子，直接访问没问题，使用模拟搜索引擎访问即可发现问题。比如访问一个针对搜索引擎挂马的网页：http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [这个地址可能会会失效]，这样就可以看到被挂马的情况。（默认情
