1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
谈花坊 提问于 3年 之前zac你好，我最近看百度排名的时候发现有的网站都是一夜之间来到了首页，之前在前几页都没有看见过，网站内容也没有很多，每篇文章字数几十字，内容也好久没有更新过了，这种网站是通过非正常手段上来的吗？能否介绍一下快排上来的网站的一些特征？2 个回答Zac 管理员 回答于 3年 之前我想不到有什么方法可以确切知道一个网站是不是通过快排做上来的，除非有私底下的内部消息，比如认识对方
怪兽怪兽 提问于 3年 之前ZAC你好，很荣幸能向你请教问题，我的问题虽然比较简单，但希望您能不吝指教。比如我的新站首页标题是A-B-C（当初认为ABC三个词权重是一样的），事实上，我在内页的内容围绕B比较多，三个月后，从排名效果来看，A排名较好，没做内外链建设的情况下，网站首页已经在百度A词搜索结果的首页甚至前三，B反而在百度B词搜索结果的第二页，这种情况下，我是否需要把首页标题更改为B-A-C
框架 // Copyright(C) 2017 铭飞科技 // #region 版权信息 /* * 此文件自 Copyright(C) 2008 - 2017 铭飞科技 Classification:无 开源网站:http://www.http://www. coding */ #endregion using System; using System.Data; using S
