8月份百度Spider升级了对HTTPS数据的抓取力度，HTTPS数据将更快被Spider抓取到。如网站还在做HTTPS的改造，且网站数据未搭建好，建议网站采取以下措施，避免Spider抓取，以免造成网站流量损失
1、把HTTPS的协议封掉，可把443端口关掉；
2、做HTTPS到http的301；
3、建议站点在改HTTPS没改造好之前，不要提供超链接指向，以免被Spider抓到HTTPS。
4、针对一个服务器下有多个域名的情况，建议未做HTTPS的网站，设置HTTPS抓取返回失败码，或将HTTPS站点301/302到HTTP，避免抓取出现问题。
来源：百度搜索资源平台
Baiduspider是一个蜘蛛爬虫的用户代理（User-Agent），可以通过检查HTTP请求的User-Agent中是否包含字符串“Baiduspider”来识别它。 以下是Python代码示例： ```python import re def is_baiduspider(user_agent): if re.search('Baiduspider', user_agent):
头条搜索的ip字段总共涉及10个ip，具体字段如下：110.249.201.0/24110.249.202.0/24111.225.148.0/24111.225.149.0/24220.243.135.0/24220.243.136.0/24220.243.188.0/24220.243.189.0/2460.8.123.0/2460.8.151.0/24来源：头条搜索站长平台
建议您使用DNS反查方式来确定抓取来源的ip是否属于百度，根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：5.1 在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.b
为了达到对目标资源较好的检索效果，Baiduspider需要对您的网站保持一定量的抓取。我们尽量不给网站带来不合理的负担，并会根据服务器承受能力，网站质量，网站更新等综合因素来进行调整。如果您觉得baiduspider的访问行为有任何不合理的情况，您可以反馈至反馈中心
