robots非标准扩展协议
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:
User-agent:
*Crawl-delay:10
来源：360站长平台
Public @ 2017-09-15 16:09:04
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:
User-agent:
*Crawl-delay:10
来源：360站长平台
当网站发展到一定时期，想要扩大网站规模、建立新频道的时候，相信很多人和我一样在选择二级域名和二级目录上犯了难。这篇文章我深入分析之后给出了答案。如果你的网站在使用二级域名和二级目录捉摸不定的时候，看看此文，会对你有所帮助的。首先，我们来看看什么是二级域名，什么是二级目录？1：二级域名:需要创建二级域名，设置DNS，修改A记录，指定IP等操作。具体建网站或者编辑网页时，需要对不同二级域名下的内容分开
是的，必须完整的指定Sitemap 中的网址，包括完整的协议（HTTP 或 HTTPS）和主机名（主机名或IP），并以“/”开始。
360搜索支持Robots协议的主要命令，以下为具体说明：1. user-agent360搜索各产品的爬虫user-agent为：- 网页搜索 360Spider- 图片搜索 360Spider-Image- 视频搜索 360Spider-Video2. Allow站长可通过Allow命令指定建议收录的文件、目录 。3. Disallow站长可通过Disallow命令指定不建议收录的文件、目录。
尊敬的用户： 为了更好地保护您的隐私和内容权益，百度搜索已经全新升级了robots协议。该协议将更加严格地限制搜索引擎爬取您的网站内容，以保障您的权益。 更新后的robots协议针对以下内容进行了调整： 1.增加禁止搜索引擎爬取的网页类型，如登录页、支付页、个人信息页等。 2.增加网站所有者对搜索引擎爬取的细节设置，包括最大爬取频率、爬取深度、爬取延时等。 3.优化 robots.txt