robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
展现量：用户在百度搜索引擎查询某关键词时，看到您网站的次数；点击量：用户在百度搜索引擎看到您网站结果后进行点击的次数；点击率：上述的点击量与展现量比值；网页链接举例：用户选择点击进入您网站链接的举例，选取的是在该关键词下用户点击量TOP3的网页链接。来源：百度搜索资源平台
1. 智能小程序单卡介绍智能小程序单卡是一种搜索特型卡片，具有品牌曝光强势、服务交互便捷等优点，能够帮助开发者获取更多用户关注和转化。在品牌曝光上，用户搜索小程序名称时，会有三大特型样式展现，尤其是高级卡，占据手机一半屏幕，能快速打动搜索用户心智。在服务交互上，开发者可自行配置单卡子链，用户一搜即达，能够快速找到、使用、分享相关服务能力。2. 智能小程序单卡样式图片3. 智能小程序单卡获取方式小程
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址
尊敬的用户： 为了更好地保护网站主的合法权益、提升百度搜索用户搜索体验，百度搜索于2020年10月27日发布了新版robots协议，主要特性包括： 1. 支持抓取控制与数据保护视角的并存 新增规定了两个特殊的抓取指令： allow-if-previously-blocked 和 noindex-if-previously-indexed，用于方便网站主在控制抓取行为的同时，保护网站内容的安全
