robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
展现量：搜索用户在百度搜索引擎查询某关键词时，看到您网站的次数；点击量：仅统计从百度搜索结果页点击进入您网站的次数；点击率：点击量和展现量的比值，在一定程度上表征了网站的优化空间，点击率越小，网站的优化空间越大；排名：在热门关键词和热门页面列表中给出的排名是平均排名，表征在相应时间段内，搜索用户在查询某关键词时，落地页在百度搜索结果页的平均排名，是统计数据。来源：百度搜索资源平台 百度搜索学堂
百度搜索资源平台-搜索资源平台—联系我们 您可以通过以下方式与我们联系： 电子邮件：pso@baidu.com 客服电话：010-84200504 客服QQ：20004126 客服旺旺：BD-sos-KF-abps 地址：北京市朝阳区三环内国贸写字楼C座 21层
1. 什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当
我希望我的网站内容被百度索引但不被保存快照，我该怎么做？Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可
