为什么我的网站已经加了robots.txt，还能在百度搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。
来源：百度搜索资源平台 百度搜索学堂
URL是一个网站标识符，它由多个组成部分组成。下面是有关每个URL组成部分的指南： 1. 协议：URL使用的网络协议。常用的协议是HTTP、HTTPS、FTP、SSH、TELNET等。 2. 主机名：URL指向的主机的名称或IP地址。例如，www.example.com或192.168.1.1。 3. 端口号：指定与主机通信的端口号。如果没有指定端口号，则使用默认端口号。 HTTP的默认端口
以下是进行内容与结构优化的几个步骤： 1.确定目标受众：在优化之前，必须明确目标受众是谁。不同的受众有不同的需求和偏好，因此你的内容和结构会根据他们而异。 2.确定关键词：关键词是搜索引擎优化中至关重要的因素之一。确定与你的品牌或内容相关的关键词，可以帮助你在搜索引擎中获得更好的排名。 3.合理规划结构：网站的信息架构和导航是构建稳健的SEO策略所必需的。网站的结构应该清晰明了，易于用户查看
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。在命令中可以使用*、$等通配符。示例：
