User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不要與其他目錄或檔案混淆，否則會影響索引品質。 - Allow：機器人允許存取的目錄或檔案，若不設定，代表機器人可自由存取。 - Sitemap：網站地圖檔案通常是一個XML檔案，提供站點中所有的頁面、文章等連結資訊，可以協助搜尋引擎更精確地抓取網站的內容。在robots.txt中設定可以幫助搜尋引擎更快速地尋找該檔案，並進一步了解網站結構和相關信息。
站点地图是一种网站页面，它列出了所有网站页面的链接列表，以方便用户查找和导航网站。站点地图包含的信息包括网站的结构，主要链接，页面层次结构，重要更新等。以下是站点地图的几个重要性： 1. 改善用户体验：站点地图为用户提供了一个完整的网站目录，使他们能够轻松地浏览网站并查找所需信息。 2. 提高搜索引擎优化：搜索引擎爬虫可以更轻松地索引站点地图。站点地图是向搜索引擎发送网站的重要信号。 3.
清晰的导航系统是网站设计的重要目标，对网站信息架构、用户体验影响重大。SEO也越来越成为导航设计时需要考虑的因素之一。站在用户的角度上，网站导航系统需要解决两个问题。（1）我现在在哪里？用户可能从任何一个内页进入网站，有时候从首页进入，点击多个链接后，用户也忘了是怎么来到当前页面的。导航系统这时候就要清楚告诉用户现在处在网站总体结构的哪一部分。页面设计风格的统一、面包屑导航的使用、主导航系统当前所
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
