robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了 robots.txt 文件。 因此，网站所有者仍然需要使用其他策略，如更新网页的元标记和标题标签，以及在页面上指示搜索引擎不索引。
URL是一个网站标识符，它由多个组成部分组成。下面是有关每个URL组成部分的指南： 1. 协议：URL使用的网络协议。常用的协议是HTTP、HTTPS、FTP、SSH、TELNET等。 2. 主机名：URL指向的主机的名称或IP地址。例如，www.example.com或192.168.1.1。 3. 端口号：指定与主机通信的端口号。如果没有指定端口号，则使用默认端口号。 HTTP的默认端口
很多时候，我们考虑把无效的URL比如：用户拼错的URL、不存在的URL重定向到别的网页。例如：网站的首页、404页面等。如何将无效的URL重定向到其他页面？在httpd.conf或.htaccess文件中使用ErrorDocument来捕获404 （找不到文件）错误：ErrorDocument 404 /index.htmlDirectoryIndex index.html /path/to/no
网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签？meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。meta robots 标签的写法：<meta name=”robots”content=”noindex,nofollow”>标签的意义：禁止
robots.txt概念如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？答案是：使用一个叫做robots.txt的文件。robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取，哪些不允许抓取。搜索引擎蜘蛛访问网站任何文件之前，需先访问robots.txt文件，然后抓取robots.txt文件允许的路径，跳过其禁止的路径。总结：robots.txt是一个简单的.txt文件
