Meta robots标签是一种HTML头部元数据标签，用于指示搜索引擎如何处理指定页面的内容。它告诉网络爬虫如何爬取索引优化。这些标签是在
和之间添加的，旨在为“robots（搜索引擎蜘蛛）”提供有关如何索引和缓存页面内容的指令。 以下是meta robots标签的写法： - - - - 其中，“content”属性指定一组用逗号分隔的值，可以是以下之一： - index：告诉爬虫允许索引该页面； - noindex：告诉爬虫不允许索引该页面； - follow：告诉爬虫允许跟随页面上的链接； - nofollow：告诉爬虫不允许跟随页面上的链接。许多年前，让网站被搜索引擎选中包括填写表格，注册该网站，并手动编辑希望该网站被搜索的关键词，这个过程随着搜索引擎网络爬虫或网络蜘蛛的出现而改变。本文就robots相关内容，做详细的介绍。什么是搜索引擎蜘蛛？搜索引擎蜘蛛是一种自动程序，它沿着从一个网页到另一个网页的链接在互联网上爬行，为内容编制索引并将其添加到数据库中。这意味着，只要网站有一个来自其他网站且搜索引擎已经知道的链接，然后它会找到随着时
404页面是指用户请求的页面不存在或者无法访问时，服务器返回的错误页面。对于用户来说，404页面给人一种网站失误或不可靠的印象，但如果设计得当，404页面也可以是有趣的、有创意的，并可以引导用户继续浏览网站。 以下是404页面设计的一些建议： 1. 提供清晰的错误提示：页面应该提供简短明了的错误提示，让用户知道他们访问的页面不存在。 2. 保持网站风格一致：404页面应该与网站的设计风格一致
robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全
匹配方式分两部分：1.path部分，2.参数部分匹配支持?*$?两种通配符?*? 表示任何有效字符的 0 个或多个个案。?$? 表示网址结束。path部分与google匹配方式保持一致，也就是只有/或是*开头的规则才有机会匹配上?/?匹配根目录以及任何下级网址?/fish??/fish?开头的匹配项* ?/fish?* ?/fish.html?* ?/fish/salmon.html?* ?/fi
