robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了 robots.txt 文件。 因此，网站所有者仍然需要使用其他策略，如更新网页的元标记和标题标签，以及在页面上指示搜索引擎不索引。
a：网页的<Canonical>是告诉搜索引擎在若干的内容相同，URL不同的页面中那个最规范，最希望被收录的，避免相同内链的网页通过不同URL带来权重分散的问题，从而达到页面权重集中的目的。
nofollow标签最初是由Google引入的，旨在告诉搜索引擎跟踪链接的方式。它的作用是让网站管理员控制搜索引擎是否跟踪某个链接并传递权重。也就是说，如果一个页面包含了nofollow标签，搜索引擎就不会将该页面与被链接的页面相关联，也不会将该页面作为链接目标的一部分考虑。这样可以避免一些不必要的链接传递权重，同时可以防止人工操纵搜索引擎排名。 然而，随着时间的推移，nofollow标签的作用
哈喽大家好！【搜索问答剧场】最新一集如期而至，平小雕又带着满满的知识干货回来啦！准备好迎接知识的洗礼了嘛？第五集【搜索问答剧场】中，跟大家提到了【Robots】工具。本期就来详细教大家如何灵活地使用【Robots】工具，以及如何正确设置网站整体的抓取范围。一、了解robots文件1、Q：什么是robots文件？A：robots文件用于指定spider在网站上的抓取范围，在文件中可以声明网站中不想被
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址
