obots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
如：
https://www.seowhy.com/robots.txt 是有效的。
https://www.seowhy.com/a/robots.txt 是无效的。
以下3种情况需要注意：
1、如果手机网站采用的是m.的二级域名，要给手机网站设置robots.txt的话，robots.txt要放在m. 这个二级域名的根目录下，而不是www的根目录。
2、给网站添加了一个站内站，如果要屏蔽某链接，是在www根目录下的robots里屏蔽，而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话，应该每个二级域名设置一个robots.txt。搜外问答的例子，点击查看。
来源：搜外网
当站长们都在讨论外链的时候，很少有人注意到内链的作用，内链就是网站的内部的相互链接，我认为内链的最主要的作用在于提高搜索引擎索引效率和用户体验，增加PV，除此之外，由于是自己的网站，内链容易控制，有助于PR的传递推动网站排名。博友Fgyb_网民聚焦：对于知名站点的seo而言主要精力应该放在内链的合理布局上，改善搜索引擎的抓取效率，让搜索引擎明白什么内容才是网站的重要的内容。既然内链与外链有着同样重
？ 1. 合作友商内容交换：与其他网站合作，将友友商的文章链接到自己的网站中，友商也会将自己网站的文章链接到自己的网站中。 2. 将文章内容嵌入到另外一个文章中：在文章中插入一些对之前文章的引用，以提高文章的凝聚力和完整性。 3. 使用关键字：通过使用与话题相关的关键字和短语，来吸引读者驻足，使之回访自己的网站。 4. 使用内置链接：读者扫描文章时，可以使用内置链接及文章目录，引导读者至相应文章
禁止搜索引擎收录的方法什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分
哈喽大家好！【搜索问答剧场】最新一集如期而至，平小雕又带着满满的知识干货回来啦！准备好迎接知识的洗礼了嘛？第五集【搜索问答剧场】中，跟大家提到了【Robots】工具。本期就来详细教大家如何灵活地使用【Robots】工具，以及如何正确设置网站整体的抓取范围。一、了解robots文件1、Q：什么是robots文件？A：robots文件用于指定spider在网站上的抓取范围，在文件中可以声明网站中不想被
