以下是禁止搜索引擎收录网站的方法： 1. Robots.txt文件 在网站根目录下建立一个名为“robots.txt”的文件，通过添加禁止搜索引擎收录的指令来控制搜索引擎抓取页面的行为。 2. HTML标签 在网页头部添加的标记，使其被搜索引擎识别为不允许被收录的页面。 3. 登录权限 通过设置网站登录权限，使未登录用户无法访问该网页，从而使搜索引擎无法抓取该页面内容。 4. 封锁IP 通过封锁搜索引擎抓取页面的IP地址，阻止搜索引擎访问指定页面。 5. 禁止链接 不在其他页面链接到需要禁止搜索引擎收录的页面，从而使搜索引擎无法发现该页面。 需要注意的是，以上方法并不能保证完全禁止搜索引擎收录网站，但可以有效减少搜索引擎抓取页面的可能性。同时，应该确保禁用搜索引擎收录的页面不会影响网站整体性能和用户体验。
如果您的站以前发布新文章收录快，而现在发布新文章收录得慢甚至不收录。可能的原因是搜狗微调了收录策略，而现在收录慢的网站均是未达到实时收录（秒级）要求的网站。如前所述，大型的新闻站、优质站点、地方优质门户网站，内容更新后才能够达到秒级的收录。若发生此类情况，站长们应该第一时间反省自己的网站是否达到了实时收录的要求，若确实符合要求，再进行申诉。来源：搜狗资源平台
360搜索并不承诺会收录所有网页，我们会优先收录高质量、符合用户搜索体验的网站、网页。360搜索不欢迎以下类型的网站：网站内容不符合相关法律法规和政策；网站使用了不正当的手段获取用户信息或存在恶意欺骗、钓鱼、挂马等行为；网站存在多次跳转、广告与弹窗过多等问题；网站是采用复制方式镜像其他网站内容；网站做了很多针对搜索引擎而非用户的处理，以获得在搜索结果中的不恰当排名；其他不被欢迎的网站类型；建议网站
百度各个产品使用不同的user-agent:无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider来源：360站长平台
匹配方式分两部分：1.path部分，2.参数部分匹配支持?*$?两种通配符?*? 表示任何有效字符的 0 个或多个个案。?$? 表示网址结束。path部分与google匹配方式保持一致，也就是只有/或是*开头的规则才有机会匹配上?/?匹配根目录以及任何下级网址?/fish??/fish?开头的匹配项* ?/fish?* ?/fish.html?* ?/fish/salmon.html?* ?/fi
