为什么我的网站已经加了robots.txt，还能在搜狗搜索出来
因为搜索引擎索引数据库的更新需要时间。虽然sogou spider已经停止访问您网站上的网页，但搜狗搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过删除快照反馈请求处理。
Public @ 2018-01-11 15:38:56
因为搜索引擎索引数据库的更新需要时间。虽然sogou spider已经停止访问您网站上的网页，但搜狗搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过删除快照反馈请求处理。
为了给搜索用户更好的体验、对站点实现更好地索引和呈现，百度搜索需要访问网站的CSS、Javascript和图片信息，以便更精准地理解页面内容，实现搜索结果最优排名，百度搜索会全面启用最新UA来访问站点的上述资源。从3月24日（2017）开始，百度搜索抽取了部分优质站点进行抓取内测，可能会对站点服务器造成一定压力影响，请尽量不要对UA进行封禁，以免造成不可逆转的损失。最新UA如下：PC：Mozill
内容优良而独特的页面，如果您的页面内容和互联网上已存在的其他页面有高度的相似性，可能不会被 sogou spider 收录。链接层次较浅的页面，过深的链接层次，尤其是动态网页的链接，会被丢弃而不收录。如果是动态网页，请控制一下参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面，越有可能被 sogou spider 丢弃。
Sogou spider User-Agent字段是一种用于爬虫程序中的HTTP报头，它是搜狗搜索的爬虫程序使用的字符串，其格式为："Sogou web spider/版本号(语言:语言代码;平台:操作系统)"，例如："Sogou web spider/4.0(Windows NT 6.1;zh-CN)"。该字段包含了爬虫程序的名称、版本号、语言和操作系统等信息。
作弊网站内容低劣的网站违反国家政策和法律的网站