1、禁止索引 /wp-admin：用于管理wordpress网站的控制面板，不允许百度收录，避免流量分散。 User-agent: * Disallow: /wp-admin/ 2、禁止索引/wp-includes：WordPress中的核心文件，利用文件禁止百度爬行，提高访问速度。 User-agent: * Disallow: /wp-includes/ 3、禁止索引/wp-content：WordPress的插件文件和上传的文件，很多需要用户登录才能访问，不允许百度收录，增加wordpress网站的优化效果。 User-agent: * Disallow: /wp-content/
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂
301重定向在网站排名优化中的应用URL是搜索引擎获取网站的入口。URL的长度和复杂性会影响网站的抓取和收录，也会影响网站的排名。如何优化URL和301重定向，以方便搜索引擎快速抓取收录?就像www.admin5.cn和admin5.cn，不管打开哪一个网址，所打开的网页内容都是相同的，但在搜索引擎的算法中，这是两个不同的网页。如果你不做域名重定向，主域名的权重会分配给其他域名，这一点是站长们需要
笔者在百度站长平台检测自己的博客时，出于优化的惯性，对博客的Rbots进行了检测，进而在百度搜索了WordPress博客robots的写法设置问题，看了很多wordpress高手对robots优化设置后，终于有所领悟，在此也分享给一些wordpress新手看看如何去善用robots.txt对wordpress博客进行优化。一、先来普及下robots.txt的概念：robots.txt(统一小写)是
1、禁止索引 /wp-admin：用于管理wordpress网站的控制面板，不允许百度收录，避免流量分散。 User-agent: * Disallow: /wp-admin/ 2、禁止索引/wp-includes：WordPress中的核心文件，利用文件禁止百度爬行，提高访问速度。 User-agent: * Disallow: /wp-includes/ 3、禁止索引/wp-c
