如何利用robots.txt对wordpress博客进行优化
1、禁止索引 /wp-admin:用于管理wordpress网站的控制面板,不允许百度收录,避免流量分散。 User-agent: * Disallow: /wp-admin/ 2、禁止索引/wp-includes:WordPress中的核心文件,利用文件禁止百度爬行,提高访问速度。 User-agent: * Disallow: /wp-includes/ 3、禁止索引/wp-content:WordPress的插件文件和上传的文件,很多需要用户登录才能访问,不允许百度收录,增加wordpress网站的优化效果。 User-agent: * Disallow: /wp-content/