1、禁止索引 /wp-admin：用于管理wordpress网站的控制面板，不允许百度收录，避免流量分散。 User-agent: * Disallow: /wp-admin/ 2、禁止索引/wp-includes：WordPress中的核心文件，利用文件禁止百度爬行，提高访问速度。 User-agent: * Disallow: /wp-includes/ 3、禁止索引/wp-content：WordPress的插件文件和上传的文件，很多需要用户登录才能访问，不允许百度收录，增加wordpress网站的优化效果。 User-agent: * Disallow: /wp-content/
死链（Dead Link）是指网页上已经失效但仍然出现在超链接中的链接，或者指向网页内的地址。 死链的标准通常有以下几点： 1. 服务器错误或页面不存在：点击链接后页面无法正常打开，出现404等错误页面。 2. 指向过期或已删除的网页：点击链接后打开网页内容已不存在或已过期。 3. 指向被禁止访问的网页：点击链接后无法打开，可能是因为网页被禁止访问或需要权限才能访问。 4. 指向已更改地
1、更好的迎合搜索引擎工作原理的爬行抓取机制；2、把网站URL静态化更有助于网站获得好的排名；3、URL静态化有利于用户体验、不容易出错4、可以提高网站访速度、完全性、稳定性
笔者在百度站长平台检测自己的博客时，出于优化的惯性，对博客的Rbots进行了检测，进而在百度搜索了WordPress博客robots的写法设置问题，看了很多wordpress高手对robots优化设置后，终于有所领悟，在此也分享给一些wordpress新手看看如何去善用robots.txt对wordpress博客进行优化。一、先来普及下robots.txt的概念：robots.txt(统一小写)是
1、禁止索引 /wp-admin：用于管理wordpress网站的控制面板，不允许百度收录，避免流量分散。 User-agent: * Disallow: /wp-admin/ 2、禁止索引/wp-includes：WordPress中的核心文件，利用文件禁止百度爬行，提高访问速度。 User-agent: * Disallow: /wp-includes/ 3、禁止索引/wp-c
