在进行网站优化的时候，经常会使用robots文件把一些内容不想让蜘蛛抓取，以前写过一篇网站优化robots.txt文件的运用 现在写这篇文章在补充一点点知识!什么是robots.txt文件搜索引擎通过一种爬虫spider程序(又称搜索蜘蛛、robot、搜索机器人等)，自动搜集互联网上的网页并获取相关信息。鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件r
我们知道，网站域名通常包括不带www的域名和到带www的域名，很多时候，为了SEO优化的需要，我们要将不带www域名重定向到带www域名，下面就介绍一下具体的实现方法。Apache编辑网站根目录下的。htaccess 文件，在文件里增加如下内容：RewriteEngine onrewriteCond %{http_host} ^williamlong.info [NC]rewriteRule ^(
网站如果出现多个不规范的网址，分散了页面权重，影响搜索引擎爬行和排名。如何设置网站地址URL规范化？1、使用301转向，很多用户习惯搜索带www，把不带www的301转向到带www的页面即可。2、URL网址规范化，链接网址都采用首选域名的绝对地址。3、canonical标签相当于一个页内的301转向，区别在于用户并不被转向，还是停留在原网址上面，而搜索引擎会把他当做是301转向处理，把页面权重集中
1、正确设置CMS系统配置，使其规范生成网址2、确保内部链接统一3、做好网站301转向，成功转换不规范网址4、做好网站地图时注意网站的规范5、利用搜索引擎管理工作设置好自己站点的首选域
