解决网址规范化问题有以下几点方法：
1.确保使用的CMS系统只产生规范化网址，无论是否有静态化。
2.在Google管理员工具中设置首选域。
3.所有内部链接保持统一，都指向规范化网址。
4.使用canonical标签。
5.使用301转向，把不规范化URL全部转向到规范化URL。
6.提交给搜索引擎的XML网站地图中全部使用规范化网址。
来源：搜外网
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
网站如果出现多个不规范的网址，分散了页面权重，影响搜索引擎爬行和排名。如何设置网站地址URL规范化？1、使用301转向，很多用户习惯搜索带www，把不带www的301转向到带www的页面即可。2、URL网址规范化，链接网址都采用首选域名的绝对地址。3、canonical标签相当于一个页内的301转向，区别在于用户并不被转向，还是停留在原网址上面，而搜索引擎会把他当做是301转向处理，把页面权重集中
1、正确设置CMS系统配置，使其规范生成网址2、确保内部链接统一3、做好网站301转向，成功转换不规范网址4、做好网站地图时注意网站的规范5、利用搜索引擎管理工作设置好自己站点的首选域