网站如果出现多个不规范的网址，分散了页面权重，影响搜索引擎爬行和排名。如何设置网站地址URL规范化？1、使用301转向，很多用户习惯搜索带www，把不带www的301转向到带www的页面即可。2、URL网址规范化，链接网址都采用首选域名的绝对地址。3、canonical标签相当于一个页内的301转向，区别在于用户并不被转向，还是停留在原网址上面，而搜索引擎会把他当做是301转向处理，把页面权重集中
网站伪静态和静态的区别静态URL1、加载的时候不需要调用数据库，响应速度快。2、纯静态网页是纯HTML格式的文件，因此不容易遭受黑客攻击，网站的安全性比较高。3、网站的简洁化提高用户体验度。伪静态URL1、后台发布文章的时候，可以实时更新内容。2、方便的实现对化化引擎的优化，并且比生成静态更加方便。3、缩短了URL的长度，隐藏文件实际路径提高了安全性，易于用户记忆和输入。4、占空间比较小。5、UR
名称 搜索引擎google蜘蛛: googlebot百度蜘蛛:baiduspideryahoo蜘蛛:slurpalexa蜘蛛:ia_archivermsn蜘蛛:msnbotaltavista蜘蛛:scooterlycos蜘蛛: lycos_spider_(t-rex)alltheweb蜘蛛: fast-webcrawler/inktomi蜘蛛: slurp一个在线写robots.txt的工具。最后
robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
