现在的网站绝大多数是数据库驱动，页面由程序实时生成，而不是真的在服务器上有一个静态HTML文件存在。当用户访问一个网址时，程序根据URL中的参数调用数据库数据，实时生成页面内容。因此动态页面相对应的URL原始状态也是动态的，包含问号、等号及参数。
更麻烦的是有时某些参数可以是任意值，服务器都能正常返回页面，虽然内容全是一样或非常相似的。例如，URL中的参数1234改为5678或其他数字，服务器很可能也返回200状态码。
所以以前的搜索引擎对动态URL敬而远之，要想网站页面被充分收录，站长需要把动态URL转化为静态URL。
来源：搜外网
robots.txt概念如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？答案是：使用一个叫做robots.txt的文件。robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取，哪些不允许抓取。搜索引擎蜘蛛访问网站任何文件之前，需先访问robots.txt文件，然后抓取robots.txt文件允许的路径，跳过其禁止的路径。总结：robots.txt是一个简单的.txt文件
有同学问百度站长学堂一个关于robots的问题：我们有个站点的目录结构使用的是中文，这样式儿的：www.a.com/冒险岛/123.html，那在制作robots文件和sitemap文件的时候，可以直接使用中文吗？百度能获取到吗？在实际操作中我们发现，sitemap中有文件是可以生效的，但robots封禁貌似没有反应，所以想确认一下：robots文件是否支持中文?工程师解答：Baiduspider
常见的方法是使用服务器的URL重写模块，在LAMP(Linux+Apache+MySQL+PHP)服务器上一般使用mod_rewrite模块，Windows服务器也有功能相似的ISAPI Rewrite等模块。以LAMP服务器为例，要想把URL：http://www.seowhy.com/products.php?id=$123静态化为：http://www.seowhy.com/products
网站伪静态和静态的区别在于生成页面的方式。 1. 网站伪静态：伪静态是在不改变服务器动态处理程序的基础上，通过对URL进行重写，使其看起来像是静态页面，而实际上仍由服务器动态生成。服务器会根据伪静态规则将动态URL转化为静态URL，并返回相应的内容。 2. 静态页面：静态页面是指直接由服务器返回的不需要动态生成的HTML、CSS和JavaScript等文件。静态页面对于服务器来说处理速度快，且
