动态网站的搜索引擎的研究

动态网站的搜索引擎的研究

一、动态网站的出现和优势最早互联网出现时，站点内容都是以HTML静态页面形式存放在服务器上，访问者浏览到的页面都是这些实际存在的静态页面。随着技术的发展，特别是数据库和脚本技术PERL、ASP、PHP和JSP的发展，越来越多的站点都开始采取动态的页面发布手段。比如，我们在GOOGLE.COM上搜索一个内容，得到的搜索结果页面文件"本身"在GOOGLE服务器上并不存在，而是通过程序在我们输入搜索内容时调用后台数据库实时生成的，也就是说，这些结果页面是动态的。静态页面的站点只涉及文件的传输问题，而动态站点则复杂得多，用户和站点之间出现大量的交互，网站不再仅仅是内容的发布，而是成为了一种"应用(Application)"，是软件业向互联网上的扩张，从软件的角度看，动态站点是逻辑应用层和数据层的分离，数据库负责站点数据的存储管理，而ASP、PHP、JSP等负责处理站点的逻辑应用。这样做的好处除了增加很多交互功能外，更重要的是站点的维护、更新和升级都方便了许多。可以说，没有动态网站技术，目前互联网上的这些超大型站点就不可能出现。二、搜索引擎抓取动态网站页面时面临的问题从用户的角度看，动态网站非常不错，丰富了站点的功能，但是对于搜索引擎来说，情况就不同了。(关于搜索引擎和分类目录的区别，以及搜索引擎的工作原理，请"了解搜索引擎")•对于采用ColdFusion技术的站点，需要重新配置服务器上的ColdFusion，用"/"代替"？"将参数传输到URL，更详细的信息请见/站点。•对于使用Apache服务器的站点，可以使用rewrite模块将带参数的URL地址转换成搜索引擎支持的形式，该模块mod_rewrite在Apache服务器中不是缺省安装的，详细的信息请见/docs/mod/mod_rewrite.html。对于其他的动态技术也能找到对应的方法改变URL的形式。然后，要创建一些静态页面指向这些动态页面(以改变过的URL链接)。前面说过，搜索引擎机器人并不会自己"输入"参数，所以要让上面这些动态页面被搜索引擎抓取，我们还需要告诉机器人这些页面的地址(也就是参数)。我们可以创建一些静态的页面，一般在网络营销中称?"gatewaypage"(入口页面)，这些页面上有大量指向这些动态页面的链接。将这些入口页面的地址提交到搜索引擎，这些页面和链接的动态页面(改变过URL形式)就能都被搜索引擎抓取了。四、搜索引擎对动态网站支持的改进在我们调整动态站点适应搜索引擎的同时，搜索引擎也在发展。到目前为止，绝大多数的搜索引擎还不支持动态页面的抓取，但是GOOGLE、HOTBOT等和国内的百度开始尝试抓取动态网站页面(包括?"？"的页面)，这就是我们现在在这些搜索引擎进行搜索时，结果中出现动态链接的原因。这些搜索引擎抓取动态页面时，为了避免"搜索机器人陷阱"，都只抓取从静态页面(至少"看上去"是静态的页面)链接到的动态页面，而从动态页面链接出的动态页面都不再抓取。所以一个动态站点如果只针对上面这些搜索引擎，可以在上面小节介绍方法的基础上简化：只用创建一些入口页面，链接很多动态页面，然后将这些入口页面递交到这些搜索引擎就可以了。对于直接使用动态的URL地址，请