计算网页权值的方法

网页设计学习Web上的信息具有异质性和动态性，由于受时间和存褚空间的限制，即使是最大的搜索引擎也不可能将全球所有的网页全部搜集过来，一个好的搜集策略是优先搜集重要的网页，亦便能够在最短的时间内把最重要的网页抓取过来。在此要求下，一方面要采用分布并行的体系结构来协同工作，一方面要优先搜集重要的网页。对于网页重要程度的评定，要依据搜集信息所针对的不同应用而定。从而信息的搜集可亦采用不同的策略。对于信息量相对较小的应用，如为发现专业信息而设计的主题Web信息搜集系统，可亦依据定制的要害词，优先搜集网页中包含或部分包含这些要害词的网页，通过提高该跳页URL及包含的URL的权值来达到目的。对于为处理海量数据而设计的可扩展Web信息搜集系统，如何评定一个网页的重要度，目前还是一个值得研究探讨的问题。根据搜集经验，体现网页重要度的特征有：1)网页的入度大，表明被其他网页引用的次数多；2)某网页的父网页入度大；3)网页的镜像度高，说明网页内容比较热门，从而显得重要；4)网页的目录深度小，易于用户浏览到。这里定义URL目录深度为：网页URL中除去域名部分的目录层次，即URL=schema://host/localpath中的localpath部分。如：URL为这样的特征并非臆断，而是从长期从事搜索引擎工作中得来的，如：重要的学术论文网页，因为经常被引用，就表现为入度大；如果被重要的网页引用或多次被其他站点镜像，也可被认为有价值、重要；如网页URL目录深度浅，说明位于网站浅层，通常是被编辑网页的人认为重要而放在易于访问到的地方，网站的主页或各板块的首页一般被经常浏览而显得重要。需要说明的是，URL目录深度小的网页并非总是重要的，目录深度大的网页也并非全不重要，有些学术论文的网页URL就有很长的目录深度。多数重要度高的网页会同时具有上述4个特征，即上述表示重要度特征的因素并非独立无关的。网页的权重可亦形式化表示为weight(p)=f(indegree(p)indegree(father_p)mirror(p)directorydepth(p))其中weight(p)表示网页p的权重，indegree(p)表示网页p的入度函数，indegree(fatherp)表示网页p的父网页的入度函数，mirror(p)表示网页p的镜像度函数，directorydepth(p)表示网页p的目录深度函数。如果能够综合利用或部分利用上述特征，可亦认为是重要的。但是如何肯定每一个特征量的影响因子却很困难。如果定义的不好，反倒会影响重要网页的发现。是否有简单的方法来肯定重要的网页呢？不妨先来分析一下网页的分布情况。整个Web就象一个深不见底的海洋，表层包含的主要是静态网页（不通过提交查询信息即可获得的页面），底层包含的主要是动态网页（需要通过提交查询信息获得含有内容的网页）。目前搜索引擎的工作主要集中在表层工作。在表层中重要网页的分布或者更接近于海面，或者更接近于底层。对于网页的搜集工作，就象一条捕鱼的船行驶在海面上，目的是洒网捕捉尽可能多而且重要的网页。对于重