网络资源的开发与利用：第一章 网络信息膨胀与信息膨胀问题的解决

第一章网络信息膨胀与信息

膨胀问题的解决1.1信息与网络信息1.2网络信息膨胀及其带来的负面影响1.3信息膨胀问题产生的原因分析1.4解决信息膨胀问题的基本思路

1.1

信息与网络信息1.1.1信息概述1.1.2网络信息1.1.3网络信息与非网络信息的比较1.1.1

信息概述为了科学地理解信息的本质，必须区分信息、消息、信号、符号的不同涵义。信息与信号、符号、消息在科学涵义上是根本不同的。信号是携带信息的各种物理过程，同一信息可以用各种信号来携带和传递；符号则是语言、文字、图像、密码、指令、程序等的统称，是人类用来表示信息的各种标志，是非物理性的，同样的信息也可以用不同的符号来表征；各种信号都可以与某种符号集合建立起对应关系；信号系列和符号系列构成了消息，消息是信息载体或表达者，消息和信息是形式和内容的关系。所以，信息是一个社会概念，它是社会共享的、人类的一切知识、学问以及从客观现象提炼出来的各种消息的总称，信息反映了客观世界中各种事物的特征和变化的组合，是一种有用的知识。信息具有以下几方面的特性：1.普遍性

普遍性是指从空间分布上讲，信息是无处不在的。信息普遍存在于自然界、人类社会以及人类的思维或精神领域；从时间上讲，尽管具体的某个信息是有时效的，但是由于人们对世界的认识是无限的，因此，就整体而言信息是无限的。从社会学的角度看，信息一开始就直接联系于社会应用，真正意义上的信息离不开社会。2.时效性

具体的信息都有时效性。在某一特定时刻所获得的关于某一事物的信息仅仅反映了这一时刻事物自身所处的状态和环境状况，一般不能反映事物这一时刻之后所产生的问题。时效性是信息的重要特征。

3.传递性

信息可以脱离开某一具体事物而载荷到别的事物上，从而可以被转移、被复制、被记录、被存储、被传送。信息的这种特性使信息借助于一定的载体从一地传递到另一地，在人们之间进行传播，从而实现信息巨大的潜在效用。

4.可替代性信息的物质载体形态是可以互相转移变换的。即指信息的描述可以有多种不同的方法，这些不同的描述方法之间只需保持某种对应关系，这种对应关系称为信息变换关系。5.可转化性信息中包含有知识，使人们对某个事物的运动状态和其变化方式由不了解到了解，使知识由少变多。由此，人们利用信息就可以提高工作效率的质量，从而降低经济成本。因此说，信息的这种可转化的特性，是信息被正确利用所产生的社会和经济效益的依据。6.共享性信息可以同时为众多的接收者共同使用。在信息的扩散和用户分享信息的过程中，信息载体本身的信息量并不因此过程而减少，各用户分享的信息不因分享的人的多少而受影响。这是由于信息不是事物本身，而是事物运动状态及其变化的描述，信息可以脱离开产生它的那个事物，从而可以实现信息的转移、传播和复制，达到信息的共享。人类生存与发展离不开信息。信息是人类进化和社会发展中一种不可缺少的前提和推动社会进步的重要因素，信息的根本作用在于消除人们认识的不确定性和增强世界的有序性。信息的运行环境，直接影响着人类利用信息的程度。随着现代信息技术的不断发展进步，先进的信息技术被广泛应用，促使信息的运行环境、管理技术逐步现代化。计算机技术、电子技术、通信技术在信息的搜集、存储、加工、传递、交换、管理等方面的普遍应用，从根本上改变了信息的存取与传播方式。计算机、网络已成为传播文化知识，获取信息资源的重要手段。1.1.2网络信息1.互联网的产生与发展互联网的出现是20世纪最伟大的科学成就之一，其发展速度远远超过世界上其他科学技术的发展速度。互联网与它所负载的海量信息，正在对社会经济生活、对人们的价值观念和生存方式产生着强烈的冲击。互联网最初起源于ARPAnet（阿帕网）。目的是通过该网络把美国的几个军事及研究用计算机主机联接起来，形成一个新的军事指挥系统。1981年，美国全国科学基金会开发了有五个超级计算机中心相连的网络。当时的全国许多大学和学术机构把已经建成的一批地区性网络与五个超级计算机中心相连，形成了一个新的大的网络——NSFnet，该网络上的成员之间可以互相进行通讯，从而开始了互联网真正发展的阶段。采用Internet的名称是在MILnet（由ARPAnet分出来）实现和NSFnet连接后开始的。随后，其他联邦部门的计算机网相继并入Internet，NSF巨型计算机中心则一直肩负着扩展Internet的使命。Internet在20世纪80年代的扩张不单有量的改变，也带来质的某些变化。由于多种学术团体、企业研究机构、甚至个人用户的进入，Internet的使用者不再限于“纯粹”的计算机专业人员。新的使用者逐步把Internet当作一种交流与信息传递的工具，而不仅仅只是共享NSF巨型计算机的运算能力。1991年，GeneralAtomics、PerformanceSystemsInternational、UUNetTechnologies等3家公司组成了“商用Internet协会”（CommercialInternetExchangeAssociation），宣布用户可以把它们的Internet子网用于任何的商业用途。其它Internet的商业子网也看到了Internet用于商业用途的巨大潜力，纷纷做出类似的承诺，Internet商业化服务提供商的接连出现，使工商企业可以真正地进入Internet。大量商业机构的进入带来了Internet发展史上一次质的飞跃。到1994年年底，Internet已通往全世界150个国家和地区，联接着3万多个子网，320多万台计算机主机，直接的用户超过3500万，成为世界最大的计算机网络。数据库技术的发展，特别是分布式数据库技术的进步使得大量的信息内容被放入计算机网络，从而使得人们能够迅速地从网络上检索和得到他们所需的信息。特别是环球网技术的出现，人们可以使用超文本格式把文字、图像等信息汇于一体，放入数据库中，极大地丰富了互联网中的信息资源。目前，互联网上的信息涉及到现代社会生活的各个方面。通过信息在网上的传播，人们可以方便地从互联网上获取各种不同需求的信息。对于企业来说，可以从互联网上获取市场信息，还可以通过创建本企业的主页（Homepage），在网上发布企业信息，宣传企业形象，推销企业产品，进行技术支持和售后服务等。2.网络信息的类型、特点与传播方式信息可根据其载体形式和传递方式分为文献信息和网络信息两大类型。文献信息是指传统的介质（纸张）和现代介质（如磁盘、光盘、缩微胶片等）记录和存贮的知识信息。文献信息的载体形式主要有图书、报纸、期刊，政府报告、会议资料以及光盘资料和缩微资料等。文献信息资源具有较强的系统性、连续性和稳定性特点。网络信息一般可以理解为“通过计算机网络可以利用的各种信息”，即通过国际互联网可以利用的各种信息，它包括：科技数据库、时事评论、社会科学、文学艺术、历史资源等方面丰富的文献资料和一些公用软件。网络信息具有内容的广泛性、访问的快捷性、搜索的网络性和资源的动态性等特点。（1）网络信息的类型1）按信息的时效分类：网上出版物。即在网上出版的报纸，期刊等。动态信息。如政府机构发布的消息、政策法规、会议消息，以及论文集、科研成果、产品目录、新闻及广告、交通、股市行情等。联机馆藏书目数据库。在互联网中，图书馆目录正发展成为OPAC（OnlinePublicAccessCatalog，即联机公共目录检索系统）。已有上万个电子图书馆的馆藏机读书目数据库，包括大学图书馆、公共图书馆和专业图书馆的馆藏。联机数据库。许多国际联机检索系统都开设了与互联网的接口，用户通过远程登录或互联网均可进行检索。2）按所对应的非网络信息分类：馆藏书目数据库。电子书刊。即完全在网络环境下编辑、出版、传播的书刊，以及印刷型书刊的电子版。参考工具书。这是一些传统的和现代的参考工具书的网络版。如大不列颠百科全书、牛津大辞典等。数据库。指联入互联网的数据库，数据库的内容涉及不同领域和不同专业。其他类型。如个人主页、电子邮件、电子公告、新闻组、用户组等也成为信息交流的重要渠道，并成为网络信息的重要组成部分之一。3）按人类信息交流的方式分类：非正式出版信息。如电子邮件、电子会议、专题组和论坛、电子公告板新闻等。半非正式出版物。一些无法从正式出版物查询到的信息。如各种学术团体和教育机构、企业、国际组织和政府机构、行业协会等的网址或主页上发布的信息。正式出版物。即用户可以查询到的各种数据库、联机杂志、电子版工具书、报纸、专利信息等。4）按信息存取方式分，可分为邮件型、揭示板型（如网络新闻、匿名FTP等）、广播型、图书馆型以及书目型。从网络信息检索角度，按信息查询方式对网络信息进行分类：1）互联网（WWW）信息。互联网上的信息是分布于网络各处的文字、图像、声音和多媒体超文本信息。由于检索方便、灵活、快捷，因此，发展迅速，已成为互联网信息的主流。2）FTP信息。FTP以发布、传递软件和长文件见长。3）Telnet信息。使用Telnet用户可以使用远程计算机上对外开放的信息资源，尤其是图书馆目录系统。4）USENET/Newsgroup信息资源。USENET利用网络环境，为用户提供专题讨论服务。5）USTSERV/MailingList信息。即电子邮件群和邮件列表。6）Gopher信息。是一种类似互联网的分布式客户机/服务器形式的信息资源体系。（2）网络信息的特征1）数据量大，增长迅速。2）内容丰富，形式多样。互联网已发展成为当代信息存储与传播的主要媒介之一,存储着不同学科，不同领域、不同地域、不同语言的各种信息，是一个巨大的信息资源库。3）变化快，质量参差不齐。互联网上的信息地址、信息连接、信息内容均具有动态性，信息资源的更迭、消亡无法预测。4）信息分散、无序。互联网是一个基于TCP/IP协议的联结各国、各机构数以万计的计算机网络的通信网，对网络信息资源本身的组织管理无统一标准和规范，网络信息分散于不同国家、不同地区服务器上，采用不同的操作系统及数据结构，字符界面、图形界面、菜单方式、超文本方式等缺乏集中统一的管理机制。（3）网络信息的传播方式1）利用环球网传播图、文、音并茂的信息。2）利用电子邮件传播信息。3）利用远程登录（Telnet）使用远程计算机的有关信息资源。4）利用网络论坛Usenet传播信息。5）利用FTP传播信息。3.中国网络信息用户使用分析到目前，全世界互联网上的用户已超过6.5亿。20世纪90年代初，互联网进入中国。从1997年到2002年，上网用户总数已从62万人达到5910万人，增长了94.3倍。截止到2002年12月31日，中国WWW站点数为371600个，和2001年同期相比增长34.1%。在我国，网络用户的范围十分广泛，年龄和受教育程度有着很大的差别，知识结构、认知能力也不相同；上网的目的和利用网络信息的种类也存在明显的差异。年龄18岁以下18--2425--3031--3536--4041--5050岁以上比重（%）1997年10月5.60%36.30%29%13.20%4.3%6.80%4.80%比重（%）2003年1月17.5%10.2%14.9%16.5%14.4%16.7%9.8%（1）用户年龄分布从1997年10月到2003年1月，中国互联网用户人数已从62万发展到5910万，其年龄分布如表1-1。表1-1中国互联网用户的年龄分布资料来源：中国互联网络中心.中国互联网络发展状况统计报告,因特网:http://

（2）用户性别统计资料来源：中国互联网络中心.中国互联网络发展状况统计报告,因特网:http://

从右表可以看出，女性用户1999年1月比1998年7月增长100%，而2003年1月已增至四成以上。中国女网民的增加非常明显。一方面说明近几年来中国女性对互联网的关注在增多，另一方面也说明中国女性的知识层次和收入水平也在提高。充分利用这方面的信息，有利于女性市场的开拓。表1-2中国互联网用户的性别统计

（3）用户文化程度在中国互联网用户的文化结构中，从1999年到2003年，大专、本科学历的用户占60%左右，且变化不大。这说明，在中国，上网用户主要集中在学历层次较高的人群中。另外在上网用户中高中及高中以下学历的占10%左右，它比高学历人数（硕士、博士）还要高出5-10个百分点，原因是这部分人大多比较年轻，有很强的求知欲和接受能力。相比之下硕士、博士学历的上网人数仅占到不足3%，可见，高学历人才在我国数量还很少，这部分人是我国目前很缺乏的人才。他们大多是从事科研、教育的工作者，上网的目的也多是为了获取科技、经济、教育等方面的信息。这也反映出网络没有为高层次人才提供足够的有用信息，不能满足他们的需求，这是网络信息亟待解决的问题之一。（4）用户行业分布情况分析表1-3用户的行业分布（不包括军人、学生和无业人员）资料来源：中国互联网络中心.中国互联网络发展状况统计报告,因特网:http://表1-4用户的职业分布资料来源：中国互联网络中心.中国互联网络发展状况统计报告,因特网:http://

（5）用户上网目的从CNNIC1999年7月~2003年1月以来的统计报告看，占用户上网目的第一位的是查询信息，占用户的50%左右。之外主要是用于学习、工作需要及获得各种免费资源等目的的占到了用户总数的14%左右。所以，在网民中广泛普及、推广网络信息查询技术，最大限度地利用网络信息资源，应当成为我国推进信息化建设的一项极为重要的工作。（6）用户最常使用的网络服务网络服务主要是指互联网提供的一些基本服务，如电子邮件，专题讨论，远程登录，信息发布，文件传输和信息检索等。在1999年7月~2003年1月CNNIC发布的统计报告中电子邮件始终排在第一位，2003年1月调查显示为92.6%的用户常用这一服务。搜索引擎排在第二位，有68.3%的上网用户常用这一服务，排在第四位的是各类信息查询，使用这项服务的用户占42.2%。这说明，互联网已经成为继报纸、广播、电视之后，很重要的信息传播媒体。（7）用户在网络上主要获取哪方面信息表1-5用户在网络上主要获取信息的比例资料来源：中国互联网络中心.中国互联网络发展状况统计报告,因特网:http://

1.1.3网络信息与非网络信息的比较1）信息的发布。与非网络信息相比，网络信息的数量多，质量也较难控制。2）信息的传播。随着光纤技术、交换技术的发展和网络的迅速普及，使通信速度迅速提高而通信费用显著下降。这使得计算机网络正在成为人们重要的通信工具，通信的快速、廉价使人们能够获得超地域的相互沟通能力，极大地扩大了人们的联系。3）信息的变化频率。网络信息，包括信息地址、信息链接、信息内容经常处于变动之中，非网络信息一般变化较慢。4）信息的扩充性。指已发布的信息的扩充性。非网络信息一经出版，就有了固定的样式，一般较难加以扩展和扩充，而网络信息则可以根据实际需要，随时加以扩充。

5）形式多样性。网络信息在形式上包括了文本、超文本、图像、声音、软件、数据等多种形式；在存取与利用方法上也具有多样性。这也是与非网络信息的一个很重要的区别。6）关联程度。非网络信息的关联能力较差，主要通过参考文献、引用文献等方式来进行关联，而网络信息可以利用超文本技术，通过链接方式直接指导用户去查阅所引用的原始文献。1.2网络信息膨胀及其带来的

负面影响1.2.1网络信息膨胀的含义及表现1.2.2信息膨胀带来的负面影响1.2.1网络信息膨胀的含义及表现1.信息膨胀和网络信息膨胀的含义信息量与信息价值存在着正比关系，即信息越多，从中获得的价值越大。信息量与信息价值的正比关系存在着一个临界点，到达临界点之后，信息量越大，总体价值却反而开始降低，这就是信息膨胀。信息膨胀问题已经成为我们生活中难以避免的一个问题。网络信息膨胀是指网络信息随着现代信息技术的发展急剧增加，过量的“垃圾”信息充斥网络站点，网络信息的检索成本不断上升，网络信息自身的价值随着网络信息量的增加而贬值，二者呈现出反比关系。2.网络信息膨胀的表现1）信息失实2）信息冗余3）信息超载4）信息过时5）淫秽信息6）电脑病毒1.2.2信息膨胀带来的负面影响1.查询时间延长2.经济损失严重3.查询结果不理想1.3信息膨胀问题产生的原因分析1.3.1信息本身在急剧膨胀1.3.2网络信息的传播方式导致信息膨胀1.3.3网络信息的发布方式导致信息膨胀1.3.4法律规范的滞后导致信息膨胀1.3.1信息本身在急剧膨胀世界各地的信息通过各种渠道快速的相互传播，全球的各类信息量都在成数十倍数百倍甚至更多的数量增长。在这一过程中，大量冗余的、无价值的信息混杂在各类信息当中。在全球信息系统中，信息垃圾比例不低于50%，有的学科领域甚至占到80%！同时，由于科学技术飞速发展，知识更新速度不断加快，知识老化现象明显。此外，虚假信息传播者有意识地传递的虚假错误信息，误导、诱骗消费者；甚至还有一些无从证实的传闻、流言、诽谤等恶意传递的污垢信息；所有这些都充斥在信息社会中，成为人们信息处理的负担。1.3.2网络信息的传播方式

导致信息膨胀传播速度快、范围广，是网络传播的最大特点，也是其最大的优势，然而，又反过来造成了信息的膨胀和过剩。信息作为一种产品，其最大特点是复制成本极低。并且在绝大多数情况下，信息产品具有非排他性，具有一定的公共产品的特征。另一方面，影响信息产品扩散的还有信息的传播成本，互联网的出现使信息的传播成本也得到了大幅度的降低。

网络外部性（NetworkExternalities）网络外部性是指一件产品由于其他相同产品的使用而获得额外的价值。在互联网领域里，网络的外部性表现的十分明显，特别是在一些侧重与交流的虚拟社区类的网站中：网站每“销售”出一件信息产品，它就同时获得了在未来“销售”更多产品的可能。通过对网络外部性的内部化，使互联网有可能表现出边际收益递增的特征。并且网站的交互性越强，这种边际收益递增就越明显。边际收益递增的信息生产也导致了互联网信息产品的生产过剩。信息过剩不仅仅是过剩，与之相伴随的还有信息的质量问题，信息的信用问题等等。这些对于互联网的发展都带来了不利的影响，又反过来对信息使用者带来不便。1.3.3网络信息的发布方式

导致信息膨胀互联网可以使人人都成为出版人。一方面是在互联网上发表一篇文章，由于占用的磁盘空间少，使发布信息的成本很低，这使得任何人都可以在网上发表自己的作品或资料，而不会有什么发布上和经济上的困难，这种信息发布的便利性使得网络信息的数量迅速增加。另一方面，在互联网上发表任何文章不需要经过任何人或部门的审查和批准。由于这两方面的原因，各种任意夸大、缩小、捏造、剪辑、畸弯、拼凑、克隆得到的信息，低水平重复、老化失效、无限泛滥和内容不健康的无效信息都可以不受限制的在互联网上发布，这就使得网络信息的真实性和可靠性无法得到保障。1.3.4法律规范的滞后导致信息膨胀法制规范的滞后，使得各类网站的建设无法可依，信息发布处于无序状态，重复信息、无用信息充斥网络，造成大量信息失实、冗余、超载，信息膨胀问题严重。一个健全的网络法律体系应该包括通信与信息服务，电子商务和知识产权等各方面。在涉及的信息内容方面，应包括信息采集、处理，互联网信息、电子出版新闻等；在网络信息安全方面，包括信息网络安全、信息网络保密、电子签名与认证等;既要制订管理性的法律法规，又要制订促进信息技术发展的法律法规。1.4解决信息膨胀问题的基本思路1.4.1加强网络信息检索新技术的开发1.4.2网络信息检索机制及应用的研究1.4.3本书网络信息检索的解决办法1.4.4预期达到的效果1.4.1加强网络信息检索新技术的开发1.发展自然语言处理技术自然语言，是指作者的书面用语，采用自然语言。可以减少概念间转换产主的误差，检索入口词多，操作简单、方便、灵活，也适合专业人员之外的广大用户群。对自然语言进行适当控制的方法有事先控制法和事后控制法。由于各种数据库采用的检索语言不同，试图用一种检索语言统一各种数据库的不同分类体系及叙词法是不现实的。采用中介语言来实现多种语言的兼容是一种新的尝试。通过标准化手段实现各种检索语言的兼容也是一种尝试。标准化是检索语言兼容的最高层次。2.大力发展智能化检索技术智能化是网络信息检索工具的发展方向。实现检索手段智能化的技术主要包括：蜘蛛（spiders）软件的智能化。它可以对网页上文献的相关性及其所含链接的质量作出判断，筛掉不相关的网页。智能搜索引擎技术（如AskJeeves）。其功能是：先通过模拟传统检索过程的咨询协商，索取有关检索数据，再到大型知识库中进行检索。智能搜索引擎还具有推理能力、调整用户检索策略、提高检索效率和提供用户定制服务等功能。3.建立以用户为核心的技术服务模式对现代信息技术的深层次开发，创建和支持以用户为核心的技术服务模式，是网络检索服务研究的重要内容。“推”技术，是指根据网上用户个人需求的特征，运用“筛选”、“过滤”机制。将信息不断、主动地提供给用户的一系列软件技术的总称。网络信息的查询是一个设计、发现、归纳、总结的过程。信息的获取，除了必要的技术条件外，还必需有相应的检索方法与之配合。开展网络环境下的信息检索方法研究就成了一项非常的重要的工作。这项工作做好了，我们就可以建立一套从实际需要的角度出发，以一定的查询目的为起点，通过多种检索途径获取所需资料的方法，更快、更多、更准确地在网络上获取信息，尽可能的减少或避免信息膨胀所带累的负面影响。1.4.2网络信息检索机制及应用的研究针对WWW网站资源的组织过程与方式，理论界提出了检索机制的三个组成部分，即采集标引机制、数据组织机制和用户检索机制。其中，以Robots为核心的网络信息资源自动采集，旨在以HURL、HTTP为基础，集中不同类型的信息产品，使全球范围内的各种信息资源能实时及时地进入信息系统。自动采集机制提供的网页样本，为网络检索工具的量化标引、量化评价提供理论根据。数据组织机制以数据采集为依据，直接对网上索引数据库系统的动态维护与管理产生影响。用户检索机制涉及用户界面友好、检索策略的合理程度、检索执行以及检索结果的相关性处理等。目前，用户可以直接使用的网络检索方法已有很多种类。现有的检索方法按照信息内容组织方式可以划分为分类范畴搜索引擎和词语搜索引擎两大类。按照专业范畴可以划分为通用性和专业性查询引擎两类。按照检索功能划分为常规（或单一