局域网信息管理和共享系统的设计和实现

1、第28卷第16期Vol.28No.16计算机工程与设计ComputerEngineeringandDesign2007年8月Aug.2007局域网信息管理和共享系统的设计和实现王小刚1，韩摘虎1，郝天永2(1.兰州交通大学数理与软件工程学院，甘肃兰州730050；2.香港城市大学，香港)要：随着计算机网络的快速发展，如何在局域网环境下实现信息的统一管理和共享对于整个企业的信息资源应用有着至关重要的意义。从局域网环境下信息共享的思路出发，提出了局域网环境下管理数据、共享数据、分析数据相结合的思想，并结合实际应用需要，将总体设计分为数据层、共享层、应用层、和分析层4个层次，使系统不但具有快速、高效

2、的信息管理和共享功能，而且可以对已有数据进行分析，挖掘出一些隐含的有用信息。关键词：数据管理;数据挖掘;数据分析;数据索引;数据清理中图法分类号：TP393文献标识码：A文章编号：1000-7024(2007)16-3909-03DesignandimplementationofdatamanagementandsharingsysteminlocalnetworkWANGXiao-gang1,HANHu1,HAOTian-yong2(1.SchoolofMathematicsPhysicsandSoftwareEngineering,LanzhouJiaotongUniversity,Lan

3、zhou730050,China;2.CityUniversityofHongkong,Hongkong,China)Abstract：Withthequickdevelopmentofnetwork,itisveryimportantforcompanytoimplementdatamanagementandsharingsysteminlocalnetwork.Anewideaofcombiningdatamanagement,datasharinganddataanalysisinlocalnetworkisputforwardfromtheviewofinformationsharin

4、g.Thesystemisdividedintofourlayers:Databaselayer,sharinglayer,applicationlayerandanalysislayerbasedonpracticalrequirement,whichmakethesystemnotonlydotheworkofdatamanagementandsharingquicklyandefficiently,butalsoanalyzeandminedatabasetogetsomeusefulinformation.Keywords：datasharing;datamining;dataanal

5、ysis;dateindex;datecleaning立共享模块作为整个应用的基础，建立统一的数据索引结构来对数据进行管理，使用数据分析和挖掘的方法进行深层的数据应用。0引言随着互联网发展进程的加快，信息资源网络化成为一大潮流。与传统的信息资源相比，网络信息资源在数量、结构、分布和传播范围、载体形态、内涵、传递手段等方面都显示很大的特点1。基于局域网的数据共享应用为不同企业提供了很好的数据共享途径，在企业的效率运作上发挥着越来越重要的作用，但就中国目前的情况来看，许多共享系统普遍存在着结构混乱、数据反馈能力和分析能力弱、不便维护等缺点，这些缺点严重影响着企业对不断增加的共享数据的使用效果，以至

6、影响了企业的工作效率。不仅如此，大量的信息共享和管理系统仅仅对数据进行了管理和操作，并没有深入数据本身，忽视了数据中包含着的大量有用的信息，这种浅层的应用极大地浪费了现有的宝贵数据。因此，对于数据共享和管理来说，进行合理的需求分析、建立适当的信息共享模块、制订统一的数据索引结构、分析和挖掘数据隐含信息都是非常重要的。根据以上特点，本文提出了“基于共享模块、统一数据索引、结合数据挖掘”的新的设计思路，其中心思想是：以需求建1需求分析和基本平台的搭建设计基于局域网的信息管理和共享系统首先要考虑企业的实际需求，合理的需求分析才会产生合理的系统应用。就企业的文献管理和共享来说，经过长期的资料积累，局域

7、网中有了相当多的文献资料，但并不是集中在一起进行管理的，文献是分散在各个计算机中的，这些资料不能或不便被别人使用和共享，并且没有统一的目录索引，这造成了用户寻找资料时没有准确的目标，很难找到需要的资料。基于实际的需求分析和现有的条件，我们构建了一个基本的局域网信息管理和共享系统平台：(1)设计模式：采用了C/S结构。相对于时下流行的B/S模式来说，C/S模式存在着一些缺陷，如大量的客户端维护工作，但也有其不可比拟的优势，如执行效率高，设计方便等。根据需求选择合适的软件设计模式；(2)数据库：现有的数据库种类很多，有很多优秀的产品，收稿日期：2006-08-02E-mail：reswxg作者简介

8、：王小刚(1976)，男，甘肃兰州人，硕士，讲师，研究方向为分布式计算技术；韩虎(1977)，男，甘肃兰州人，博士研究生，研究方向为数据挖掘技术；郝天永(1981)，男，陕西汉中人，硕士，助理研究员，研究方向为基于本体的知识获取和知识表示。3909如ORACLE、DB2等，根据数据应用规模和预期应用选择合适的数据库，我们采用了MicrosoftSQLSERVER2000；(3)数据分析：数据挖掘是一个过程，根据实际数据的不同和分析任务的不同，有着很大的变化，在软件上我们选择Micro-softAnalysisService。2这主要是由于关系数据库技术在数据库系统方面发展得非常完善，有强大的管

9、理功能和可操纵性，而且，关系模型具有坚实的数学基础。根据实际的需要应用，选择合适的数据库模型，明确数据管理的各个任务，建立数据表、视图、数据存储等，形成面向需求的功能性数据库，这些数据库彼此联系，形成以数据为中心的数据层。这些子数据库中存放着大量的信息，为了方面对其进行挖掘，建立了包含着用户的使用模式、用户数据评价、数据反馈、数据分析结果等的分析数据库，此数据库专门用于数据分析任务。2系统总体结构设计在系统的总统结构设计上，我们根据“基于共享模块、统一数据索引、结合数据挖掘”的设计思想，将系统分为数据层、共享层、应用层和数据分析层3-6，如图1所示，在不同层次讨论这一思想的应用。3.2共享层根

10、据“基于共享模块、统一数据索引、结合数据挖掘”的思想，共享模块是系统应用的基础，而数据索引则完善了数据的存储结构，这两部分组成了共享层。共享层是系统的基本应用层，是系统需求应用的基础。共享层统一数据索引数据评价数据清理数据挖掘3.2.1共享模块平台共享模块平台是整个系统管理和共享系统的应用基础，它包括为应用需求服务的不同功能模块。就实例来说，它包数据分析层括了内部成员管理模块、文献信息管理模块、网络资源管理模块、研究机构管理模块、领域专家管理模块、会议信息管理模块等6大共享模块，如图2所示，这6个功能模块满足了系统的基本应用需求。图1系统总体结构模块共享平台(1)数据层：以共享需求为主的6大数

11、据库、智能升级数据库，和以数据挖掘为目的的分析数据库；(2)共享层：根据应用需求设置的文献数据、会议数据、研究机构数据、领域专家数据、网络资源数据以及内部成员数据的管理和共享模块；(3)应用层：根据实际的需求不同而不同，辅助和完善共享平台的基本功能，并对系统的其它需求作出独立的功能响应；(4)数据分析层：一方面使用户和数据进行交互，用户可以对数据或使用模式进行评价，另一方面，系统对用户模式和现有数据的整理、分析和挖掘，以期找出更符合用户使用的行为模式，改进软件的使用效果，更重要的是找出现有数据隐含的有用信息，达到服务企业的目的。内部成员管理文献资料管理网络资源管理研究机构管理领域专家管理会议信

12、息管理图2共享平台的模块在每个单独的功能模块中，应该充分考虑系统的应用需求，达到“以致用”的效果。如文献管理模块，根据实际的需求，建立文献的统一管理，用户可以对文献进行添加、修改、删除(必须有权限)、查询、目录浏览、打印等基本操作，并且提供了让用户进行文献评价(难易程度、质量得分等)、文献索引分类等接口，分类的文献和实际文件本身建立了对应关系，如果用户对文献感兴趣，可以随时点击打开文献进行浏览，这大大方便了用户对文献资源的共享操作。33.1系统各层设计数据层数据层是系统的底层，其任务是进行数据管理，数据管理3.2.2统一索引的管理对于普通的数据管理和共享系统来说，一般的索引还仅包括4个方面的内

13、容：数据建模，用概念性的模型提供数据独立性；数据存储，有效地使用可用存储；数据访问，由多个谓词指定如何获取数据；数据保护，保证安全性、完整性、正确的并发访问以及容错性。数据库模型采用关系型数据库。关系数据库是表的集会，每个表包含一组属性，并且存放大量元组7。数据管理包括4个方面的内容：数据建模，用概念性的模型提供数据独立性；数据存储，有效地使用可用存储；数据访问，由多个谓词指定如何获取数据；数据保护，保证安全性、完整性、正确的并发访问以及容错性。关系数据库是现在的主流数据库，现于数据库层，利用数据库的数据表、视图等进行分类索引，这种索引是随着数据库的建立而建立的，很难在系统的应用中进行动态改变

14、，而且对于用户的实际需求来说，经常会由于内容的不同和认识变化而改变，长久的应用就会造成系统结构的混乱，增加用户数据共享的难度。建立统一的数据索引模块，其基于数据库但并不完全依赖数据库，可以灵活的进行索引管理，这可以大大提高用户利用索引管理数据的易用性，可以在一定程度上改变系统索引结构混乱的状况。3910在文献管理中，我们建立了以文献分类为主的索引系统，其包括3级索引，为了可以灵活的处理索引，将索引和数据进来了关联，当用户操作第1级和第2级索引时，第2级关联的3级索引会自动发生改变，来保持结构的一致性，并且，在系统的设计时，充分考虑了索引结构的灵活变化，将索引单独建立数据库，用户可以建立多级索引

15、，并且可以对索引进行添加、修改、合并、删除(假定用户有足够的权限)操作，来满足用户的不同需求。数据，识别、删除孤立点，并解决不一致问题。在系统运行中，利用计算机和人工相结合的方法，处理：空缺值；噪声数据；不一致数据。利用MicrosoftAnalysisService，可以设计数据清理的DTS工作流包，如图3所示，它可以用人工和计算机结合的方法进行数据清理。数据清理脚本数据库SQLserver源数据传输数据库任参考数据库数据转换后的库3.3应用层应用层是共享模块的功能性补充，同时还可以作为整个集成后数据库数据集成脚本SQL查询任务系统的单独功能模块去完成特定的任务。在系统的需求分析中，根据共享

16、的主要任务设计相应的数据共享层，把其它一些例如权限管理、智能升级、密码管理等的功能集中在一起，形成应用层，应用层以数据共享层为基础，可以完成单独的功能，我们以权限管理和智能升级为例。权限管理：在实际的软件应用中，权限的设置可以使用户有限制地对数据进行操作、有限制地设置平台的应用规则、有限制地管理共享平台的索引结构、有限制地管理底层数据库，这些对于维护数据结构的一致性、完备性，对于系统统一的共享管理都具有重要意义。对于权限的管理，可以针对具体应用的不同进行分级，来确定那些用户可以执行那些数据操作。例如，在用户删除当前数据资料时，系统就对当前用户的身份进行验证，检查是否具有此权限或者是否是文献的创

17、建者。智能升级：C/S模式有自身的优点，但相对于B/S来说，由于在软件更新时，必须不断逐个更新客户端软件，因而造成了很大的维护工作量，尤其是当客户端较多时，这给系统维护人员带来了很大困难。为了缓解或解决这个缺陷，我们设计了智能升级模块，由于其可以单独为系统完成相应的需求功能，我们将其归为应用层。智能升级的思想是：建立软件升级数据库；将不同版本的软件程序和其升级文献建立升级索引；设计版本校验功能；程序自动下载升级。升级本身是可以由程序通过判断用户当前的软件版本号来选择升级的内容，因而具有一定的智能性，同时，版本升级提醒，软件升级过程无需人工干预，这在一定程度大大的减少了软件升级维护的工作量，无需

18、维护工程师的干预。数据挖掘：数据中包含着很多有用信息，在很多的数据管理和共享系统中，仅仅对数据进行了管理和共享，长期积累的数据中的宝贵信息却不能被发现，这种对数据的浅层应用，忽略了很多“沙子中的黄金”，利用数据挖掘，我们可以一定程度上挖掘这些有用信息。简单来说，数据挖掘是从大量的数据7中提取或“挖掘知识”。它包括了数据准备，数据开采以及结图3数据清理的DTS工作流包果的解释评估8。数据挖掘的技术有很多，如关联规则挖掘、分类和预测、聚类分析等，AnalysisService提供了两种挖掘方法：关联规则挖掘和聚类分析，把清理过的数据建立OLAP模型，建立多维数据集、维度、度量值等，利用聚类我们可以

19、对用户使用模式的数据进行挖掘，找出多数用户的使用区域，进而对系统进行改进优化；对清理过的数据库进行挖掘，可以通过聚类的方法，观察数据的整体质量和个别孤立点的数据；利用关联规则挖掘，可以得到数据间的关联关系，从而在数据关系的设置上给用户提供足够的方便。4结束语本文从局域网环境数据管理和共享出发，针对目前普遍存在的数据结构混乱、数据应用层次浅等特点，提出了“基于共享模块、统一数据索引、结合数据挖掘”的思想，详细介绍了从需求分析、平台搭建到系统总体设计的过程，并将系统分为数据层、共享层、应用层和数据分析层4个层次，详细说明了每一个层次的设计思想。3.4数据分析层数据分析层是对数据的深层应用，它不仅是对数据资源参考文献:12345678张晓静.论网络信息资源管理J.