基于企业视角的数字档案深度发掘利用创新探索

基于企业视角的数字档案深度发掘利用创新探索

咨询和设计公司的主要资源是规划和设计结果。多年积累的科技文献反映了公司的发展过程，建立了知识体系。中交水运规划设计院(以下简称“水规院”)几代人实际工作中积累起来的知识和经验是企业宝贵财富,如何使用和挖掘这些财富,构建知识管理体系,为生产和管理提供快速查询和有效利用,是建立学习型、创新型、核心价值观型水规院的基础建设工程之一。水规院知识管理系统工程的建设是为了提升院经营、生产和管理效率、加速科技成果发展和推广,实现知识成果共享和再利用,为企业管理者提供决策支持,为员工提供知识智能服务利用,提高院应变能力和反应速度,提高院市场竞争力。1数字档案馆建设的成效水规院信息化建设按照“数字水规院总体建设方案”取得了显著的成果,建立了全天候的网络平台及门户系统,实现了项目策划、跟踪、统计,OA系统开通运行,特别是以国家档案局《全国档案信息化建设实施纲要》为指导文件,成功构建国内领先的企业数字化档案馆,完成了水规院59年来库存可利用档案100%数字化加工,实现了库存可利用档案全文数据库建设。建立了符合企业自身需求的档案管理应用模式、开发了适应勘察设计行业特点的数字档案管理系统,采用数据集中存储、业务分布式处理、实体属地管理的模式,充分考虑了企业内部立档单位多、档案多级管理、地理分散等特点,实现跨地域的档案管理应用。数字档案馆建设、应用的成功,为更好地发挥档案资源对企业管理、生产经营、科技创新和知识积累起到了重要的作用,同时为建设学习型、知识型企业,为企业的卓越发展奠定基础和积累了经验。因此,为了进一步落实院发展战略,提出基于数字档案的知识管理、智能服务与决策支持平台作为院信息化建设的新任务。即在对现有组织机构业务和已有档案信息资源进行整合的基础上,建设以提升科技创新能力和决策的实用性、有效性、科学性为目标的综合信息资源平台。2信息资源整合服务知识信息管理系统要以企业管理体系作为管理思想和方法体系,以人为中心面向企业管理和生产业务,开展有针对性的服务。向使用者提供信息与资源支持,充分挖掘各种知识资源内的隐含信息与知识,提高工作效率;以院领导、职能部门管理人员、科研人员、设计人员等为服务对象,采取开放性和面向需求的策略为用户提供多层次、全方位的决策支持服务。*节约投资、充分整合。在对水规院发展现状深入分析的基础上,充分整合现有业务系统资源、数据资源、通信网络等基础资源。*统一标准、共建共享。以已完成的《中交水运规划设计院档案信息数据源标准》等几个标准为基础,进一步完善充实企业数据源标准,统一元数据标准,通过采用层的信息资源整合方法,利用对现行系统和外部系统元数据进行互操作的方式来完成元数据整合,从信息资源组织的源头着手,对信息资源实现多元立体的整合。从而实现系统信息资源的“共建共享”。*需求主导、先进实用。以各部门的实际业务为需求,充分利用SOA、OpenURL、OAI、数据挖掘等先进的计算机设计思想和技术,提供实用便捷的服务。*多重兼顾、全面提高。提供异构检索、个性化服务等手段,满足用户的需求,实现人与资源的良好互动;提供联合目录加工、知识库建设等工具,满足系统管理者的需求,方便生产资源维护;提供知识搜索、网络采集等手段,满足管理决策者的需求,提高管理部门的宏观调控能力、以及为用户服务的水平。3系统的总体实施3.1建立系统模型3.2个信息的来源数据资源层是整个系统的“地基”,是整个信息的来源。资源包括已有自建数据库、购买的第三方资源数据库,以及以网页形式存在的网络数据资源和其它数据资源等。3.3数据资源整合数据加工层是系统架构的关键层,它主要负责数据的处理加工。数据加工层的主要任务有两个,一是把数据资源层已有业务数据资源及网络资源通过数据采集、过滤、分类、加工模块,进行数据的清洗、选择与集成;二是通过数据处理、批量导入、数据转换等模块,对各种其它类型的数据,如纸质数据等异构数据资源进行扫描识别、格式转换等操作,最后经审核校验后入库。拟实现功能有:网络采集与智能处理、数据扫描处理、批量导入、外部数据接口、数据审核。3.4数据库层的组成数据存储层主要负责保存经过数据加工层处理后的数据,数据层由三个部分组成,全文检索数据库、各种主题结构化知识数据库和系统管理资源库。拟实现功能:知识资源的存储、系统管理信息的存储、全文检索信息的存储。3.5支撑层的主要任务应用支撑层是整个平台的核心层,主要负责提供对上层应用服务进行支撑的基础服务引擎,主要有全文检索引擎、业务流引擎和异构检索引擎等。应用支撑层的主要任务有三个,一是提供平台的全文检索能力;二是提供平台的业务处理能力;三是提供平台的统计分析能力。同时负责提供标准服务接口,方便上层的应用服务的调用。拟实现功能:全文检索引擎、异构检索引擎、业务流引擎、统一认证系统、统计分析引擎、系统管理功能。3.6数据库及动力系统应用服务层主要负责将应用支撑层提供的引擎与具体应用结合,向用户提供各种服务。应用服务层是系统与用户之间的相互交互平台。在全文检索引擎、业务流引擎和统计分析引擎的支撑下,平台提供各种查询服务,如全文检索、二次检索、概念检索等,面向用户提供个性化的网络社区服务,提供定制专题结构化数据库服务,还可利用相应的工具,使用用户统计和分析资源使用情况,满足各类用户的不同需求和兴趣。拟实现功能:多种检索方式、统一认证登陆、资源发布服务、电子阅览服务、消息服务、资源传递服务、各种专题服务、个性化社区服务、参考咨询服务、统计分析服务。4系统建设内容4.1完善数据库知识管理系统充分考虑资源的异质、异构、分布式的特点,建立有效的资源调用和采集系统,构建各类结构化数据,可提高使用者对资源收集的方便性和快捷性。根据需求程度拟先建设4个结构化知识数据资源库。1)水运专业设计知识库,以院多年积累的科技档案资源为基础,通过分析用户对档案的利用情况,并以此为依据完善数据元信息,将水规院现有档案按港口、货种、专业等规则分类,形成结构化知识,提高用户的档案利用效率;2)水运行业标准规范知识库,依托公开发行的电子版标准规范汇编,利用数据加工扫描不断补充新颁布的标准规范,保证有效版本及时、同步更新,为用户提供标准规范共享服务;3)水规院人才库,以档案内提取的项目、人员信息为基础,辅以用户自我维护和外网信息订阅,建立人才、专家(经历、成果)库,为项目投标、申报专家、申报资质、职称评定提供信息服务;4)相关法律法规知识库,通过对各政府门户网站的消息订阅,收集整合实现院各业务版块相关法律法规条目的有效收集和更新,为院生产经营活动提供支持。4.2编码及录入功能联合目录加工系统是生产数字化信息的组织、管理与发布用的元数据系统。元数据是关于数据的数据,是用于描述数字化信息资源的基本特征(内容特征、外表特征、知识产权特征等)及资源之间的相互关系、从而确保数字化资源能够被计算机及其网络系统识别和提取,经过分析归纳后形成各类数据库的一套编码体系。该模块的主要功能有:1)用户管理及登录:提供增加、删除、修改用户的功能,将用户分为著录员、标引员和校对员。2)编目功能:可以按照数字化文件编目(编目前进行数字化加工)和非数字化文件编目(编目前进行文献搜集)两种情况分别实现编目功能。3)设定默认录入界面:表格式、窗口式、字段编辑器式,并带全记录显示窗口。4)设定工作单(模板):根据文件类型(图纸、报告、会议录、论文集、期刊论文、图书等)选择适合的工作单(模板)。5)数据查重和套录(具备批量和单条数据查重功能):选中待编目数据进行条件查重后,在联合目录数据库中进行查重,对于命中数据,不再新增数据,可增加成员单位信息,最后由编目人员进行补充编目。如果有未命中数据,提示进入联合目录数据库,由编目人员进行编目。6)数据移交:系统标识著录完成,数据移交下一环节(系统自动执行格式校验和规范项校验功能),可选择移交对象。7)著录校对功能:工作人员可以批量导入分派的待校对著录数据或检索导入待校对著录数据并进行校对。8)数据标引功能:支持批量导入和检索导入待标引数据。9)数据标引校对功能:负责对标引数据进行校对。10)数据上传功能:上传时执行格式自动校验和规范项自动校验功能;通过校验的数据可以上传,没有通过的数据修改后再次上传。11)数据的导入导出:可以按照多种条件进行导入导出。如按检索条件、按记录范围、按日期等。4.3系统处理流程及功能随着Internet的发展和日益普及,Internet信息的数量呈几何级增长,在这个巨大的、异构的信息海洋中,蕴含着具有巨大潜在价值的信息和知识。建立以搜索引擎为主的快速搜索技术,为寻找信息建立一个有效渠道。互联网信息搜索系统是一款用于网络信息定向搜索、采集处理的系统。它可以从互联网上搜索和采集任意网页上的信息,并根据用户的设定从网页中分析提取出特定信息后,整理并存放到指定的数据库中,同时可以提供个性化的信息定制及强大的分词全文检索能力,可以实效性强地、全面地、低成本地追踪国际上最新的动态和科技信息资料,并整理、序化相关知识,将其作为中交水规院知识管理系统服务平台资源的有效补充部分。互联网信息搜索系统的处理流程简图如下:互联网信息搜索系统需要达到以下要求:*多任务多线程:可以同时采集和监控多个任务,每个任务采用多线程。*断点续传:系统自动保存断点状态,任务重新启动时可以从上次断点处重新采集。*采集的高有效性:完全过滤网页的无用信息,直接命中用户感兴趣的区域。*URL去重:高性能的去重机制,防止重复多次下载。*内容过滤:基于文本内容的过滤机制,防止热点信息多次下载。*多编码支持能力:支持ANSI、UTF-8及Unicode多种编码的网页采集。*网页自动解析:提供支持HTML、XML、DHTML等多格式的网页的解析器。互联网信息搜索系统的具体功能是:*采集目标维护:用户可以根据不同的需求,增删互联网的目标网站和相关栏目。当目标网站发生重大变化时,系统能自动提示和警告。采集监控的目标应不低于200家。*采集任务设置:制定一个具体的采集任务时,可以对目标网站进行合适的分类和组合,并能便捷地设置采集触发时间。*网页内容去噪:具备对网络噪声,如:导航栏、广告、无效链接等的过滤能力。*内容采集:支持静态网页、部分动态网页等内容的采集,支持图片、Word、PDF等格式文档的采集,支持URL去重。*断点续传:对于采集任务,支持断点续传功能,避免重复采集。*主题过滤:能够对采集的网页内容进行主题过滤,过滤规则可以根据不同的需求进行维护。*分类体系建立:用户可以根据自己的实际情况建立自己的自动分类体系,并且能方便的引入到处理系统中。*自动分类入库:能够根据预先设置的类别,自动分类到相应的类别库中。*文本自动摘要:对采集的文本进行自动摘要,可以对摘要文件大小进行设置;能自动识别文献是否存在摘要,如果摘要存在则摘取该摘要内容,如没有摘要内容则进行计算机摘要处理;提供部分文本元数据,包括:作者、关键词和标题等。*网站资源评价:采集时应该将网页的来源、发布时间、采集时间、文档大小、URL等,帮助用户判断资源有效性将相关信息抽取出来;同时自动记录信息的被访问频度、访问时间等,供用户进行资源价值的判断。*批量导入导出:系统提供与其它通用数据库系统如SQLServer、Oracle的数据交换功能,支持批量导入或导出数据。4.4采用检索服务代理方式的商业数据库,方便采用元数据的方式提供服务,避免多次检索。在现代我国,我国采用物水规院知识管理系统信息构成除了自建信息外,还包括购买行业资料、期刊、图书等资料,此类知识资源同样通过此系统进行管理和发布。对于有条件可以深层整合的数据,利用数据库网关接口或webservice接口方式,直接把数据库数据导入到知识管理系统中,对于购买的商业数据库,实现元数据整合检索,采用检索代理的方式来提供统一的检索服务,以避免进行多次检索。异构资源整合检索系统是以多个分布式异构数据源为对象的检索系统,通过统一的检索界面同时调用多个网络数据库和检索引擎,并能够对各个检索结果进行归并,提交给用户,用户可以同时在多个数据库中进行检索,并同时得到多个数据库的结果,操作过程就像在对一个数据库进行操作一样,避免逐个登录数据库、输入检索条件的麻烦,使操作得以简化,从而达到方便、快捷的目的。异构资源整合检索系统的工作流程是:用户提出检索请求后交给服务器端的搜索服务器,搜索服务器针对不同的数据库,将用户的请求策略性地分配到接口引擎中,转化为符合其自身数据库规范的格式,然后将转化后的请求发送到各个数据库。在得到数据库的返回结果后,将不同数据库返回的结果转化为统一的表现格式,发送到浏览器端并显示给用户。4.5查询结果排序使用人可将查询到的信息资源在个人网络空间进行保存和自我维护,再