（系统分析与集成专业论文）基于语义标注的元数据自动构建及其相关技术研究.pdf

ad i s s e r t a t i o ns u b m i t t e dt oe a s tc h i n an o r m a lu n i v e r s i t yi np a r t i a lf u l f i l m e n to ft h e r e q u i r e m e n t sf o r t h ed e g r e eo fd o c t o ro fp h i l o s o p h y r e s e a r c ho nt h ei s s u e so fs e m a n t i ca n n o t a t i o nb a s e d a u t o m a t i cm e t a d a t ac o n s t r u c t i o n c a n d i d a t e ：h a i x u el i u d e p a r t m e n to fc o m p u t e rs c i e n c e e a s tc h i n an o r m a lu n i v e r s i t y m a r c h ，2 0 1 0 l493m 4m 7 1y 华东师范大学学位论文原创性声明 郑重声明：本人呈交的学位论文基于语义标注的元数据自动构建及其相关 技术研究，是在华东师范大学攻读硕士蟪乒 亲勾选) 学位期间，在导师的指 导下进行的研究工作及取得的研究成果。除文中已经注明引用的内容外，本论文 不包含其他个人已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个 人和集体，均已在文中作了明确说明并表示谢意。 作者签名：劐盗艺日期：驯夕年月日 华东师范大学学位论文著作权使用声明 基于语义标注的元数据自动构建及其相关技术研究系本人在华东师范大 学攻读学位期间在导师指导下完成的硕士博士请勾选) 学位论文，本论文的 研究成果归华东师范大学所有。本人同意华东师范大学根据相关规定保留和使用 此学位论文，并向主管部门和相关机构如国家图书馆、中信所和“知网 送交学 位论文的印刷版和电子版：允许学位论文进入华东师范大学图书馆及数据库被查 阅、借阅；同意学校将学位论文加入全国博士、硕士学位论文共建单位数据库进 行检索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其它方式合理 复制学位论文。 本学位论文属于( 请勾选) () 1 经华东师范大学相关部门审查核定的“内部 或“涉密 学位论文掌， 于年月日解密，解密后适用上述授权。 ( 2 不保密，适用上述授权。 导师签名本人签名自鱼至 z - o 年月7 日 “涉密”学位论文应是已经华东师范大学学位评定委员会办公室或保密委员会审定 过的学位论文( 需附获批的华东师范大学研究生申请学位论文“涉密”审批表方 为有效) ，未经上述部门审定的学位论文均为公开学位论文。此声明栏不填写的，默认 为公开学位论文，均适用上述授权) 。 一j i _ _ _ l ，、卜盔野卅幻l111，】、j n：，ibl-f 赳迫至博士学位论文答辩委员会成员名单 姓名职称单位备注 双嘏受教假袭旦大孕 主席 美赫鹂教簸上均芡涵大学 差夺谦教瑕同；i i i 尺学 杨京脉宏授哗盱廊茏大学 黄园氓 教磺 绺栅队学 1 摘要 为了解决网络信息“爆炸”时代出现的诸多问题，元数据作为一种重要的应对方法和措 施，已广泛应用于信息检索、信息集成及信息共享等服务中。毫无疑问，元数据自身质量的 好坏决定了元数据应用服务的最终成败。为了提高元数据的服务质量，学术界和产业界主要 从以下几个方面进行了大量的研究和探索。一是元数据质量相关标准的制定，建立统一的元 数据标准可以有效地保证元数据的一致性和完整性，并实现规范性的交互操作，这一点已经 在研究工作者中达成广泛的共识；二是元数据构建及管理方法的改进与完善，元数据构建及 管理方法的改进和完善是提高元数据质量的另一种途径，目前，在元数据的模式发现、模式 转换、控制策略、管理机制等诸多方面都已经开展了大量的研究工作；三是元数据质量评估 的研究，学术界对此问题的讨论集中在评估指标体系、评估方法及评估用例等几方面。从目 前的文献和资料中我们发现，现有的研究工作更多的从元数据创建者手动方式的角度出发， 考虑了创建工具的有效性和便利性，然而，从元数据的创建者和使片j 者两方面考虑，这必将 会引起诸如以下问题：从创建者来看，面对大量形式多样的数据集，元数据创建者需要花费 一定的精力去了解数据集内容，直到对数据集的内容具有深入透彻的理解，这必将是一项繁 琐沉重的工作，此外，不同创建者理解上的差异，也会导致元数据理解上的歧义；从使用者 来看，用户也需要对预先定义好的元数据具备正确的认识，否则在创建者和使用者之间就会 产生认知上的“鸿沟”，用户自然就无法有效的查询获取需求信息。 因此，为了解决以上问题，构建高质量的元数据服务，本文首先提出了一种基于语义标 注构建元数据的方法，利用数据集中已有的语义标注信息自动构建生成元数据。该方法在考 虑元数据构建效率的同时，充分借鉴了知识共享的理念，探索了利用语义标注信息传递出来 的多视角信息消除主观认知上“鸿沟”的可行性，并对不同结构视图下的元数据识别策略进 行了针对性研究。在此基础上，本文进一步研究了元数据模式语义异构的问题，提出了一种 支持元数据模式语义集成的模式匹配方法。为了验证方法的适用性、评估元数据的质量，本 文又提出了一种可以有效提高查准率，抑制查全率低引起目标缺失的元数据查询方法。考虑 到档案信息资源自身特有的使用价值及其在基础信息资源中重要的地位【1 】，本文在实验设 计的出发点以及测试数据集的选择上，都将目标定位在了这个领域之中。具体来讲，本文各 项研究成果主要包含以下几个方面： ( 1 ) 在分析基于模板和基于机器学习两类主要元数据抽取方法的基础上，提出了一个自动 构建元数据的方法( s a m c ) 。该方法能克服上述两类方法的缺点与不足，不但能充分地利 用现有语义标注信息对元数据进行有效的识别和定位，而且还有机地将统计学理论、信息的 结构化特征、视觉布局特征等融合在一起，为s a m c 的性能提供了有力的保证，因而，该 方法构建出的元数据具有更高的精确度与更强的信息表达能力，能够很好地满足对构建高质 量元数据的要求。 ( 2 ) 提出了不同布局模式下识别元数据的算法。为了提高本方法中生成元数据的可行性， 本文考虑了语义标注信息结构视图差异的情况，重点研究了在总分、递进、综合分布等序列 模式下，语义标注信息所表现出来的差异特征，针对性的设计了相应的元数据识别算法。算 法中有效地利用了树型数据结构的层次、线性数据结构的次序以及信息分布的频繁程度等特 征，从而使元数据识别的效果以及性能等方面都有了很好的表现。 ( 3 ) 提出了能有效支持元数据属性级语义集成的模式匹配方法( p i s m a t c h i n g ) 。与相关研 究相比，本研究面临的是一个以丰富元数据模式语义信息为目的、以多数据源元数据模式合 并为任务的新问题。本文尝试了将本体、叙词表和概念相似度计算结合使用，实现了整合各 自优点的目的，在实现难易、复杂度、语义强度等方面都拥有更好的性能。本体的引入为匹 配方法准确性的提高提供了强有力的领域上下文支持，基于关联信息联想和概率统计的概念 相似度方法也为模式匹配提供了一个新的度晕标准，该度量标准能够发现积极相关的属性以 得到潜在的属性组，也能将同义关系的属性组保留下来。在p i s m a t c h i n g 具体设计的表现力 上，本文更注重匹配程度的高低排序而不是差距值的计算，这样对实际应用更具意义；更注 重对匹配可利用信息的捕获，而减少对特定匹配模式的依赖，这样使研究成果具有更大的灵 活性、扩展性和更广泛的利用价值。 ( 4 ) 提出了利用域上下文信息度量相关性的元数据查询方法( m f c q u e r y ) 。与传统元数据 查询方式相比，为了能在查准率、查全率上有进一步地提高，m f c q u e r y 主要从两个方面进 行了扩展：一是利用向量空间模型( v e c t o rs p a c em o d e l ) 在用户查询信息和元数据域上下 文信息之间建立相关性计算矩阵，利用域上下文信息与用户查询信息相关性的高低来判断用 户的真实查询意图，用以提高检索结果的查全率；另一个方面考虑到部分查询者可能由于缺 少足够的背景知识，而无法提供必要的元数据域查询，我们将为其匹配最相关的目标域限制， 以提高检索结果的查准率。该方法在保证传统查询方式下高精度特点的同时，能够使检索结 果的查全率得到进一步地提升。 ( 5 ) 细化了元数据的评估标准。从整个论文研究的出发点讲，论文全部研究工作的主要目 的是为了有效地提高元数据的质量，使其能在具体应用领域发挥更大的作用。为此，本文选 择了档案信息资源作为实验中的目标应用领域，而对于元数据最终质量的评估，作者考虑到 并不能单纯从信息技术经典的评估指标查全率和查准率来体现，所以本文尝试了细化各项评 估指标，对特征不同的评估对象，采用了分化的评估比较的办法，这样可以在更细致的层面 n 上反映出不同方法在元数据质量上的影响。 总之，本论文通过规则、统计、概率等方法分别从上述各个方面对元数据相关技术进行 了深入研究。解决了元数据构建过程中的关键问题，提高了生成元数据的查准度和查全率： 增强了对不同格式以及不断变化的元数据模式进行集成的适用能力；提高了用户主动查询的 性能，在进一步提高查全率的同时，也提高了查准率，在这些工作中取得了一系列相关的研 究成果。 关键词：元数据、数据管理、信息抽取、模式匹配、信息检索 a b s t r a c t t os o l v eag o o dd e a lo fp r o b l e m si nt h ea g eo fn e t w o r ki n f o r m a t i o n ”e x p l o s i o n ”，m e t a d a t aa s a l li m p o r t a n tm e t h o da n dm e a s u r eh a sb e e nw i d e l yu s e di ni n f o r m a t i o nr e t r i e v a l ，i n f o r m a t i o n i n t e g r a t i o n ，i n f o r m a t i o ns h a r i n ga n ds oo n t h e r ei sn oq u e s t i o nt h a tg o o do rb a dq u a l i t yo f m e t a d a t ai t s e l fd e t e r m i n e st h eu l t i m a t es u c c e s so rf a i l u r eo fm e t a d a t aa p p l i c a t i o ns e r v i c e s i no r d e r t oi m p r o v et h eq u a l i t yo fm e t a d a t a ，a c a d e m i aa n di n d u s t r ym a d eal o to fr e s e a r c ha n de x p l o r a t i o n m a i n l yf r o mt h ef o l l o w i n ga s p e c t s ：f i r s t ，s e ts t a n d a r d sr e l a t e dt om e t a d a t a ，e s t a b l i s hau n i f i e d m e t a d a t as t a n d a r dt oe f f e c t i v e l ye n s u r ei t sc o n s i s t e n c ya n di n t e g r i t y , a l s ot oa c h i e v en o r m a t i v e i n t e r a c t i o n ，t h i sp o i n th a sb e e nw i d e l yr e c o g n i z e db yt h er e s e a r c hw o r k e r s ；s e c o n d ，c o n s t r u c t m e t a d a t a ，i m p r o v ea n dp e r f e c tt h em a n a g e m e n tm e t h o d s ，i t sa n o t h e rw a yt oi m p r o v et h eq u a l i t y o fm e t a d a t a ，a tp r e s e n t ，m e t a d a t as c h e m ad i s c o v e r y , s c h e m at r a n s f o r m a t i o n ，c o n t r o ls t r a t e g y , a d m i n i s t r a t i o nm e c h a n i s ma n dm a n yo t h e ra s p e c t sh a v eb e e nw i d e l yc a r r i e do u t ；t h i r d ，s t u d yf o r m e t a d a t aq u a l i t ya s s e s s m e n t s ，a c a d e m i cd i s c u s s i o no ft h i si s s u ef o c u s e do ns e v e r a la s p e c t ss u c ha s e v a l u a t i o ni n d i c a t o r s ，e v a l u a t i o nm e t h o d s ，e v a l u a t i o nu s ec a s e sa n ds oo n f r o mt h ec u r r e n t l i t e r a t u r e s ，w ef o u n dt h a tt h ee x i s t i n gr e s e a r c hw o r k sa r em o r eo f t e ns t a r t e df r o mt h ea n g l eo f m a n u a l l yc r e a t i n gm e t a d a t a ，c o n s i d e r e da b o u tt h ee f f e c t i v e n e s sa n dc o n v e n i e n c eo fc r e a t i n gt o o l s h o w e v e r , t h i n k i n ga b o u tt h ec r e a t o ra n dt h eu s e ro fm e t a d a t a ，w h i c hw i l lg i v er i s et op r o b l e m s s u c ha st h ef o l l o w i n g ：f o rt h ec r e a t o r , f a c i n gw i t hal a r g en u m b e ro fd i v e r s ef o r m so fd a t as e t s ， m e t a d a t ac r e a t o rn e e dt ot a k es o m ee f f o r tt ou n d e r s t a n dt h ec o n t e n t so ft h ed a t as e t su n t i lt h e c o n t e n t so fd a t as e t sa r ed e e p l yu n d e r s t o o d i tw i l ls u r e l yb eac u m b e r s o m ea n dh e a v yw o r k ，i n a d d i t i o n ，d i f f e r e n tc r e a t o r sh a v ed i f f e r e n tu n d e r s t a n d i n g s ，w h i c hc a l ll e a dt oa m b i g u i t yi nt h e u n d e r s t a n d i n go fm e t a d a t a ；f r o mt h ev i e wo fu s e r s ，t h e yn e e dt oh a v ea c o r r e c tu n d e r s t a n d i n gf o r t h ep r e d e f i n e dm e t a d a t a ，o t h e r w i s e ，t h e r ew o u l db e ”g a p ”b e t w e e nc r e a t o r sa n du s e r so nt h e k n o w l e d g e ，t h eu s e rn a t u r a l l yc a nn o te f f e c t i v e l yq u e r yi n f o r m a t i o no nd e m a n d t h e r e f o r e ，i no r d e rt os o l v et h ea b o v ep r o b l e m s ，a n dt ob u i l dh i g h - q u a l i t ym e t a d a t as e r v i c e s ， t h i sp a p e rp r e s e n t sam e t h o db a s e do ns e m a n t i ca n n o t a t i o nt ob u i l dm e t a d a t a ，u s i n gt h ee x i s t i n g s e m a n t i ca n n o t a t i o ni nd a t as e t st oa u t o m a t i c a l l yb u i l dt h em e t a d a t a t h i sm e t h o di sg i v e nt ob u i l d m e t a d a t ae f f i c i e n t l y , a n di tf u l l yb o r r o w si d e ao fk n o w l e d g es h a r i n g ，e x p l o r i n gt h ef e a s i b i l i t yo f e l i m i n a t i o no fs u b j e c t i v ep e r c e p t i o n ”g a p ”u s i n gm u l t i - a n g l eo fs e m a n t i ca n n o t a t i o n ，a n ds t r a t e g i e s 蚰雠t a d a t ai d e n t i f i c a t i o n i nd i f f e r e n ts t r u c t u r em e w s o nt h eb a s i s ，t h i sp a p e rf u r t h e rs t u d i e s h e t e r o g e n e o u sp r o b l e m so f m e t a d a t as c h e m a ，a n dp r o p o s e sas c h e m am a t c h i n gm e t h o df o r s e m a n t i ci n t e g r a t i o no fm e t a d a t as c h e m a i no r d e rt ov a l i d a t ei t sa p p l i c a b i l i t y , t h i sp a p e rp r o p o s e s am e t a d a t aq u e r ym e t h o df o re f f e c t i v e l yi m p r o v i n gt h ep r e c i s i o na n di n h i b i t i n gr e s u l tl o s sc a u s e d b yl o wr e c a l l t h i sp a p e rl o c a t e si nt h et h ef i e l do fa r c h i v ei n f o r m a t i o n r e s o u r c e si ne x p e r i m e n t a l d e s i g n sa n dt e s td a t as e t s ，c o n s i d e r i n gi t so w nu n i q u ev a l u ea n di t si m p o r t a n tp o s i t i o ni n b a s a l i n f o r m a t i o nr e s o u r c e s 【l 】s p e c i f i c a l l y , o u rs t u d i e sm a i n l yc o v e rt h ef o l l o w i n ga s p e c t s ： ( 1 ) c o m eu pw i t ham e t h o do fa u t o m a t i c a l l yc o n s t r u c t i n gm e t a d a t ac a l l e ds a m c ，b a s e do nt h e a l l a l y s i so ft w om a i nm e t a d a t ae x t r a c t i o nm e t h o d s ：t e m p l a t e - b a s e da n dm a c h i n el e a r n i n g b a s e d t h i sm e t h o d 啪o v e r c o m es h o r t c o m i n g sa n dd i s a d v a n t a g e so fa b o v em e t h o d s ，n o to n l yc a n e f f e c t i v e l yi d e n t i f ym e t a d a t af r o me x i s t i n gs e m a n t i ca n n o t a t i o n ，b u ta l s oo r g a n i c a l l yc o m b i n e s t a t i s t i c a lt h e o r yw i t ht h es t r u c t u r a lf e a t u r e so fi n f o r m a t i o na n dv i s u a ll a y o u tc h a r a c t e r i s t i c s ， p r o v i d i n gag u a r a n t e e f o rp e r f o r m a n c eo fs a m c s o ，o u rm e t h o dh a sh i g h e rp r e c i s i o na n dg r e a t e r a b i l i t yt oe x p r e s si n f o r m a t i o n ，a n dc a nw e l lm e e tr e q u i r e m e n t so fb u i l d i n gh i g h - q u a l i t ym e t a d a t a ( 2 ) c o m eu pw i t hr e l a t e da l g o r i t h m sf o ri d e n t i f y i n gm e t a d a t af r o md i f f e r e n tl a y o u tp a t t e r n s t o i m p r o v ef e a s i b i l i t yo fo u rm e t h o d ，t h i sp a p e rc o n s i d e r st h ed i f f e r e n c e si n s t r u c t u r ev i e w s ，a n d f o c u s e so nt h ed i f f e r e n c e si nc h a r a c t e r i s t i c sd e m o n s t r a t e db ys u m m a r y d e t a i l ，i t e r a t i v e ，i n t e g r a t e d s e q u e n c ep a t t e r n s ，a n dd e s i g n sc o r r e s p o n d i n ga l g o r i t h mo fi d e n t i f y i n gm e t a d a t a t h ea l g o r i t h m s u 舱h i e r a r c h yo ft r e es t r u c t u r e ，o r d e ro fl i n e a rs t r u c t u r ea n di n f o r m a t i o nc h a r a c t e r i s t i c ss u c h a s f r e q u e n c yd i s t r i b u t i o n ，s ot h a tt h e s er e s u l ti ng o o de f f e c t si nm e t a d a t ai d e n t i f i c a t i o n ( 3 ) p u tf o r w a r das c h e m am a t c h i n gm e t h o df o ra t t r i b u t e - l e v e li n t e g r a t i o no fm e t a d a t as c h e m a c a l l e dp i s m a t c h i n g c o m p a r e dw i t hr e l a t e dw o r k s ，t h i sr e s e a r c hi sf a c i n gn e wi s s u e sf o rt h e p u r p o s eo fe n r i c h i n gs e m a n t i co fm e t a d a t as c h e m a ，a n df o rt h et a s ko fm e r g i n go fm e t a d a t a s c h e m af r o mm u l t i p l ed a t as o u r c e s t h i sp a p e rt r i e st oc o m b i n eo n t o l o g yw i t ht h e s a u r u sa n d c o n c e p ts i m i l a r i t y f o ri n t e g r a t i n gt h e i rr e s p e c t i v ea d v a n t a g e s ，a n dh a sb e t t e rp e r f o r m a n c ei n d i f f i c u l t yo fi m p l e m e n t , c o m p l e x i t y , s e m a n t i c sr i c h n e s sa n ds oo n o n t o l o g yp r o v i d e sas t r o n g c o n t e x td o m a i ns u p p o r tf o ri m p r o v i n gm a t c h i n ga c c u r a c y , a n dc o n c e p ts i m i l a r i t yb a s e do nr e l a t e d i n f o r m a t i o na n dp r o b a b i l i t yp r o v i d e san e wm e t r i cf o rs c h e m am a t c h i n g ，w h i c hc a nd i go u tt h o s e p r o p e r t i e sw i t hp o s i t i v ec o r r e l a t i o nt og e tp o t e n t i a lp r o p e r t i e sg r o u p s ，a n da l s or e s e r v ep r o p e r t i e s g r o u p sw i t hs y n o n y m o u s o nc o n c r e t ed e s i g n s ，t h i sp a p e rp a y sm o r ea t t e n t i o nt om a t c h i n gs o r t r a t h e rt h a nt h eg a pb e t w e e nc a l c u l a t e dv a l u e s ，w h i c hi sm o r em e a n i n g f u lt ot h ep r a c t i c a l v a p p l i c a t i o n ；a n dp a ym o r ea t t e n t i o nt oc a p t u r ea v a i l a b l ei n f o r m a t i o n ，a n dr e d u c ed e p e n d e n c e o na s p e c i f i cs c h e m a ，t h i sw i l lm a k er e s e a r c hm o r ef l e x i b i l i t y , s c a l a b i l i t ya n d w i d e ru s e 。v a l u e ( 4 ) c o m eu pw i t ham e d a t aq u e r ym e t h o d o fm e a s u r i n gf i e l dc o n t e x tc a l l e dm f c q u e r y c o m p a r e dt ot r a d i t i o n a lm e t h o d ，i no r d e rt o h a v ef u r t h e ri m p r o v e di np r e c i s i o na n dr e c a l l ， m f c q u e r ym a i n l ye x t e n d st w oa s p e c t sf r o mf o l l o w i n g ：f i r s t ，e s t a b l i s hs i m i l a r i t ym a t r i xb e t w e e n u s e rq u e r ya n dm e t a d a t af i e l dc o n t e x tb yv e c t o rs p a c em o d e l ，a n dd e t e r m i n er e a lq u e r yi n t e n tb y s i m i l a r i t yb e t w e e nf i e l dc o n t e x ta n d u s e rq u e r yt oi m p r o v er e c a l l ；a n o t h e ra s p e c t , c o n s i d e r i n gt h a t s o m eu s e r sc a nn o tp r o v i d en e c e s s a r ym e t a d a t af i e l d sq u e r y , m a yb ed u et oal a c ko fs u f f i c i e n t b a c k g r o u n dk n o w l e d g e ，w ew i l lm a t c ht h em o s tr e l e v a n tt a r g e t f i e l df o rr e s t r i c t i n gq u e r yt o i m p r o v ep r e c i s i o n t h em e t h o dn o to n l yc a ne n s u r eh i g h - p r e c i s i o n ，b u ta l s oc a nf u r t h e re n h a n c e r e c a l l ( 5 ) d e t a i le v a l u a t i o no fm e t a d a t a f r o mt h es t a r t i n gp o i n t ，a l lt h ew o r k i nt h ep a p e rm a i na i mt o e f f e c t i v e l yi m p r o v eq u a l i t yo fm e t a d a t a i no r d e rt h a ti tc a np l a yag r e a t e rr o l e i ns p e c f f i c a p p l i c a t i o n s s o ，t h i sp a p e rs e l e c t sa r c h i v ei n f o r m a t i o nd o m a i na s t a 喀e ta p p l i c a t i o n sf o ro u r e x p e r i m e n t s f o re v a l u a t i o no fm e t a d a t aq u a l i t y , w et h i n kt h a ti tc a l ln o t b es i m p l yr e f l e c t e df r o m c l a s s i ce v a l u a t i o ni n d i c a t o r so fi n f o r m a t i o nt e c h n o l o g ys u c ha sr e c a l la n dp r e c i s i o n ，t h e r e f o r e ，t h i s p a p e ra t t e m p t st o d e t a i le v a l u a t i o ni n d i c a t o r s ，a n du s e sam o r er e f i n e da p p r o a c ht om a k ea e v a l u a t i o nf o ro b j e c t sw i t hd i f f e r e n tc h a r a c t e r i s t i c s ，t h i sw i l lr e f l e c tt h ei m p a c to nd i f f e r e n t m e t h o d so nm e t a d a t aq u a l i t ya tam o r ed e t a i l e dl e v e l i naw o r d ，t h i sp a p e fm a k e sad e e ps t u d yi nr e l a t e dt e c h n o l o g i e so fm e t a d a t af r o ma b o v e a s p e c t sb yr u l e s ，s t a t i s t i c s ，p r o b a b i l i t ya n do t h e rm e t h o d s a d d r e s sk e yi s s u e sd u r i n gc o n s t r u c t i o n o fm e t a d a t a ，a n di m p r o v ep r e c i s i o na n dr e c a l lo fg e n e r a t i n gm e t a d a t