PubMed数据库可下载XML数据的转换和整合

1、PubMed数据库可下载XML数据的转换和整合郝婷(西北师范大学数学与统计学院 兰州 730070)摘要：PubMed是美国国家医学图书馆维护的免费搜寻引擎，提供生物医学方面的论文搜寻以及摘要。它的数据库来源为MEDLINE，其核心主题为医学。根据研究的需要，课题组从PubMed下载所有与疾病相关的XML（Extensible Markup Language）数据，因数据规模大，且网络传输不稳定，从而造成数据的一次性下载几乎不可能，因此，作为可能的方法之一，我们按照出版时间将需要下载的XML数据拆分成不同的数据段，分别下载。这种方式同时也方便进行并行的分布式处理。然而，下载的XML文件不能直接

2、进行高效的分析使用，因此，需要通过格式转换然后导入数据库中才能进行后续的分析。本文的工作，就是实现不同XML数据段的格式转换，然后导入到SQL数据库中，最后将这些数据段在数据库中进行合并，从而实现数据的完整性和一致性。关键词：PubMed，XML，整合 Transformation and Integration of XML File Downloaded from PubMed Hao Ting(College of Mathematical and Statistical Sciences Northwest Normal University, Lanzhou, 730070)Abst

3、ract: PubMed is a free search engine accessing primarily the MEDLINE database of references and abstracts on life sciences and biomedical topics. On querying, the resulting items can be downloaded the format of XML (Extensible Markup Language). In this study, the research needs all XML data download

4、ed from PubMed. However, as the resulting items is large in number, together with situation that the network is not stable which causes it is difficult to download all data one time. One possible solution is to split whole data into different slices w.r.t. publishing time which can also facilitate p

5、arallel & distributed processing. On the other hand, XML file downloaded cannot be used directly for high performance calculation in relational database, then, it must be converted and imported into database engine for subsequent analysis. In this study, sliced XML data were processed on format conv

6、ersion first. Then, they were imported into MS SQL database for data integration . In the integrating process, the integrity and consistency of data are maintained.Keywords: PubMed，XML， integration1.PubMed简介 PubMed是因特网上使用最广泛的免费MEDLINE，是美国国家医学图书馆(National Library of Medicine NLM)所属的国家生物技术信息中心(Nationa

7、l Center for Biotechnology Information NCBI)于2000年4月开发的基于WEB（环球网）的生物医学信息检索系统，它是NCBI Entrez整个数据库查询系统中的一个，它同时也提供对于相关生物医学资讯上相当全面的支援，像是生化学与细胞生物学。PubMed界面提供与综合分子生物学数据库的链接，其内容包括：DNA与蛋白质序列，基因图数据，3D蛋白构象，人类孟德尔遗传在线，也包含着与提供期刊全文的出版商网址的链接等。PubMed系统的特征工具栏提供辅助检索功能、侧栏提供其它检索如期刊数据库检索、主题词数据库检索和特征文献检索。提供原文获取服务免费提供题录和文摘

8、，可与提供原文的网址链接，提供检索词自动转换匹配，操作简便、快捷。PubMed客户端，完全免费，界面汉化，支持中文查询，能将中文与 mesh词自动匹配，可免费快速获得全文。PubMed医学文献检索服务系统，其数据主要来源有：MEDLINE、OLDMEDLINE、Record in process、Record supplied by publisher等。2.XML文档的构成 XML文档主要包括以下内容：置标和字符数据，标记，元素，属性，预定义实体引用，注释，CDATA1。2.1 置标和字符数据 XML 文档是纯文本文件，XML 文档中的字符依据来源可以分为两大类：一类是文档的原始内容，另一类

9、是将原始文档创建为XML 文档的过程中所增加的内容。字符数据是创建XML 文档的过程中所增加的内容，包括指令、标记、注释、DTD2 等，都称为“置标”。如例1中的第一行“”，标记以及注释“”等，都是置标。例1 The NEWEST Price of " LX2000 PIII600 128M 15XGA210002.2 标记作为标记语言，XML 可以在文档中创建、使用新的标记（Tags），新标记的创建和使用要遵循一定的规则。2.2.1 标记的构成 XML 文档中的标记由如下三部分组成：标记的起始字符“”。2.2.2 标记的命名规则 标记的名称必须符合以下规则：可以含字母、数字以及其他

10、的字符； 不能以数字或者标点符号开始； 不能以字符“xml”（或者XML、Xml）开始； 不能包含空格；可使用任何名称，没有保留的字词。但是名称中有英文字母时，对大小写是敏感的。2.3 元素和属性2.3.1元素XML文档包含XML元素。XML元素指的是从（且包括）开始标签直到（且包括）结束标签的部分。元素可包含其他元素、文本或者两者的混合物。由于元素中包含了其他元素，这就构成了元素的嵌套，几乎所有的XML文档都是由嵌套的元素构成的（除非整个文档只有一个元素）。XML 规定：不管文档中有多少元素，所有的元素都必须被包含在一个称为“根元素3（Rootelement）”的元素中。对于元素的嵌套，有如

11、下原则：(1) 所有XML 文档都从一个根节点DOCUMENT 开始，该根节点代表文档本身，根节点包含了一个根元素；(2) 文档内所有其他元素都包含在根元素中；(3) 包含在根元素中的第一个元素称为根元素的子元素。如果不止一个子元素，且子元素没有嵌套在第一个子元素内，则这些子元素互为兄弟；(4) 子元素还可以包含子元素；(5) 包含子元素的元素称为分枝，没有子元素的元素称为树叶。2.3.2 属性属性是元素的可选组成部分，其作用是对元素及其内容的附加性信息进行描述，由“=”分隔开的名称-数值对构成，如下所示：内容例2 22000例3属性的命名规则与标记和元素的命名规则相似：(1) 英文名称必须以

12、英文字母或者下划线“_”开头，中文名称必须以中文文字或者下划线“_”开头；(2) 在使用缺省编码集的情况下，名称可以由英文字母、数字、下划线“_”、连接符“-”和点号“.”构成； (3) 名称中不能含有空格；(4) 名称对大小写敏感；(5) 同一个元素不能有多个同名的属性。属性值必须被引号包围，不过单引号和双引号均可使用。比如一个人的性别，person标签可以这样写：，或者也可以这样：，如果属性值本身包含双引号，那么有必要使用单引号包围它，如：。2.3.3 元素和属性的区别 例4 Anna 例5 female Anna 在例4中，sex是一个属性，而在例5中，sex则是一个子元素，两个例子都可

13、以提供形同的信息，但是这样容易引起混淆，所以在XML中，应该尽量避免使用属性，如果信息感觉起来很像数据，可以使用子元素。例6，例7，例8三个XML文档包含完全相同的信息。例6 使用了date属性 例7 使用了date元素 08/08/2008 例8 使用了扩展的date元素0808 20082.4 预定义实体引用XML 中有一些与计算机编程语言中有关键字相似的“关键字符”，这些字符用于构成XML 的置标，如小于号（）、单引号（）、双引号（）、与字符（&）等。如果在文档的内容中也包含了这些字符，不加处理的话，解析器将把它们解释为置标的一部分，这必将引起置标和内容的混乱。为避免这种情况的发生，XM

14、L 定义了五种实体引用。所谓“实体引用”，是指在DTD 中将某些内容定义为一个“实体”，然后在编写文档的主体部分时，只要按照一定的规则在文档中插入或者“引用”这些“实体”，解析器就会在分析文档时使用原始的内容来代替这些“实体”。所谓“预定义”的实体引用，是指XML 标准已经规定好了的、不必在DTD 中进行说明就可以使用的实体引用。XML 中共有五种预定义实体引用，如表1所示。所定义的实体所代表的符号<"'&&表1 预定义实体表2.5 注释注释用于对语句进行某些提示或说明。注释的起始和终止界定符分别为“”。使用注释时，要注意一下几个问题：(1) 注释不可以出现在

15、XML 声明之前，XML 声明必须是文档的首行；(2) 注释不可以出现在标记中；(3) 注释中不可以出现连续两个连字符，即“”；(4) 注释中可以包含元素，只要元素中不包含“”。此元素也成为注释的一部分，在解析时将被忽略；(5) 注释中的关键字符，如小于号（）、单引号（）、双引号（）、与字符（&），都需要使用预定义实体引用进行代替。2.6 CDATA如果文档中有大段的内容包含大量的关键字符，比如需要引用一段含有多个元素的XML代码块时，就需要将所有的关键字符一一用预定义实体进行代替，这个工作量是十分巨大的。而且，使用预定义实体进行代替后的文档充满了“&”和“;”，与其原来的样子大相径庭，可读性

16、很差。针对这种情况，XML 提供了CDATA 段以解决所面临的问题。CDATA 段用于使解析器将一段含有关键字符或者置标的内容解释为字符数据。CDATA 段的起始定界符为“”。如例9. 例9 !CDATAThe price is 22000但是使用 CDATA 段需要注意的问题是：CDATA 段的消化能力极其强大，什么都能容纳，惟一不能容纳的是CDATA 段的终止定界符“”。所以CDATA 段是无法嵌套的。3.文件类型定义（DTD）XML 作为一种可扩展的标记语言，或者说作为一种元标记语言，它可以定义新的标记，或者可以定义新的标记语言。新的标记或新的标记语言是通过“文件类型定义”（ Docum

17、ent Type Definition）来定义的。DTD是“文件类型定义”的缩写，其中规定XML文档中的元素、属性、标记、文档中的实体及其相互关系。3.1 在文档中引用DTD 有两种DTD的引用方法：(1)内部DTD引用：即在文档中直接设定DTD。(2)外部DTD引用：文件类型定义一个独立的文件，XML文档引用独立文件中的文件类型定义，称为外部DTD引用。3.1.1 内部DTD引用DTD语义约束与xml文档的内容放在同一个XML文档中。内部DTD紧跟在XML声明和处理指令之后，以“”结束。其语法格式如下： XML文档主体部分例10 !DOCTYPE book redarmychen JavaW

18、eb开发 3.1.2 外部DTD引用使用外部的文档格式定义，通常要指定一个扩展名为“.DTD”的文档，同样这个文档也只能放在文档头，与内部声明放在同一个地方，但是，使用外部DTD 声明时，XML声明里面的standalone=no 。外部DTD 声明的语法主要区分两大类SYSTEM4 和PUBLIC。(1)SYSTEM 参数 SYSTEM 参数调用的DTD 通常是“私有”(自定义)用途的文档定义格式，其语法如下： 注：SYSYTEM 、DOCTYPE是关键字，必须要大写；URL路径可以是相对路径，也可以是绝对路径；该语句必须出现在XML文档的序言区。 (2)PUBLIC 参数 相对于SYSTE

19、M 参数，PUBLIC 参数通常用来调用“公有”用途的DTD。这种DTD 通常获得某一个领域的用户认同，并经过大家讨论得到公有的文档格式定义，语法如下： 注：PUBLIC为关键字，必须大写，并说明该外部DTD具有名称：“DTD的标识名”为XML文档所引用的外部公共DTD的名称；“公用的DTD的URL地址”为外部DTD文件的路径，含义与SYSTEM引用方式中的“DTD_URL”一致 ；该语句必须出现在XML文档的序言区。3.1.3 内部DTD和外部DTD混合使用XML文档格式如下： 3.2 DTD中的元素声明元素（ELEMENT）是在DTD 定义中，详细说明此元素的名称、内容、可能出现次数的语法

20、，利用元素可以明确地定义在XML文档中的标记该怎样使用，也就是将“元素”对应到“标记”。其语法格式如下：注：(1)“”表示声明的结束 ；(3)“元素名称”就是在XML 文档中使用的标记名称，其命名规则与标记的命名规则相同；(4)“元素定义”规定该元素将包含哪些子元素以及子元素之间的顺序，或者对于不包含子元素的元素定义数据类型。3.2.1 元素的定义元素定义的类型，分为以下几类：父元素5（包含子元素的元素）；EMPTY（空元素）；ANY（自由类型元素）；只包含文本字符串的元素。(1)父元素父元素下面通常包含有子元素，基本使用格式如下：这种格式要求相应的XML文档中的各个子元素必须且只能出现一次，

21、并且必须按照子元素列表中给定的顺序出现，否则XML文档将不能通过有效性验证。例11(2)EMPTYEMPTY 类型是用来定义空标记的，其基本使用格式如下：它是一种不包含任何子元素和文本的元素。如果一个元素已经被声明为空元素，而在XML 文档中该元素又包含一定的内容，则此时文档将不能通过解析器的有效性检查。例12 !DOCTYPE book (3)ANYANY 类型是指该元素中可以包含其他任何被声明过的元素，但是不能包含没有声名的元素；其次被该元素包含的元素在出现顺序和次数上都不受限制；第三，在该元素中可以包含文本。ANY 将一系列的限制都解除了，其基本使用格式如下： 例13 !DOCTYPE

22、book (4)文本数据类型只包含文本字符串的元素的类型。#PCDATA#PCDATA 是DTD 所定义的一种元素类型，是XML 中默认的一种数据类型。该类型的元素只能包含可解析的字符数据（Parsed Character DATA，PCDATA），即只能是文本内容和CDATA 段，它的语法如下：例14XML 中有五个保留字，比如“”和“&”等在XML 中是作为标记的特殊部分来处理的，当XML 文档中的某个元素或属性值中必须使用这些符号时，就需要通过实体引用“<；”、“&；”等来实现文本的输入，如表2所示字符&“名称ampersandGreaterthanLess thanapost

23、ropheQuotationmark实体引用&；>；<；&apos；"；表2 XML 的五个保留字符 例15 <<The Bible>>Unknown69.88但是，当XML 文档中使用了较多的XML 保留字，比如文档中含有一段程序，此时如果仍然采用实体引用，则会降低文档的可读性，同时增加文本输入的工作量。此时，应采用CDATA（Character Data）段。CDATA段是一种用来包含文本的方法，其格式如下：”，因为这是CDATA 段的结束字符串。3.3 DTD运算符3.3.1 元组运算符-声明标记出现的次数在DTD 的定义下，我们可以规定某标

24、记出现的次数，它的控制有以下四种方法，见下表3符号允许出现次数?零或一次*大于等于零次+大于等于一次没有符号一次表3 XML中标记出现次数的定义符例16 !DOCTYPE Person Gary6/26beijing01099206250109280972在上例中，没有加符号的只能出现一次，spouse 加上“？”的允许出现零或一次，Address 加上“+”号，至少要有一次，TEL 用“*”号，可以出现任意次。3.3.2 顺序运算符和选择分隔符号所谓顺序分隔符, 决定了元素出现的顺序，用“，”。所谓选择分隔符，是用在对子元素希望有选择项时使用(多选一)，例如，下例中“学历”这一项可能是高中、

25、大学或是研究生，而这三者有同时是元素，所以我们就要选择了，于是用“|”这个符号把可选择的子元素隔开。例17!DOCTYPE Person Gary 多选一NCTUbeijing02786551234027123456783.3.3 组合使用运算符-混合型元素有时元素可能是基本元素，即其内容为字符数据，但也可能含有子结构，其内容为子元素。在这种情况下，可以将元素定义为混合型元素。定义混合型元素的基本语法为：元素声明的例句为：4.DTD中的属性设定属性是元素的可选组成部分，其作用是对元素及其内容的附加性信息进行描述，由“=”分隔开的名称-数值对构成，成为一个有效并合法的 XML 文档，所有在文档中

26、使用的属性都必须是在DTD 中定义过的。DTD 中定义属性的语法为：上面语法说明如下：(1) !ATTLIST 表示该指令为定义属性的指令，ATTLIST 为关键字，必须大写。(2) element_name 为包含该属性的元素的名称。(3) attribute_name 为要定义的属性的名称。(4) Type 为属性值的类型。(5) Default_value 为属性的缺省值。如果在文档中未明确设定该属性的值，则属性的值即为该缺省值。4.1 属性值的类型 属性值类型一共有四种选择，如下表属性值类型说明#REQUIRED表示在标记内的此属性是必需的#IMPLIED表示在标记内的此属性是可选的#

27、FIXED(缺省)表示此属性的属性值被固定了，不能修改默认值表示如果标记没有设置该属性值，就会以该值为属性值表4 属性值类型的选择例18 !DOCTYPE DOG PoPoGary10/173Husky在上例中，DOG 一共有id 和sex 这两个属性，属性类型为CDATA，即表示这项属性的属性值是字符符号所组成的，而且，这两个属性值是必需的，不可以省略，因为属性值类型设置为#REQUIRED，Breeder 有Lastname 属性，这个属性与DOG 的id 属性的不同之处在于，它是可选的，Birthday 这个元素设了两个属性，一个是属性year 的“#IMPLIED”，另一个就是type

28、 属性，它的属性值类型是“#FIXED”，值取为“AD”。4.2 属性类型属性类型的种类非常多，在DTD 定义中使用属性类型来规范属性值的取值种类。标准中的属性类型一共有十种，如下表：属性类型说明CDATA属性中只能使用字符、字串ENTITY属性值为DTD 声明中的实体引用ENTITIES同上，但允许多个实体NOTATION其属性是引用DTD 声明过的NOTATION（符号）ENUMERATED属性值为其枚举的属性值之一NMTOKEN属性只可以由字符组成NMTOKENS同上，但允许多个字符ID属性是唯一的，不可再被用作相同属性IDREF属性值为引用到其他ID 的属性IDREFS属性值为引用到多

29、个ID 的属性表5 属性类型的选择5.数据整合数据整合流程图如下数据整合依次将数据导入数据库EmEditor软件检查数据完整性PubMed数据库下载数据：E没EditorE没Editor 二次没Editor检查数据完整性数据完整性5.1数据下载在PubMed主页面输入(disease or research or protein or drug or therapeutic or immune or clinical or cell or study or Chinese or gene or metabolism) AND (1960/01/01Date - Publication : 19

30、70/01/01Date - Publication)，然后根据检索出的文献进行下载，下载的文献格式为XML。由于需要下载的数据量过于庞大，约为90GB，所以只能根据出版时间（19602014）拆分成不同的数据，按照年份以及数据的大小（数据保持在4GB以内）依次下载，如下所示：PubMed_1960，PubMed_1970，PubMed_1975，PubMed_1981，PubMed_1983，PubMed_1987，PubMed_1989，PubMed_1990，PubMed_1991，PubMed_1992，PubMed_1993，PubMed_1996，PubMed_1997，PubMe

31、d_1998，PubMed_1999，PubMed_2000，PubMed_2000_1，PubMed_2000_2，PubMed_2001_1，PubMed_2001_2，PubMed_2002_1，PubMed_2002_2，PubMed_2003_1，PubMed_2003_2，PubMed_2004_1，PubMed_2004_2，PubMed_2005_1，PubMed_2005_2，PubMed_2006_1，PubMed_2006_2，PubMed_2006_3，PubMed_2007_1，PubMed_2007_2，PubMed_2012_1，PubMed_2012_2，Pub

32、Med_2012_3，PubMed_2012_4，PubMed_2012_5，PubMed_2012_6，PubMed_2013_1，PubMed_2013_2，PubMed_2013_3，PubMed_2013_4，PubMed_2013_5，PubMed_2013_6，PubMed_2014_1，PubMed_2014_2，便于以后的分布式并行处理，然后用EmEditor软件打开，根据XML文档根元素的起始标记和终止标记检查数据的完整性。 5.2 数据转换在数据库软件SQL Server2008R26中建立数据库PubmedArticle，图1所示是通过VS2010编译生成数据转换可执行文

33、件，其中，主要用到file按钮，关联分析表按钮，清空关联表按钮。File按钮：选择需要插入数据库PubMed的XML源文件路径，关联分析表按钮：执行数据转换，将XML中的数据转换到数据库中，清空关联表：将相关表格清空。图15.3数据整合5.3.1 select into select into 语句的作用：从一个表中选取数据，然后把数据插入另一个表中，用于创建表的备份复件或者用于对记录进行存档。在本文中，select into用于从数据库PubmedArticle当中选取表tb_medlinecitation中所有数据及表结构，然后复制到数据库PubMed中，具体代码见附件1。5.3.2 in

34、sert intoinsert into语句用于只向已知表中插入新的数据。在本文中，insert into语句分别用于数据库CK_PubMed，LR_PubMed，NZK_PubMed，SMM_PubMed，WLR_PubMed， WT_PubMed，SHH_PubMed向数据库PubMed中插入数据，具体代码见附件2。结论本文从对PubMed数据库的认识出发，继而从多方面对XML数据格式进行了解与阐释，然后从PubMed数据库中下载XML数据，依次将分段下载的XML数据转换到数据库中，通过select into语句从数据库PubmedArticle当中选取表tb_medlinecitatio

35、n中所有数据及表结构复制到数据库PubMed中，然后通过insert into 语句将分段的七个数据库分别整合，各个数据库整合所用时间及处理节点数如下表6所示：数据库名称运行时间运行结果（节点数）CK_PubMed03:03:163790963LR_PubMed02:01:582583098NZK_PubMed02:15:591058586SMM_PubMed01:08:361782141WLR_PubMed00:51:061378124WT_PubMed00:49:281674013SHH_PubMed00:31:121120611表6最后把上表中的数据库整合最终数据库PubMed，合并以后

36、的数据库大小为68126.69MB，总记录的数量为13387536，数据总合并的时间为10:41:35，以此，数据库保持其完整性和一致性。参考文献1 卢啸龙.XML完全实例教程M.北京：电子工业出版社.20012 丁跃潮，叶文来.XML实用教程M.北京：机械工业出版社.20063 XML Media Types, RFC 3023. Internet Engineering Task Force. 911. 2001-01 2010-01-04.4 唐琳.XML基础及实践开发教程M.北京：清华大学出版社.20135 Bill Evjen，Kent Sharkey. 中文版由 Thiru Tha

37、ngarathinam ，王春楠，刘永金等翻译.XML高级编程M.北京：清华大学出版社.20096 郑阿奇，刘启芬，顾韵华.SQL Sever实用教程(第三版)M. 北京：电子工业出版社.2009附件1：select * /*从数据库PubmedArticle的表tb_medlinecitation中选出所有列插入到数据库PubMed的表tb_medlinecitation中*/into PubMed.dbo.tb_medlinecitationfrom PubmedArticle.dbo.tb_medlinecitationselect * /*从数据库PubmedArticle的表TB_P

38、ubmedArticle中选出所有列插入到数据库PubMed的表TB_PubmedArticle中*/into PubMed.dbo.TB_PubmedArticlefrom PubmedArticle.dbo.TB_PubmedArticleselect *into PubMed.dbo.TB_PubmedDatafrom PubmedArticle.dbo.TB_PubmedDataselect *into PubMed.dbo.TB_PublicationTypefrom PubmedArticle.dbo.TB_PublicationTypeselect *into PubMed.db

39、o.TB_PersonalNameSubjectfrom PubmedArticle.dbo.TB_PersonalNameSubjectselect *into PubMed.dbo.TB_MeshHeadingfrom PubmedArticle.dbo.TB_MeshHeadingselect *into PubMed.dbo.TB_Journalfrom PubmedArticle.dbo.TB_Journalselect *into PubMed.dbo.TB_Investigatorfrom PubmedArticle.dbo.TB_Investigatorselect *into

40、 PubMed.dbo.tb_historyfrom PubmedArticle.dbo.tb_historyselect *into PubMed.dbo.TB_grantfrom PubmedArticle.dbo.TB_grantselect *into PubMed.dbo.TB_databankfrom PubmedArticle.dbo.TB_databankselect *into PubMed.dbo.TB_CommentsCorrectionsfrom PubmedArticle.dbo.TB_CommentsCorrectionsselect *into PubMed.db

41、o.TB_chemicalfrom PubmedArticle.dbo.TB_chemicalselect *into PubMed.dbo.TB_authorfrom PubmedArticle.dbo.TB_authorselect *into PubMed.dbo.TB_articlefrom PubmedArticle.dbo.TB_articleselect *into PubMed.dbo.TB_articleidfrom PubmedArticle.dbo.TB_articleidselect *into PubMed.dbo.TB_Abstractfrom PubmedArti

42、cle.dbo.TB_Abstractselect *into PubMed.dbo.TB_JieGuofrom PubmedArticle.dbo.TB_JieGuoselect *into PubMed.dbo.TB_LinShifrom PubmedArticle.dbo.TB_LinShiselect *into PubMed.dbo.TB_ZhongJianfrom PubmedArticle.dbo.TB_ZhongJian附件2：insertinto PubMed.dbo.TB_PubmedArticle /*从数据库CK_PubMed中选取表TB_PubmedArticle所有列插入到数据库PubMed中表TB_PubmedArticle*/select * from CK_PubMed.dbo.TB_PubmedArticleinsertinto PubMed.dbo.TB_PubmedData(PubmedArticleID /*从数据库CK_PubMed的表TB_PubmedData中选择列PubmedArticleID，P