数据管理第 5 章

1、1.标准 在GB/T3935.1-83标准化基本术语第一部分 标准是对重复性事物和概念所做的统一规定。它以科学、技术和实践经验的综合成果为基础，经有关方面的协商一致，由主管机构批准，以特定形式发布，作为共同遵守的准则和依据。2.标准的相关规定 标准是一种“统一规定”。我国的标准分为：强制性标准和推荐性标准两类。 对象是重复性事物和概念。重复性是指，同一事物或概念反复或多次出现的性质，只有事物或概念具有重复出现的特性并处于相对稳定时才有制定标准的必要，以减少重复劳动和扩大标准利用范围。 既是科技成果，也是实践经验的总结。 技术民主、多方协商、三稿定标（征求意见稿、送审稿、报批稿） 有特定的格式和

2、制定颁布程序。3.标准化 是指在经济、技术、科学及管理等社会实践中，对重复性事物和概念，通过制定、发布和实施标准，达到统一，以获得在秩序和社会效益。 标准化是一项社会活动：制定、发布和实施标准； 是一个没有止境的循环上升过程，总结、修订、再实施； 范围不断扩展：产品标准、技术标准；管理标准、工作标准数据标准是数据管理的基础 工作主要包括：制定数据管理的法规性文件或标准、明确数据标准化的方法、提供数据标准化的方法 内容包括：元数据标准化、数据元标准化、数据模式标准化、数据分类和编码标准化 元数据标准化 是对数据外部特征进行统一规范描述，包括数据标识、内容、质量等数据，便于使用者发现数据资源、管理

3、数据资源； 数据元标准化 是对数据基本要素的名称、定义、表示等进行规范，以便于对数据进行集成、共享。 它就是一个用来对各行业的数据进行自身规范化的一个方法或一套指导的理论。用这一套方法对行业数据进行统一的名、型、值规范及分类。 原子性：即说明数据元具有原子特征，是组成数据的最小单元。例如“金额”本身就是一个基本数据元，还有“产量”“重量”、“密度”等等 集成性：按照数据本身自然联系建立数据间的关联关系，体现出了数据的集成性。同时，通过对数据元的分析，对数据的分类具有重要的指导作用。 演绎性：说明可由基本数据元演绎或派生出许许多多的应用数据元，继上面的实例：煤产量、原油产量、钢产量等，或更细致地

4、可以演绎出：煤年产量/煤月产量/煤季产量/煤累计产量等。 各行业的数据元应该是有限的，规划好行业数据元之后，可以为行业构建出统一、集成的、稳定的数据模型奠定基础，同时它也为数据交换奠定基础。更重要的是在逻辑层上为我们提供了一个统的“参考模型”。 数据模式标准化：是对数据组织方式的规范化描述，便于人们对数据组织具有一致的、准确的理解； 数据模式是基于选定的数据模型对数据进行“型”方面的刻画，而相应的“实例”则是对数据“值”方面的描述。 数据分类与编码标准化：是对数据进行统一的分类与编码作用 统一业务中含义、用法不一致的术语、概念等 例如：报表的标题、列的名称 优化和规范业务分类与编码方案 为信息

5、系统有设计提供数据规范 数据模型不一致； 数据的名称、定义、长度、表示等1.元数据的定义 元数据是关于数据的数据 提供关于信息资源或数据的一种结构化数据，是对信息资源的结构化描述 用于描述信息资源或数据的内容、覆盖范围、质量、管理方式、数据所有者、提供方式等有关信息的数据2.元数据描述对象 可以是单一的全文、目录、图像、数值型数据、多媒体等，也可以是多个单一资源组成的资源集合，或是这些资源的生产、加工、使用、管理、技术处理、保存等过程中产生的参数的描述。3.三个描述方面 对信息对象基本内容的描述，包括信息对象的标题、摘要、关键词等 对信息对象获取方式的描述，包括信息对象的发布者、地址 对元数据

6、自身维护信息进行描述，元数据标识、维护方、更新日期、更新频率等4.体系与类型元数据的管理对元数据的标记语言、格式语言、标识符、扩展机制、转换机制等的描述元元数据对象的服务、服务过程、服务系统数字资源服务的揭示与表现、服务过程、服务系统等方面的相关信息描述服务元数据对象的管理与保存数字对象加工、存档、结构、技术处理、存取、控制、版权管理等方面的信息描述管理元数据内容对象集合按照科学、主题、资源类型、用户范围、生成过程、使用管理范围形成的信息资源集合的描述资源集合元数据内容对象描述单一数字对象内容、属性以及外在特征的元数据标记数据对象内容及结构的元数据专门元数据信息内容内容元数据5.元数据的作用

7、描述： 内容、覆盖范围、质量、管理方式、所有者、提供方式等信息，是数据与用户之间的桥梁； 资源发现： 类似于目录的功能 允许资源按照一定的查询条件被发现； 识别资源； 关联类似的数字资源； 区别不同的资源； 定位信息资源 组织管理数据资源 按照用户或主题来链接web信息资源，通常使用名称或者位置编码HTML文件中，是静态web网页；可以利用数据库中的元数据来自动析取信息资源组织动态网页。 互操作性 利用元数据使得处理系统可以理解信息内容，从而可以实现数据的自动交换和信息共享。 归档和保存数据资源 数字对象的来源、保存条件、变化特征等6.元数据结构 内容结构；语法结构；语义结构 内容结构是对元数

8、据的构成要素及其定义标准进行描述。一个元数据有许多完成不同功能的具体数据描述项构成，称为元数据元素项或元素，如题名、责任者等。 语法结构是指元数据格式结构及其描述方式，即元数据在计算机应用系统中表示方法和相应的描述规则。目前常用XML语言和RDF框架来表示和描述元数据的格式结构。 语义结构是定义元数据元素具体描述方法，即描述时采用的共同标准、语义描述要求等，可以采用国际标准ISO/IEC11179信息技术数据元的规范与标准化所规定的数据元素描述方法进行描述，也可以自行选择标准。 ISO/IEC11179信息技术数据元的规范与标准化采用如下元素描述： 名称（Name）：元素名称； 标识（Iden

9、tifier)：元素唯一标识； 版本（Version）：产生该元素的数据版本； 注册机构（Registration Authority）：注册元素的授权机构； 语言（Language）：元素说明语言； 定义（Definition）：对元素概念和内涵的说明； 选项（Option）：说明元素是限定必须使用的还是可选择的； 数据类型（Data type）：元素值中所表现的数据类型； 最大使用频率（Maximum Occurrence）：元素最大使用频次； 注释（Comment）：元素应用注释，用于说明子元素情况RDF资源描述框架（Resource Description Framework) 网络搜

10、索基本上都是采用网页的全文检索来提供检索服务；如果网络上的资源在创建之初就使用元数据来描述其自身的信息，就可以省去人工标引的麻烦。但是用元数据来描述，需要有个标准， W3C提出的用于描述Web资源的RDF（Resource Description Framework 资源描述框架）就是这样的一个标准，RDF给出了Web数据集成的元数据解决方案。RDF的含义就是描述资源的框架（Framework for Describing Resources）： 资源（Resource）：所有在Web上被命名、具有URI(Unified Resource Identifier 统一资源描述符)，如网页、XML

11、文档中的元素等； 描述（Decription）：对资源属性（Property）的一个陈述（Statement），以表明资源的特性或者资源之间的联系； 框架（Frameword）：与被描述资源无关的通用模型，以包容和管理资源的多样性、不一致性和重复性。RDF就是定义了一种通用的框架，即资源-属性-值的三元组，描述Web上的各种资源。元数据标准是某一特定领域或专业团体为了使用元数据来管理、描述和保存丰富多样的资源，根据自身特殊、多样化的需求，专门地计划、倡议和制定的标准，旨在规范和统一本领域元数据应用和管理，提高本领域的数据共享程度，便于信息资源的充分利用。比较著名的有： 都柏林核心元数据标准（D

12、C元数据标准） ISO19115地理信息元数据标准 中文描述元数据规范DC来源 1995年3月在美国俄亥俄州的都柏林召开的元数据研讨会中提出并最终成型的元数据标准，试图为广泛多样的电子信息资源提供一种元数据描述的框架，后于2003年成为国际标准（ISO Standard 15836-2003）。描述对象包括：资源集合、数据集、事件、图像、动态图像、静态图像、交互资源、物理对象、服务、软件、声音、文本。DC核心元数据集是一个包含了15个属性的词表。DC核心元数据集 题名（题名（TitleTitle）赋予资源名称。资源名一般指资源对象正式公开的名称。 创建者（创建者（CreatorCreator）

13、创建资源内容的主要责任者。创建者的实例包括个人、组织或某项服务，一般用创建者的名称来标识这一条目。 主题（主题（SubjectSubject）资源内容的主题描述。一般采用关键词、关键字短语或分类号，主题或关键词一般从受控词表或规范的分类体系中取值。 描述（描述（DescriptionDescription）资源内容说明。描述可以包括但不限于以下内容：文摘、目录、图像内容的文字说明，或者一个有关资源内容的自由文本。 出版者（出版者（PublisherPublisher）使资源成为可以获得并可用的责任者。 其他责任者（其他责任者（ContributorContributor）对资源的内容做出贡献的

14、其他实体。 日期（日期（DateDate）与资源生命周期中一个事件相关的时间。一般而言，日期应与资源的创建或出版日期相关，格式YYYY-MM-DD。 类型（类型（TypeType）资源内容特征或类型。资源类型包括描述资源内容的一般范畴、功能、种属或类聚层次的术语。DC核心元数据集 格式（format）资源的物理或数字表现形式。可以包括资源的媒体类型或资源的大小，格式元素可以用来决定展示或操作资源所需的软硬件或其他相应设备，例如，大小包括资源所占的存储空间集持续时间。 标识符（Identifier）在特定的范围内给予资源的一个明确的标识。一般采用符合某一正式表示体系的字符串集数字组合，如统一资源

15、标识符URI，数字对象标识符DOI，或国际标准书号（ISBN） 来源（Source）对当前资源来源的参照。 语种（Language）描述资源知识内容的语种。 关联（Relation）对相关资源的参照。 覆盖范围（Coverage）资源内容所涉及的外延与覆盖范围。覆盖范围一般包括空间位置、时间区间或行政辖区的范围。 权限（Rights）有关资源本身所有的或被赋予的权限信息。应该包括一个对资源的权限声明或者是对提供这一信息的服务的参照。包括知识产权、版权或其他各种产权。数据集元数据内容结构 一般包括：数据集描述信息、结构描述信息、服务描述信息、数据集分发信息、元数据参考信息等子集和范围信息、联系信

16、息、代码表等元数据项。1.数据集描述信息 包括数据集的题名、主题、日期、提供者等基本信息，具体有： 数据集中文名称：指数据集对象的正式公开的名称，一般要填写全称。 数据集英文名称：指数据集的英文名称。 数据集标识：指数据集创建单位或关联单位根据某种规则赋予数据集的代码，一般由数据之和字母组成。 主题词：指数据集的专业主题词语。 描述：用自由文本形式简要叙述开发数据集的目的，以便数据集检索者了解数据集的背景知识。 类型：对数据集类型的说明，可以是关系型数据库，也可以是图像、音频视频、软件。 数据量：指数据集所包含数据量的说明，数据量的说明通常分为记录数和存储量两种形式。1.数据集描述信息 数据来

17、源：指对其他数据资源给参照，当前数据资源的部分或者全部源自数据来源元素说标示的资源。 数据集提交或发布方：提交或发布数据集，并对数据集的真实性、正确性负责的单位或部门，包括负责单位名称、联系人姓名、联系电话、通讯地址、邮政编码、电子邮件地址等。 更新频率：描述数据集多长时间更新一次。 数据集时间：与数据集创建和修改事件相关的时间。 语种 URL：数据集提供网络服务的链接地址。 关联数据集：与当前数据集相关的其他数据集，包括关联数据集名称、关联类型和关联URL。 数据集范围：指数据集内容所涉及的分类、时间和空间范围。2.结构描述信息 结构描述信息是数据集所包含实体的结构的描述信息，包括实体基本信

18、息、属性信息、约束条件等。 实体：关于数据集存储实体的基本信息，包括实体类型、实体标识和实体定义等基本型信息。 属性：关于实体中的属性的信息，包括属性标识、属性定义、存储类型、存储长度、计量单位、精度、默认值、约束条件等3.服务描述信息 是关于数据管理单位通过网络向外提供数据集服务的技术参数信息，包括： 资源统一标识符：唯一标识网络资源的标识。 基本服务信息：数据集所在系统提供网络服务时的一些基本参数信息包括：IP、端口、协议、数据库标识、服务说明。 用户认证：连接数据库的用户认证信息，包括用户名称、密码、证书等。 服务管理者：数据集所提供服务的责任者。 服务器配置：提供网络服务的数据集所在服

19、务器的配置信息，即数据集所在服务器的软硬件环境参数信息，包括服务器的型号操作系统、数据库管理系统、数据库管理系统版本等。 检索入口： 数据库中作为检索起点的主表或视图。4.数据集分发信息 记录与数据集发行及获取有关的信息，包括： 数据格式、技术要求、收费策略、权限声明、订购指南、访问时间、联系方式。5.元数据参考信息 关于数据集元数据本身状态的信息，包括： 元数据时间、元数据联系信息、元数据标准名称、元数据标准版本6.范围信息 包括数据集内容所涉及的专业、时间和空间范围信息7.联系信息 与数据集相关的个人和组织的联系信息。元数据内容描述方法 一般采用：摘要表示、数据字典和UML(Unified

20、 Modeling Language)1.摘要表示 采用定义、英文名称、数据类型、值域、短名、注解、子元素等方式对元数据元素、实体、子集进行描述。 例子：数据集名称 元素摘要表示定义：已知的数据集名称英文名称：Title数据类型：字符串值域：自由文本短名：ResTitle注解：可选项；最大出现次数为1 2.数据字典描述 以表格的形式对元数据进行详细描述。名称名称英文名称英文名称短名短名定义定义约约束束条条件件最大最大出现出现次数次数数据类型数据类型域域元数据MetadataMetadata领域数据集元数据的根实体M1复合型元数据标识符Metadata IdentifiermdID元数据统一标识

21、符M1字符串自由文本元数据语种LanguagemdLANG元数据使用语言M1字符串语种代码代码表（E.4.26）3.UML图描述 采用统一建模语言UML描述元数据子集、元数据实体和元数据元素之间的关系。 请网上查找资料了解UML。国际标准化组织ISO（International Organization for Standardization）为电子商务、电子贸易的需要提出了数据元标准的概念，要求按照共同约定的规则进行组织、分类和标识数据，规范统一数据含义、表示方法和取值范围。数据元是数据库、文件和数据交换的基本数据单元。 数据库和文件由记录或元组等组成，而记录或元组则由数据元组成，数据元是数

22、据库或文件之间进行数据交换时的基本组成。数据库文件数据库文件数据交换单位数据元标识符定义名称值域数据元是通过一组属性描述其定义、标识、表示和允许值的数据单元。一般由三部分组成： 1.对象类：对象类是可以对其界限和含义进行明确的标识，如概念或现实世界的事物集合。在实体关系模型中与实体对应，如学生、教师、课程、计算机 2.特性：是一个对象类的所有成员所共有的特征。用来区别和描述对象，构成对象类的内涵。类似于实体关系图中属性，如对象是一个人的话，身高、体重、血压、脉搏、血型等属性。 3.表示：包括值域、数据类型、表示类和计算单位四部分，其中任何一部分发生变化都成为不同的表示。值域是数据元允许值的集合

23、，例如，“学生总数”这一数据元的值域是用非负实数集作为它的允许值集合。数据类型是表达数据元不同值的集合，如学生姓名的数据类型是“字符”；表示类是表示类型的分类，如“性别代码”这一值域的表示类是“类别”计量单位是用于计量相关值的市级单位，如学生身高的计量单位为“cm” 对象有很多个特性，对象与任何一个有意义的特性结合就组成一个数据元概念。 人，这个对象可以有性别、身高、出生日期等多个特性，将人这个特性与其中任何一个特性结合，就组成一个“数据元概念”，如：“人性别”、“人身高” 数据元是数据元概念与表示的结合，即一个数据元是由一个特定的数据元概念和一个特定的表示结合而成。 例如：学生身高，与身高的

24、表示值域结合，构成数据元“学生身高的测量值”； 而与学生身高的平均水平值域结合，则构成“学生身高的平均值”这个数据元。人机构物品事件姓名性别颜色大小类别标识名称代码金额日期数量比率指示符人的姓名名称人的性别代码人的性别名称机构类别代码1.数据元的基本属性 数据元由一系列属性描述，这些属性实际上是数据元的元数据。 数据元的基本属性包括五个方面： （1）标识类属性：适用于数据元标识的属性。包括中文名称、英文名称、中文全拼、内部标识符、版本、注册机构、同义名词、语境。 （2）定义类属性：描述数据元语义方面的属性。包括定义、对象类词、特性词、应用约束。 （3）关系类属性：描述各数据元之间相互关联和数据

25、元与模式、数据元概念、对象、实体之间关联的属性。包括分类方案、分类方案值、关系。 （4）表示类属性：描述数据元的表示方面的属性。包括表示词、数据类型、数据格式、值域、计量单位。 （5）管理类属性：描述数据元管理与控制方面的属性。包括状态、提交机构、批准日期、备注。 每个数据元可能包含0或1（0：1），1且仅仅是1（1:1），0或多（0：n）1或多（1：n）个属性属性种类属性种类数据元属性名称数据元属性名称标识类标识类名称标识符版本注册机构同义名称相关环境定义类定义关系类分类模式关键字相关数据参照关系模型表示类表示类型表示形式数据元值的数据类型数据元值的最大长度数据元值的最小长度表示格式数据元允

26、许值管理类主管机构注册状态提交机构备注数据元定义表示类型表示格式数据元值的数据类型数据元值的最大长度数据元值的最小长度表示格式名称相关环境数据元允许值同义名称备注主管机构提交机构注册机构标识符版本注册状态分类模式相关数据参照关系类型关键字1:11:10:11:10:11:n0:n0:10:n0:n0:n0:n0:10:1 各个属性说明如下： （1）名称：赋予数据元的单个或多个字词的指称。 （2）标识符：在一个注册机构内与语言无关的一个数据元的唯一标识符。 （3）版本：一套数据元规范中的一个数据元发布的标识。 （4）注册机构：负责维护一个注册库的组织。 （5）同义名称：与给定名称有区别、但表示相

27、同的数据元概念的单字或多字的指称。同义名称常常是熟悉的名称，要使用属性“相关环境”来指明使用环境。 （6）相关环境：对使用或产生名称的应用环境或应用规程的说明或描述。 （7）定义：表达一个数据元的本质特性并使其区别所有其他数据元的陈述。 （8）分类模式：根据对象的来源、组成、结构、应用、功能等共同特性，将对象划分成组的模式的分类参照。 （9）关键字：用于数据元检索的一个或多个有意义的字词。 （10）相关数据参照：数据元与相关数据之间的参照。 （11）关系类型：数据元与相关数据之间关系特性的一种表达。与上一属性作为一对属性来规定。关系中文名称关系中文名称关系表示符关系表示符关系描述关系描述派生关

28、系Derive-from描述了数据元之间的继承关系，Derive-from B，表明当前数据元是由数据元B派生而来。组成关系Compose-of描述了整体与部分之间的关系，例如，Compose-of(B,C,D），表示当前数据是由数据元B,C,D共同组成。替代关系Replace-of描述了数据元之间的替代关系，例如，replace-of B表示当前数据元代替了数据元B连用关系Link-with描述了一个数据元与另外若干数据元一起使用的情况，例如，link-with B,C,D表明当前数据元与数据元B,C,D一起使用。 （12）表示类别：用于表示数据元的符号、字符或其他表示的类型。示例有：字符表

29、示法字符、符号表示法码表示法图形表示法 （13）表示形式：数据元表示形式的名称或描述，例如：数值、代码、文本、图标。 （14）数据元值的数据类型：表示数据元值的不同值的集合。数据类型数据类型类型描述类型描述字符型通过字符形式表达的值的类型数字型通过从0到9的数字形式表达的数据类型日期型通过YYYYMMDD的形式表达的数值类型日期时间型通过YYYYMMDDhhmmss表达的数据类型布尔型两个且只有两个表明条件的值，如true/false （15）数据元值的最大长度：表示数据元值的存储单元的最大数目。例如：对于数据元“身份证号码”来说，如果数据类型属性的实例为“字符”，并且数据元值的最大长度属性的

30、实例为“18”，那么身份证号码的数据元值最大不应超过18个字符。 （16）数据元值的最小长度：表示数据元值的存储单位的最小数目。例如，对于数据元“学生特长描述”来说，如果数据类型属性的实例为“字符”，并且数据元值的最小长度属性的实例值为“4”，那么学生特征描述的数据元值最小不应少于4个字符。 （17）表示格式：用字符串表示数据元值的格式。 数据格式中字符含义如下： a 字母字符。 n 数字字符。 an 字母数字字符。 m(m为自然数）定长m个字符（字符集默认为GB2312) YYYYMMDDhhmmss时间字符，视情况组合。 p . .q 表示字符长度从最少长度p到最大长度长度q。例如：an3

31、.8，表示最大疮长度为8，最小长度为3的不定长字母数字字符。 P，q，表示最长p个数字字符，小数点后q位 n . 17，2表示最长17个数字字符，小数点后2位。 （18）数据元允许值：在每个特定值域中允许的一个值含义的表达。当数据元允许值是编码表示的枚举形式时，每个数据元值及值含义都应当成对表示。 （19）主管机构：提供数据元属性权威来源的组织或组织内部机构，也就是数据元的拥有者。 （20）注册状态：一个数据元在注册生命周期中的状态。 草案、试用、标准、废止 （21）提交机构：提出数据元注册请求的机构。 （22）备注：数据元的注释。 例SDS/T2123-2004科学数据共享工程技术标准公用数

32、据元目录中： （1）数据元“身份证号”的基本属性描述如下： 标识符：1504。 中文名称：身份证号。 英文名称：ID card。 定义：公安机关为每个公民给出的唯一的、终身不变的法定的标识号码。 表示：S . 18。 值域：按照GB 11643公民身份证号码规定的18位特征组合码。 同义名称：公民身份号码。 相关环境：科学数据共享工程。 版本号：V1.0。 备注： 数据元“电子邮件”的属性描述如下： 标识符：1016。 中文名称：电子邮箱。 英文名称：Email。 说明：机构和人员在电子邮件服务机构注册的电子邮件地址。 表示： S . 50。 值域：英文字母及有关字符。 同义名称：Email。

33、 相关环境：科学数据共享工程。 版本号：V1.0。 备注：2.数据元属性描述符 数据元的每个基本属性应依照一种标准方式来描述，以便于数据元在信息交换中保持一致性，并且在不同的数据管理环境中进行数据元比较。 数据元属性描述符包括名称（中、英文）、定义、约束、条件、最多实例数、数据类型、最大长度、字符集、语言、备注。其中，必选（M，mandatory）的描述符包括名称（中、英文）、定义、约束、数据类型；条件选（C，conditional）的描述符包括条件、字符集、语言；可选（O， optional）的描述符包括最多实例数、最大长度、备注。 各属性描述符条目应用规则如下： （1）名称。名称属性描述符是赋予数据元属性的标记。名称应当是唯一的，并且应当以字母、汉字、数字式的字符串形式表示。 （2）定义。定义属性描述符是对数据元属性描述符的概念解释，可以使一种数据元属性与其他数据元属性清晰地区别开来。定义以字母数字是的字符串形式表示。 （3）约束。约束属性描述符是给出一个数据元属性是始终还是有时出现的限制条件。必选：该数据元属性必须出现；条件选：如果规定的条件存在，该数据