数据管理知识体系

数据管理知识体系数据架构设计包括对业务数据的描述，数据收集、存储、整合、迁移、分布、验证、增强、链接、脱敏等。模型：是指结构+规范。包括数据实体（业务概念）、实体间的关系、业务规则、关键属性、定义、规划、映射、业务规则模型分类：概念模型、逻辑模型、物理模型模型设计方法：自上而下：先设计主题，再设计下层模型自下而上：先分析现有模型，再向上提炼抽象模型：是由各个组件组成，标准化进行管理数据建模和设计数据可以使用多种模式来表示：关系模型、多维模型、面向对象模式、基于实事的模型、时间序列模型、非关系模型；又可通过概念模型、逻辑模型、物理模型来表示。每种模型包含多个组件。每个组件又由实体、实体间关系、事实、键、属性等组成。数据建模和设计语境关系图：定义：目标：确认并记录不同视角对数据需求的理解。确保应用程序更加符合当前和未来的业务需求。输入：现有数据模型和数据库、数据标准、数据集、初始需求、原始需求、数据架构、企业分类法；活动：规划数据建模、建立数据模型（概念模型、逻辑模型、物理模型）、审核、维护；输出：概念模型、逻辑模型、物理模型；方法：命名规范、数据库规范设计、数据库类型选择；工具：数据建模工具、数据血缘工具、数据分析工具、元数据资料库、数据模型模式、行业数据模型；度量指标：数据模型校验指标。确认并记录不同视角对数据需求的理解，有助于：格式化：数据模型是对结构和关系的简单定义，能够评估当前或理想情况上业务规则对数据的影响。格式化定义赋予了数据规范和结构，减少业务在访问和保存数据时的异常概率；范围定义：数据模型可以解释数据的上下文边界。1、 数据建模：对组织数据理解的过程。数据模型是现实实物的一个表征或想要创造事件的一个样式；2、 建模的数据模型：对主要数据类型建模a）类别信息：对主要数据进行分类或分配事物类型的数据，如按业务部门或按市场分类划分客户、按型号划分产品等；b） 资源信息：实施操作流程所需要的基本数据资源，如产品、客户、供应商等;c） 业务事件信息：操作过程创建的数据，如订单数据；d） 详细的交易信息：泛采集到的原始的明细数据，如传感器采集到的数据。3、数据模型组件：实体、关系、属性、域实体：信息载体，是一组名词。通常表示：谁、什么、为什么、何时、何地、怎么办或综合谁：相关人或组织。学生、老师、学校；什么：提供的产品或服务。产品、服务、原材料；为什么：事件或交易。下单、退货；何时：日历、时间间隔等。月、年，出发时间；何地：地点。邮寄地址、分发地点、网址、IP；怎么办：发生的证据。发货单、合同、销售数量；实体有实体类型，实体类型又可以被称为对象或类、概念、术语、表；实体可称为实体实例。实体的意义：实体属性核心元数据，清晰、准确、完整；关系：实体间的关联，捕获概念实体之间的高级别交互、逻辑实体之间的详细交互、物理实体之间的约束。元数：关系中涉及的实体数目称为元数；有一元关系、二元关系和三元关系；一元关系：递归关系或自我引用关系，只有一个实体；二元关系：两个实体。学生------课题三元关系：三个实体。学生学期课程；属性：定义、描述度量实体某方面的性质。物理展现为表视图、文档、图形、列、字段等；属性标识符：键（结构键：单一键、组合键、复合键、代理键；功能键：主键、外键）单一键：唯一标准实体实例的属性，如身份证号；代理键：表的唯一标识符，也是单一键；独立实体和非独立实体：独立实体：主键只包含该实体属性；（学生表、课程表）方框表示非独立实体：至少包含一个来自其他实体的属性（学生选课中间表：有学生ID、课程ID）；圆角方框表示 ）域：某一属性可能被赋予的全部可能的取值；属性特征标准化：标准、约束、规则如日期域：订单日期、注册日期。2月30日为非法值性别编码域：男、女（0.1）附加规则对域的限制：约束、格式、逻辑等。如注册日期应该在下单日期前；数据类型：数据格式、列表、范围、基于规则；数据建模方法：关系建模、维度建模、面向对象、基于时间、基于事实、非关系建模；1、 关系建模设计：目的是为了表述业务数据，消除冗余，适合操作型系统a）表示方法：信息工程法IE、信息建模集成定义IDEF1X等2、 维度建模设计：数据组织方式是为了优化海量数据的查询和分析。实体间的连线代表业务问题、导航路径。专注于特定业务流程的业务问题。元数据对于维度建模比较重要。事实表：行对应的特定数值型度量值；维度表：业务的重要抽象，主要包含文字描述，是事实表的入口，充当查询或报表约束的主要来源，高度反范式。每一行必须有一个独一无二的唯一标识符。维度也会缓慢发生变化----渐变维度管理（ORC）：覆盖：新值覆盖旧值；新行：新值写入新行，旧值标记为非当前值；新列：一个值的多个实例在同行的不同列中