智慧银行大数据平台规划设计方案

1、智慧银行大数据平台规划设计方案一、数据治理架构分为三个层次，分别为战略与治理保障、 大数据管理和 大数据应用与服务，其中战略与治理保障包括， 数据战略规划与 评估，数据治理组织与职责、数据制度与管理流程；大数据管理 包括数据标准管理、架构与模型管理、质量管理、生存周期管理 以及安全管理；大数据应用与服务包括，数据分析、开放共享以 及数据服务。该架构依照国标数据管理能力成熟度模型设计。二、数据质量问题的发现与整治过程过程共分为三个阶段：源业务系统数据分析、制定质检 规则并分析源系统数据，分析质量问题影响并制定整改措施。源业务系统数据分析阶段的分析素材：源系统操作手 册、需求分析说明、数据库设计、

2、源系统数据；分析过程：分析业务流程、逻辑和关系，确定数据 库表间和字段间关系，同时分析与该源业务系统存在关联关系的 其它系统间的业务关联关系和数据关联关系； 输出成果：数据库结构（主外键、约束、表间关系、字段长度与 类型等）、业务描述（表及字段的业务含义、业务规则）。数据质量检查阶段的输入：分析阶段的输出成果以及业务报表;过程：编制质检规则，并以其为核心，设计质检程序或脚本,执行自动化、批量化检查。过程中对重点 业务报表引用的数据 表进行重点分析；输出：质量问题清单及问题定位。数据质量分析阶段的输入：分析阶段和检查阶段的输出 成果；过程：分析质量问题对报表的影响，即影响分析；成因分析；制定解决

3、方案；输出：分析报告及整改方案。数据质量分析报告将是后续大数据治理平台的重要建设 依据。三、数据标准建设过程建设基础数据标准和指标数据标准框架；确定标准化范 围，对重要指标（属性）进行标准化。建设过程：该过程需要业务人员和技术人员共同参 与梳理和编制，补充完善标准化方案。数据标准基础数据标准框架的内容：可参考人民银行数据标准规1)I|11I r业肴宦义.业劳耀则*业勇鲁义itBOS范，进行划分，包括业务属性、技术属性和管理属性三大类，业务属性包括标准主题、标准大类、标准子类、标准小类、标准中 文名、标准英文名、业务定义、业务规则、融合规则、叔都是服 我、与相关标准关系、标准来源及依据；技术属性

4、包括数据类型、 数据格式、代码编码规则、取值范围；管理属性包括标准定义者、 标准管理者、标准使用者、反馈结果描述、标准应用领域和使用 系统；指标标准建设：筛选重要业务指标（）= 制定指标标准框架（确定指标分类体系、属性形成标准化定义模板）=制定指标标 准（指标定义、口径、规则、数据来源，技术部门定义标准化属 性，业务部门修订和确认指标标准）指标数据标准框架：业务属性、技术属性和管理属性。四、建设数据平台层次关系：属性（字段）=实体（对象，表）=专题（实 体集合，业务专题）=主题（专题集合、业务域）。模型演进过程：基础模型=逻辑模型=物理模型。基础 模型的形成，需要依据国家或行业标准， 结合具体实施单位的业 务情况进行裁剪，通过保留、增加和合并的业务匹配过程，形成 基础模型，划分业务主题模型框架；在进行逻辑模型设计过程中， 需要复制（系统间业务含义和字段名称均不相同的字段）、整合（含义相同名称不同的字段）和拆分（含义不同名称相同的字 段）；之后进行属性匹配，保留、增加、合并、拆分和映射源系 统到基础模型中主题、实体和属性。完成模型设计之后，进行数据映射和 ETL操作，将源表 数据，参照映射文件、开发规范和加载策略，进行 ETL开发和操 作，将数据填充至目标表中；通过以上操作，完成整合层建设，整合层的对数据应用 的意义：统一的业务视图、明细的数据、全面的数