LFT-商行数据中心规划

商行

基础数据平台建设规划——专注金融领域、专业IT服务、助力商行信息化整体逻辑思路整体规划目标蓝图实施框架项目路径技术实现总体设计数据模型技术平台行业借鉴

Agenda一、数据中心蓝图规划三、同行借鉴二、技术实现数据平台建设－蓝图1信息分析人员系统运行维护人员技术开发人员5数据平台建设－蓝图2(技术)数据中心数据交换调度服务监控服务资源分配服务集中式调度监控管理(ETL平台）元数据管理数据质量管理数据标准管理统一数据管控数据仓库数据中心数据加工核心系统T+1计算xx系统ETL应用xx系统ETL应用核心系统T+1计算数据中心数据加工数据中心数据交换数据平台建设－蓝图3(业务应用)6客户客户获取与挽留客户细分与价值提升交叉销售/向上销售事件驱动营销营销活动管理与优化客户生命周期管理风险合规与信息披露资产负债管理金融犯罪识别信用风险市场风险操作风险财务财务绩效管理资本配置与管理法规遵从与报表产品捆绑与定价财务管理流程优化运营交易渠道管理销售渠道管理渠道迁移与流程优化绩效考核与报表产品开发与定价资源规划与管理信息数据标准数据质量数据安全企业数据整合元数据管理数据访问管理与支持国外先进银行总结提炼了一套数据平台业务应用框架，包括了客户管理、运营管理、风险管理、财务管理、信息管理五大支柱的近三十种应用，为银行后续的数据平台项目建设和推广应用提供了极好的借鉴。数据平台建设－建设思路１业务创新期基础建设数据治理报表支持管理优化期业务支持期数据整合专题应用数据开放创新业务技术主导业务参与业务需求技术支持业务主动技术服务业务价值驱动从技术“推”到业务“拉”的转变养育数据、由小而大、分期建设规划勾画骨架；项目勾画血肉数据平台建设－建设思路２信息科技部管理信息部数据分析支持数据管理决策支持分行服务支持总行领导全行业务状况分析业务发展决策分析……各业务系统收集业务数据控制数据标准……总行各部门公司业务部个人业务部金融同业部风险管理部人力资源部。。。分支行机构分支机构领导分支机构业务部门分支机构管信部客户经理业务状况分析业务发展决策分析……相关业务状况分析业务统计报表……支行业务状况分析重点业务部门支持……相关客户业务分析与支持……数据管控体系战略与规划业务应用体系服务运营体系技术平台体系政策、流程、制度数据标准数据质量元数据管理数据架构业务创新战略决策运营策略管理优化应用驱动型服务数据驱动型服务运营驱动型服务数据运营治理基础数据平台数据服务平台数据应用平台数据管控平台运营管理平台数据平台建设－目标分解（总体）数据平台建设－目标分解（业务应用体系）数据平台建设－目标分解（数据管控、服务运营）数据平台建设－目标分解（技术平台体系）数据平台建设－实施路线图整体规划规划管理规划调整与实施监控服务运营体系数据服务流程、制度制定业务应用体系业务快报业务价值驱动的专题应用（客户、运营、风险、财务、信息）政策、流程、制度制定数据治理体系数据架构管理数据安全技术平台体系基础数据平台（数据整合）业务价值

数据架构

技术架构

应用架构

管控架构数据开放数据标准、元数据管理、数据质量主数据管理数据交换服务数据集成服务历史数据服务数据开放服务基础数据平台（历史数据）基础数据平台（统一数据管控平台）基础数据平台（统一ETL平台）基础数据平台（公共应用平台）基础数据平台（统一数据交换）管理驾驶舱部门报表数据平台建设－本期数据应用方面：建设报表集市的自由查询功能；初步建设管理驾驶仓（50个KPI指标）。完成30张管理报表。数据接入方面：接入新核心系统、信贷系统、个贷系统数据；另项目一阶段提前接入旧核心系统数据表。数据供应方面：在接入系统数据批处理基础上、实现批量报表数据集中加工和批量处理。提供已接入系统的数据服务。平台方面：初步建立起数据集中处理平台架构，重点建设统一数据交换、统一ETL；统一数据管控则主要构建银行数据治理框架，实现部分简单的元数据管理和数据质量检查功能；初步建立统一报表应用平台，具备报表集中展示以及基于已有模型的分析应用支持能力。以平台的技术建设为主要目标，主要实现三个关键源系统数据集中处理功能、报表集市及管理驾驶仓的初步建设。技术数据应用价值能力：应用：建立统一报表应用平台、管理驾驶仓，具备决策支持、数据分析支持能力；数据：初步建立全行报表集市；具备全行数据交换能力；技术：统一数据交换技术平台；BI应用门户；ETL处理中心。数据平台建设－二期数据应用方面：完善指标体系，完善管理驾驶舱建设；完成所有日常经营固定报表迁移；建设客户统一视图管理专题应用。数据源接入方面：完成所有数据源的接入。数据供应方面：完成已建信息系统（如信贷系统、核心系统等）的数据服务迁移。平台方面：一期平台的优化；初步建设数据整合、历史数据存储；完善统一数据管控部分的数据质量管理，引入元数据管理工具、数据质量管理工具，支持数据质量管理流程。以数据集中处理功能为主，进一步增加数据源接入；完成1104监管报表及其它管理报表迁移；完善管理驾驶仓建设；开始进行客户统一视图等专题分析应用建设技术数据应用价值能力：应用：决策支持、数据分析支持能力；管理驾驶仓；一站式报表服务；

客户统一视图专题分析应用数据：全行数据集成能力（企业数据模型）；全行数据交换能力；历史数据管理能力；

数据管控能力；集中数据处理能力技术：BI应用门户；ETL处理中心；统一数据中心技术平台；数据管控平台数据平台建设－远期数据应用方面：为各部门定制部门管理视图，并开放相关查询应用；建立客户分析、绩效、CRM、风险管理应用；建设产品分析专题应用。数据源接入方面：进一步接入其他业务系统的数据源。数据供应方面：持续集成新增系统的数据服务。平台方面：完善数据整合、历史数据存储；完善统一数据管控部分的元数据管理，构建企业级元数据管理。进一步完善整个基础数据平台体系，增加整个平台对外的开放程度，增强数据服务职能；技术数据应用价值能力：应用：决策支持、数据分析支持能力；一站式报表服务；专题分析应用；各部门专用自由查询；业务创新支持能力；管理优化支持能力数据：全行数据集成能力（企业数据模型）；全行数据交换能力；历史数据管理能力；数据管控能力；集中数据处理能力；数据开放能力技术：BI应用门户；ETL处理中心；数据管控平台集市层汇总层汇总基础层整合层团体协议财务产品渠道资产账户汇总交易统计汇总客户汇总机构汇总产品汇总渠道汇总指标库:规模指标、客户指标、盈利指标、风险指标等核心信贷渠道国业财务网银事件（1）主要业务系统的接入；（2）基于接入系统数据，初步建设基础层数据表（3）初步建设客户汇总、建设机构、渠道和产品汇总（4）进行指标层梳理（5）支持报表集市数据平台建设－数据能力演进１集市层汇总层汇总基础层整合层团体协议财务产品渠道资产账户汇总交易统计汇总客户汇总机构汇总产品汇总渠道汇总指标库:规模指标、客户指标、盈利指标、风险指标等核心信贷渠道国业财务网银事件（1）新增系统接入（2）初步进行团体、协议和事件领域的模型整合（3）继续完善汇总建设（4）继续完善指标层（5）支持新增集市以及原有集市优化客户汇总数据平台建设－数据能力演进２集市层汇总层汇总基础层整合层团体协议财务产品渠道资产账户汇总交易统计汇总客户汇总机构汇总产品汇总渠道汇总指标库:规模指标、客户指标、盈利指标、风险指标等核心信贷渠道国业财务网银事件（1）新增系统接入（2）完善并且增强已有主题、新增资产、产品、财务、渠道主题建设；（3）全面完善汇总建设（4）全面完善指标层（5）支持新增集市以及原有集市优化数据平台建设－数据能力演进３Agenda一、数据中心蓝图规划二、技术实现总体设计企业数据模型规划与建设数据平台建设总体设计-原则项目总体原则前瞻性、实用性、稳定性和先进性模块化灵活性安全性开放性易开发性完善的培训和升级服务系统设计原则总体设计-逻辑架构总体设计-数据架构总体设计-技术架构总体设计-物理架构总体设计-运维架构26设备容量规划性能工艺优化日常运维管理服务基线管理运维架构程序优化作业配置优化任务依赖优化实施工艺流程优化数据源来数基线时间数据处理结束时间数据传输结束时间供数基线时间目标系统要求数据时间对外服务时间定期系统运行情况报告系统规划容量规划性能规划系统维护系统配置参数管理正常启停机检查清理过期数据故障干预备份恢复管理定期维护管理报告系统运行情况监控性能监控服务状态监控作业执行情况监控源数据到达情况监控供数情况监控Agenda一、数据中心蓝图规划二、技术实现总体设计企业数据模型规划与建设数据平台建设企业数据模型-总体规划企业数据模型-数据层次规划原则企业数据模型-建设重点（三层）30结构几乎和源系统一致面向整合主题设计提供规范和共享数据面向应用按需定制初级的数据加工明细VS汇总数据集市层汇总数据层基础数据层整合数据层企业数据模型-基础数据层模型基本同源，表增加来源系统，加载日期字段当前全量加短期历史全量的保存策略表名采用“前缀O_三位源系统缩写_源表名”字段名同源，规范采用分段首字母大写其他小写表和字段的中文说明同源即可，严重不清的可适当修改企业数据模型-整合数据层：主题划分企业数据模型－汇总数据层：设计时间维度汇总：日汇总，月季年汇总等基础维度汇总：汇总数据层也分主题，但与基础数据不一致：卡汇总，账户汇总，客户汇总综合指标汇总：机构汇总，渠道汇总，产品汇总，根据需求补充完善。如：中间业务产品收益，渠道交易统计特殊的汇总：如OLAP类分析，由集市层实现企业数据模型－模型客户化方法业务驱动分析讲解：东南融通公司向客户讲解数据模型，银行的业务人员就目前的业务进行详细介绍。定义需求：通过和业务人员进一步的沟通，明确当前的业务需求。差异化分析:根据对目前业务的了解和需求的了解，结合现有的模型进行差异化分析，找出差别所在；了解模型对当前需求的满足度。数据驱动分析讲解：东南融通公司向客户讲解模型，银行的技术人员就目前数据源的数据结构和逻辑关系进行详细介绍。确定范围：确定范围包括数据源的范围、抽样数据的范围。收集资料：收集资料需要收集所涉及到的业务系统介绍、完整的数据字典以及系统的样本数据。系统介绍应包含系统架构、设计思想以及和其它系统的关系等。抽样数据有助于验证重要、复杂的业务规则，分析数据的使用规则。源系统分析：分析收集到的业务系统资料和抽样数据，从而清晰了解业务系统的构造和数据规则。差异化分析：根据对业务系统的了解，结合现有的模型进行差异化分析。客户化实施定义统一的业务术语，通过以上工作，技术人员和业务人员应该就重要的业务术语形成统一的定义。客户化数据模型，根据之前的差异化分析结果，和业务人员、技术人员一起进行模型的客户化工作。模型回顾和完善，和客户的业务人员、技术人员交流和讨论，模型是否易于理解，是否能够实现业务需求，业务规则是否得到体现，是否正确理解了原业务系统的数据，是否有遗漏的数据，实体之间的关系是否正确等。转化成物理模型，根据数据环境、运行环境等进行物理模型的优化设计。企业数据模型－模型客户化实施流程Agenda一、数据中心蓝图规划二、技术实现总体设计企业数据模型规划与建设数据平台建设数据平台设计统一数据交换－架构设计统一数据交换设计－文件存储模块原始层：用来存放直接从源应用下载获取的最原始数据。标准层：用于存放进行了标准化的、且提取出增量的数据，通常是通过基础数据层的标准化视图而下载出来的对外供数的增量数据文件，标准层数据的标准化工作将遵从于银行数据标准。加工层：用于存放除上述以外处理的结果文件，包括数据筛选、数据拆分、数据压缩打包等处理以后的生成文件；位于加工层的数据结构和内容就会有较大的变化了。数据保留周期：3日内原文件保留；4-14日内压缩保留；之后将原始层和标准层数据转换到历史数据存储，加工层删除。数据文件格式：采用ASCII编码的文本文件，采用定界+定长的方式。双文件规范：每个数据文件都将同时带有一个控制文件，控制文件的主要作用是在文件传输结束后告诉接收方数据文件已传完；其次还可以包含数据文件本身的一些信息，如大小、行数、生成日期等，用于使用者验证文件的正确性。统一数据交换－文件处理模块文件处理模块－直抽接入直抽接入设计思想采用ETL工具接口（比如，Dbroad

Datastage），完成所需功能支持多源类型支持作业重做直抽接入直加接出译码数据筛选数据拆分数据打包文件处理模块－直加接出42直加接出设计思想采用ETL工具接口（比如，Dbroad，Datastage），完成所需功能通过开关，确定是否执行具体的数据库加载操作，当作业的加载部分出错时，由运维人员手工修改该开关，设置为不作实际的加载操作，使作业的加载部分之外的处理能够成功。支持多种数据库类型。直抽接入直加接出译码数据筛选数据拆分数据打包文件处理模块－译码43

组件设计原理：出错处理：读取输入参数，参数值非法。解析表定义文件时出错，表定义文件不存在、无读权限、格式错误等

维护设计：表定义文件转码配置文件译码直抽接入直加接出译码数据筛选数据拆分数据打包文件处理模块－数据筛选数据筛选类型：列筛选根据数据消费系统的公共需要，对文件记录中的字段进行列筛选，根据选定剔除无用字段，生成新的批量文件。行筛选根据目标系统的公共要求，对文件记录进行筛选，根据列的计算条件剔除无用记录，生成新的批量文件。数据筛选实现上数据加工流程中的筛选可以考虑使用ETL工具（DATASTAGE）的组件进行筛选，将筛选后的行列传给下一个处理流程，避免落地，提高整体的处理效率单独的筛选需求－单独公用组件根据配置文件中行筛选条件和列筛选条件，将输入标准文件进行范围筛选，并得到处理后的输出标准文件；即在文件上实现类数据库中的一些数据筛选操作，提高时间窗口的处理效率。数据筛选直抽接入直加接出译码数据筛选数据拆分数据打包文件处理模块－数据拆分45从数据文件中的某一标识字段中的部分值，确定要归属到哪一个分行，此时该值有两种情况：该值即为分行代码直接根据该值即可得到归属的分行号将该记录归到该分行对应的文件。该值不为分行代码通过映射关系表获取到归属分行号再行进行分发数据拆分直抽接入直加接出译码数据筛选数据拆分数据打包文件处理模块－数据打包46数据打包设计思想和传输组件一起封装，根据输入的文件列表打包传输。使用场景源系统供数时间窗口比较一致且文件大小相差不大临时性的数据提供（重传、补传）直抽接入直加接出译码数据筛选数据拆分数据打包统一数据交换－文件传输模块采用TCP/IP协议，客户端和服务端建立可靠的，全双工的面向连接的字节流网络链接，传输应用指令和数据。客户端在通过身份认证后，向服务端发送指令和经过压缩和加密的数据，实现文件安全，高效的传输。数据在通信的两端会经过指纹信息的校验，以确保数据的完整性。加密算法使用RSA算法，AES算法，DES算法，RC4算法，MD5算法；压缩算法使用gzip算法。统一数据交换－文件传输模块：组件部署48数据传输客户端查询某个节点上某个数据文件是否存在。将本地数据文件安全，完整，快速的传输到指定的节点。将指定节点上的数据文件安全，完整，快速的下载到本地。数据接收服务端提供安全认证。提供数据传输服务相关管理功能数据整合－架构设计数据整合－模型物理化设计接口设计源是数据库时，从源直抽并直接加载到目标的直接用工具实现，无需接口。源是文本时，采用工具直接加载。文件直传由交换层直接实现，无需接口目标需要文本的，使用目标文本接口标准针对多个目标的一致性应用，无需复杂处理的可以建立统一的数据视图，需要复杂处理的可以编制统一数据发布接口，为多个目标提供统一应用统一对外的XML报文接口标准存储优化设计确定索引策略确定数据存放位置确定存储分配稳定性及屏蔽源系统设计不使用“select*”基础数据层中尽量不删除和修改字段，只是新增字段使用辅表方式数据筛选设计数据整合－数据处理模块：ETL总体设计数据整合－ETL异常处理流程5252错误数据处理异常类型异常小类产生原因处理方法业务异常Reject文件、错误日志没有清洗规则、主键重复等数据质量管理平台统一收集处理基础平台异常操作系统、数据库、网络异常掉电、系统升级通过统一管控平台恢复操作主机资源不够并发数过多作业需要重新配置，或者减少并行度表空间已满磁盘资源不足新增逻辑卷，扩大表空间日志空间已满事务过大调整日志级别、扩大存储空间操作异常程序缺失不明从版本库恢复程序数据整合－ETL组件：标准化53数据标准化通用清洗检核增量比对数据标准化内容：定义标准化；属性标准化；编码标准化；代码标准化数据标准化组件原则：减少落地为了减少数据落地，最好是能在加工作业中，直接将代码字段值映射为所需的代码标准，处理后将数据直接传送给其他的加工处理，设计自定义的组件，完成所需的功能。值映射结果可跟踪代码映射时，会存在映射不上的情况，要按照统一的结构进行登记警告信息，有利于后期数据质量跟踪。通用原则为了使组件能够完成所有的代码映射，本组件需要代码对照表，存放原值与新值对照关系表，通过对照记录完成对照关系，而不是将对照关系固化在程序逻辑中。数据标准化数据整合－ETL组件：格式标准化、通用清洗检核54设计一个通用的组件，实现所需格式检核规则并进行格式标准化处理。处理方案：格式标准化、通用清洗检核数据标准化通用清洗检核增量比对数据整合－ETL组件：通用检核清洗检核示例55规则名称子规则名称规则描述所有字段的长度检核长度控制1、定长记录，长度不为指定的接口长度，直接reject这条记录，程序继续运行；

2、不定长记录，长度超出指定的接口长度，直接reject这条记录，程序继续运行。主键字段检核主键空值1、参数中的allowKeyNull为'True'时,不对主键字段作任何特殊处理2、参数中的allowKeyNull为'False'时,对所有主键作空值判断，为空则reject这条记录，程序继续运行。数值字段检核空格处理定长记录或不定长记录，数据全部为空格或者是出现||的空值情况：

1、schema中若设置为nullable，正常输出null值；

2、schema中没有设置nullable,赋默认值0或default值，登记warning文件。

程序继续运行。整型字段检核长度控制若schema中没有设置固定长度或是最大长度，则默认int32的最大长度是10，而int64最大长度是20。本长度包含符号位。整型字段检核大小控制Int32类型的，只能在[-2147483648，2147483647]区间，Int64类型的，只能在[-9223372036854775808,9223372036854775807]区间。不在上述指定的区间内，若设置了default值，则登记warning并赋为default值；若没有设置default，则reject这条记录，程序继续运行．整型字段检核非数值判断该字段出现非”0123456789”和空格“

”情况，若设置了default值，则登记warning并赋为default值；若没有设置default，则reject这条记录，程序继续运行．

其他数值字段检核非数值判断该字段出现非”0123456789.”和空格“

”情况，若设置了default值，则登记warning并赋为默认值；若没有设置default，则reject这条记录，程序继续运行。其他数值字段检核小数点处理该字段只出现字符".＂，置为0，程序继续运行。其他数值字段检核大小控制定长数据，不等于接口规定的长度；不定长数据，超出接口规定的最大长度(包含整数位超长或小数位超长），这两种情况都视为非法，若设置了default值，则登记warning并赋为default值；若没有设置default，则reject这条记录，程序继续运行。日期字段检核特殊字符处理定长记录或不定长记录，数据全部为空格或者是出现||的空值情况，

1、schema中若设置为nullable，正常输出null值；

2、schema中没有设置nullable,则赋值为'0001-01-01'或default值。

程序继续运行。日期字段检核不满足月日条件数据不满足月日条件且不在上面所列情况的,如月份：不在1-12月之间,日期不在1-31之间，登记warning，赋值为'0001-01-01'或default值，程序继续运行。时间、时间戳的检核

同日期字段的检核，时间的内部固有默认值为'12:00:00'，时间戳的内部默认值为'0001-01-0112:00:00'。数据整合－ETL组件：增量比对56增量比对方法：基于快照法的实现：可配置的不同排序算法适应不同的ETL场景全文件排序比对－文件较大的特殊场景(结息)摘要排序比对－日常文件变化不大场景增量比对数据标准化通用清洗检核增量比对历史数据存储-架构设计历史数据存储-功能设计历史数据存储-设计要点存储方式历史数据存储采用近线存储+离线存储两级存储方式近线存储由共享存储上的大容量SATA硬盘组成，离线存储通过磁带库实现所有数据均以压缩文件方式保存转存周期保留5-10年的历史数据；前1年近线存储；之后离线存储。对于统一数据交换原始层和标准层的数据，只在统一数据交换存储上保留最近14天的，之后会将压缩文件转换到历史数据存储的“近线”存储上对于基础数据层的数据，将只在数据库中保留最近3-6个月的，之后部分重要表的数据会以统一数据交换的标准格式导出成文件，再压缩后转换到历史数据存储的“近线”存储上；为了数据恢复方便，对于记录状态的历史类数据，建议每周将下载一份全量，平时每日下载增量自动归档采用参数化配置，依据该数据的生命周期设置转存参数调度系统根据这个参数，触发通用的数据库采集、文件采集作业统一ETL－架构设计统一ETL－逻辑架构Builder代码生成Scheduler调度平台Monitor监控平台统一ETL－技术架构开发流调度流监控流统一ETL－调度模块事件驱动设计作业封装屏蔽作业类型资源管理支持集群统一ETL－调度模块：核心功能调度驱动方式负载均衡调度控制定时时间到事件驱动文件到达事件驱动数据库就绪事件驱动作业依赖的作业完成事件驱动调度服务器负载均衡ETLServer负载均衡ETLClient负载均衡逻辑通道选择资源管理与分配多批次调度控制节假日调度控制周期调度控制作业并行度控制作业重跑、暂停、启用、禁用作业定义与依赖关系定义统一ETL－调度模块：调度模式65作业调度时机外部事件就绪：比如源系统文件到达，源系统库表就绪。时间到：某个时刻到达。作业完成：需要其依赖的作业完成。作业调度通道一般通道：大部分作业将在一般通道运行。专用通道：指运行某一类作业的通道。比如大作业，运行在专用通道上，可使其不影响一般作业的处理。VIP通道：对于结息，年结这些特殊场景的处理，运用VIP通道，确保这些作业得到最优的资源进行处理。异常处理自动修复类：调度管理器会间隔一定的时间，自动尝试恢复。比如事件到达，但文件还没到（网络存储系统的延迟造成）。人工干预类：则需要运维人员，根据具体的异常类型，进行手工处理，此信息登记到全局异常表，通过管控平台展示。ETLPLUS主要功能演示：系统配置用于ETL作业的运行时支持

ETLPLUS主要功能演示：作业定义1系统配置的可调度的程序单元，它包括执行的程序（比如Shell脚本或datastagejob）及其参数的配置。支持存储过程、各类可执行程序、虚拟作业和DS作业的管理。ETLPLUS主要功能演示：作业定义2-作业流作业流用于管理作业的依赖关系，它是系统调度的最小单元。ETLPLUS主要功能演示：作业定义3-作业流触发作业流触发条件是系统定义的作业流触发接口，通过文件方式触发作业流的运行。ETLPLUS主要功能演示：计划调度计划是通过频度+日历方式定义要激活的作业流ETLPLUS主要功能演示：消息设置设置计划调度运行后的作业流运行状态通知，方便用户监控作业流运行情况。统一ETL－监控模块：资源监控资源监控运行概况监控到数、供数监控作业监控统一ETL－监控模块：故障干预与运维报表73故障干预运维报表ETLPLUS主要功能演示：总体监控提供作业流和作业总体监控、作业流和作业的执行日志。在作业流总体监控中，可执行启动、停止、强制启动和重置状态等作业流干预动作。ETLPLUS主要功能演示：计划监控按计划监控作业流运行状态通知，可执行启动、停止、强制启动和重置状态等作业流干预动作。ETLPLUS主要功能演示：事件监控按事件监控作业流运行状态通知，可执行启动、停止、强制启动和重置状态等作业流干预动作。统一ETL－自动化模块：处理过程需求说明书处理作业引用公共组件库自动化工具组件开发78统一ETL－自动化模块：功能DATASTAGE自动化－定制开发DATASTAGE自动化－批量生成存储过程自动化自动生成配置文件ETLPLUS主要功能演示：映射定义1ETLPLUS主要功能演示：映射定义2ETLPLUS主要功能演示：自动化开发1

存储过程自动化将映射定义生成存储过程脚本，支持Oracle、SQLServer和DB2数据库。ETLPLUS主要功能演示：自动化开发2

DataStage自动化将映射定义生成DataStageJob，生成程序的方式，目前支持：生成XML文件，生成并编译JOB统一ETL－实施工艺促进：自定义组件(示例)积累了丰富的组件库。部分自定义组件通过编写C++程序实现，调用DataStage底层的API函数，然后编译成动态链接库的形式供DataStage调用。充分利用DataStage的并行处理能力和程序的灵活性相结合的特点。统一ETL－实施工艺促进：实施工艺标准(示例)统一数据管控－架构设计统一数据管控－逻辑架构元数据管理源系统源系统源系统源系统ETL数据服务StageFDMADM数据服务数据服务元数据元数据元数据元数据元数据数据平台应用系统计算规则展现控件报表展现元数据元数据元数据业务元数据数据质量管理针对源系统的质量检核ETL过程质量监控模型间的数据质量分析模型间的数据质量分析针对指标加工的数据质量检测控件数据兼容性检测数据质量问题呈现影响分析、血缘分析数据标准管理统一数据管控－元数据管理核心功能87统一数据管控－元数据管理逻辑功能图88统一数据管控－元模型设计元模型是元数据需求、元数据数据源、元数据应用的结合点，是元数据管理系统的核心部分。存储模型参照CWM模型，集中存储、通过XML实现对象、对象关系及对象行为等的定义。元模型主要包括结构元模型、映射元模型、代码管理元模型等。89元模型结构元模型文件结构数据库结构映射元模型脚本信息映射信息代码管理统一数据管控－适配器设计根据源的不同，元数据适配器可以分为以下几类：XML适配器EXCEL适配器数据库结构适配器SQL脚本适配器建模工具适配器可以支持外围系统提供的多种格式的，结构化和非结构化的元信息导入。90XML文件XML适配器EXCEL文件EXCEL适配器SQL脚本SQL适配器数据库结构数据库适配器ERWin文件建模工具适配器元数据知识库91元数据管理模块－示例：结构管理92元数据管理模块－示例：ETL作业属性管理93元数据管理模块－示例：代码管理94元数据管理模块－示例：影响性分析、血缘分析元数据管理模块－示例：版本管理对同一元数据多个历史版本提供比较功能数据质量建设：度量标准96非功能性及时性：指数据刷新、修改和提取等的及时和快速性安全性：主要包括数据在传输、使用过程中的安全性扩展性：该系统数据体系在不满足业务需求时进行扩展的可能性与复杂度功能性完整性：主要包括实体缺失、属性缺失、

记录缺失和字段值缺失四个方面唯一性：指主键唯一和候选键唯一两个方面一致性：指统一数据来源、冗余存储和统一口径的一致性准确性：指计量误差、度量单位等方面的精确度合法性：主要包括格式、类型、值域和业务规则的有效性数据质量建设：问题根源97缺乏明确、一致的数据需求定义数据不正确数据不完整数据不一致缺乏统一的数据规范规范不完整规范不一致缺乏数据质量问题解决的组织和既定的流程缺少合适的组织来解决质量问题缺少制定合适的解决流程数据质量建设：解决框架98成立专门的数据质量管理团队高层管理人员把控，协调不同部门，不同系统间关系。制定数据质量规则不定期发现质量问题及解决建立统一的数据质量规则统一术语规范统一通用代码禁止对数据的直接修改，以新记录方式修改数据。建立并完善数据质量问题处理流程质量问题报告协调相关部门形成数据问题处理建议和方案执行方案，反馈结果质量问题持续跟踪数据质量长期治理在治理的规范，流程支持下，建立数据质量管理平台数据平台应用系统－公共应用平台公共应用平台-逻辑架构101公共应用平台-权限管理为了适应企业人员的变动和岗位的调整，系统将权限与用户、角色挂钩实现了多种控制方式，灵活适应各类企业的实际情况用户级权限角色级权限用户组级权限公共应用平台-报表门户报表管理报表开发报表数据集市BI.OfficeReportServices基本管理参数管理目录管理报表管理报表引用报表分类报表归档报表版本报表收藏报表检索数据发布报表补录日志管理日志分级日志审计信息推送报表订阅报表推送报表生命周期模板管理模板导入模板导出报表制作主题选择模板历史对象选择自定义显示公式定义图表支持筛选排序告警计算校验扩展设置过滤设置转换规则套打水印报表使用分析模板维护数据整合层规则管理任务代理BI.OfficeUnifiedServer公共应用平台-综合查询语义层数据服务窗口数据安全行级权限业务主题业务对象业务结构表间关系关系数据源Teradata/DB2/SQLServer/SybaseIQ/Oracle/Informix/其他表级权限主题权限字段级权限指标权限业务别名指标模型API开放接口数据分发和查询服务引擎服务外部系统API集成API集成SQL解析/优化器元数据服务缓存服务负载均衡会话管理辅助/管理需求管理资源审核管理展现定制批量管理浏览灵活报表图形Excel导出文本导出报表定制图形定制数据集定制可视化查询SQL查询存储过程查询JDBC用户习惯分析公共应用平台-多维展示客户端模块（Browser）MDX取数引擎管理定制连接管理参数定义目录管理日志审计分析浏览元数据管理数据格式交叉报表分析图形成员搜索时间智能导出打印排序过滤分析跳转告警LongtopXMLAAdapterforEssase7OracleEssbase9Others(BW,SSAS)多维探索MicrosoftSSAS多维数据库多维计算层报表制作自定义命名集宏扩展自定义成员成员过滤器告警规则跳转规则维成员权限IBMDB2CubingServiceLongtopXMLAAdapterforSSAS公共应用平台-仪表盘Dashboard内置表格、油量表、柱图、饼图、曲线图、雷达图、地图等多种丰富的数据展示形式，并配以动态画图效果，更加生动形象。公共应用平台-数据补录支持基于零编程、可配置的明细数据补录支持纯HTML补录、Excel导入数据补录支持多表/多库的数据补录支持Excel离线数据批量入库Agenda一、数据中心蓝图规划二、技术实现三、同行借鉴LongtopBI数据线客户案例（1）

中国建设银行总行数据平台(2006-今)数据线整体规划ODSEDW/MIS数据标准管理数据质量管理元数据管理ETL自动化平台调度监控平台SUP实施工艺中国建设银行总行应用项目(2006-09年)BASELII－零售PD-EAD-LGD计量零售分池风险模型实验室平台ECIFOCRMACRMS-MIS集团客户关系管理系统贷记卡管理信息系统（CCMIS）反洗钱联合国黑名单检索系统中国建设银行－吉林分行(2008年)ODSB数据移植中国建设银行－新疆分行(2008年)ODSB数据移植对公/对私客户分析中国建设银行－辽宁省分行(2007-2008年)ODSB数据移植对公CRM，对私CRM，产品管理中国建设银行－厦门分行(2007-2008年)ODSB数据移植对公/对私客户分析、产品管理、绩效考核中国建设银行－山东省分行(2005-2007年)对公客户营销服务支持系统（对公CRM）对私客户营销服务支持系统（对私CRM）绩效考核，产品