数据平台数据治理与建设方案

第一第一数据治理意义、作用和价值•是构建完善、共享、统一管理数据环境的基本保障和重要组成部分•是把数据作为资产来管理的有效手段•确定了一系列岗位角色和相应的责任及管理流程•保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性•企业进行数据治理的最大驱动力来自数据质量，通过提高数据质量实现更多的业务价值•将实现业务目标作为数据管理和服务的核心驱动力，优化数据架构，提升数据仓库/信息化管理系统建设，支持管理能力的提高、精细化和决策的科学性数据平台建设原则一、应用（需求）驱动主导数据平台的实现，加强业务的关注和参与应用是展现数据总线建设效果的门户，因此需要建设业务人员最紧迫和最关注的需求和应用，让业务部门最快参与数据总线的建设当中。二、初期能够快速见效并体现建设价值，不盲目投入实施周期不易过长，规模不易过大，能够快速的见到数据总线带来的效果和价值。三、借鉴同业的成功经验和成果，选择成熟技术架构和解决方案尽量参考同行业、同规模、同类型企业行的建设经验，适当创新。w前期让公司内IT人员尽量更多、更深入的参与到数据总线的建设中，后期角色以管理为主，尽量与合作伙伴共同建设二期以上。配套的管理规范、技术规范、运营体系。数据治理框架数据应用与服务数据服务管理数据需求管理数据服务应用系统建设数据管理保障机制数据战略与规划数据组织与职责数据制度与管理流程数据架构数据平台数据应用报表数据服务数据平台数据应用报表数据服务数据集市大数据平台数据接口数据大数据平台数据接口数据挖掘舱数据切分数据传输数据调度与处理数据传输数据调度与处理管理管理平台数据生命周期管理数据质量检核元数据管理数据应用现状分析-总体情况IT架构中中都是以部门级应用为主（如计财、），大的管理职能（财务、风险、运营等）综合方面的IT架构中中都是以部门级应用为主（如计财、），大的管理职能（财务、风险、运营等）综合方面的数据整合、数据标准和统行领导贷款余额客户信息贷款余额贷款余额客户信息贷款余额客户信息客户信息…..…..…..…..业务人员…….…….X\?567统信贷管理……统统信贷管理……统数据应用现状分析-数据架构方面造成信息孤岛信息孤岛数据冗余共享性差造成信息孤岛信息孤岛数据冗余共享性差历史数据缺失数据分散，难以管理没有一个稳定的，抗源变化的数据层缺少一个稳定的、抗源变化的数据层……主题层报表应用共用报表应用共用集市层集市层没有进行整合无法汇总数据层没有进行整合无法ODS层共享，不能支持如客BDS层户管理等共享性应用源系统源系统综合业务信贷管理国际结算债券核算数据应用现状分析-数据应用难题l缺少统一的基础数据标准核心贷款分户账表各系统存在冗余数据各系统存在业务含义一致，名称定义不一致的属性各系统存在含义不一致，名称定义一致的情况业务代码定义混乱重复投入数据不一致、不准确难以利用和管理各系统数据难以共享贷款主档代码贷款主档代码贷款余额业务含义一致，名称定义不一致五级分类标志计息方式相同业务代码贷款账号贷款余额5贷款账号贷款余额5级分类标志借据计息周期1正常01正常数据应用现状分析-数据应用难题l缺少统一的应用分析标准各集市系统指标存在重复各集市系统在保有存量的同时，不断产生新的指标（增量）集市指标派生无法实现指标逻辑视图（指标分类）不一致重复投入数据不一致指标设计、口径不一致指标难以共享期末余额主营业务收入期末余额主营业务收入负债总额借据号我想看本期贷款借据号我想看本期贷款借据编号期末贷款余额借据编号期末贷款余额总资产我想看客户经营情我想看客户经营情部活期存款指标数据活期存款指标数据数据应用现状分析-数据质量方面有填写或填写错误借据的五级分类信息，导致报表数据不准确，需要手工补录修改有填写或填写错误借据的五级分类信息，导致报表数据不准确，需要手工补录修改↓↓指标难以共享数据不一致、不准确客户号客户简称75682839综合厂97326762客户号客户简称75682839综合厂97326762不同系统相同客户号对应的客户简称不一致源系统校验关系缺失及业务人员操作随意不同系统相同客户号对应的客户简称不一致客户号客户简称75682839粮食局粮油综合97326762乳山市国鑫资产数据应用现状分析-总结l随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越据种类不断丰富完善，数据量的不断增大，如果不采取有效手段解决数据架构、数据标准、数据质量问题，随着信息化建设的深入，这些问题将像雪球一样越滚越大，越积越多。综合报表平台适应综合报表平台适应性升级改造阶段（问题增加为451个）综合报表平台建设阶段（问题339个） 数据平台项目建设目标1、发现数据质量问题，推动数据治理工作的开展，建立数据质量检核系统•对源系统进行数据质量检核，发现数据质量问题并统计影响到的报表•对数据质量问题进行归类总结，分析成因和改进建议•建设数据质量检核系统•建立基础标准和指标标准框架•确定标准化范围，对重要属性进行标准化 3、建立数据仓库模型框架，优化我行数据架构，建设稳定、可扩展的数据仓库•引进业内具有先进水平的金融数据模型，进行客户化改造后，建成符合某行特点的数据仓库模型框架•覆盖某行主要业务系统数据，以便快速高效的为应用系统提供数据•存储历史数据，解决新报表上线才有数的问题。•汇总层建设（共性加工）作业调度作业调度作业调度源数据数据应用非现场报表高管驾驶舱综合业务系统CM2006国际结算系统债券管理系统外汇资金系统报文清算系统…….数据调度与处理作业调度作业调度作业调度源数据数据应用非现场报表高管驾驶舱综合业务系统CM2006国际结算系统债券管理系统外汇资金系统报文清算系统…….数据调度与处理数据仓库报价引擎系统报价引擎系统汇总层集市层…….数据传输元数据管理数据生命周期管理数据管理系统数据质量检查系统数据质量检查系统数据平台部署架构状态线状态线新购置Web应用负载均衡器新购置Web应用负载均衡器新购置Web应用负载均衡器新购置Web应用负载均衡器三层交换机三层交换机三层交换机三层交换机省行数据库服务器l数据加载程序（完善后）l数据传输平台配置库新购置明细报表应用服务器（6台）已有应用服务器（2台）（省行数据库服务器l数据加载程序（完善后）l数据传输平台配置库新购置明细报表应用服务器（6台）已有应用服务器（2台）（07/08）i@reportv4.3BI@i@reportv4.3BI@reportv3.2l客户一部报表应用l中间业务报表应用BI@reportv3.2l新建客户风险报表应用l原有应用节点扩充l数据切分应用（完善后）l元数据管理应用三层交换机省行应用服务器i@reportv4.3l数据传输平台应用 三层交换机新购置数据平台ETL服务器(8台)RedHatEnterpriseLinux5三层交换机省行应用服务器i@reportv4.3l数据传输平台应用 三层交换机新购置调度服务器（1台） Red新购置调度服务器（1台） RedHatEnterpriseLinuxserverrelease5.5 MOIA4.4serverDataStage8.5EE（内置Websphere）l调度平台代理节点省行文件服务器IBMMQ省行文件服务器IBMMQ7.0.1l调度平台主节点心跳--心跳--已有数据库服务器（2（05/188.1.6.106）已有数据库服务器（2（05/188.1.6.106）l数据传输平台配置库新购置数据平台数据库服务器（2台）Oracle11gl数据整合层、汇总层已有ETL服务器（2台）（09/10）已有文件服务器（11/新购置明细报表数据库服务器（2台）Oracle11gl客户风险应用数据库新购置数据传输服务器(2台) RedHatEnterprise已有文件服务器（11/新购置明细报表数据库服务器（2台）Oracle11gl客户风险应用数据库新购置数据传输服务器(2台) RedHatEnterpriseLinuxWeblogic11gIBMMQ7.0.1l数据传输平台应用······Oracle10g网农发行内MOIA4.4agent DataStage8.5EE（内置Websphere）l调度平台代理节点SANFCSwitchSANFCSANFCSwitch目标建设方法-发现数据质量问题分析源系统表数据，从及时性、完整性、准确性、有效性、一致性方面对源系统数据进行数据校验，发现并记录数据质量问题，生成数据分析源系统表数据，从及时性、完整性、准确性、有效性、一致性方面对源系统数据进行数据校验，发现并记录数据质量问题，生成数据目标建设方法-发现数据质量问题源系统分析阶段全面分析主要源业务系统1源系统分析阶段全面分析主要源业务系统122根据制定的检查规则编写程序，对源系统数据进行检查数据质量问题分析阶段分析有质量问题数据对现有应用的影响；提出解决措施3数据质量问题分析阶段分析有质量问题数据对现有应用的影响；提出解决措施3源系统分析阶段 1、工作内容 2、工作依据 3、工作重点•系统内：梳理业务流程、业务逻辑、业务关联、数据 技术角度分析调研源系统表结构，包括主键、外键、唯一性约束源系统表间关系源系统字段长度和类型业务角度分析调研业务角度分析调研源系统表和字段的业务含义源系统业务规则和流程数据质量检查阶段1、工作内容•依据数据检查规则，编写程序，对核心业务系统、信贷管理系统的进行检查22、工作依据•数据质量检查规则的依据调研成果的以下内容进行业务流程、业务逻辑数据逻辑设计报表数据应用 3、工作重点 数据质量分析阶段 2、工作依据 3、工作重点数据质量反馈系统概述建设目标建设目标•对业务数据进行数据质量检核，准确掌握业务系统各种数据质量问题，促进基础业务数据质量的提高建设内容建设内容实现质量检查规则的灵活定制系统按照预定义的数据质量检查规则，对数据的准确性、有效性、关联性、一致性、及时性进行检查，生成并保存的数据质量检查信息。生成不同类型的数据质量检查报表，对不同的数据质量问题进行分析和展示架构和功能系统架构系统架构贴源层整合层汇总层集市层数据质量检核与反馈系统......贴源层整合层汇总层集市层数据质量检核与反馈系统......报告管理检核对象管理删除检查对象检核规则管理新增、删除、修改检查频度管理制定检查周期和时间系统功能功能分类功能名称功能说明修改导入表，修改表和字段的相关属性灵活定制自定义检核规则，实现可视化规则配置和管理检核频度管理年等频度制定检核时间对发现的数据质量问题进行进一步的描述和分析，并划分问题归属业务分类报告管理质量问题报告查询，并可按照部门、系统、问题进行汇总查询管理员、操作员权限设置检核对象配置数据质量检查及反馈系统界面数据质量管理建议管理层面表数据质量问题，管理层面表数据质量问题，来切实解决基层手工修改报表的问题操作层面定位问题，解决问题的管理流程数据纠错IT系统建设层面查规则固化到系统中，形成数据质量台账，为解决数据质量问题和考核提 数据平台项目建设目标 1、发现数据质量问题，推动数据治理工作的开展，建立数据质量检核系统•对源系统进行数据质量检核，发现数据质量问题并统计影响到的报表•对数据质量问题进行归类总结，分析成因和改进建议•建设数据质量检核系统22、分析、梳理业务系统，推动数据标准的建立，统一全行口径•建立基础标准和指标标准框架•确定标准化范围，对重要属性进行标准化 3、建立数据仓库模型框架，优化我行数据架构，建设稳定、可扩展的数据仓库•引进业内具有先进水平的金融数据模型，进行客户化改造后，建成符合某行特点的数据仓库模型框架•覆盖某行主要业务系统数据，以便快速高效的为应用系统提供数据•存储历史数据，解决新报表上线才有数的问题。•汇总层建设（共性加工）数据标准梳理及归纳面，对数据的业务表达、数据格式、数作用 容进行标准化定义，形成全行一 作用目标建设方法-数据标准解决的问题对于数据质量造成的数据准确性、一致性等问题，找出造成这些问题的原因，违背业务和约束的数据不进入标准体系中对于数据质量造成的数据准确性、一致性等问题，找出造成这些问题的原因，违背业务和约束的数据不进入标准体系中例如：不同部门的贷款余额由于取数来源不同而造成差异，通过建立完整的分析数据标准体系后，统一了业务定义和取数口径，有利于全行范围内重复利用，杜绝出现各业务部门多次重复定义类似的指标，并且因为标准的权威性和标准的严格管理，有效防止指标定义和口径的二义性。例如：在标准制定过程当中，对于业务数据之间关联不上的问题，首先要找出关联不上的原因，之后通过和业务人员的有效沟通，制定出以例如：不同部门的贷款余额由于取数来源不同而造成差异，通过建立完整的分析数据标准体系后，统一了业务定义和取数口径，有利于全行范围内重复利用，杜绝出现各业务部门多次重复定义类似的指标，并且因为标准的权威性和标准的严格管理，有效防止指标定义和口径的二义性。且以此贷款余额制定全行标准，从而解决此类问题。目标建设方法-数据标准-建设步骤数据标准一定义数据标准一执行基础数据标准数据源和基础标准数据映射基础数据标准发布执行业务含义、业务规则、业务描述、基础数据标准数据源和基础标准数据映射基础数据标准发布执行业务含义、业务规则、业务描述、数据来源……业务定义、业务规则、业务含义、计算口径……数据源和分析标准数据映射分析数据标准发布执行业务定义、业务规则、业务含义、计算口径……数据源和分析标准数据映射分析数据标准发布执行目标建设方法-数据标准-建设内容 4.执行建议 4.执行建议执行的遵循原则给出具体的执行建议则修正并形成数据标准目标建设方法-数据标准-基础数据标准框架梳理基础数据标准框架梳理……义类则述准据型式题……义类则述准据型式题源系统长度信贷管理xxxx信贷管理存款账户贷款账户分析调研记录统名表名目标建设方法-数据标准-基础数据标准定义及确认技术人员业务人员基础数据标准化方案技术部分业务部分基础数据标准化方案技术部分类义则类义则述准据型式源系统长度目标建设方法-基础标准-制定框架目标建设方法-基础标准-指标标准建设思路（2）参考外部资料，补充完善指标列表（3（2）参考外部资料，补充完善指标列表（3）讨论指标列表，筛选、确定指标（1）梳理、确定指标分类体系（2）梳理、确定指标标准属性，形成指标标准化定义模板（2）标准技术定义：技术部门逐项定义指标标准化属性（3）标准业务确认：业务部门修订、（2）标准技术定义：技术部门逐项定义指标标准化属性（3）标准业务确认：业务部门修订、确认指标标准目标建设方法-基础标准-指标标准筛选方法外部资料：外部资料：l同业相关建设资料l城商行银行l国有银行建设银行l人民银行、银监会监管指标要求筛选原则：l监管部门有强制监管要求的指标l同业用到，与我行业务有关筛选、确认方式：l项目组内部讨论筛选l外部需求调研，进行补充和确认经营管理资料：l行领导讲话l我行各业务部门的业务经营分析报告l我行的各类管理报表筛选原则：l反映我行规模、风险、盈利、业务增长等各方面业务状况的典型指标l口径稳定不易变化的指标目标建设方法-基础标准-指标标准框架制定方法22、设计标准化属性1、梳理、设计指标分类体系设计依据：l设计依据：l人民银行《JRT0105-2014银行数据标准定义规范》设计原则：l可以从业务、技术、管理不同角度对标准进行全面定义l对指标标准必须清晰、明确l满足未来对满足标准进行管理的需要l指标的业务共性的归纳及提炼l参考行内资料l我行业务分类l源业务系统操作手册及业务简介文档l统计集中系统指标分类l参考外部资料l监管部门的管指标及指标分l同业相关资料的指标分类设计原则l分类体系覆盖筛选出的所有业务指标，并能为每个指标确定唯一的分类l易于根据业务和指标变化进行扩展目标建设方法-基础标准-指标数据标准框架技术属性指标编码指标别名指标定义指标大类指标小类技术属性指标编码指标别名指标定义指标大类指标小类指标来源口径明细取数口径指标落地系统数据来源系统数据源表数据格式度量单位取值范围指标生成频度取值精度指标数据标准框架归口业务部门业务负责人技术负责人反馈结果描述指标中文名称指标英文名称指标范围类别计算公式业务规则相关指标标准是否手工录入显示精度归口业务部门业务负责人技术负责人反馈结果描述指标中文名称指标英文名称指标范围类别计算公式业务规则相关指标标准是否手工录入显示精度相关基础类数据标准指标应用-高管驾驶舱从经营概况到具体指标分析从经营概况到具体指标分析主驾驶舱我的指标主驾驶舱利润分析指标总览风险分析利润分析指标总览风险分析规模分析专项分析•从业务角度对一组反映类似业务的指标进行分析专项分析•从业务角度对一组反映类似业务的指标进行分析今日快报•全行7项核心业务指标的展现和分析•最重要3项监管指标进行展现和分析主驾驶舱•选取13个行领导重点关注的指标展示•按分类展现全部指标的本期值及与往期的比较值的列表显示全国地图，可以展示各一级分行重要的经营简报数据我的指标•根据用户对指标的重视程度，实现指标的个性化定制•对某一具体指标进行比较、结构、趋势等方面的分析 数据平台项目建设目标 1、发现数据质量问题，推动数据治理工作的开展，建立数据质量检核系统•对源系统进行数据质量检核，发现数据质量问题并统计影响到的报表•对数据质量问题进行归类总结，分析成因和改进建议•建设数据质量检核系统22、分析、梳理业务系统，推动数据标准的建立，统一全行口径•建立基础标准和指标标准框架•确定标准化范围，对重要属性进行标准化3、建立数据仓库模型框架，优化我行数据架构，建设稳定、可扩展的数据仓库•引进业内具有先进水平的金融数据模型，进行客户化改造后，建成符合某行特点的数据仓库模型框架•覆盖某行主要业务系统数据，以便快速高效的为应用系统提供数据•存储历史数据，解决新报表上线才有数的问题。•汇总层建设（共性加工）数据仓库层次架构逻辑视图（子主题）•逻辑视图（子主题）•逻辑视图是根据实体涉及的业务，将实体划分为不同子集•主题是模型按业务划分的最顶层的分类•根据我行业务实际，划分•实体是一组具有业务相关性的属性组成的集合，是描述和构成业务逻辑、业务流程的基本单位•一个实体可能涉及多类业务•对应具体的业务数据项（字段）数据仓库层次架构当事人主题当事人主题对公客户风险对公客户风险评级机构………………息息息……基本账户注册资本企业规模法人代表基本账户注册资本企业规模法人代表数据仓库模型设计方法•保留与我行业务有关的主题、实体和属性•删除与我行业务无关的主题、实体和属性模型模型•当前业务及数据都支持的实体进行理化••当前业务及数据都支持的实体进行理化•当前业务不支持或数据不支持的不进行物理化•复制：系统间业务含义、名称均不重复的字段•整合：系统间业务含义相同的多个字段•拆分：系统间业务含义不同，名称相同的多个字段逻辑模型设计-主题划分逻辑模型设计-当事人主题当事人是个独立的人或者组人组成的机当事人是个独立的人或者组人组成的机构、团体等，主要分为个人、机构和家庭，他们是和我行有往来或者出于营销、管理等各种需要希望关心和分析的个体或人群。从模型角度考虑，应该包括以下当事人信息：•在我行登记注册开立账户的对公普通客户；•我行担保客户•和我行有业务往来的其他金融机构；•机构的内部组织（如分支机构、部门等•机构的员工（含我行柜员、员工等）；事件当事人资产反馈域财务代码产品当事人地址协议渠道对全行客户进行统一识别与数据整合联系信息风险信息柜员信息外部机构关联信息对全行客户进行统一识别与数据整合联系信息风险信息柜员信息外部机构关联信息评价信息公司信息粮棉油个人信息财务信息集团信息内部机构对公客户对公客户事件当事人资产当事人地址反馈域财务代码产品协议渠道金融合约贷款类事件当事人资产当事人地址反馈域财务代码产品协议渠道金融合约贷款类抵质押合同押品信息协议是指金融机构与当事人之间针对某种特定产品或服务而签立的契约关系，如账户、客户和银行签订的合同等。当金融机构与客户之间针对某种产品或服务的条款和条件达成协议时，一个协议（Agreement）就会被开立，因此协议是客户和银行往来的重要载体，我行模型包括以下协议信息：•我行涉及金额、期限、利率等的具体协议细项的金融账户•我行与当事人之间针对某种特定产品或服务而签立的金融合约•我行在支付结算业务中使用到的各种银行票据：汇票银行与客户之间针对某种特定产品或服务而签立的契约关系，将所有协议和关系，整合和归并贷款帐户银行与客户之间针对某种特定产品或服务而签立的契约关系，将所有协议和关系，整合和归并贷款帐户抵押合同国际结算其他信息存款帐户质押合同银行本票银行承兑汇票贷款合同贷款借据银行汇票客户理财签约事件当事人资产当事人地址反馈域财务代码产品渠道协议事件类代码表逻辑模型设计-代码主题事件当事人资产当事人地址反馈域财务代码产品渠道协议事件类代码表代码：是指将源业务系统所涉及到的所有代码进行整合，在整合层模型中统一存储，依据前端应用需求的需要，将代码主题的整合分为两大类：简单代码表和复杂代码表，•简单代码表指的是只需要关注代码值和代码值业务含义描述；•复杂代码表指的应用需求除关注代码值和代码值业务含义描述外，该代码表的其他属性也有应用需求，同样需要关注，这样的码表将作为普通的数据表对待；•自定义代码，是属于简单码表的一种。对全行业务代码进行统一识别对全行业务代码进行统一识别简单码表复杂码表自定义代码分类模式编码表当事人类代码表公共类代码表分类模式枚举值编码表协议类代码表资产类代码表源和目标代码映射关系表事件类代码表财务类代码表逻辑模型设计-财务主题事件当事人资产当事人地址代码产品反馈域财务协议渠道额信贷总账科目产品对科目产品对总账月余额财务：主要包括银行的总账信息，是描述科财务：主要包括银行的总账信息，是描述科目组织、控制、内部核算等银行核心科目账务以及预算管理有关的内容。该主题抽象地描述了银行内部账务的组织模式，能够适应不同的科目组织体系。我行模型包括以下财务信息：•总账（分户）•总账明细•科目/科目组/科目类：对于科目的层次级别设置和管理•财务预算目组织体系，它侧重于“财务管理”信贷总账科目日明细内部科目余额月明细内部科目余额外汇科目损益余额内外科目对照关系科目与产品对照关系日明细外部科目余额日明细外部科目余额总账科目总账日旬余额总账月余额外汇准备金科目余额逻辑模型设计-事件主题事件：可以记录各种与银行相关的活动的详细情事件：可以记录各种与银行相关的活动的详细情况。既可以与资金相关，也可以与资金无关；既可以有客户参与，也可以没有客户参与；既可以与帐户相关，也可以与帐户无关；可以由客户发起，也可以由银行发起。总之它可以记录的范围非常广泛，包括交易数据，比如存款、提款、付款、收取信用卡年费、计算利息和费用、投诉、查询产品、查询地址、查询余额、网上交易等。我行模型包括以下事件信息：•存款信息、贷款信息；•库存管理、现金管理、账户管理、资产管理；•资金调拨、支付结算、现代化支付；•报文清算、国际业务；•外汇、票据、市场交易、十二级分类、核心账务。事件当事人资产当事人地址反馈域财务代码产品协议渠道库存管理存款事件库存管理存款事件贷款事件贷款事件同业定期存款汇入同业定期存款汇出大额支付事件小额支付事件新棉收购进度采集商品棉贷款信息采集同业定期存款汇入同业定期存款汇出大额支付事件小额支付事件新棉收购进度采集商品棉贷款信息采集粮油库存核查棉花农资库存变动贷款缩期事件贷款展期事件贷款转移事件分段计息事件汇入汇出进度采集信息采集逻辑模型设计-当事人资产主题当事人资产：描述当事人的所有资产，该主题包含两大当事人资产：描述当事人的所有资产，该主题包含两大类的资产，既包含我行自有资产又包含客户所拥有的资产。一个资产可以被多个当事人所拥有，一个当事人可以与多个资产有关。资产可分为实物资产、金融资产与无形资产。客户资产信息的来源很多情况下是在客户申请贷款时所提供的各种担保品信息、抵质押品信息等。我行模型包括以下资产信息：•银行自有资产，具体又细分为：银行自有无形资产、固定资产、经营性租赁资产、其他资产等；•客户自有资产，具体又细分为：客户抵债资产、客户担保资产、金融资产、实物资产、无形资产等。事件当事人资产当事人地址代码产品反馈域财务渠道协议银行自有资产银行自有资产经营性租赁资产银行自有无形资产银行自有固定资产客户担保资产抵质押物押品外部评估信息押品内部评估信息客户抵债资产抵债资产房产抵债资产设备抵债资产地产抵质资产房抵质资产房数据映射和ETL开发数据源分析编写作业，通过数据源分析，制定加载策略，开发JOB调度数据源分析开发规范加载策略映射文件•业务含义相同、名称不同，进行合并•业务含义相同、名称相同，进行合并•业务含义不同，名称相同，进行拆分•赋固定值1开发规范加载策略映射文件•业务含义相同、名称不同，进行合并•业务含义相同、名称相同，进行合并•业务含义不同，名称相同，进行拆分•赋固定值1映射文件源表确定表间关系数据映射和ETL开发l定义源：配置作业源表的表名、表结构等信息l创建映射：根据作业详细设计中表与表之间及字段之间的映射关系，使用相应的组件实现其数据转换逻辑l定义目标：配置作业目标表的表名、表结构、加载方式等信息目标的建设方法-数据仓库模型框架（4）保证模型对未来业务的业务支持的快整合层涵盖我行主要源业务系统的业务信息，提供全面的业务数据，可以为客户、整合层涵盖我行主要源业务系统的业务信息，提供全面的业务数据，可以为客户、风险、绩效等各类分析应形成明确业务含义和数据来源，确保字段业务定义的唯一性，形成全行统一的业务视图业务的变化而频繁调整整合层模型整合层的数整合层的数据全面性整合层提供全行统一的业务视图整合层保留完整的历史数据整合层提供明细的数据整合层保留完整的历史数据整合层提供明细的数据保留了业务系统中最细保留了业务系统中最细粒度的业务数据，保证整合层可以支持明细级的数据查询和分析应用整合层中可以完整保留业务整合层中可以完整保留业务系统的历史数据，保证了对历史类查询分析的支持对公客户统计与分析管理额度信息统计客户分类统计对公客户统计与分析管理额度信息统计客户分类统计•/360360// 贷款存款中间业务利润贡献关联关系联系人/关键人统一客户关联关联关系联系人/关键人统一客户关联信息视图整合层模型对客户营销的支持存款余额贷款余额季度存款交易量对公客户表存款交易明细表存款账户表客户贡献度分类营销策略-客户贡献度分类：•存款余额大于xx万，贷款余额大于xxxx万，并且属存款余额贷款余额季度存款交易量对公客户表存款交易明细表存款账户表客户贡献度分类营销策略-客户贡献度分类：•存款余额大于xx万，贷款余额大于xxxx万，并且属且季度存款交易量大于xxx条的为A客户；•存款余额大于xx万，贷款余额大于xxxx万，并且属且季度存款交易量大于xxx条的为B客户；•存款余额大于xx万，贷款余额大于xxxx万，并且属且季度存款交易量大于xxx条的为C客户；可进行贷款利率上的优惠或存款利率的上浮的方式稳定此利润点。。。。。。同客户信息整合整合层模型对客户营销的支持对公客户表存款账户表对公客户表存款账户表同客户信息整合同客户信息整合账户日均余额贷款金额贷款期限账户睡眠时间现金流量是否异客户忠诚度分类营销策略-客户忠诚度分类：通过客户忠诚度的分类，忠诚度越大、则是我行重点的目标客户，可作为战略重点客户。如果忠诚度不大，则要进行重点客户关系维护，即精准营销汇总层目标与定位作为整合层和集市层的衔接，从业务的视角出发，提炼出对数据仓库具有共性的数据访问需求，抽取出公共指标，形成由维度和指标组成的维度模型，对符合要求的数据进行预汇总和为集市层统一提供规范的、准确的数据。完成整个汇总层的逻辑模型、物理模型的设计并并根据业务性质将业务数据，划分为以下七大类主题分类存放和管理建设阶段和步骤二、逻辑模型二、逻辑模型具体设计业务驱动循环2.1数据源到参考模型的匹配2.2参考模型到数据源的匹配2.3应用驱动模型完善三、开发实现3.1物理模型设计!3.2数据映射!3.3ETL1.1参考模型设计1.2当前用到的属性分析 逻辑模型设计客户需求调研个人、存款、贷款、贷款、信用卡个人、存款、贷款、贷款、信用卡建设重点1.协调业务系统开发商对系统进行讲解，了解具体的业务流程并对开发人员整理出的源业务系统调研提纲中所提出的问题进行解答4.根据源系统数据验证调研结果5.依据调研结果对模型进行属性的补充完善1.源系统调研3.1.源系统调研4.验证果存储策略将汇总层划分为两个存储区域，数据集市应用从历史数据区和快照区获取数据。项目成效-中长期价值支撑全行级的数据应用，数据平台可提供全行级的最支撑全行级的数据应用，数据平台可提供全行级的最细粒度数据，满足未来建设决策支持系统如：客户关系管理、资产负债管理、管理会计、信用风险管理、管理驾驶舱等业务数据模型支撑数据挖掘，支持各业务部门进行客户价值分析、客户行为分析、货款偿还预测分析、客户信用政策分析、业务关联分析等数据挖掘应用进一步扩展了数据范围，容纳了新数据，实现对业务数据的全覆盖，当未来有新的业务需求时，保证了数据架构的稳定性项目建设特点-多方参与，字段级加工 业务调研技术调研业务调研技术调研数据调研标准化分析标准映射数据质量检查分析业务答疑技术讲解技术答疑技术相关标准定义技术相关标准确认源