数据仓库实践系列课程(3)-BI数据架构

1、数据仓库实践系列课程（3） BI数据(shj)架构文思(wn s)海辉共四十三页总体(zngt)数据架构ESB数据采集和交换平台集成型数据区历史数据访问应用数据挖掘工具监管报送平台即席查询工具数据集成平台新核心系统老核心系统客户系统外围系统渠道系统外部系统(外联平台)操作型数据区分析型数据区应用服务区应用服务器报表工具WEB服务器历史数据区统一报表平台管理会计系统流动性风险系统市场风险系统历史数据平台数据挖掘平台大数据平台数据交换区实时事件处理平台贴源模型层（ODS）主题模型层（EDW）应用集市层数据缓冲层共性加工层 (GDM)国家审计署平台非现场审计共四十三页课程(kchng)大纲引言BI环

2、境(hunjng)中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A共四十三页课程(kchng)大纲引言BI环境中的数据层次各层次设计重点(zhngdin)BI用户与各层次数据使用课程总结Q&A共四十三页银行有多少数据(shj)？-范围出生日期婚姻状况投资(tu z)组合联系电话咨询/投诉存取款信用评级供养人口称谓姓名是否进入黑名单还款/迟缴职业收入学历关联客户科目消费账户余额房产理财产品促销活动联系地址证件信息偏好渠道开户机构内部机构产品渠 道交 易资源/资产营销/策略性别财 务汽车其他投资交易渠道网银转账积分明细兑换历史管理机构客户经理房贷存款信用卡贷款还款情况总帐协议/账户

3、客 户共四十三页银行有多少数据(shj)？-数量系统表个数字段数AI108888B2I21285CAS1081994CCIF102859CIF91500CIFSC49398CMP1172419CMS2442442CMS383420388DTS901201GTS1762498IB2604171IFAR2925707PDS1902344储蓄式国债47467贷记卡外挂623528记账式国债681221开放式基金39655总计309649965特点：数量多分布广内容庞杂挑战：这么多的数据(shj)怎么管？重点是什么？数据应该怎么分类？每类的定义和特点是什么？跨系统同类数据是否遵循同样的标准？共四十三页

4、实施(shsh)分类管理贷记卡系统(xtng)卡片信息授信信息利率信息额度信息储蓄系统客户信息机构信息账户信息利率信息贷款核销产品信息信贷系统客户信息机构信息授信信息账户信息利率信息贷款展期贷款核销产品信息客户信息机构信息额度信息积分信息账户信息产品信息银保通客户信息机构信息账户信息利率信息保单信息产品信息网上银行客户信息账户信息转账信息支付信息产品信息机构信息数据模型7将各系统、各部门分散、重复的业务概念进行统筹、整合。从企业级视角进行结构化、规范化的设计，统一数据定义，明晰数据之间的关系。数据主题客户账户交易机构渠道资产财务共四十三页数据模型设计(shj)示例以“客户(k h)”为例不同的

5、数据模型设计没有绝对的对错，合适的就是最好的。共四十三页课程(kchng)大纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程(kchng)总结Q&ABI数据架构各层次数据模型的定位与特点各层次数据模型示例共四十三页一个相对完整的BI数据(shj)架构应用集市层面向(min xin)应用按需定制共性加工层初级的数据加工依赖对应用的提炼技术缓冲层ETL专用的纯技术层完全与源系统结构一致近源模型层基本依照源系统建模尽量保持业务数据原貌整合模型层面向整合主题设计提供规范和共享共四十三页技术(jsh)缓冲层定位服务于数据(shj)加载和转换的需要，不对外提供数据(shj)服务特点数据

6、原样加载，与源系统结构一致有增量，有全量可能需要保留数天历史(重加/查数)共四十三页技术(jsh)缓冲层示例表外帐户(zhn h)贷款户明细共四十三页近源模型(mxng)层定位尽量保持源系统数据原貌，提供基于业务数据原貌的访问特点简单处理不考虑整合保留较短期历史(lsh)（重点考虑保留策略）共四十三页近源模型(mxng)层示例开始(kish)日期结束日期。共四十三页整合(zhn h)模型层定位长期的，细节的，整合的数据存储，为各类业务需求提供支持特点(tdin)面向主题，数据整合提供规范和共享中性设计，偏范式化，灵活可扩展细节信息，保留长期历史共四十三页整合(zhn h)模型层示例产品/服务事

7、件协议渠道客户资产财务/风险地区/地址市场营销内部机构共四十三页共性(gngxng)加工层定位提供相对中性，具有业务意义的初级加工数据，支持上层应用的数据加工，或供业务人员的访问特点全局考虑(kol)，提炼需求共性多层次设计，多种数据粒度侧重业务理解，蕴含丰富的业务规则共四十三页共性(gngxng)加工层示例：汇总加工(ji gng)出常用的变量，方便数据处理与查询遵循业务常用原则共四十三页共性加工层示例：统计(tngj)信息蕴含一定(ydng)业务规则的复杂加工共四十三页应用(yngyng)集市层定位提供(tgng)特定应用支持特点面向应用形式各异，各自独立按需定制，满足特定业务的需求共四十

8、三页报表(bobio)模型示例：常见表样共四十三页多维模型(mxng)示例：卡交易量分析事实(shsh)表共四十三页数据挖掘示例(shl)复杂加工(ji gng)的变量共四十三页目标以数据下载的结构为准，一般与源系统结构相同数据可能是增量，也可能是全量用于技术加工短期的，细节的反应业务原貌的数据存储直接提供基于源系统结构的简单原貌访问为BI环境中适合的业务需求提供支持长期的，细节的，整合的数据存储为BI环境中适合的各类业务需求提供支持相对中性，具业务意义的初加工数据，但不面向特定应用作为上层应用数据加工的基础，或供业务人员直接访问服务特定应用原则简单处理关注源系统结构的变化简单处理，不考虑整合

9、关注保留策略面向全局，数据整合中性设计，灵活扩展提供规范和共享提炼应用需求共性多种数据粒度易于理解和使用面向具体应用按需设计形式源系统模型近源系统模型设计根据支持应用情况可以保留短期历史面向主题设计偏范式化长期保留历史初步数据加工分层设计形式各异，依具体应用不同 技术(jsh)缓冲层 近源模型(mxng)层 整合模型层共性加工层应用集市层各数据层次的定位共四十三页课程(kchng)大纲引言BI环境中的数据(shj)层次各层次设计重点BI用户与各层次数据使用课程总结Q&A整合模型层共性加工层应用集市层共四十三页重点关注(gunzh)的层次近源模型层 基本依照源系统建模 尽量保持(boch)业务数

10、据原貌整合模型层 面向整合 主题设计 提供规范和共享应用集市层 面向应用 按需定制共性加工层 初级的数据加工 依赖对应用的提炼技术缓冲层 ETL专用的纯技术层 完全与源系统结构一致共四十三页各层设计(shj)重点整合模型层主题定义框架设计整合策略实施方法共性加工层应用筛选应用提炼应用集市层整体性一致性共四十三页整合模型(mxng)层设计主题定义产品客户化自行设计项目(xingm)目标是什么？可参考主题都有哪些？该主题在当前环境下是否适用？是否需要其他修改？目标达成！项目目标是什么？总是有这些共通的主题：客户、协议(账户)、产品、事件(交易)其他业务信息的归纳使用业务熟悉的主题词汇目标达成！共四

11、十三页整合(zhn h)模型层设计框架设计主实体名称含义分类分类依据子类名称子类含义关系主实体间关系其他重要关系框架设计体现了模型设计原则(yunz)框架决定了模型的整体结构主实体及其关系主实体分类关键实体及重要关系共四十三页 整合(zhn h)后的对象标识选择已有标识还是新建？整合前信息是否(sh fu)保留？ 选择单一信息源(系统)？还是多个源？是否整合依赖业务现状，需要确定影响性？整合模型层设计整合策略是否整合同一业务对象有多种实例确定信息源源保留策略整合标识选择确定业务对象整合策略共四十三页共性加工(ji gng)层设计设计目标技术层面避免相同汇总数据的重复计算和存储，减少系统开销实现

12、共享，降低应用(yngyng)开发和数据查询的复杂度避免数据加工口径的不一致业务层面实现对常用统计口径的统一定义和维护便于业务人员理解，直接进行数据分析共四十三页共性(gngxng)加工层设计设计理念中间层是因为需求而产生的，所以一定要基于需求，可以借鉴行业经验，但是每个行的应用建设过程有所不同，所以本行的需求才是根本需求驱动中间层是提炼不同应用公共指标，提炼的程度太高会失去汇总层的意义，个性化程度太高会导致与应用层无区别，所以模型设计人员的经验很重要提炼共性在中间层再分明细层和汇总层，明细层是协议主题的扩展，是协议的业务呈现。汇总层是除协议外的其他主题业务呈现架构分明中间层的建设是一个循环往

13、复的过程，不可能一步到位。随着应用的增加和对应用理解的深入，中间层会不断的丰富和发展，提升其业务价值迭代开发共四十三页共性加工(ji gng)层数据处理方法33预计(yj)算预连接预聚类将分散在基础层数据中的很多实体根据应用的要求进行预先连接，这种预连接可以有不同的实现方式，比如可以采用物理表、视图，更多的是采用视图的方式。将在基础层数据中以及应用集市中难于计算，通常是规则比较复杂，或者计算一次所需的时间比较长的数据预先计算出来，比如日均、重定价日等，但粒度不变，仍为最细的账户粒度，因需要运行的时间也比较长，建议采用物理表的方式。以维度建模方式对基础数据进行汇总和聚合，不再是最细粒度了；采用物

14、理表与视图结合的方式，对于预聚合粒度比较粗的，数据量上会减少很多，所以适当的多采用物理表的方式，以节约系统资源，提高查询效率，对于预聚类粒度还是很细的，数据量减少不多，建议采用视图方式，如汇总层的客户汇总表。预连接预计算预聚类共四十三页 Account & Card level summary 卡账户平均余额汇总 average balance 卡账户迟缴历史 Delinquent 卡账户重要交易汇总 important events 最近(zujn)三个月卡重要交易汇总 events in recent 3 months 最近六个月卡重要交易汇总 events in recent 6 mon

15、ths 账户利润组成汇总 profit components 卡账户利润汇总 profit 卡账户准备金计提记录 risk reservation amount Customer level summary 客户平均余额汇总(huzng) average balance 客户持卡信息汇总 Card holds by customer 客户迟缴历史 Delinquent 客户交易汇总 events 客户重要交易汇总 important events 客户利润汇总 profit Organization level summary 机构平均余额汇总 average balance 机构发卡汇总 C

16、ard issued by org 机构交易汇总 Issuer events IST事件汇总 IST events 机构利润汇总 profit共性加工层设计示例（信用卡）共四十三页建模时将产品层与机构层用一张汇总表来实现。共性加工(ji gng)层设计示例（逐层汇总）共四十三页应用集市层设计(shj)按需定制面向应用的模型(mxng)设计尽可能使用共性加工层模型实体整体性一致性 加工规则应尽量和已有规则保持一致业务驱动，按需定制共四十三页课程(kchng)大纲引言BI环境中的数据层次(cngc)各层次设计重点BI用户与各层次数据使用课程总结Q&A共四十三页各数据(shj)层次的定位目标以数据下

17、载的结构为准，一般与源系统结构相同数据可能是增量，也可能是全量用于技术加工短期的，细节的反应业务原貌的数据存储直接提供基于源系统结构的简单原貌访问为BI环境中适合的业务需求提供支持长期的，细节的，整合的数据存储为BI环境中适合的各类业务需求提供支持相对中性，具业务意义的初加工数据，但不面向特定应用作为上层应用数据加工的基础，或供业务人员直接访问服务特定应用原则简单处理关注源系统结构的变化简单处理，不考虑整合关注保留策略面向全局，数据整合中性设计，灵活扩展提供规范和共享提炼应用需求共性多种数据粒度易于理解和使用面向具体应用按需设计形式源系统模型近源系统模型设计根据支持应用情况可以保留短期历史面向

18、主题设计偏范式化长期保留历史初步数据加工分层设计形式各异，依具体应用不同重点理解源结构理解源结构主题定义框架设计整合策略实施方法应用筛选应用提炼整体性一致性用途不对外提供数据服务业务原貌查询即时报表数据质量检查灵活查询整合规则检查常规报表灵活查询业务规则检查特定应用 技术(jsh)缓冲层 近源模型层 整合模型层共性加工层应用集市层共四十三页不同类型项目的数据层次(cngc)建议ODS视加工过程是否需要而定，非必须，但一般会有同源设计，基本不做处理必须，是ODS核心模型层简单处理视项目具体需求而定，非必须建设层次只针对必须整合且比较基础的部分才考虑建设此层视项目具体需求而定，非必须建设层次视项目具体需求而定，分仓内仓外两种建设策略EDW视加工过程是否需要而定，非必须，但一般会有同源设计，基本不做处理视项目具体需求而定，非必须建设层次必须，是EDW核心模型层整合设计建议保留兼顾业务需求和数据处理性能双