数据仓库建设方案设计课件

1、某银行数据仓库建设方案设计-6-25数据仓库建设方案设计课件第1页内容提要 建设背景和当前现实状况 系统建设目标 数据分析平台定位 系统架构和功效设计 数据模型设计数据仓库建设方案设计课件第2页 建设背景 自年3月数据下载系统全国推广上线以来，全行各省（区、市）以数据下载系统为依靠开展本省数据分析工作。20全国各省（区、市）数据分析团体应用数据下载系统中提供数据共开展了466项主题分析，并完成大量日常数据提取和统计工作。 在使用数据过程中，因为各源业务系统同一指标统计口径不一致，数据下载系统中各业务系统库表数量庞杂等问题，各省（区、市）数据分析人员在使用数据时，面临着数据提取起源不明确、统计方

2、法不一致等问题。基于以上问题，亟需建立一套统一数据指标库提供给各省（区、市）数据分析团体使用。数据仓库建设方案设计课件第3页 当前现实状况现有客管系统数据不能完全支持数据分析需要：包含数据历史时长不够、数据质量问题、数据缺失问题（基于风险、客户行为、财务管理等数据缺失比较严重）等没有统一分析平台：各支持厂商和总行自主分析团体分析环境比较零乱，没有统一系统分析平台与环境，不能对开发效率、质量、流程等形成统一管理不能有效对分析需求、分析过程进行集中管控、分析结果展现等各期专题分析结果没能发挥其连续业务效益，没有形成有效知识库管理对各省分行数据分析团体支持效率和效果不够对分析结果应用落地步骤还不够顺

3、畅，没有对包含营销系统、客户服务中心、风险管控中心等形成闭环式应用没有一个统一分析数据管控中心，数据安全存在一定风险数据仓库建设方案设计课件第4页内容提要 建设背景和当前现实状况 系统建设目标 数据分析平台定位 系统架构和功效设计 数据模型设计数据仓库建设方案设计课件第5页 系统建设目标 构建面向全行企业级数据仓库平台,统一完善各类经营发展指标数据起源及统计口径 ，形成一套适用全行经营发展指标体系，全方面实现总行、各省分行数据分析团体在统一 平台上进行数据分析与挖掘服务 实现各种第三方分析工具灵活接入与管控，给各业务部门提供自助取数与灵活查询 功效 实现对分析全过程管控，提升分析效率和质量 建

4、立分析平台 Portal门户，实现对分析结果、分析流程、知识库管理与应用 实现对分析结果与灵活查询结果向各类业务应用有效数据推送数据仓库建设方案设计课件第6页 系统建设目标 数据仓库建设方案设计课件第7页内容提要 建设背景和当前现实状况 系统建设目标 数据分析平台定位 系统架构和功效设计 数据模型设计数据仓库建设方案设计课件第8页 数据分析执行过程工作支撑平台数据分析所需分析能力提供平台数据分析生成结果应用与管理平台实现包含灵活查询、专题分析、深度挖掘建模等各种分析模式管控；提供各种第三方分析工具接入与支持数据分析所需业务数据管理平台数据管理平台分析能力提供平台过程支撑平台结果应用平台数据管控

5、平台数据分析平台定位数据分析平台将实现对分析相关数据、能力、过程与结果进行一站式管理与支撑数据仓库建设方案设计课件第9页分析数据管理平台内涵分析数据管理平台内涵 提供分析数据数据分析平台要存放数据分析所需各类数据，并按照不一样分析要求为分析人员提供相关业务数据 降低重复处理数据分析平台须对多个分析主题均需要通用性数据要求进行集中支撑与统一实现，防止分析人员进行重复性数据处理 降低分析门槛在逻辑数据模型基础上，经过按业务方向与分析领域语义层建设，防止业务人员直接经过基础数据层进行数据分析，降低数据分析时数据提取难度，提升数据使用率 保障数据安全数据分析平台在为不一样业务部门与机构提供数据分析服务

6、同时，必须确保数据安全，如隐私数据加密、数据权限管理等数据仓库建设方案设计课件第10页数据分析平台将提供强大数据处理与分析能力分析能力提供平台内涵基础分析数据挖掘灵敏分析内涵要求实现技术支持不一样用户同时访问分析平台，并使用SQL脚本处理数据与灵活查询并发查询能力快速计算能力Ad-hoc 灵活查询Ad-hoc 灵活查询提供数据挖掘与建模能力，帮助业务部门进行复杂模型构建与分析内置或支持第三方主流数据分析与挖掘软件TWM/R/SPSS/SAS.支持灵活快速自定义分析，以实现对多样化分析主题与内容支持基础数据完备引入外部数据分析角度灵活Data MartData LabOLAP数据仓库建设方案设计

7、课件第11页Data Lab 是一项灵敏分析技术，能够让用户导入外部数据，进行灵活组合分析Data Lab与灵敏分析Enterprise Data WarehouseExternal DataData LabsRead only for Data Lab usersRead, writeSASdatacsvdataProductionMaster DataReference DataTransaction DataData Lab 内涵Data Lab 价值为不一样用户设定一定Data Lab空间与计算能力支持不一样类型与起源外部数据导入，实现外部数据与分析平台数据组合分析经过Data lab

8、，能够极大提升分析人员自主性与灵活性，实现各省分行分析团体都能在同一平台上进行灵活分析应用数据仓库建设方案设计课件第12页数据分析平台将为数据分析执行过程提供支撑，经过对数据分析项目式管理支撑，能够提升工作效率，促进能力复用分析过程支撑平台内涵内涵功效要求对数据分析需求进行管理，为需求提供方与支撑方提供需求整理、评定等过程支持需求提出需求分析思绪设计方案评审对数据分析执行过程进行监控，包含完成情况，人员投入、时间周期等各类中间过程与结果保留、共享等对数据分析产出物进行管理，包含分析汇报、汇报评审、营销应用方案以及反馈等内容数据分析汇报结果评审反馈中间结果管理项目计划管理完成情况监控分析人员投入

9、数据仓库建设方案设计课件第13页数据分析平台将实现对数据分析工作结果进行管理分析结果管理平台内涵结果固化业务应用知识管理内涵表现形式将得到验证并需要重复进行分析结果，以前端应用形式固化在分析平台中前端可视化应用模型报表.将分析结果以各种方式在企业实际业务过程中进行应用，提升数据分析工作给企业带来价值以数据接口形式将客户信息与营销提议推送至生产系统或营销系统中将挖掘出来客户属性与偏好进行管理与展示将数据分析中产生知识与技能在企业内部进行广泛分享，提升知识复用性知识获取知识编辑知识分享数据仓库建设方案设计课件第14页数据分析平台将实现对有价值分析结果，以前端应用形式固化下来分析结果固化固化范围固化

10、方式按照不一样业务目标与应用场景，选择适当固化方式与展现形式只有需重复进行，且经过验证过有价值分析结果，才需要进行IT固化常规重复性分析需求经过验证有业务价值结果业务部门有强烈使用需求数据报表模型接口以数据属性形式固化客户偏好与知识以分析报表形式固化惯用分析内容以挖掘模型形式固化复杂分析并定时执行以数据接口形式固化信息推送过程，或者经过第三方分析工具实现灵活查询分析数据仓库建设方案设计课件第15页数据分析结果在实际业务应用中主要包含三种类型：即面向营销、面向客户服务、面向风险管控业务应用支持 营销信息推送关键信息提醒内涵表现形式将数据分析结果中营销机会推送至生产一线系统或营销管理系统中，让一线

11、执行营销活动与一线生产系统或营销管理系统数据接口推送内容包含客户名单推荐产品管理提议营销方案将数据分析结果中关键信息以邮件、短信等方式推送到企业关键人手中，提醒其制订决议，执行有针对性管理策略在数据分析平台设定提醒规则，并经过短信或邮件方式进行提醒推送形式包含短信邮件数据仓库建设方案设计课件第16页在数据分析平台将建立一个获取、整合、分享相关知识系统流程与环境，提升数据分析相关人员分析能力知识管理 数据分析知识范围业务知识分析技能业务应用成功案例对详细业务背景知识与分析思绪总结对数据处理技能基础统计分析能力数据挖掘与建模能力分析结果应用建立营销方案设计经验营销效果评定结果案例库建设相关文档管理

12、 知识管理功效要求具备各类数据分析知识上传与保留功效，并建立配套机制对上传行为进行勉励按照业务主题与知识类型对相关知识进行整合，建立目录管理建立数据分析分享论坛，勉励数据分析人员之间知识共享与传输知识获取知识整合知识分享数据仓库建设方案设计课件第17页内容提要 建设背景和当前现实状况 系统建设目标 数据分析平台定位 系统架构和功效设计 数据模型设计数据仓库建设方案设计课件第18页 系统逻辑架构 数据仓库建设方案设计课件第19页 功效框架 数据仓库建设方案设计课件第20页技术架构数据仓库建设方案设计课件第21页 数据架构数据仓库建设方案设计课件第22页 数据架构-ODS ODS在业务系统和数据仓

13、库之间形成一个隔离层，转移一部分业务系统细节 查询功效，完成数据仓库中不能完成一些细粒度查询ODS源数据层数据内容和数据结构与源系统一致存放短期历史数据，支持历史数据查询支持增加数据和全量数据提供服务集中存放全部源系统数据，隔离对源系统依赖满足目标系统对高时效性和真实性数据需求ODS标准化数据层数据结构与源系统一致对源系统数据进行统一标准化处理，包含数据定义和统计口径一致性，防止各应用数据加工结构不一致存放短期历史数据支持增量数据提供服务数据仓库建设方案设计课件第23页 数据架构-数据仓库数据仓库建设方案设计课件第24页数据架构-数据仓库数据仓库基础层前端应用服务应尽可能防止直接访问基础层数据

14、保留时点全量和中长久历史数据数据含有全方面性、整合性和高可用性 主要以现有客管系统数据为基础，并按照NCRFS-LDM模型进行数据整合数据仓库语义层 建立多层次数据访问服务体系，以满足不一样类型应用需要。可分为中间层与应用 层，中间层包含预处理层、汇总层与指标层 汇总层普通实现各时间段或时间点各层级机构所辖范 围内卡片、账户、客户、渠 道、产品、客户经理、凭证等各类汇总级别整合 预处理层按账户、卡、协议等业务实体计算出月度、 季度或年度轻度汇总数据 指标层建立对账户、交易、资产余额等信息多维分析数据集 ，从而建立 起能满 足全行业务发展、经营管理、战略决议、信息披露、外部监管与审计等各类行内外

15、 需求全行统一指标库,而且全行各类报表都应以本指标库为基础生成，以确保报表 数据唯一性、权威性，并确保不一样报表之间勾稽关系一致性。 应用层针对不一样业务领域或组织机构，建立逻辑或物理数据集市，在确保数据安 全同时，促进数据使用 数据仓库建设方案设计课件第25页数据架构-数据集市 数据集市固定集市提供各类查询服务提供OLAP多维分析服务提供数据挖掘服务提供数据试验室服务提供各类报表查询服务动态集市报表集市动态集市数据仓库建设方案设计课件第26页数据架构-历史库按照不一样归档周期和频率等参数设置，将ODS和数据仓库中数据自动、及时归档为在线历史数据按照在线历史数据归档周期和频率等参数设置，自动、

16、及时将部分在线历史数据归档到离线库，存放在低端存放设备上。而且在需要时可做数据恢复，将磁带库数据暂时恢复为在线历史数据中进行查询。在线历史库离线库数据仓库建设方案设计课件第27页数据分析平台访问结构基础整合数据数据库语义层指定数据集数据集市指定数据集定时汇报BI 工具数据结构Ad Hoc视图/虚拟Cube指定数据集分析汇报Ad Hoc数据挖掘BI分析工具基础视图访问控制共享区访问控制应用区分析数据集应用视图/Cube安全视图应用视图/Cube数据仓库建设方案设计课件第28页内容提要 建设背景和当前现实状况 系统建设目标 数据分析平台定位 系统架构和功效设计 数据模型设计数据仓库建设方案设计课件

17、第29页数据模型设计设计思绪 以Teradata成熟模型产品NCR FS-LDM为蓝本，充分考虑到源业务系统各类 信息和资料实际情况和当前现实状况，驱动模型客户化驱动模型客户化主要原因 在模型中统计一些模型产品中不包含信息，需要对原模型产品进行扩展 模型产品中一些信息无法从源系统获取或对一些信息对本系统没有用处 一些业务规则与模型产品假设规则可能存在差异客户化主要工作内容 在模型产品现有结构上新增实体和属性 删除模型一些结构 对现有结构进行修改数据仓库建设方案设计课件第30页数据模型设计FS-LDM模型产品客户化优点 FS-LDM模型总结了全球二百多家金融机构实施经验，集成了国际商业银行科学、

18、 先进管理经验，能够帮助贵行加紧与国际商业银行接轨 FS-LDM含有很大可扩展性和灵活性 描述了各类业务以及这些业务之间关系，经过定义实体、实体属性以及实体之间 关系来描述详细银行业务逻辑 是满足第三范式（3NF）数据模型 FS-LDM对数据仓库物理模型（PDM）设计含有指导作用，起点高，能够最大程 度缩短开发周期、从而降低风险、节约投资客户化注意事项 考虑模型产品是否适合本系统 客户化部分能否处理现有源业务系统数据存放问题 客户化部分要有预见性（如数据扩展、历史变更） 必须保持客户化部分与模型产品原有设计规范、设计格调等一致性数据仓库建设方案设计课件第31页逻辑视图(第三层)294多个逻辑视

19、图细节(第三层)2117 实体8865 属性主题区域(第一层)10 主题区域概念(第二层)50 多个实体单独分离ERwin文件FS-LDM不一样层级数据模型设计数据仓库建设方案设计课件第32页 数据模型设计 NCR金融业逻辑模型FS-LDM(第一层：主题区域)财务 资产当事人区域地理区域，物理或电子地址个人或机构事件一个资金或非资金活动，可能需要也可能不需要银行与客户直接接触内部组织金融机构分支机构及业务单元协议客户和金融机构之间为某种产品或金融服务而设置某种约定产品任何市场化产品或服务，包含这些产品条款或条件营销活动为了获取、挽留客户或提升用户使用率而采取战略、计划或促销活动渠道银行同客户交

20、互或接触各类渠道银行内部财务情况当事人拥有资产数据仓库建设方案设计课件第33页 数据模型设计 NCR金融业逻辑模型FS-LDM(第二层，概念)数据仓库建设方案设计课件第34页 数据模型设计 NCR金融业逻辑模型FS-LDM(第三层：细节，以当事人主题为例)数据仓库建设方案设计课件第35页 数据模型设计 NCR金融业逻辑模型FS-LDM(第三层：细节，以内部机构主题为例)数据仓库建设方案设计课件第36页数据模型设计模型设计步骤物理模型设计逻辑模型设计构建概念模型系统需求分析项当前期准备数据仓库建设方案设计课件第37页数据模型设计模型设计步骤-项当前期准备 组建项目团体和人员分工 搜集各方资料，制

21、订资料搜集模板，如源系统介绍模板、源系统数据字典模板 （最少包含系统数据结构）、源系统样本数听说明书模板、业务需求分析模板等 确定数据源范围 确定数据模型设计工具和模型设计规范 项目组数据模型产品FS-LDM培训 调研各相关源系统（包含系统架构、设计思想、系统定位、主要业务功效 和业务流程、关键数据表以及表关系、与其它系统关系等） 建立源系统问题跟踪机制数据仓库建设方案设计课件第38页数据模型设计模型设计步骤-系统需求分析 经过对IT应用规划解读，同时结合数据分析平台建设目标，确认数据模型设计重点 经过对源系统概要调查深入确认源系统范围 经过业务访谈等方式进行前端应用业务数据分析和功效分析，业

22、务数据分析包含包括指 标、查询条件、分析维度 、统计口径、计算公式、处理周期等；功效分析包含功 能模块 目标和用途、主要业务流程调研、报表格式、展现格式等 整理源系统数据结构，归纳整理代码表，产生数据字典表 分析源系统样本数据填写规则查询、验证业务规则及数据表关联、 对数据质量进行检验 ，产生数据质量检验表 基于对源系统数据结构和样本数据分析，对源系统表进行取舍，产生数据表级分类表 基于对源系统数据结构和样本数据分析，对筛选后源系统表字段进行深入取舍， 确定处理策略，产生数据字段级分类表 在系统需求调研基础上进行系统数据满足度分析，依据数据满足度中数据缺口，确认 或变更对应业务需求说明书内容。 在系统需求调研基础上，确定加工规则，经过映射分析方法，确定目标数据和源数据 对应关系，判断数据对应用支持程度：完全满足/部分满足/没有数据，产生源-目标映 射文档数据仓库建设方案设计课件第39页数据模型设计模型设计步骤-构建概念模型 依据项当前期准备工作和系统需求分析结果，并依据数据模型产