智慧金融大数据平台建设方案

数ilil据1g—1源^rr数据平台

基

础

汇总

层

数

内部数据贴源层整合层据

平

台

数据结构化转换

大

大数据分析计算数

据

平

分布式数据库台

分码文件系统

数据调度与处理数据传输教据

管理

数据生命周期管理

平台

数据质量检核

元数据管理

智慧金融大数据平台

建

设

方

案

目录

第I章前言........................................................................0

第2章金融大数据现状分析.........................................................1

2.1、基本现状.................................................................1

2.2、总体现状.................................................................1

2.2.1x行领导.................................................................1

222、业务人员...............................................................1

2.3、数据架构方面.............................................................1

2.3.1、业务表现...............................................................2

232、问题...................................................................2

2.4、数据应用难题.............................................................3

241、缺少统一的应用分析标准................................................3

2.4.1.1,业务表现.............................................................3

2.412、问题.................................................................3

242、缺少统一的基础数据标准................................................4

242.1、业务表现.............................................................4

242.2、问题.................................................................4

243、缺少反馈机制...........................................................5

24.3.1、业务表现.............................................................5

24.3.2、问题.................................................................6

2.5、数据应用现状总结.........................................................6

第3章金融大数据治理阶段目标.....................................................0

3.1、数据平台逻辑架构.........................................................1

3.2、数据平台部署架构.........................................................1

3.3、建设目标.................................................................2

3.3.1.建设大数据基础设施，完善全行数据体系架构............................2

332、开发大数据资源，支撑全行经营管理创新................................2

333、培养大数据人才队伍，建立大数据分析能力...............................2

3.4、数据治理目标.............................................................3

3.4.1、发现数据质量问题，推动大数据治理工作的开展，建立数据质量检核系统……3

3.4.2、分析、梳理业务系统，推动数据标准的建立，统一全行口径................3

343、建立数据仓库模型框架，优化我行数据架构，建设稳定、可扩展的数据仓库….3

3.5、目标建设方法.............................................................4

351、建设内容...............................................................4

352、工作阶段..............................................................4

,源系统分析阶段....................................................4

.1,工作内容.......................................................4

3.521.2、工作依据.......................................................4

.3.工作重点.......................................................5

3.522、数据质量问题检查阶段..............................................5

.1,工作内容.......................................................5

35222、工作依据.......................................................5

352.2.3、工作重点.......................................................5

3.523、数据质量问题分析阶段..............................................6

.1,工作内容.......................................................6

3.523.2、工作依据.......................................................6

352.3.3、工作重点.......................................................6

3.6、预期建设效益............................................................6

3.6.1、实现数据共享...........................................................6

3.6.2、加强业务合作...........................................................7

363、促进业务创新..........................................................7

364、提升建设效率..........................................................7

365、改善数据质量...........................................................7

第4章金融大数据建设总体规划.....................................................0

4.1、功能需求.................................................................0

4.1.1、个人和企业画像........................................................0

4.1.2、实现精准营销...........................................................2

4.1.3、为金融业提供风险管控..................................................3

4.1.4、运营优化...............................................................4

4.2、金融大数据应用架构远景...................................................4

421、金融需要从“坐商"转型为“行商”.....................................5

422、客户下沉...............................................................5

423、与“互联网金融”进行差异化竞争........................................5

4.3、金融大数据平台应用架构...................................................6

4.4、金融大数据平台架构.......................................................7

4.5、金融大数据支撑平台.......................................................7

451、大数据虚拟化平台......................................................7

,设计原则..........................................................8

,虚拟化平台设计...................................................10

,硬件基础设施层...................................................10

,虚拟化存储.......................................................11

,虚拟化计算.......................................................11

451.6、平台管理.........................................................12

,数据存储系统设计.................................................12

s高性能SAN存储系统...............................................13

,存储方案优势.....................................................15

452、大数据分析管理平台...................................................16

4.6、大数据分析处理平台.....................................................16

4.6.1、分布式内存分析引擎...................................................17

462、数据挖掘引擎.........................................................17

4.6.3、分布式实时在线数据处理引擎...........................................17

464、流处理引擎............................................................18

4.6.5、大数据分析支撑系统....................................................18

466、大数据分析节点群.....................................................24

467、软硬件配置...........................................................24

468、虚拟化平台关键特性...................................................26

469、虚拟化平台配置....................................................27

4.7、安全保障系统........................................................28

4.7.1、设计原则..........................................................28

4.7,2、总体设计..........................................................29

4.7.3、物理安全设计......................................................29

4.7.4、网络安全设计.......................................................31

4.7.4.1,外网边界安全..................................................31

474.2、网络基础设施安全..............................................31

4.7.5、主机安全设计......................................................32

47.6、应用安全设计......................................................33

4.7.7、数据库安全设计....................................................33

4.7.8、安全制度与人员管理................................................34

4.7.9、安全管理体系建设..................................................35

4.7.10、安全运维..........................................................36

4.7.11,安全人员管理......................................................36

4.7.12,技术安全管理......................................................37

4.7.13、安全保障系统配置..................................................37

4.8、计算机网络系统.......................................................38

4.8.1、设计原则........................................................38

482、系统设计..........................................................39

483、计算机网络系统配置................................................41

4.9、基础支撑软件........................................................42

4.9.1、地理信息软件......................................................42

492、操作系统软件......................................................44

4.9.3、数据库管理软件....................................................45

494、机房建设方案......................................................46

495、基础支撑系统软硬件配置............................................48

第1章前后

随着信息化程度的加深，以及移动互联网、物联网的崛起，人们

产生的数据急剧膨胀，传统的数据处理技术难以支撑数据大量的增长

和处理能力。经过近几年的发展，大数据技术逐步成熟，可以帮助企

业整合更多的数据，从海量数据中挖掘出隐藏价值。大数据已经从“概

念”走向“价值”，逐步进入实施验证阶段。人们越来越期望能实现

海量数据的处理，从数据中发现价值。数据越来越成为一种重要的资

产。。

我行已深刻认识到数据战略对企业运营以及企业未来发展方向

的重要性。互联网金融的本质是金融，核心是数据，载体是平台，关

键是客户体验，发展趋势是互联网与金融的深度融合，要提升大数据

贡献度。因此，要深化互联网思维理念，稳步推进互联网金融产品和

服务模式创新，积极利用移动互联网、大数据等新技术新手段，沉着

应对冲击和挑战，实现传统金融与互联网金融的融合发展。做好海量

异构数据的专业化整合集成、关联共享、安全防护和维护管理，深度

挖掘数据内含的巨大价值，探索金融业务创新，实现数据资源的综合

应用、深度应用，已成为提升企业核心竞争力，实现企业信息化可持

续发展的关键途径。按照行领导部署，信息科技部组织力量对大数据

技术进行研究，完成对市场上主流的大数据平台及应用技术预研，征

求业务部门建议，提出项目建设要求。

第2章金融大数据现状分析

2.1s基本现状

金融已建立面向整个金融业务的数据仓库，整合了前台业务运营

数据和后台管理数据，建立了面向金融的管理分析应用；

金融大数据积累了一定量的业务数据，同时业务人员也从客户管

理、风险评级和经营规模预测等方面，提出了大量分析预测需求。

2.2、总体现状

221、行领导

缺乏数据梳理，造成行领导看到的数据相互冲突和矛盾；

IT架构中中都是以部门级应用为主（如计财、资金计划部等），

缺乏从大的管理职能（财务、风险、运营等）综合方面的数据整合、

数据标准和统一业务定义。

222、业务人员

业务职能不清晰或相互重叠，观察数据视角不尽相同，缺少数据

标准与业务统一定义，语轨不一致；

由于业务系统输入的随意性，导致部分关键业务数据质量较差。

2.3、数据架构方面

由于全行的数据散落在各个业务系统中，没有进行有效整合，形

成竖井式架构，造成多个信息孤岛，整体架构缺少一个稳定的、抗源

变化的保存最细粒度历史数据的数据层。无法支撑未来共享性应用。

2.3.1、业务表现

»信息孤岛

A数据冗余

＞共享性差

A历史数据缺失

232、问题

A数据分散，难以管理

A没有一个稳定的，抗源变化的数据层

缺少一个稳定的、

抗源变化的数据层

竖井式架构，

造成信息孤岛--

客户

间

客户中

务

业支付

表

报

绩效考核报表报表

客户管理

11客户风险1喀户11中间业务1支付业务1

I•।1fa2)i

报表应用共用

主鹫集市层11111|Q11HI11

11Iki11otr1-11SIMI

r

[1；；

11

1=J=—b---------=rf没有进行整合，无法）

ODS层1।।1共享，不能支持如客

BDS值1111户管理等共享性应用

i111

DEP医l111

|_L_____J1______hzznzL：

源系统综合峥信贷管理国际结算债券核算

2.4、数据应用难题

241、缺少统一的应用分析标准

2.4.1,1s业务表现

＞各集市系统指标存在重复

A各集市系统在保有存量的同时，不断产生新的指标（增量）

＞集市指标派生无法实现

A指标逻辑视图（指标分类）不一致

241.2、问题

»重复投入

＞数据不一致

A指标设计、口径不一致

A指标难以共享

客户风险集市

242、缺少统一的基础数据标准

2.421、业务表现

＞各系统存在冗余数据

A各系统存在业务含义一致，名称定义不一致的属性

＞各系统存在含义不一致，名称定义一致的情况

＞业务代码定义混乱

2.422、问题

A重复投入

»数据不一致、不准确

»难以利用和管理

»各系统数据难以共享

243、缺少反馈机制

没有归纳并总结数据质量问题，缺少反馈机制，导致长期存在各

类数据质量问题。

2.431、业务表现

A指标难以共享

A数据不一致、不准确

2.432、问题

＞部分关键业务数据缺失

＞源系统校验关系缺失及业务人员操作随意

非现场监苜报表\"

统计各省分支机构每笔神的再S缴\

由于信贷®W统业务A®没

有填写或填写错误借据的五级

信贷管理源系统操作错误分类信息，导致报表数据不准

〔确，需要手工补录修改

信贷管理客75682839综合厂

户表

97326762国鑫资产

客户号客户简称

核心客户表75682839粮食局粮油综合

97326762乳山市国鑫资产

2.5、数据应用现状总结

随着业务的不断发展和信息化的不断深入，需建设的业务系统越

来越多，随着业务系统的数据种类不断丰富完善，数据量的不断增大,

如果不采取有效手段解决数据架构、数据标准、数据质量问题，随着

信息化建设的深入，这些问题将像雪球一样越滚越大，越积越多。

第3章金融大数据治理阶段目标

通过数据平台和BI应用建设，金融大数据将搭建统一的大数据

共享和分析平台，对各类业务进行前瞻性预测及分析，为金融各层次

用户提供统一的决策分析支持，提升数据共享与流转能力。

统一制定目标和分自定义报表工具多种格式报表BI分析工具

行+列的简单定义方式

=“箧端画回/痴

因鼠力Q

云数据推送平台已实现了—一

FZz-银行决策层

主要零售及XXX业务系统\\

数据清洗、整合，为未来\J

XXX大数据数据平台提供

了丰富的数据源。划分分析主整一/

计数据稹支二77、%濠银行职能管控层

郃署技木基神二1

[m..芝.1_______

累m题构

各次业务操作层

POP系统SB管理系统其他业务系统

3.1.数据平台逻辑架构

源数据数据仓库数据应用

整合层汇总层二集市县二

琮合业务系统

当事人非现场监管集市

CM2006

国际结算系烧协议财会报表集市

俵券管理系统

风险报表集市

外汇资金系统

报文清算系统当事人奥产高管驾驶舱集市

报价引挈系统

一

调

度

数

据

管

理

系

统

3.2、数据平台部署架构

省行1：新叫置却n应用做戴均■：1新购要+。应用隹诚均瓶备

................-n

□

省行数据自朦务器

新购置剧汨报&K伟服务笈（6分）

已力应用用务器（2台

“，，IrieHR8H.I.a107/188.1.6.

•■>iUrcport343...................

xBICrcpor-.3.2，「；>：•，1/——,•：：•

析出客，，只依取代更

•IL・客户■拼我回生

；•strna用单曲tir光♦中间业务抵友应出

•

•一'"Ti

r应用汲务器

新购置数据罕ftEllffll务）《（88）I•7

•故据"煽平台应HI

>Ri'<lllutFntcrpriKPLinux5

(Advimwd)

>MD1A4.4atcenl百陛册务器

>DataSt8Re8.5EE(4砂如

•明度叶台代理U/

□□□smaaii

新闻&

5(Advani:ud)

>«i">h'Kic1I，风龄应用I

国发行内网*,'-

部干£配置出•MO1A期置住

•DS85%八”

•I)sx,5^r7^t||

3.3、建设目标

以大数据项目建设作为契机，凝聚我行优势力量，全面梳理数据

资源，完善数据体系架构，自主掌握大数据关键技术，加速大数据资

源的开发利用，将数据决策化贯穿到经营管理全流程，建设智慧金融,

提升核心竞争力。

331、建设大数据基础设施，完善全行数据体系架构

构建大数据平台，实现更广泛的半结构化、非结构化数据集中采

集、存储、加工、分析和应用，极大地丰富我行的信息资源，同现有

的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提

供支撑经营管理的各类数据应用。

332、开发大数据资源，支撑全行经营管理创新

建设离线数据分析、实时数据/流数据分析集群和各类数据分析

集市，提供高性能可扩展的分布式计算引擎，通过数据挖掘、计量分

析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据

决策化过程结合到风控、营销、营运等经营管理活动。

3.3.3、培养大数据人才队伍，建立大数据分析能力

结合大数据项目的落地实施，建立起一支大数据技术和分析人员

队伍，具备自主运营和开发大数据的能力，以更好推动业务创新，提

升我行核心竞争力。

3.4、数据治理目标

341、发现数据质量问题，推动大数据治理工作的开

展，建立数据质量检核系统

＞对源系统进行数据质量检核，发现数据质量问题并统计影响到

的报表

»对数据质量问题进行归类总结，分析成因和改进建议

»建设数据质量检核系统

342、分析、梳理业务系统，推动数据标准的建立，

统一全行口径

＞建立基础标准和指标标准框架

»确定标准化范围，对重要属性进行标准化

343、建立数据仓库模型框架，优化我行数据架构，

建设稳定、可扩展的数据仓库

＞引进业内具有先进水平的金融数据模型，进行客户化改造后，

建成符合某行特点的数据仓库模型框架

A覆盖某行主要业务系统数据，以便快速高效的为应用系统提供

数据

A存储历史数据，解决新报表上线才有数的问题。

»汇总层建设（共性加工）

3.5、目标建设方法

351、建设内容

分析源系统表数据，从及时性、完整性、准确性、有效性、一致

性方面对源系统数据进行数据校验，发现并记录数据质量问题，生成

数据质量问题报告。

建设数据质量检核系统，对源系统基础业务数据的进行全面的数

据质量检查，并实现重要业务数据质量的周期性动态检查，对发现的

数据质量问题生成数据质量报告，反馈给业务部门。

352、工作阶段

3.521、源系统分析阶段

全面分析主要源业务系统。

3.521.1、工作内容

＞全面分析和消化主要源业务系统

＞重点分析核心业务系统和信贷两个系统

3.521.2、工作依据

＞源系统文档：《源系统操作手册》、《源业务系统设计说明书》、

《源系统数据字典》

A源系统环境及调研数据

.3>工作重点

A系统内：梳理业务流程、业务逻辑、业务关联、数据库表和字

段的设计

A系统间：梳理业务关联关系、数据关联关系

3.522、数据质量问题检查阶段

根据制定的检查规则编写程序，对源系统数据进行检查。

.1^工作内容

A梳理和制定数据质量检查规则，定义标准模板

A依据数据检查规则，编写程序，对核心业务系统、信贷管理系

统的进行检查

3.5.222、工作依据

»系统调研和分析成果

A数据质量检查规则的依据调研成果的以下内容进行梳理：

◊业务流程、业务逻辑

令数据逻辑设计

令报表数据应用

.3>工作重点

重点报表用到的表进行分析

3.523、数据质量问题分析阶段

分析有质量问题数据对现有应用的影响；提出解决措施。

3.523.1、工作内容

＞分析有质量问题数据对现有报表应用的影响

＞对数据质量问题的成因进行分析和总结

＞对数据质量问题的解决措施进行分析和总结

3.523.2、工作依据

A数据质量检查结果

＞源数据与报表依赖关系

3.523.3、工作重点

重点分析报表平台的1104等报表存在的部分数据质量问题。

3.6、预期建设效益

361、实现数据共享

通过数据平台实现数据集中，确保金融大数据各级部门均可在保

证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资

产的业务价值。

362、加强业务合作

实现分散在供应链金融、人人贷、保理等各个业务系统中的数据

在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级

视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供

基础。

363、促进业务创新

金融大数据业务人员可以基于明细、可信的数据，进行多维分析

和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了

有利条件。

364、提升建设效率

通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统

提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现

状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行

效率。

365、改善数据质量

从中长期看，数据仓库对金融大数据分散在各个业务系统中的数

据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用

性。

第4章金融大数据建设总体规划

4.1、功能需求

客户画像

•个人客户里像

•企业客户画像

运营优化精准营销

•市场和渠道分析银行大数据•交叉营销

•产品优化•个性化推荐

•舆情分析•客户生命周期管理

风险管控

•中小企业贷款风险评估

•实时欺诈交易分柝

•反洗钱业务分析

4.1」、个人和企业画像

国内不少金融已经开始尝试通过大数据来驱动业务运营，为个人

客户画像和企业客户“画像”。个人客户画像包括人口统计学特征、

消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生

产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。

客户画像作用：

1、用户的所有属性特征、订单特征、行为特征集合到一个系统

中，然后只需要在一个报表层面，只需要输入用户ID、手机号、用

户名等即可实现完整的用户信息查询。

2、当处理用户的私人财务信息时候，用户喜欢一对一的个性化

服务。用户画像可以展示用户的每一次活动，例如用户注资、消费等

主要的行为。

3、通过软件的实时分析，可以及时跟踪用户的注册、交易等关

键环节遇到的问题。

4、实时衡量广告活动的有效性，通过实时在线访客工作，及时

评估活动的引流用户的活动参与性。可以及时调整广告的投放策略,

减少广告的浪费。

社交画他

客户画像：在金融方面有非常大的潜力，市面上有一些完善的软

件和解决方案，但能够真正打入到金融内部的比较少，同时金融在手

机端和电商方面有很大的突破，对于大数据的信息也非常的需要。

建议：通过市面上的软件进行。em。

4.1.2、实现精准营销

在客户“画像”的基础上，金融业可以有效地开展精准营销。例

如，根据客户的实时状态来进行