智慧银行大数据平台数据治理整体解决方案智慧银行大数据可视化平台建设方案-副本

1、智慧银行大数据可视化平台整体解决方案V6.0数据源夕雇数据基数平大数据平台础据台数据服务数据应用统计睢重市数据接口巨麻网 物服网据理台数管平大数据可视化平台建 设 方 案智慧银行大数据可视化平台整体解决方案V6.0目录 TOC o 1-5 h z 第1章前言 0第2章银行大数据现状分析 1基本现状1总体现状1行领导1业务人员 1数据架方面 2业务表现2问题2数据应用难题3缺少统一的应用分析标准 3业务表现 3问题 3 HYPERLINK l bookmark6 o Current Document 缺少统一的基石Hi数据标准 4业务表现 4问题 5 HYPERLINK l bookmark28

2、 o Current Document 缺少反馈机制5业务表现 6问题 6数据应用现状总结 6郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 第3章银行大数据治理阶段目标 0 HYPERLINK l bookmark34 o Current Document 数据平台逻辑架构 1数据平台部署架构 1建设目标2建设大数据基础设施，完善全行数据体系架构 2开发大数据资源，支撑全行经营管理创新 2培养大数据人才队伍，建立大数据分析能力 2数据治理目标3发现数据质量问题，推动大数据治理工作的开展，建立数据质量检核系统.3分析、梳理业务系统，推动数据标准的建立，统一全行口径 3

3、建立数据仓库模型框架，优化我行数据架构，建设稳定、可扩展的数据仓库3目标建设方法 4建设内容4工作阶段4源系统分析阶段 4、工作内容 4、工作依据 4、工作重点 5数据质量问题检查阶段 5、工作内容 5、工作依据 5郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 、工作重点 6数据质量问题分析阶段 6、工作内容 6、工作依据 6、工作重点 6预期建设效益 6实现数据共享 6加强业务合作7促进业务创新7提升建设效率 7改善数据质量 7第4章银行大数据建设总体规划 0功能需求0个人和企业画像 0实现精准营销2为金融业提供风险管控 3运营优化4银行大数据应用架构远景 4银行

4、需要从“坐商”转型为“行商” 5客户下沉5与“互联网金融”进行差异化竞争 5银行大数据平台应用架构 6郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 银行大数据平台架构 7银行大数据支撑平台 7大数据虚拟化平台 7、设计原则 8虚拟化平台设计 10、硬件基础设施层 10虚拟化存储 11虚拟化计算 11平台管理 12数据存储系统设计 12、高性能SAN#储系统 14、存储方案优势 15大数据分析管理平台 16大数据分析处理平台 16分布式内存分析引擎 17数据挖掘引擎17分布式实时在线数据处理引擎 18流处理引擎18大数据分析支撑系统 18大数据分析节点群 24软硬件配

5、置 25虚拟化平台关键特性 27郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 虚拟化平台配置 29安全保障系统 30设计原则30总体设计31物理安全设计31网络安全设计33、外网边界安全 33、网络基础设施安全 34、主机安全设计 35应用安全设计35数据库安全设计 36安全制度与人员管理 37安全管理体系建设 37安全运维38安全人员管理39技术安全管理 39安全保障系统配置 40计算机网络系统 40设计原则40系统设计42计算机网络系统配置 45基础支本掌软件45郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 地理信息软件 45、操作系

6、统软件 47数据库管理软件 48机房建设方案 49基础支撑系统软硬件配置 52第5章 系统架构设计 56总体设计目标 56总体设计原则 56案例分析建议58中国联通大数据平台 58项目概述58项目实施情况 60项目成果 67项目意义 68恒丰银行大数据平台 69项目概述 69项目实施情况 73项目成果 81项目意义 82华通CDN1营商海量日志采集分析系统 84项目概述84项目实施情况 85郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 项目成果 90项目意义 90、案例总结91系统总体架构设计 92、总体技术框架92系统总体逻辑结构 96平台组件关系99系统接口设计

7、 105系统网络结构110第6章系统功能设计 113概述113平台管理功能114多应用管理 114多租户管理 118统一运维监控 119Hadoop集群自动化部署 121、Hadoop集群性能监控 123Hadoop集群资源管理 127、图形界面方式多租户管理 130系统巡检信息收集 135系统性能跟踪 137、与集团运维监控平台对接 139郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 作业调度管理 143数据管理145数据管理框架145结构化数据管理框架 145半/非结构化数据管理框架 146数据采集147、数据交换151数据存储与管理 152数据存储管理功能 1

8、55数据多温度管理 157生命周期管理 159多索引模式 160多数据副本管理 162数据平衡管理 162在线节点管理 163分区管理 164数据导入与导出 165多级数据存储 166多种数据类型支持 168多种文件格式支持 170数据自定义标签管理 174数据读写锁处理 174郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 元数据备份 175表压缩 175数据加工清洗 175数据计算177多计算框架支持 177并行计算与并行处理能力 179PL/SQL存储过程 183分布式事务支持 187ACID测试案例 189数据查询199、OLAP8数支持 199、分布式 Cu

9、be 200、SQL兼容性 203、SQL功能 221数据管控225主数据管理 225元数据管理技术 227数据质量231数据 ETL239数据分析与挖掘 242数据分析流程 245R语言开发环境与接口 246郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 并行化R算法支持 247可视化 R软件包 251编程语言支持 253、自然语言处理和文本挖掘 253实时分析254分析管理255需求管理 256过程管理 257成果管理 259分析支持260指标维护 260分析流程固化261分析结果发布 261环境支持261数据展现262交互式报表 265、仪表盘271即席查询27

10、2内存分析273移动分析274电子地图支持275第7章技术要求实现 276郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 产品架构276基础构建平台281大数据平台组件功能介绍 282Transwarp Hadoop 分布式文件系统 282Transwarp Inceptor 内存分析交互弓I擎 284、稳定的Spark计算框架 286支持Memory+SSD勺混合存储架构 287完整SQL功能支持 287Transwarp Discover 机器学习弓I擎 293并行化统计算法库 295机器学习并行算法库 298Transwarp Hyperbase 歹1J式存储数

11、据库 304智能索引 316、全局索引 317、全文索引 318索引类型 319图数据库 320、全文数据处理 321Transwarp Stream 数据实时处理分析 323分布式消息队列 327流式计算引擎 328流式 SQL执行 329郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 、 流式机器学习 330系统分布式架构 330运行环境支持 333系统操作支持以及环境配置 333与第三方软件平台的兼容说明 334客户端支持 335客户端支持 335移动端支持 336数据支持 336集成实现338运维实现341运维目标341运维服务内容342运维服务流程345运维

12、服务制度规范 347应急服务响应措施 348、平台监/空兼容349资源管理350、系统升级353系统监控平台功能 353性能监控 353一键式收集 357郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 系统资源监控图形化 359、服务进程监控 360、消息队列监控 361故障报警 361告警以及统巡检以及信息收集 362平台性能 364、集群切换364主集群异常及上层业务切换 364从集群异常及上层业务切换 365、节点切换365性能调优367、图形化性能监控 367、图形化调优工具 367、调优策略 372并行化高性能计算 373计算性能线性扩展 377平台扩展性

13、378可靠性和可用性 380单点故障消除380容灾备份优化 382扩容、备份、恢复机制 382、集群数据容灾优化 383郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 数据完整性保障和方案 385主集群异常及上层业务切换 386从集群异常及上层业务切换 387系统容错性 388开放性和兼容性 390高度支持开源 395PMC-HaoyuanLi 395Committor-AndrewXia 397Committor-ShaneHuang 399Committor-ZhihongYu 402、Committor-JasonDai 405Committor-WeiXue

14、408操作系统支持以及软件环境配置 409兼容性与集成能力 410安全性412身份鉴别412访问控制 413安全通讯421核心产品优势421、高速运算、统计分析和精确查询 421、Spark引擎结合分布式内存列存提供高性能计算 421、多种索引支持与智能索引 423郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 有效的资源利用 424高并发、低延迟性能优化 425计算资源有效管控 426API设计和开发工具支持 428友好的运维监控界面 430扩容、备份、恢复机制 435、集群自动负载均衡 437计算能力扩展437自主研发技术优势 438高稳定、高效的计算引擎Ince

15、ptor 438完整的 SQL编译引擎 440高性能的SQL分析引擎 441SQL统计分析能力 442完整的 CURD1能443Hyperbase高效的检索能力 444基于Hyperbase和SQL引擎的高并发分布式事务 447、 Hyperbase非结构化数据的支持 448机器学习与数据挖掘 449Transwarp Stream 454内存/SSD/磁盘混合存储 457MR/Spark/ 流处理统一平台 459多租户支持能力 460郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 多租户安全功能 461标准 JDBC与 ODB源口 462第8章系统性能指标和测试结果

16、说明 463性能测试报告463测试目标463测试内容464测试环境 464测试过程和结果 466TPC-DS测试才艮告 469测试目标469测试内容469测试环境472测试过程和结果 473量收迁移验证T生测试报告 474测试目标474测试内容474测试环境475串行执行情况476并行执行情况478、生产表数据规模 480测试结果484某银行性能测试报告 484郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 测试目标484测试内容485测试环境485测试过程和结果 486第9章系统配置方案 501硬件系统配置建议 501基石出Hadoop平台集群配置规划 501数据仓

17、库集群配置规划 504集群规模综述 506开发集群配置建议 507测试集群配置建议 507软件配置建议 508软硬件配置总表 510网络拓扑513第10章系统测试 514系统测试方法514系统测试阶段 515系统测试相关提交物 517第11章项目实施 518项目实施总体目标 518项目管理519郎丰利智慧银行大数据可视化平台建设方案郎丰利 TOC o 1-5 h z 业务确认 520数据调研521系统设计阶段 522集成部署阶段 523ETL过程设计 524ETL开发与测试 525系统开发阶段 526系统测试阶段 527系统上线及验收 528提交物531系统的交接与知识转移 534智慧银行大数

18、据可视化平台整体解决方案V6.0第1章前言随着信息化程度的加深，以及移动互联网、物联网的崛起， 人们产生的数据急剧膨胀，传统的数据处理技术难以支撑数据大 量的增长和处理能力。经过近几年的发展，大数据技术逐步成熟， 可以帮助企业整合更多的数据，从海量数据中挖掘出隐藏价值。 大数据已经从“概念”走向“价值”，逐步进入实施验证阶段。 人们越来越期望能实现海量数据的处理，从数据中发现价值。数据越来越成为一种重要的资产。我行已深刻认识到数据战略对企业运营以及企业未来发展 方向的重要性。互联网金融的本质是金融，核心是数据，载体是 平台，关键是客户体验，发展趋势是互联网与金融的深度融合， 要提升大数据贡献度

19、。因此，要深化互联网思维理念，稳步推进 互联网金融产品和服务模式创新，积极利用移动互联网、 大数据等新技术新手段，沉着应对冲击和挑战，实现传统金融与互联网 金融的融合发展。做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理，深度挖掘数据内含的巨大价值，探索 银行业务创新，实现数据资源的综合应用、深度应用，已成为提 升企业核心竞争力，实现企业信息化可持续发展的关键途径。按照行领导部署，信息科技部组织力量对大数据技术进行研究，完成对市场上主流的大数据平台及应用技术预研，征求业务部门建议，提出项目建设要求。郎丰利智慧银行大数据可视化平台建设方案郎丰利第2章银行大数据现状分析基本现状银行已

20、建立面向整个金融业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向金融的管理分析应用；银行大数据积累了 一定量的业务数据， 同时业务人员也从客 户管理、风险评级和经营规模预测等方面， 提出了大量分析预测 需求。总体现状行领导缺乏数据梳理，造成行领导看到的数据相互冲突和矛盾；IT架构中中都是以部门级应用为主（如计财、资金计划部 等），缺乏从大的管理职能（财务、风险、运营等）综合方面的 数据整合、数据标准和统一业务定义。业务人员业务职能不清晰或相互重叠，观察数据视角不尽相同，缺少 数据标准与业务统一定义，语轨不一致；由于业务系统输入的随意性，导致部分关键业务数据质量较差。郎丰利智慧银

21、行大数据可视化平台建设方案 郎丰利数据架构方面由于全行的数据散落在各个业务系统中，没有进行有效整合，形成竖井式架构，造成多个信息孤岛，整体架构缺少一个稳定的、抗源变化的保存最细粒度历史数据的数据层。无法支撑未来共享性应用。业务表现信息孤岛数据冗余共享性差历史数据缺失问题数据分散，难以管理没有一个稳定的，抗源变化的数据层郎丰利智慧银行大数据可视化平台建设方案郎丰利缺外稳定的、 抗源变化的数据层竖井式架构， 造成信息孤岛其它 报表绩效考犊客户管理营风报户险表户部表中间 峥 报表支付报表客户风险客户一部中间业窘支付业务主题屋报表应用共用集市层zy.汇总率据层ODS层BDSgDEPJg源系统-JTJ口

22、没有进行整合，无法） 共享，不能支持如客 户管理等共享性应用综合业资信贷管理国际转算债券核算数据应用难题缺少统一的应用分析标准业务表现各集市系统指标存在重复各集市系统在保有存量的同时，不断产生新的指标（增量）集市指标派生无法实现指标逻辑视图（指标分类）不一致问题重复投入数据不一致指标设计、口径不一致郎丰利智慧银行大数据可视化平台建设方案郎丰利指标难以共享客户风险集市客户一部集市我想看本期贷款 余额J看哪个呢？活期存款指标数据 怎么不一致跑?借据号朝末余额壬育业务收入 负债总顿借据集考期末赁款余额总资产资金计划 部3用户况信息r有哪些呢?3用户2.4.2、缺少统一的基础数据标准2.4.2.1业务

23、表现各系统存在冗余数据各系统存在业务含义一致，名称定义不一致的属性各系统存在含义不一致，名称定义一致的情况业务代码定义混乱郎丰利智慧银行大数据可视化平台建设方案郎丰利2.4.2,2、 问题重复投入数据不一致、不准确难以利用和管理各系统数据难以共享核心贷款分户账表业务含义一致,名称定义不一致5级分类标志 /2关注02关注借庭计息周期3次级（不良）03次假4可疑（不良）04可疑5损失（不良）05报失缺少反馈机制没有归纳弁总结数据质量问题，缺少反馈机制,导致长期存 在各类数据质量问题。郎丰利智慧银行大数据可视化平台建设方案郎丰利业务表现指标难以共享数据不一致、不准确问题部分关键业务数据缺失源系统校验

24、关系缺失及业务人员操作随意客户号客户简称核心客户表75682839 粮食局粮油综合97326762乳山市国鑫资产数据应用现状总结随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类不断丰富完善，数据量的不断增大，如果不采取有效手段解决数据架构、数据标准、数据质量问题，随着信息化建设的深入， 这些问题将像雪球一样越滚郎丰利智慧银行大数据可视化平台建设方案郎丰利越大，越积越多智慧银行大数据可视化平台整体解决方案V6.0统一制定目标和甘 自定义报表工具多种格式报表分析工具折模生行十列的新单定义方式云数据推送平台已实现了主要零售及XXX业务系统数据清洗、整合，为未来X

25、XX大数据数据平台提供了丰富的数据源口银行挟笫层统一规划分析方法 统一划分分析主裁 藐二景计数雅翁银行以能管控层第3章银行大数据治理阶段目标通过数据平台和BI应用建设，银行大数据将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为银 行各层次用户提供统一的决策分析支持， 提升数据共享与流转能 力。各翅业务搽作层郎丰利智慧银行大数据可视化平台建设方案郎丰利3.1、数据平台逻辑架构源数据 数据仓库数据应用CM2006EEBONDPEFES3.2、裁於性齿平木配置再 fflC集市层一 一 1非晚场盖晋菜市财会出走第市ETL风险根击隹击汇总展机掏客户账户ETL整合层ETL作高修恭世熟虻

26、由贴海层作处词嫁告业若旱培 匚 MN0C5 国际雄胃飙传齐首理系生 阳L熨金号烧轨躺整蜕 相济引空基跖当事人的惊当事人赍卢数据质量检查系统数据平台部署架构总th:1II：新旧置牧勺23Q非现场报表财会报表客户风筛报恚高管驾驶舱数据传输教惬管理系统赭取胃1/应年低转均量雷ri. 107sm曜近用：中间”西1 MO机山？TH番方游K段C 4All护!I llti I Knl 1 qir ikWOl.M. 4 “ihl据tiw 1 5 EE 却曳平白代aN月 ，拿ffE声 Dmajn5j：i：LLJHvMIVtii*IffimiliiiMd 团吓alHIMWA 七* K削总占；|IA口门ETLBl务

27、 UL 9. ti. LOy.L郎丰利智慧银行大数据可视化平台建设方案 郎丰利建设目标以大数据项目建设作为契机，凝聚我行优势力量，全面梳理 数据资源，完善数据体系架构，自主掌握大数据关键技术，加速 大数据资源的开发利用,将数据决策化贯穿到经营管理全流程， 建设智慧银行，提升核心竞争力。建设大数据基础设施，完善全行数据体系架构构建大数据平台，实现更广泛的半结构化、非结构化数据集 中采集、存储、加工、分析和应用，极大地丰富我行的信息资源， 同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用。开发大数据资源，支撑全行经营管理创新建设离线数据分析、实时数据

28、/流数据分析集群和各类数据 分析集市，提供高性能可扩展的分布式计算引擎， 通过数据挖掘、 计量分析和机器学习等手段，对丰富的大数据资源进行开发使 用，弁将数据决策化过程结合到风控、营销、营运等经营管理活 动。培养大数据人才队伍，建立大数据分析能力结合大数据项目的落地实施，建立起一支大数据技术和分析 人员队伍，具备自主运营和开发大数据的能力，以更好推动业务郎丰利智慧银行大数据可视化平台建设方案郎丰利创新，提升我行核心竞争力数据治理目标发现数据质量问题，推动大数据治理工作的开展，建立数据质量检核系统对源系统进行数据质量检核，发现数据质量问题弁统计影响到的报表对数据质量问题进行归类总结，分析成因和改

29、进建议建设数据质量检核系统分析、梳理业务系统，推动数据标准的建立，统一全行口径建立基础标准和指标标准框架确定标准化范围，对重要属性进行标准化建立数据仓库模型框架，优化我行数据架构，建设稳定、可扩展的数据仓库引进业内具有先进水平的金融数据模型，进行客户化改造 后，建成符合某行特点的数据仓库模型框架覆盖某行主要业务系统数据，以便快速高效的为应用系统 提供数据存储历史数据，解决新报表上线才有数的问题。郎丰利智慧银行大数据可视化平台建设方案郎丰利汇总层建设（共性加工）目标建设方法建设内容分析源系统表数据，从及时性、完整性、准确性、有效性、 一致性方面对源系统数据进行数据校验，发现弁记录数据质量问题，生

30、成数据质量问题报告。建设数据质量检核系统，对源系统基础业务数据的进行全面 的数据质量检查，弁实现重要业务数据质量的周期性动态检查， 对发现的数据质量问题生成数据质量报告，反馈给业务部门。工作阶段源系统分析阶段全面分析主要源业务系统。、 工作内容全面分析和消化主要源业务系统重点分析核心业务系统和信贷两个系统、 工作依据源系统文档：源系统操作手册、源业务系统设计说明书、源系统数据字典郎丰利智慧银行大数据可视化平台建设方案郎丰利源系统环境及调研数据、工作重点系统内：梳理业务流程、业务逻辑、业务关联、数据库表和字段的设计系统间：梳理业务关联关系、数据关联关系数据质量问题检查阶段根据制定的检查规则编写程

31、序，对源系统数据进行检查。、工作内容梳理和制定数据质量检查规则，定义标准模板依据数据检查规则，编写程序，对核心业务系统、信贷管理系统的进行检查、工作依据系统调研和分析成果数据质量检查规则的依据调研成果的以下内容进行梳理：业务流程、业务逻辑数据逻辑设计报表数据应用郎丰利智慧银行大数据可视化平台建设方案郎丰利、 工作重点重点报表用到的表进行分析数据质量问题分析阶段分析有质量问题数据对现有应用的影响；提出解决措施。、 工作内容分析有质量问题数据对现有报表应用的影响对数据质量问题的成因进行分析和总结对数据质量问题的解决措施进行分析和总结、 工作依据数据质量检查结果源数据与报表依赖关系、 工作重点重点分析