智慧银行大数据平台建设方案共71页_第1页
智慧银行大数据平台建设方案共71页_第2页
智慧银行大数据平台建设方案共71页_第3页
智慧银行大数据平台建设方案共71页_第4页
智慧银行大数据平台建设方案共71页_第5页
已阅读5页,还剩66页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、智慧银行数字化平台建设方案智慧银行大数据平台建设方案目录 TOC o 1-5 h z u HYPERLINK l _Toc520194716 第1章前言 PAGEREF _Toc520194716 h 0 HYPERLINK l _Toc520194717 第2章银行大数据现状分析 PAGEREF _Toc520194717 h 1 HYPERLINK l _Toc520194718 2.1、基本现状 PAGEREF _Toc520194718 h 1 HYPERLINK l _Toc520194719 2.2、总体现状 PAGEREF _Toc520194719 h 1 HYPERLINK

2、l _Toc520194720 2.2.1、行领导 PAGEREF _Toc520194720 h 1 HYPERLINK l _Toc520194721 2.2.2、业务人员 PAGEREF _Toc520194721 h 1 HYPERLINK l _Toc520194722 2.3、数据架构方面 PAGEREF _Toc520194722 h 1 HYPERLINK l _Toc520194723 2.3.1、业务表现 PAGEREF _Toc520194723 h 2 HYPERLINK l _Toc520194724 2.3.2、问题 PAGEREF _Toc520194724 h

3、2 HYPERLINK l _Toc520194725 2.4、数据应用难题 PAGEREF _Toc520194725 h 3 HYPERLINK l _Toc520194726 2.4.1、缺少统一的应用分析标准 PAGEREF _Toc520194726 h 3 HYPERLINK l _Toc520194727 、业务表现 PAGEREF _Toc520194727 h 3 HYPERLINK l _Toc520194728 、问题 PAGEREF _Toc520194728 h 3 HYPERLINK l _Toc520194729 2.4.2、缺少统一的基础数据标准 PAGEREF

4、 _Toc520194729 h 4 HYPERLINK l _Toc520194730 、业务表现 PAGEREF _Toc520194730 h 4 HYPERLINK l _Toc520194731 、问题 PAGEREF _Toc520194731 h 4 HYPERLINK l _Toc520194732 2.4.3、缺少反馈机制 PAGEREF _Toc520194732 h 5 HYPERLINK l _Toc520194733 、业务表现 PAGEREF _Toc520194733 h 5 HYPERLINK l _Toc520194734 、问题 PAGEREF _Toc52

5、0194734 h 6 HYPERLINK l _Toc520194735 2.5、数据应用现状总结 PAGEREF _Toc520194735 h 6 HYPERLINK l _Toc520194736 第3章银行大数据治理阶段目标 PAGEREF _Toc520194736 h 0 HYPERLINK l _Toc520194737 3.1、数据平台逻辑架构 PAGEREF _Toc520194737 h 0 HYPERLINK l _Toc520194738 3.2、数据平台部署架构 PAGEREF _Toc520194738 h 1 HYPERLINK l _Toc520194739

6、3.3、建设目标 PAGEREF _Toc520194739 h 1 HYPERLINK l _Toc520194740 3.3.1、建设大数据基础设施,完善全行数据体系架构 PAGEREF _Toc520194740 h 1 HYPERLINK l _Toc520194741 3.3.2、开发大数据资源,支撑全行经营管理创新 PAGEREF _Toc520194741 h 2 HYPERLINK l _Toc520194742 3.3.3、培养大数据人才队伍,建立大数据分析能力 PAGEREF _Toc520194742 h 2 HYPERLINK l _Toc520194743 3.4、数

7、据治理目标 PAGEREF _Toc520194743 h 2 HYPERLINK l _Toc520194744 3.4.1、发现数据质量问题,推动大数据治理工作的开展,建立数据质量检核系统 PAGEREF _Toc520194744 h 2 HYPERLINK l _Toc520194745 3.4.2、分析、梳理业务系统,推动数据标准的建立,统一全行口径 PAGEREF _Toc520194745 h 2 HYPERLINK l _Toc520194746 3.4.3、建立数据仓库模型框架,优化我行数据架构,建设稳定、可扩展的数据仓库 PAGEREF _Toc520194746 h 3

8、HYPERLINK l _Toc520194747 3.5、目标建设方法 PAGEREF _Toc520194747 h 3 HYPERLINK l _Toc520194748 3.5.1、建设内容 PAGEREF _Toc520194748 h 3 HYPERLINK l _Toc520194749 3.5.2、工作 阶段 PAGEREF _Toc520194749 h 4 HYPERLINK l _Toc520194750 、源系统分析阶段 PAGEREF _Toc520194750 h 4 HYPERLINK l _Toc520194762 .1、工作内容 PAGEREF _Toc520

9、194762 h 4 HYPERLINK l _Toc520194763 .2、工作依据 PAGEREF _Toc520194763 h 4 HYPERLINK l _Toc520194764 .3、工作重点 PAGEREF _Toc520194764 h 4 HYPERLINK l _Toc520194765 、数据质量问题检查阶段 PAGEREF _Toc520194765 h 4 HYPERLINK l _Toc520194767 .1、工作内容 PAGEREF _Toc520194767 h 5 HYPERLINK l _Toc520194768 .2、工作依据 PAGEREF _To

10、c520194768 h 5 HYPERLINK l _Toc520194769 .3、工作重点 PAGEREF _Toc520194769 h 5 HYPERLINK l _Toc520194770 、数据质量问题分析阶段 PAGEREF _Toc520194770 h 5 HYPERLINK l _Toc520194772 .1、工作内容 PAGEREF _Toc520194772 h 5 HYPERLINK l _Toc520194773 .2、工作依据 PAGEREF _Toc520194773 h 6 HYPERLINK l _Toc520194774 .3、工作重点 PAGEREF

11、 _Toc520194774 h 6 HYPERLINK l _Toc520194775 3.6、预期建设效益 PAGEREF _Toc520194775 h 6 HYPERLINK l _Toc520194776 3.6.1、实现数据共享 PAGEREF _Toc520194776 h 6 HYPERLINK l _Toc520194777 3.6.2、加强业务合作 PAGEREF _Toc520194777 h 6 HYPERLINK l _Toc520194778 3.6.3、促进业务创新 PAGEREF _Toc520194778 h 6 HYPERLINK l _Toc5201947

12、79 3.6.4、提升建设效率 PAGEREF _Toc520194779 h 7 HYPERLINK l _Toc520194780 3.6.5、改善数据质量 PAGEREF _Toc520194780 h 7 HYPERLINK l _Toc520194781 第4章银行大数据建设总体规划 PAGEREF _Toc520194781 h 0 HYPERLINK l _Toc520194782 4.1、功能需求 PAGEREF _Toc520194782 h 0 HYPERLINK l _Toc520194783 4.1.1、个人和企业画像 PAGEREF _Toc520194783 h 0

13、 HYPERLINK l _Toc520194784 4.1.2、实现精准营销 PAGEREF _Toc520194784 h 2 HYPERLINK l _Toc520194785 4.1.3、为金融业提供风险管控 PAGEREF _Toc520194785 h 3 HYPERLINK l _Toc520194786 4.1.4、运营优化 PAGEREF _Toc520194786 h 4 HYPERLINK l _Toc520194787 4.2、银行大数据应用架构远景 PAGEREF _Toc520194787 h 4 HYPERLINK l _Toc520194788 4.2.1、银行

14、需要从“坐商”转型为“行商” PAGEREF _Toc520194788 h 5 HYPERLINK l _Toc520194789 4.2.2、客户下沉 PAGEREF _Toc520194789 h 5 HYPERLINK l _Toc520194790 4.2.3、与“互联网金融”进行差异化竞争 PAGEREF _Toc520194790 h 5 HYPERLINK l _Toc520194791 4.3、银行大数据平台应用架构 PAGEREF _Toc520194791 h 6 HYPERLINK l _Toc520194792 4.4、银行大数据平台架构 PAGEREF _Toc52

15、0194792 h 7 HYPERLINK l _Toc520194793 4.5、银行大数据支撑平台 PAGEREF _Toc520194793 h 7 HYPERLINK l _Toc520194794 4.5.1、大数据虚拟化平台 PAGEREF _Toc520194794 h 7 HYPERLINK l _Toc520194795 、设计原则 PAGEREF _Toc520194795 h 8 HYPERLINK l _Toc520194796 、虚拟化平台设计 PAGEREF _Toc520194796 h 10 HYPERLINK l _Toc520194797 、硬件基础设施层

16、PAGEREF _Toc520194797 h 10 HYPERLINK l _Toc520194798 、虚拟化存储 PAGEREF _Toc520194798 h 11 HYPERLINK l _Toc520194799 、虚拟化计算 PAGEREF _Toc520194799 h 11 HYPERLINK l _Toc520194800 、平台管理 PAGEREF _Toc520194800 h 12 HYPERLINK l _Toc520194801 、数据存储系统设计 PAGEREF _Toc520194801 h 12 HYPERLINK l _Toc520194802 、高性能S

17、AN存储系统 PAGEREF _Toc520194802 h 13 HYPERLINK l _Toc520194803 、存储方案优势 PAGEREF _Toc520194803 h 15 HYPERLINK l _Toc520194804 4.5.2、大数据分析管理平台 PAGEREF _Toc520194804 h 16 HYPERLINK l _Toc520194805 4.6、大数据分析处理平台 PAGEREF _Toc520194805 h 16 HYPERLINK l _Toc520194806 4.6.1、分布式内存分析引擎 PAGEREF _Toc520194806 h 17

18、HYPERLINK l _Toc520194807 4.6.2、数据挖掘引擎 PAGEREF _Toc520194807 h 17 HYPERLINK l _Toc520194808 4.6.3、分布式实时在线数据处理引擎 PAGEREF _Toc520194808 h 17 HYPERLINK l _Toc520194809 4.6.4、流处理引擎 PAGEREF _Toc520194809 h 18 HYPERLINK l _Toc520194810 4.6.5、大数据分析支撑系统 PAGEREF _Toc520194810 h 18 HYPERLINK l _Toc520194811 4

19、.6.6、大数据分析节点群 PAGEREF _Toc520194811 h 23 HYPERLINK l _Toc520194812 4.6.7、软硬件配置 PAGEREF _Toc520194812 h 24 HYPERLINK l _Toc520194813 4.6.8、虚拟化平台关键特性 PAGEREF _Toc520194813 h 26 HYPERLINK l _Toc520194814 4.6.9、虚拟化平台配置 PAGEREF _Toc520194814 h 27 HYPERLINK l _Toc520194815 4.7、安全保障系统 PAGEREF _Toc520194815

20、 h 28 HYPERLINK l _Toc520194816 4.7.1、设计原则 PAGEREF _Toc520194816 h 28 HYPERLINK l _Toc520194817 4.7.2、总体设计 PAGEREF _Toc520194817 h 29 HYPERLINK l _Toc520194818 4.7.3、物理安全设计 PAGEREF _Toc520194818 h 29 HYPERLINK l _Toc520194819 4.7.4、网络安全设计 PAGEREF _Toc520194819 h 30 HYPERLINK l _Toc520194820 、外网边界安全

21、PAGEREF _Toc520194820 h 30 HYPERLINK l _Toc520194821 、网络基础设施安全 PAGEREF _Toc520194821 h 31 HYPERLINK l _Toc520194822 4.7.5、主机安全设计 PAGEREF _Toc520194822 h 32 HYPERLINK l _Toc520194823 4.7.6、应用安全设计 PAGEREF _Toc520194823 h 33 HYPERLINK l _Toc520194824 4.7.7、数据库安全设计 PAGEREF _Toc520194824 h 33 HYPERLINK l

22、 _Toc520194825 4.7.8、安全制度与人员管理 PAGEREF _Toc520194825 h 34 HYPERLINK l _Toc520194826 4.7.9、安全管理体系建设 PAGEREF _Toc520194826 h 35 HYPERLINK l _Toc520194827 4.7.10、安全运维 PAGEREF _Toc520194827 h 35 HYPERLINK l _Toc520194828 4.7.11、安全人员管理 PAGEREF _Toc520194828 h 36 HYPERLINK l _Toc520194829 4.7.12、技术安全管理 PA

23、GEREF _Toc520194829 h 36 HYPERLINK l _Toc520194830 4.7.13、安全保障系统配置 PAGEREF _Toc520194830 h 37 HYPERLINK l _Toc520194831 4.8、计算机网络系统 PAGEREF _Toc520194831 h 37 HYPERLINK l _Toc520194832 4.8.1、设计原则 PAGEREF _Toc520194832 h 37 HYPERLINK l _Toc520194833 4.8.2、系统设计 PAGEREF _Toc520194833 h 39 HYPERLINK l _

24、Toc520194834 4.8.3、计算机网络系统配置 PAGEREF _Toc520194834 h 41 HYPERLINK l _Toc520194835 4.9、基础支撑软件 PAGEREF _Toc520194835 h 42 HYPERLINK l _Toc520194836 4.9.1、地理信息软件 PAGEREF _Toc520194836 h 42 HYPERLINK l _Toc520194837 4.9.2、操作系统软件 PAGEREF _Toc520194837 h 44 HYPERLINK l _Toc520194838 4.9.3、数据库管理软件 PAGEREF

25、_Toc520194838 h 45 HYPERLINK l _Toc520194839 4.9.4、机房建设方案 PAGEREF _Toc520194839 h 46 HYPERLINK l _Toc520194840 4.9.5、基础支撑系统软硬件配置 PAGEREF _Toc520194840 h 48前言随着信息化程度的加深,以及移动互联网、物联网的崛起,人们产生的数据急剧膨胀,传统的数据处理技术难以支撑数据大量的增长和处理能力。经过近几年的发展,大数据技术逐步成熟,可以帮助企业整合更多的数据,从海量数据中挖掘出隐藏价值。大数据已经从“概念”走向“价值”,逐步进入实施验证阶段。人们越来

26、越期望能实现海量数据的处理,从数据中发现价值。数据越来越成为一种重要的资产。我行已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。互联网金融的本质是金融,核心是数据,载体是平台,关键是客户体验,发展趋势是互联网与金融的深度融合,要提升大数据贡献度。因此,要深化互联网思维理念,稳步推进互联网金融产品和服务模式创新,积极利用移动互联网、大数据等新技术新手段,沉着应对冲击和挑战,实现传统金融与互联网金融的融合发展。做好海量异构数据的专业化整合集成、关联共享、安全防护和维护管理,深度挖掘数据内含的巨大价值,探索银行业务创新,实现数据资源的综合应用、深度应用,已成为提升企业核心竞争力,实现企业

27、信息化可持续发展的关键途径。按照行领导部署,信息科技部组织力量对大数据技术进行研究,完成对市场上主流的大数据平台及应用技术预研,征求业务部门建议,提出项目建设要求。银行大数据现状分析基本现状银行已建立面向整个金融业务的数据仓库,整合了前台业务运营数据和后台管理数据,建立了面向金融的管理分析应用;银行大数据积累了一定量的业务数据,同时业务人员也从客户管理、风险评级和经营规模预测等方面,提出了大量分析预测需求。总体现状行领导缺乏数据梳理,造成行领导看到的数据相互冲突和矛盾;IT架构中中都是以部门级应用为主(如计财、资金计划部等),缺乏从大的管理职能(财务、风险、运营等)综合方面的数据整合、数据标准

28、和统一业务定义。业务人员业务职能不清晰或相互重叠,观察数据视角不尽相同,缺少数据标准与业务统一定义,语轨不一致;由于业务系统输入的随意性,导致部分关键业务数据质量较差。数据架构方面由于全行的数据散落在各个业务系统中,没有进行有效整合,形成竖井式架构,造成多个信息孤岛,整体架构缺少一个稳定的、抗源变化的保存最细粒度历史数据的数据层。无法支撑未来共享性应用。业务表现信息孤岛数据冗余共享性差历史数据缺失问题数据分散,难以管理没有一个稳定的,抗源变化的数据层数据应用难题缺少统一的应用分析标准业务表现各集市系统指标存在重复各集市系统在保有存量的同时,不断产生新的指标(增量)集市指标派生无法实现指标逻辑视

29、图(指标分类)不一致问题重复投入数据不一致指标设计、口径不一致指标难以共享缺少统一的基础数据标准业务表现各系统存在冗余数据各系统存在业务含义一致,名称定义不一致的属性各系统存在含义不一致,名称定义一致的情况业务代码定义混乱问题重复投入数据不一致、不准确难以利用和管理各系统数据难以共享缺少反馈机制没有归纳并总结数据质量问题,缺少反馈机制,导致长期存在各类数据质量问题。业务表现指标难以共享数据不一致、不准确问题部分关键业务数据缺失源系统校验关系缺失及业务人员操作随意数据应用现状总结随着业务的不断发展和信息化的不断深入,需建设的业务系统越来越多,随着业务系统的数据种类不断丰富完善,数据量的不断增大,

30、如果不采取有效手段解决数据架构、数据标准、数据质量问题,随着信息化建设的深入,这些问题将像雪球一样越滚越大,越积越多。银行大数据治理阶段目标通过数据平台和BI应用建设,银行大数据将搭建统一的大数据共享和分析平台,对各类业务进行前瞻性预测及分析,为银行各层次用户提供统一的决策分析支持,提升数据共享与流转能力。数据平台逻辑架构数据平台部署架构建设目标以大数据项目建设作为契机,凝聚我行优势力量,全面梳理数据资源,完善数据体系架构,自主掌握大数据关键技术,加速大数据资源的开发利用,将数据决策化贯穿到经营管理全流程,建设智慧银行,提升核心竞争力。建设大数据基础设施,完善全行数据体系架构构建大数据平台,实

31、现更广泛的半结构化、非结构化数据集中采集、存储、加工、分析和应用,极大地丰富我行的信息资源,同现有的企业级数据仓库和历史数据存储系统一起,形成基础数据体系,提供支撑经营管理的各类数据应用。开发大数据资源,支撑全行经营管理创新建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市,提供高性能可扩展的分布式计算引擎,通过数据挖掘、计量分析和机器学习等手段,对丰富的大数据资源进行开发使用,并将数据决策化过程结合到风控、营销、营运等经营管理活动。培养大数据人才队伍,建立大数据分析能力结合大数据项目的落地实施,建立起一支大数据技术和分析人员队伍,具备自主运营和开发大数据的能力,以更好推动业务创新,

32、提升我行核心竞争力。数据治理目标发现数据质量问题,推动大数据治理工作的开展,建立数据质量检核系统对源系统进行数据质量检核,发现数据质量问题并统计影响到的报表对数据质量问题进行归类总结,分析成因和改进建议建设数据质量检核系统分析、梳理业务系统,推动数据标准的建立,统一全行口径建立基础标准和指标标准框架确定标准化范围,对重要属性进行标准化建立数据仓库模型框架,优化我行数据架构,建设稳定、可扩展的数据仓库引进业内具有先进水平的金融数据模型,进行客户化改造后,建成符合某行特点的数据仓库模型框架覆盖某行主要业务系统数据,以便快速高效的为应用系统提供数据存储历史数据,解决新报表上线才有数的问题。汇总层建设

33、(共性加工)目标建设方法建设内容分析源系统表数据,从及时性、完整性、准确性、有效性、一致性方面对源系统数据进行数据校验,发现并记录数据质量问题,生成数据质量问题报告。建设数据质量检核系统,对源系统基础业务数据的进行全面的数据质量检查,并实现重要业务数据质量的周期性动态检查,对发现的数据质量问题生成数据质量报告,反馈给业务部门。工作 阶段源系统分析阶段全面分析主要源业务系统。工作内容全面分析和消化主要源业务系统重点分析核心业务系统和信贷两个系统工作依据源系统文档: 源系统操作手册、源业务系统设计说明书、源系统数据字典源系统环境及调研数据工作重点系统内:梳理业务流程、业务逻辑、业务关联、数据库表和

34、字段的设计系统间:梳理业务关联关系、数据关联关系数据质量问题检查阶段根据制定的检查规则编写程序,对源系统数据进行检查。工作内容梳理和制定数据质量检查规则,定义标准模板依据数据检查规则,编写程序,对核心业务系统、信贷管理系统的进行检查工作依据系统调研和分析成果数据质量检查规则的依据调研成果的以下内容进行梳理:业务流程、业务逻辑数据逻辑设计报表数据应用工作重点重点报表用到的表进行分析数据质量问题分析阶段分析有质量问题数据对现有应用的影响;提出解决措施。工作内容分析有质量问题数据对现有报表应用的影响对数据质量问题的成因进行分析和总结对数据质量问题的解决措施进行分析和总结工作依据数据质量检查结果源数据

35、与报表依赖关系工作重点重点分析报表平台的1104等报表存在的部分数据质量问题。预期建设效益实现数据共享通过数据平台实现数据集中,确保银行大数据各级部门均可在保证数据隐私和安全的前提下使用数据,充分发挥数据作为企业重要资产的业务价值。加强业务合作实现分散在供应链银行、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合,建立单一的产品、客户等数据的企业级视图,有效促进业务的集成和协作,并为企业级分析、交叉销售提供基础。促进业务创新银行大数据业务人员可以基于明细、可信的数据,进行多维分析和数据挖掘,为银行业务创新(客户服务创新、产品创新等)创造了有利条件。提升建设效率通过数据平台对数据进行集

36、中,为管理分析、挖掘预测类等系统提供一致的数据基础,改变现有系统数据来源多、数据处理复杂的现状,实现应用系统建设模式的转变,提升相关IT系统的建设和运行效率。改善数据质量从中长期看,数据仓库对银行大数据分散在各个业务系统中的数据整合、清洗,有助于企业整体数据质量的改善,提高的数据的实用性。银行大数据建设总体规划功能需求个人和企业画像国内不少银行已经开始尝试通过大数据来驱动业务运营,为个人客户画像和企业客户“画像”。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等;企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。客户画像作用:1、用户的所有

37、属性特征、订单特征、行为特征集合到一个系统中,然后只需要在一个报表层面,只需要输入用户ID、手机号、用户名等即可实现完整的用户信息查询。2、当处理用户的私人财务信息时候,用户喜欢一对一的个性化服务。用户画像可以展示用户的每一次活动,例如用户注资、消费等主要的行为。3、通过软件的实时分析,可以及时跟踪用户的注册、交易等关键环节遇到的问题。4、实时衡量广告活动的有效性,通过实时在线访客工作,及时评估活动的引流用户的活动参与性。可以及时调整广告的投放策略,减少广告的浪费。客户画像:在金融方面有非常大的潜力,市面上有一些完善的软件和解决方案,但能够真正打入到银行内部的比较少,同时银行在手机端和电商方面

38、有很大的突破,对于大数据的信息也非常的需要。建议:通过市面上的软件进行oem。实现精准营销在客户“画像”的基础上,金融业可以有效地开展精准营销。例如,根据客户的实时状态来进行营销,根据所在地、客户最近一次消费等信息来有针对地进行营销,或者将改变生活状态的事件视为营销机会。精准营销:通过对大数据信息的掌握,采用多种方法论和技术去分析得出结论,进行营销。目前市面上也有类似的软件,也有详细的方法论,在银行方面还有待验证。建议:继续进行市场的验证。为金融业提供风险管控金融业结合大数据,可以实现对中小企业贷款风险评估和欺诈交易识别。银行可通过企业的生产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷

39、款风险分析,量化企业的信用额度,更有效的开展中小企业贷款。风险管控:1、通过客户在社交媒体上的行为数据、客户在电商网站的交易数据、企业客户的产业链上下游数据、其他有利于扩展银行对客户兴趣爱好的数据来进行数据的分析;2、目前金融的风险主要来自于大中型企业信用风险、小微型企业信用风险、个人/消费者信用风险等;风险管控:银行对于大数据的信息有比较全面的机制,信用体系、贷款体系、金融体系都有比较多的专家和方法来管理风险。建议:多走访银行风控体系,看看是否新的突破点运营优化运营优化:通过大数据的各个指标,进行市场和渠道的分析,同时可以对自身的产品进行优化和舆情的预报分析。建议:继续进行市场的验证。银行大

40、数据应用架构远景银行需要从“坐商”转型为“行商”潜在客户在哪里?这些客户有什么样的金融需求?如何进行主动营销?精准营销?即时营销?内部管理,绩效考核等,如何配套转型?客户下沉面向个体规模小但是数量众多的客户群体,金融产品如何设计才有吸引力?面向个性化十足的客户需求,如何低成本地改善客户体验?小客户的风险、成本如何控制?与“互联网金融”进行差异化竞争网点优势面对面地达成交易;专业优势全方位的客户体验银行大数据平台应用架构银行大数据平台架构银行大数据支撑平台大数据虚拟化平台大数据虚拟化平台采用虚拟化技术,以充分利用计算、存储、网络等资源,同时采用数据备份方案以增加可靠性。可以实现:1效率大幅度提高

41、由于将资源池化管理和使用,资源得到充分利用。采用分权分域运维的方式,运维更加有效。2更低能耗更加节能,基础设施与IT设备联动节能、负荷均衡。3优化业务新业务上线周期大幅度缩短。可以为各单位提供更多业务:IAAS、PAAS、SAAS,等等。4提高效益在区级单位建立虚拟化平台,其他各单位不需要建立维护自己的基础设施,利用区大数据虚拟化平台运行各自应用。投资收益率,大幅提升,TCO大幅度降低。设计原则1统一的虚拟化平台采用虚拟化管理软件,将计算资源划分为多个虚拟机资源,为用户提供高性能、可运营、可管理的虚拟机。支持虚拟机资源按需分配。支持多操作系统。保证资源合理分配,隔离用户间影响。本项目中,为新开

42、发业务系统、迁移业务系统、数据交换与共享前置机分配虚拟机。2统一的资源管理统一资源池,屏蔽不同硬件差异,资源的更换升级对用户零感知。统一管理平台,支持业界主流的操作系统,兼容现有计算及存储资源。设备自动发现,资源快速发放,缩短业务上线时间。3支持多种硬件设备支持多种服务器和兼容多种存储设备,可供用户灵活选择。4自动化调度支持自定义的资源管理策略、故障判断标准及恢复策略。通过资源调度、热管理、能耗管理等一体化拉通,降低维护成本。自动检测服务器或业务的负载情况,对资源进行智能调度,均衡各服务器及业务系统负载,保证系统良好的用户体验和业务系统的最佳响应。5完善的权限管理根据不同的角色、权限等,提供完

43、善的权限管理功能,授权用户对系统内容的资源进行管理。6应用智能管理支持服务目录,应用快速部署。灵活的模板机制,支持用户自定义模板。7精细化计费针对不同的业务类型,进行精确计费。按IT资源(CPU、内存、存储)用量计费。按时计费。8丰富的运维管理,实现业务的可控、可管,使整个系统有效运营。支持快速故障定位,系统通过获取异常日志和程序堆栈等方法,缩短问题定位时间,快速解决异常问题。系统通过自动化的健康状态检查,及时发现故障并预警,确保虚拟机可运营管理。支持全Web化的界面,通过Web浏览器对所有硬件资源、虚拟资源、用户业务发放等进行监控管理。9安全采用多种安全措施和策略,并遵从信息安全法律法规,对

44、用户接入、管理维护、数据、网络、虚拟化等提供端到端的业务保护。虚拟化平台设计图 STYLEREF 2 s 5.2 SEQ 图 * ARABIC s 2 2虚拟化平台架构如图所示为虚拟化平台的架构,主要包括五个部分:硬件基础设施、虚拟化存储、虚拟化计算、平台管理、数据存储系统五个部分。硬件基础设施层硬件资源包括服务器、存储、网络等全面的平台基础物理设备资源,支持平滑新建或扩容,是运行各种应用的平台。支持的设备类型丰富,提供灵活的部署选择。平台包括以下硬件设备:1采用五套虚拟化平台服务器提供基础支撑,需要在物理服务器上部署虚拟化平台管理软件(按照CPU数量部署)用于提供虚拟化服务;2一台PC用于虚

45、拟化平台管理PC;3两台物理数据库服务器用于安装数据库管理系统;4一套磁盘阵列提供数据存储服务;5二台FC光纤交换机用于连接服务器和存储磁盘阵列;6服务器都连接到核心交换机上以提供IP网络连接。虚拟化存储通过软件管理,可以把本地硬盘存储资源组织成一个虚拟存储资源池,提供块存储功能。除了利用虚拟化平台服务器的存储空间以外,也可以使用磁盘阵列的存储空间。虚拟化计算通过虚拟化平台软件,主要负责硬件资源的虚拟化,以及对虚拟资源、业务资源、用户资源的集中管理。采用虚拟计算、虚拟存储、虚拟网络等技术,完成计算资源、存储资源、网络资源的虚拟化。同时通过统一的接口,对这些虚拟资源进行集中调度和管理,从而降低业

46、务的运行成本,保证系统的安全性和可靠性。需要在物理服务器上部署虚拟化平台管理软件(按照CPU数量部署)用于提供虚拟化服务,本项目一期需要配置20个CPU的虚拟化平台管理软件。根据实际需要在虚拟化平台上配置以下虚拟机:迁移业务应用虚拟机(约47个)、新开发业务虚拟机(7个)、数据交换与共享前置虚拟机(20个),在虚拟机上安装操作系统并部署应用系统提供服务。平台管理对虚拟化平台的软件和硬件进行全面的监控和管理,实现自动化资源发放和自动化基础设施运维管理两大核心功能,并向内部运维管理人员提供运营与管理门户。此外,还有虚拟化备份软件以实现虚拟机数据备份方案,容灾业务管理软件提供虚拟机关键数据的数据保护

47、和容灾恢复。数据存储系统设计数据存储系统采用统一规划设计,分布实施的策略。设计主备磁盘阵列,其中主磁盘阵列为第一期实施,与其他业务系统部署在电信主机房,备用磁盘阵列为后期实施,部署在移动机房。为保证数据业务的高可靠性,采用“物理服务器+磁盘阵列”的SAN存储系统。物理服务器上运行数据库管理系统,数据存储在磁盘阵列上,为应用业务提供高效服务。虚拟化服务器通过光纤交换机与磁盘阵列相连,一般情况下磁盘阵列只为数据库服务器服务,必要时也可以分配给虚拟机使用。一期存储系统方案包括两台数据库服务器、两台FC交换机和主磁盘阵列。图 STYLEREF 2 s 5.2 SEQ 图 * ARABIC s 2 3

48、SAN存储系统配置一套中高端存储(磁盘阵列)作为核心存储以保证数据的安全性,配置FC交换机连接数据库服务器和虚拟化平台服务器以及主磁盘阵列。实现各业务系统分散数据的集中存储,提供高可靠、高性能、高扩展的存储系统,为业务系统提供数据存取的支撑平台。SAN存储系统采用两套光纤交换机,双机热备方式,每台光纤交换机FC接口分别连接主存储、虚拟化平台服务器、数据库服务器。采用冗余架构,保障数据的可靠性和业务的连续性。如果后续新增业务系统,只需要连接到存储区域网络,并分配相应的存储空间,就可实现数据的集中存储。如果容量不够,只需要增加磁盘及配套的磁盘扩展柜。业务的扩展和扩容可实现即插即用,轻易地进行部署应

49、用。高性能SAN存储系统SAN(Storage Area Network)存储区域网络,是一种通过SAN网络方式连接存储设备和服务器的存储架构,SAN网络专用于主机和存储设备之间的访问。当有数据的存取需求时,数据可以通过SAN存储区域网络在服务器和后台存储设备之间高速传输。采用SAN使存储空间得到更加充分的利用。在SAN网络中,存储实现的是直接对物理硬件的块级存储访问,提高了存储的性能和升级能力。SAN更适合网络关键任务的数据存储,与其他存储技术相比,SAN网络具有以下特性:1高可用,作为统一存储资源池为各个系统所共享,各系统服务器通过接入SAN网络,快速高效地实现对存储的访问。2高性能,多采

50、用业界最先进的技术,包括Intel专用存储多核处理器、超大缓存扩展、PCI-E 2.0、SAS 2.0、SSD等。3便于扩展,数十倍的存储容量扩展能力提升,支持多种存储介质混合使用,支持容量弹性分配,在线扩容。4高安全:存储系统完全冗余设计,全系统无单点故障,包括控制器、电源、电池、风扇等均为冗余结构;每冗余设备在故障出现时能保证自动切换,任何单一部件故障都不会影响整个存储系统的正常运行。5可实现基于网络的高效备份,适合于海量数据、关键数据的存储备份。6支持集中管理和远程管理,支持服务器的异构平台。同时SAN存储区域网具有更广的应用领域,如数据共享、存储共享、数据备份、灾难恢复等。存储方案优势

51、1高可靠本方案所采用两台磁盘阵列提供全面的系统故障保护,最大限度的保证用户数据的可用性和安全性。(1)全冗余架构采用双活镜像技术、双控制器架构,控制器、磁盘柜、缓存、硬盘等关键组件都采用冗余设计,保障系统的高可靠。(2)冗余SAN组网为提高整个系统的可靠性,本方案在SAN架构设计上严格按照冗余方式进行组网,防止单点故障。服务器接入,至少采用两个存储接口卡接入SAN网络;SAN交换设备,采用SAN交换机两个交换板卡同时工作,保证所有连接设备至少双链路通信;(3)完善的磁盘安全策略2高性能在架构设计上,采用大量业界先进技术,包括大容量缓存扩展、PCI-E 2.0、SAS 2.0、SSD等,构建高性

52、能的存储平台。(1)高带宽总线技术(2)大容量智能缓存管理3高扩展性方案的高扩展体现在存储的容量及性能高扩展。大数据分析管理平台建设内容包括大数据分析处理平台、大数据分析节点群两部分。通过在物理机X86集群上安装大数据分析处理平台软件,对大数据进行分析处理,挖掘数据价值。如图所示大数据分析管理平台。图 STYLEREF 2 s 5.2 SEQ 图 * ARABIC s 2 4 大数据分析管理平台大数据分析处理平台大数据分析处理平台应用范围覆盖各种规模和不同数据量的场景,通过内存计算、高效索引、执行优化和高度容错的技术,使得一个平台能够处理10GB到100PB的数据,并且在每个数量级上,都能比现

53、有技术提供更快的性能;不再需要混合架构,可以伴随客户的数据增长,动态不停机扩容,避免数据迁移的棘手问题。大数据分析处理平台功能包含四个功能组成部分:分布式内存分析引擎,数据挖掘引擎,分布式实时在线数据处理引擎和流处理引擎,在不同场景下分别完成不同功能。分布式内存分析引擎交互式内存分析引擎提供高速SQL分析和R语言数据挖掘能力,可建立高速可扩展的数据仓库和/或数据集市,结合多种报表工具提供交互式数据分析、即时报表和可视化能力。提供完整的ANSI SQL支持以及PL/SQL过程语言扩展,可以支持复杂的数据仓库类分析应用,也使得从原有数据库系统迁移更为容易。数据挖掘引擎数据挖掘引擎支持R语言引擎,用

54、户可以通过R访问大数据分析节点群上的HDFS或者分布式实时在线数据处理引擎中的数据,还支持访问存储在分布式内存中的数据。在数据挖掘引擎中,用户既可以通过R命令行,也可以使用图形化的R Studio执行R语言程序来访问数据,易用性极高。数据挖掘引擎内置了大量常用机器学习算法的分布式实现,可以与R语言中的数千个算法混合使用,配合内置的高度优化的专有算法,可高速分析现有平台中的海量数据。此外,数据挖掘引擎还集成了多个机器学习算法库,包含了统计算法、分类算法、聚类分析、回归分析、频度关联分析和神经网络在内的常用算法,方便用户快速构建大规模数据挖掘系统和方案。分布式实时在线数据处理引擎分布式实时在线数据

55、处理引擎融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时数据库。可以高效地支持企业的在线联机分析处理应用、高并发联机分析处理应用、批处理应用、全文搜索或高并发图形数据库检索应用,结合分布式内存分析引擎,可以创建可扩展在线运营数据库(Operational Database)或者实时分析型数据库(ODS - Operational Data Store)。流处理引擎实时流处理引擎提供了强大的流计算表达能力,支持复杂的应用逻辑,业务系统的消息通过实时消息队列进入计算集群(大数据分析节点群),在集群内以流水线方式被依次处理,完成数据转换、特征提取、策略检查、分析告警等复杂服务计

56、算,最终输出到分布式实时在线数据处理引擎等存储集群,实时生成告警页面、实时展示页面等。系统具备强扩展性、强容错、低延迟、高吞吐等特点,应用于实时数据(如传感器数据)的实时告警、风险控制、在线统计和挖掘等业务。大数据分析支撑系统大数据分析支撑系统具有高模块化和松耦合的架构,针对不同的应用领域通过组件之间的灵活组合与高效协作来提供定制化的支撑。1数据存储层:基于HDFS2.2的大数据存储和在线服务系,支持Erasure Code,在副本数降低至1.5倍的情况下,提高了可靠性,可同时容忍四个数据块丢失,支持可靠存储TB到数十PB的数据;2资源管理层:缺省采用下一代资源管理框架YARN进行资源的分配和

57、调度,支持同时运行多个计算框架;3计算引擎层:采用Map/Reduce2完成大部分离线批处理计算任务;4数据分析与挖掘层:支持离线批量SQL统计,支持机器学习算法库Mahout;5数据集成层:Sqoop支持数据迁移,Flume支持从日志系统采集数据;与外部工具的对接:1与ETL工具的对接,支持商业和开源的ETL工具,例如:Sqoop、Pentaho、DataStage、Informatica、Trinity等工具,并在较多项目中有实际的集成、落地经验;2任务调度工具,通过Ooize、Waterline、Trinity等工具进行作业调度;3报表工具对接,同现有成熟的商业报表工具都可以无缝对接,包

58、括:IBM Cognos、Oracle BIEE、Sap BO、Microstrategy、Tableau、永洪BI、帆软报表、水晶报表、润乾报表等等。大数据分析节点群大数据分析节点群需要选择一组用网络连接起来的x86服务器,并在服务器上安装运行大数据平台软件,进而提供大数据分析能力。以下是大数据分析节点群最少的服务器配置要求,可以根据实际情况做调整。其中至少配置2个管理节点,如果有结构化数据要处理至少配置3个以上分析节点用于处理结构化数据,如果有非结构化数据需要处理至少配置3个以上节点用于处理非结构化数据。表 STYLEREF 2 s 5.2 SEQ 表 * ARABIC s 2 2 服务器

59、配置要求服务器推荐配置及说明数量管理节点2个,节点数根据数据存储容量计算,其中结构化分析节点至少3个,非结构化分析节点至少3个。CPU两路8核处理器2*E5-2650v3或以上内存128GB ECCDDR3硬盘10个1.2T的SAS硬盘,10000RPM,不使用RAID;2个300G的SAS硬盘,15000RPM,RAID1,作为系统盘网络双口万兆(10Gbps)以太网卡软硬件配置1银行大数据平台方案分析节点数通过前期调研,获取到客户总的数据量一期存储需求,结构化数据3T,非结构化数据15T。参照存储容量计算大数据平台节点数。大数据平台中数据采用HDFS格式保存,HDFS需要保存3个副本存储数

60、据,中间结果保存1份数据,建立的索引占用0.5倍数据存储空间;存储过程中结构化数据采用压缩技术,按照压缩率50%计算,非结构化数据压缩率1;磁盘空间考虑30%的冗余。此外,可以根据实际项目规划酌情考虑放大节点数。如下公式数据实际需要的存储空间:实际数据量TB *(副本存储空间+中间结果存储空间+索引存储空间)*数据压缩率*(1+冗余空间);参数说明:a、副本存储空间:3;b、中间结果存储空间:1;c、索引存储空间:0.5;d、结构化数据压缩率:0.5,非结构化数据压缩率:1;e、冗余空间:0.3;一期3T结构化数据需要8.775T的存储空间,15T非结构化数据需要87.75T的存储空间。采用的

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论