银行业金融大数据服务平台项目规划书

1、规划书精选工程介绍1.1工程背景银行业一直是一个数据驱动的行业，数据也一直是银行信息化的主题词。银行的信息化进程先后经历过业务电子化、数据集中化、管理模型化等阶段，如今随着大数据技术的飞速 开展，银行信息化也进入了新的阶段：大数据时代。目前，国内银行都积累了海量的金融数据，包括各类结构化、半结构化、非结构化数据，数据量巨大，存储方式多样。但是这些海量数据还没得到充分利用，显得价值含量较低。只 有经过适宜的预处理、模型设计、分析挖掘后，才能发现隐藏在其中的潜在规律。而应用大数据分析技术，可以从海量的、不完全一致的、有噪声的、模糊的、随机的数据中提取隐含 在其中的、人们事先不知道的、但又是潜在有用

2、的信息和知识。银行可以利用这些信息和知识来提升金融业务的效劳效率和管理水平，银行的关键业务也能从中获得巨大收益。银行在大数据技术应用方面具有天然优势：一方面，银行在业务开展过程中积累了大量有价值数据，这些数据在运用大数据技术挖掘和分析之后，将产生巨大的商业价值； 另一方面，银行在资金、设备、人才、技术上都具有极大的便利条件，有能力采用大数据的最新技 术。建立“金融大数据效劳平台，可以通过对金融数据的挖掘、分析，创造数据增值价值，提供针对银行的精准营销、统一广揭发布、业务体验优化、客户综合管理、风险控制等多种金融效劳。1.2业务需求目前，银行客户对数据的利用仍是以各类统计报表为主，存在以下重大弊

3、端：1. 对数据的分析仅按照固定工程，对业务情况进行事后统计分析和监控。实际上没有找到隐藏在数据背后的原因，数据深度分析和数据挖掘能力缺乏。2. 对数据的分析仅作为专项的统计分析结果输出，对于数据间的因果影响、相关性分组或关联规那么、聚类、描述和可视化等工作尚未开展，数据关联分析能力缺乏。3. 统计分析侧重在事后的数据汇总，难以从数据汇总中得到客户效劳事件发生的规律，以及前瞻性判断，数据的预测性分析能力缺乏。针对具体的金融业务，大数据分析在以下方面有着迫切的需求：统一广揭发布：目前金融行业客户在广告方面投入大、 渠道多，但在确认真实效果、提 供优化广告策略时却不能提供确切的数据证据。 亟需利用

4、大数据技术在收集各类型、 各渠道 广揭发布数据的根底上，提供可靠的效果数据和优化策略建议。精准营销：目前金融行业的营销方式根本上还是粗放式的，调查方式粗糙，分析原因简单，对过程的控制力差， 对客户和产品的推广都缺少针对性。亟需利用大数据技术来收集详尽数据、科学分析原因、严格控制过程、并有针对性地面向客户和产品进行营销推广。业务系统优化:目前金融行业对其业务系统的客户体验效果、客户转化率缺乏准确数据支持，也无法分析具体原因。亟需利用大数据技术获得各业务、各环节的客户转化率，从而有针对性地改良业务流程，提升效劳质量。客户流失分析：对于如何稳定留存客户、降低客户流失率，目前金融客户还无法准确分析客户

5、流失的原因，也就无从提出有效的改良措施。亟需利用大数据技术在分析流失客户数据的根底上，提出改良客户关系管理效率和水平的有效建议。风险分析：金融行业对自己客户和业务的风险分析停留在初级阶段，缺乏全面掌握和提前预防的技术手段。亟需利用大数据技术获得存在较高风险的客户群体及业务，作为对其进行重点监控和提前做好预防措施的根底。通过建设金融大数据效劳平台，研发基于大数据分析的统一广揭发布系统、精准营销系统、业务体验优化系统、客户流失分析系统和风险分析系统，金融客户可以提升广揭发布效果，提高营销针对性，优化效劳质量，改善客户管理水平，预防风险冲击，进而为业务开展 提供决策支撑，并促进相关领域构建新的业务模

6、式、效劳模式。二. 工程范围北京XXXX技术自主研发的“金融大数据效劳平台，旨在为金融行业客户提供包括数据采集、数据存储、数据预处理、数据挖掘、可视化展现、业务实现等全流程效劳，以帮助客户实现各种金融业务。数据采集“金融大数据效劳平台首先需要收集各种金融数据，它们可能是结构化的， 也可能是半结构化或非结构化的；既可能来自银行内部的各业务系统，也可能由外部提供；既可以是静态的如属性数据，也可以是动态的如行为数据。而金融数据采集产品就是根据业务 需要，将这些数据采集到“金融大数据效劳平台中。数据存储Hadoop集群通过将数据分配到多个集群节点上并进行并行处理，因此尤为适合对大数 据的存储和分析。H

7、adoop集群通过添加节点数量来有效的扩展集群，因此具有极好的可扩 展性；Hadoop软件都是开源的，也不必购置昂贵的高档效劳器，因此具有很好的性价比。 Hadoop集群将数据分片发送至多个节点保存，因此具有极高的容错性。数据预处理采集到金融数据来自多种数据源，大多存在着不完整性和不一致性，无法直接用于数据挖掘或严重影响数据挖掘的效率。因此在进行数据挖掘之前，通过使用数据预处理工具，灵活对原始数据的清理、变换、集成等处理，可以减少挖掘所需数据量，缩短所需时间，并极 大提高数据挖掘的质量。数据挖掘数据挖掘是通过分析数据、从大量数据中寻找其潜在规律的技术。利用预测、关联、分类、聚类、时序分析等技术

8、，数据挖掘可以从海量的、不完全的、有噪声的、模糊的、随机 的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。目前，传统的数据挖掘产品在大数据平台上还存在一些局限性，研发一套Hadoop平台下的数据挖掘工具是一项极具挑战性的任务。可视化展现数据挖掘得到的结果，往往数据量巨大、关联关系复杂、维度多以及双向互动需求等。可视化展现工具以适合人类思维的图形化的方式对结果进行展示，提高了数据的直观性和可视性。可视化展现面向各类客户，通过选择适宜的可视化模型，将枯燥的数据转换为令人印 象深刻的美丽图形，极大提升了数据的利用价值。业务实现“金融大数据效劳平台的效果，最终需要集成在各类金融

9、业务系统中才能得以表达。 目前拟建设的金融业务系统有：精准营销系统、统一广揭发布系统、业务体验优化系统、客户流失分析系统、风险分析系统等。三. 工程目标实施针对银行的“金融大数据效劳平台工程，通过采集银行内部与外部、静态与动态的各类金融数据，搭建适于大数据存储与分析的Hadoop集群，对金融数据采取适宜的预处理方式，利用数据挖掘技术得出隐藏在海量数据后的、有价值的潜在规律，以丰富的可视化模型向客户进行展现，在此根底上实现精准营销、统一广揭发布、业务体验优化、客户综合管理、风险控制等金融业务应用。由此，提升金融业务的水平和效率，推进银行业务创新， 降低银行管理和运行本钱。本工程的具体技术目标包括

10、：开发金融数据采集工具：大数据分析需要收集来自银行内部的和外部的、静态的和动态的各种金融数据，为此开发各类金融数据采集工具，如动态采集SDK日志提取分析工具、外部数据导入工具等。搭建Hadoop大数据集群：搭建Hadoop大数据集群，是建设“金融大数据效劳平台 的根底。禾U用多台性能较为一般的效劳器，组成一套基于HDFS和Map-Reduce机制的集群，并根据需要在其上安装 Hive、HBase、Sqoop、ZooKeeper等软件。实现分析挖掘算法：支持Hadoop的分析挖掘算法，是“金融大数据效劳平台的一个 关键组成局部。在利用传统数据挖掘技术的根底上，实现包括抽象的数学算法 如关联算法、

11、分类算法、聚类算法、时序分析算法等，以及在此根底上针对金融业务的专业算法如客户行为特征模型、效果分析模型等，作为进一步构建抽象模型和金融专业模型的根底。构建分析挖掘模型：支持Hadoop的分析挖掘模型，是“金融大数据效劳平台的另一关键组成局部。在上一步根底上，快速构建抽象的数学模型如神经网络模型、事物关联模 型等，以及针对金融业务的专业模型如精准营销模型、广告效果评估模型等。实现ETL工具：数据预处理也是“金融大数据效劳平台需要解决的问题之一。利用市 场上已有的数据预处理成果，研发一个支持Hadoop的ETL工具，实现包括标准化、数据抽样、数据排序、汇总、指定因变量、属性变换、数据替换、数据降

12、维、数据集拆分、离散化 等功能。实现可视化展现工具：“金融大数据效劳平台上的分析结果将主要采用丰富多彩的可 视化形式向用户进行可视化展现。利用市场上已有的相关技术和产品，研发一个可视化展现工具，可以支持：分类树图、视觉聚类图、关联图、序列图、回归图等多种可视化形式。实现金融业务应用：将分析挖掘的结果集成到具体的银行业务系统中，如精准营销系统、统一广揭发布平台、业务体验优化系统、客户综合管理系统、风险控制系统等。具体方式既 可以是实现某个独立的新业务系统，也可以是在现有系统中实现一个或多个新模块，从而扩充或提升原有的功能。本工程的具体业务目标包括：精准营销：综合分析客户行为特征信息和金融业务分类

13、信息，可以得到客户最有可能感兴趣的业务以及业务最有可能的潜在客户群，以此为根底有针对性地开展营销；统一广揭发布：分析广告效果分析信息，可以得到各类型、各渠道的最正确配置或薄弱环 节，以此为根底改变广告策略、提升广告效果；业务体验优化:分析客户业务体验信息、客户流失信息，可以得到客户在各业务、各环 节的转化率，分析流失原因，在此根底上改良业务流程、 提高效劳质量，以提升客户满意度；客户流失分析：综合分析客户行为特征信息、客户流失信息及其它信息，得到客户的全方面分析结果，在此根底上改良客户关系管理的效率和水平；风险分析：分析客户属性数据、风险分析数据，可以得到存在较高风险可能的客户群体 和业务信息

14、，在此根底上区分特别关注目标、 制定预防措施，降低这些客户和业务可能带来 的冲击。四. 技术方案4.1总体架构“金融大数据效劳平台由数据采集层、数据存储层、分析挖掘层和业务应用层组成,总体框架如下列图所示：数据提取、导入数据源传统系统SDK日数据采集层：负责从各类数据源中提取、导入数据，主要产品包括：动态采集 志提取分析工具、外部数据导入工具、其它数据提取工具等。数据存储层：负责将预处理后的数据进行存储，主要由可进行横向扩展的Hadoop集群构成，另外辅之以关系数据库作数据中转、元数据存储、供某些软件使用等用途。分析挖掘层：负责金融数据经建模、挖掘、评估和发布，核心是实现两类数据挖掘的算法和模

15、型：一类是抽象的数学算法及模型，另一类是在此根底上针对金融业务的专业算法和模型。业务应用层：负责将分析挖掘结果的可视化展现形式，集成到相应的金融业务系统中。另外，在数据采集层和数据存储层之间，由ETL工具负责数据预处理任务；在分析挖掘层和业务应用层之间，由可视化展现工具负责分析挖掘结果的可视化展现任务。4.2技术架构“金融大数据效劳平台的技术架构采用多层次形式，如下列图所示:一 £. 一TR分析包,SAS, 分析挖掘算法R图形包， 可视化展现分析 挖掘层业务 实现层R分析包,SAS, 分析挖掘模型数据源包括各类动态数据如行为数据、静态数据如属性数据、日志文件以及其它 数据等，可以是结

16、构化的、半结构化的和非结构化的数据。如对动态数据的采在数据采集层，各采集工具根据具体情况采用不同的技术实现方式, 集，使用C/S架构的客户端采集 SDK对日志文件使用 Map-Reduce方式的分析提取工具，对静态数据按Sqoop方式从关系数据导入，对其它数据那么使用定制化程序，等等。ETL数据抽取、转换、加载将采集到的各种数据整合成统一的数据模型，包括数据清洗、数据转换、数据规约、数据集成等。为加快工程进度和保证工程质量，初步决定在某 个支持Hadoop的开源ETL产品如Kettle的根底上进行二次开发。在数据存储层，Hadoop集群使用Hadoop技术生态圈的诸多关键技术，包括：分布式存储

17、HDFS系统、并行处理 Map-Reduce机制、No-SQL数据库Hbase、数据仓库 Hive、协调系统ZooKeeper等。此外，还需用到关系数据库担任数据中转、元数据存储、供某些软件使用等用途。分析挖掘层的任务是在Hadoop集群实现各种分析挖掘算法和分析挖掘模型。算法和模型有两类，一类是抽象的数学算法如聚类算法、关联分析算法和数学模型如神经网络模型、事物关联模型等，另一类是此根底上构建的专业算法如金融客户分类算法、效果评估算法和专业模型如客户行为特征模型、效果评估模型。为加快工程进度、保证项目质量和扩大适应范围，初步决定在SAS和 R的分析挖掘包的根底上实现算法接口，并利用算法接口构

18、建大局部模型，其余局部视实际情况而以自主研发方式构建。可视化展现将分析挖掘结果面向用户进行各种可视化展现如散点图、直方图、分布图、饼图等，分析挖掘的质量也决定着展现的质量。为加快工程进度，初步决定在某个可视化展现开源产品如 R的图形包的根底上进行二次开发。在业务实现层，分析挖掘结果集成到相应的金融业务系统中。具体方式既可以是实现某个独立的新业务系统，也可以是在现有系统中实现一个或多个新模块，从而扩充或提升原有的功能。4.3物理架构“金融大数据效劳平台采用集中部署方式，硬件环境由Hadoop集群效劳器和数据库集群组成，如下列图所示：其中，Hadoop集群包括两个 NameNode 主从方式和多个

19、 DataNode 最少3个，以 后根据需要增加；NameNode用于管理数据在 DataNode上的分配，而DataNode用于数据 的存储。NameNode和DataNode采用相同的配置，运营环境中建议为：CPU为2块*16核,主频22.5GHz,内存128G，硬盘12块*2T。数据库集群包括两台数据库效劳器，采用双机热备方式。其配置建议为：CPU为2块*16核，主频22.5GHz，内存64G，硬盘12块*2T。五. 工程人员组织5.1工程组织结构各组组成及职责为:工程领导组：由公司高管、部门经理担任，负责组织、监督、协调工程的进行;工程经理：由工程领导组任命，根本职责是确保工程目标准时

20、、优质地完成；大平台组：负责金融大数据效劳平台的相关事务，包括搭建Hadoop大数据集群、实现数据挖掘算法、构建业务模型等；业务组：承当与金融业务相关的事务，包括市场调研、对金融业务系统、功能性产品的 需求分析等；系统开发组：承当对各产品及业务系统的开发任务，包括SDK产品、ETL工具、可视化展现工具、各个金融业务系统的开发等。5.2工程人员配置组别级别人数备注工程领导组高级管理人员1或多人由公司高管、部门经理兼任工程经理中级管理人员1大平台组系统设计员多人技术专豕实施人员多人业务组需求分析员每产品或系统1人一般由组长兼任系统设计员每产品或系统1人业务实现组系统设计员每产品或系统1人一般由组长

21、兼任编码人员多人测试人员多人实施人员多人六. 工程进度方案“金融大数据效劳平台 的整体进度分工程规划、 需求调研、工程实施、推广及效劳共四个阶段。工程规划阶段自2021年11月3日至2021年11月28日，共20个工作日。需求调研阶段自2021年11月24日至2021年3月20日，共85个工作日工程实施阶段自2021年11月10日至2021年5月29日，共145个工作日含元旦、 春节、劳动节等法定节假日，按SDK产品、数据采集、集群搭建、算法层研发、构建模型、 ETL工具、可视化展现工具、统一广揭发布系统、精准营销系统、业务体验优化系统、客户 流失分析系统和风险分析系统共十二个小项分别进行。推

22、广及效劳阶段，每一项功能性产品或金融业务系统完成后，即可开始进行推广，并直持续进行。时间进度如下列图，详细请参见“金融大数据效劳平台进度.xls 和“金融大数据效劳平台.mpp 。e -_1331ftHEKiISA吕惱討间定阳T曰rEU-险目風州=n It0 zniJiflaH MKiiflzaBF工卉日：C1-J«IIH3H 20l*-?Jl 月 TfelM于笊xehLU zffa tmfrnnJB却*年】月】町甲帝ID ls 跡倖口月in日EH和肿曰密:*执划X工作日 21Z毎II月19勻M11t11E36SjFiAvta Lftu 2U1<1|HW-iB xoiti-Ji

23、izaiJ黑臼取ILt zfl=o un4il£qs43FI3TJTffU£VI4kllE4SSOItll'-Q*琏_斤5玉您囲STF 牡-?倉詁JitWELO工作H前討皋1 ?弓苗曰：丁|«丰伫月荊TLO ifrH2D15i5B2D15年1月】逅、.札it号卩址饥比至駅士虽Lc-IBzdjeQ弓也呈口 rjVLB斬人銀11*m工阳lr' '.'10LOX 作 n迎1$年3冃9冃訓 1$年P12JTI10塔冃宜链its TftFI? EtJKiFiJ冃mH zhibXRZVH礎边去丑苗kW 工"口丁 JUI+JJB'

24、;UO HJHiirflisg站戸脚0她(ftl 工爪B*aH4iimnBMiwiflicBLt TaluqiTil冃iiIBI訂：±3丰弓科L?工昨口眾M毎：)|巨|口曰0=n話亍吕吾共EK乱走呂工作日mi厝明B曰即淀丰览卑雲汨20LO上作tlSD诲 iZflBBI勒1屮旳dtl21柑 in *fUL4 lfll!iQfmiiUiRoQar(ir匸杵口£E 14119 SBsaitjruOS3厂功育乖桑戸吗時：帝H工咋日3IHM年32月2旧亦拜:月=fi24匚-吉匚誓：*抵|'于;|:工乍日-刘応年i冃q曰2X5年二月de23ES帝常三KF 11刖上L工W

25、3;3科» tftiiwri工工阳:m普闻|谄asff«A*»*itfrns iffn筑M Jl/i'7n20 托 IT VI!» 冃EB±3.丰慕甘杷澤冇案LI工作日211411 月曰汕|详匸月：日朗L4 lBST 1411 加曰201山总月电曰30LI工帕S0i辑12月旧zoi停i羽j阳31aErTHnTF* -5工im.jqiijiFiinh佔就羽工卡日的工作日110 LtLl 訂工内口阿如冃：二 ：?|c3.E30- ZD14年曲冃24口 irinti llE2qC3B313fl 3114E5151555E n廿 jfitfef

26、j-畔61嗤M、协忻的U盐 仍究u上初也= iSt+Arffi 丰讯甘- 对口芒吕杵读二nr 网*曲曲雷北畀5母JL町快址圧耶F廿抽建再卢讦为怜征饕翌 杓世怯色m盘艮坐料軽寤卢般廿折特甲HFXitriTH 1IUASKM»«ETfl 乍卡丰电二扫 H辽且实应 PE'U A* 血 As 研歩可mfcflU 丁 H亘祝化平却罡记执忆方亂注检右曰I日冃曰曰日目日日口日冃日日日目日日d 佯拒僵柞咋咋杆诈 作鼻作柞作作<>杆*咋咋 工工TlIiHHIJ工：日目？3u - £ 阳 *,0e 刍ITXI 工日日冃日£01.5毎I月1P曰 2D1=J

27、2B :ems聲I月俺口 琵1弭I月12呂 M151JR12B = 1151 Fee 3MIF案月塔 訓匕區巴日2吕£0 埔耶2 M18S zni5fe2fiE| 5牌2月汁曰釧禅I?月旧 殂初隹摊.冃22=1 EriflfelEEEg901M1月违自 前I诲旧旧爲15球】月加已 zm曲询m日机诗年I月12曰 UlLUiJ-il'i J阿拜绢洪日加帕年吐口卸i(HnDi2j|ijC匿讪作讯1咱3C.如亍年佔迪3?ZUlJBiO51释1月：T0訓仟年1月JJP壬|三年：!月30|日S 1£ 4L胡1埠!月丄申<2albZJJLI422(fcj)fin羽EEE弓年

28、1月弓日44訓:曲月血划堆是4月凸1口軍汀:专年：月蚩日HJ胡*2月:nd轨:ms<.qra讪弓年卯2审常?nJ5<ft 冃日期輝月甫24:m：“ i.#日iUljXlJJJJd 1C黑BOBlEf眄1E5eaarE3T9ILFISR工日字氏 讨応弔te-jx自左布融 1绳幔i+圭全彌曲辭粉轴t亶宁丽孫k业狎体沖优此触译刮還什工工工工工工踏师aw汀黑rLoTISJ'frTSso utnT3so lFIW译討语计LO工作FlYSiL5 iftBTta-TgTT财肾忻承挽W丄悴RTfliT详訊译计m工作nT9±3R3?=E0工阳SO2iso丄作日01im ift ik

29、:n产*耶日:nwVj汗KR的1£年3月30曰EE 诈电问烈曰90送IM电年鮭冃紗L込油益收耳西曰即匚当革由与mWiflifi:“|仲月1币e?筑并年2月紆曰訓1$年禹汗皆冃旧日玄|弓即a冃in日so 越库2011月加日10£lUg 屮日测强Jfl6(J輕iflllSfinSfl机巧年埠】one?MH*月W日?DM甲5冃庐日20213 月帀 E|也 is$3 月:reLLZJ153j3Da左山二年3】-口恤应SQI5EThH|2QSEDlSl-.flrin71测焦诽v%曰阳呻年5月阳冃|ai53月盟曰剂：5年：月JFITnj5uF oS110 t4. EE即儈库4昌3017

30、11 .flUjCT?.?m哺年眄0用冃£：昨耳3冃晔FElfcflJFI13I 154 I3BEUIS-j月：日TE_.EE：20lffjqdMl洋月细d科nJ5L|EiSMl瞬？月？1 日 STH 3.日口日日日日日冃日曰日5：乱：丁亠北厂L 5曰罪咻程月裁曰詐心】谒旳口B1F揖壬第聃陆广L 丁作日f D:l5lRi4 3mu炸隼T月iig04EtsrL工佯申卽11牌詡月2吕如伞月出的piKipjRji.rL工阳皿魅甲勺冃1H2陀牟目JJU.BiL皿口-hiiW：3RidBmi 间 Ifl Id门H7隹老曲ji广L工诵FT:TIP基同门目讪甲用牢aa业考律iittlt桂广L工作于

31、匚M5年5月:1£|曰刃仔年5月lieTE釣吸驱rL工住日-前站岸伍月L白汕旧牟弓月：日pwtmffurL丄咋屮51*2M: H«ZOHil 1E1U2H ZUll 0J11LI注：市场推广和效劳的结束时间实为“持续七.财务及设备方案风险管理软件工程开发具有连续性、复杂性、少参照性、无标准标准等特点，风险程度较高。对于“金融大数据效劳平台，不但涵盖范围广，包含产品多，而且技术要求高，业务需求复 杂，因此尤其需要重视各种风险。以下是“金融大数据效劳平台可能遇到的风险及其防预措施：合同风险：与客户签订的合同不科学、不严谨，与客户在工程边界和各方面责任界定 不清等是影响工程成败的

32、重大因素之一。预防措施是工程建设之初， 要全面准确地了解合同各条款的内容、尽早就模糊或不明确的条款签订补充协议。需求变更风险：这是软件工程经常发生的事情。 一个看来很有利可图的工程， 往往由 于无限度的需求变更而让开发方苦不堪言， 甚至最终亏损。预防措施是工程建设之初， 就和 客户书面约定好需求变更控制流程、记录并归档客户的需求变更申请。沟通不良风险：工程组与工程各干系方沟通不良，是影响工程顺利进展的一个非常重要的因素。预防措施是工程建设之初就和工程各干系方约定好沟通的渠道和方式、工程建设过程中多和工程各干系方交流和沟通、注意培养和锻炼自身的沟通技巧。缺乏支持风险：上级领导的支持是工程获得资源包括人力资源、财力资源和物料资 源等的有效保障，也是工程遇到困难时工程组最强有力的“后台支撑。预防措施是主动争取上级对工程的重视、确保和上级领导的沟通渠道畅通、经常向上级领导汇报工作进展。进度风险：所有工程都对进度有着严格要求，工程进度的延迟意味着