2025年构建多技术融合的湖仓一体化平台打造银行数据智核新引擎报告-陕西农信（闫显）

项目背景项目方案创新点及技术实现特点运营分享冒政策与需求•2019年，人民银行发布《金融科技（FinTech）发展规划（2019-2021年）》，启动金融科技创新监管试点探索。•2020年，人大发布《数据安全法》、个人信息保护法》，人民银行发布《征信业务管理办法》。•2021年，中央十四五规划纲要指出，要”稳妥发展金融科技，加快金融机构数字化转型“。•2022年，人民银行《金融科技发展规划（2022-2025年）》银保监会《关于银行业保险业数字化转型的指导意见》国务院《”十四五“数字经济发展规划》。夯实数据基础•2020年，陕西农信启动数字化转型工作，贯彻新发展理念、立足新发展阶段，坚持数据驱动业务发展，持续发挥数据要素价值。•面对井喷式增长的数据量及数据应用需求，当前数据仓库MPP、大数据平台Hadoop存在数据孤岛、处理效率低、流转时间长等问题，难以敏捷高效地支撑业务发展，陕西农信开展湖仓一体化平台技术预言及建设工作。NNNNNN冒演进路线（一）能统一在Hadoop体系特点： N集市历史归档湖仓分体集市模型贴源报表数据探索机器学习实时计算结构化数据半/半结构化数据N集市历史归档湖仓分体集市模型贴源报表数据探索机器学习实时计算结构化数据半/半结构化数据集市模型数据仓库集市模型数据仓库报表集市集市贴源贴源结构化数据数据湖数据湖报表历史归档实时历史归档实时计算半/半结构化数据N湖仓一体—湖仓分体集市集市实时计算流批一体模型贴源N湖仓一体—湖仓分体集市集市实时计算流批一体模型贴源归档报表数据探索机器学习结构化数据半/半结构化数据湖仓一体湖仓一体—湖内建仓数据探索机器学习报表集市集市集市集市模型模型结构化数据半/半结构化数据特点：特点：同冒演进路线（二）晶DWS应用集群主题数据整合；共性加工层数据处理；晶DWS应用集群主题数据整合；共性加工层数据处理；面向应用领域的集市实时数据处理区；系统稳定性高大数据平台数据仓库实时加工：全链路秒级业务量大：维表千万级/高可靠：主备集群容灾化化支撑高SLA业务查询：高并发资源独享：物理资源高可靠：主备集群容灾数数据平台行业情况行业情况冒2.1建设目标搭建湖仓一体化平台搭建湖仓一体化平台，实现全行数据的高效汇聚和统一管理•平台采用全栈信创架构；•围绕数据采集、存储、分析、应用等全流程开展建设。建设目标建设目标提升数据服务能力提升数据服务能力，丰富数据场景应用•升级数据平台原有查询服务，提高数据查询效率和稳定性；•引入新组件，为业务人员开展BI自助分析和交互式分析场景提供平台支撑。融合多技术组件，强化数据分析与计算能力•实现批处理、流式计算及流批一体数据处理；•提供多样的数据分析能力，满足海量、复杂且多样化的数据处理需求。规范开发流程，建立DataOps研发运营体系•规范数据需求、数据研发、数据治理、数据交付、数据运营等环节；•形成面向数据全生命周期的标准化实施工艺流程，提升整个团队协作与效能。冒2.2技术架构 SparkStreaming析TezTeze（presto）共性加工层实时数据区共性加工层实时数据区集市层集市层元数据B数据安全B.元数据B数据存储数据存储平台能力据冒2.3功能架构数据消费数据消费交易中台运营中台应用系统......数据使用者业务人员分析人员管理人员运维人员数据访问统一入口数据访问统一入口资产目录标签明细数据领导驾驶舱统计报表知识图谱数据标准数据质量数据安全数据模型管理元数据管理资产盘点数据地图数据血缘数据管控指标资产目录标签明细数据领导驾驶舱统计报表知识图谱数据标准数据质量数据安全数据模型管理元数据管理资产盘点数据地图数据血缘数据管控指标实时数据区明细数据汇总数据指标数据明细数据汇总数据指标库共性加工层数据集市层......财务集市报表集市绩效集市报送集市实时数据区明细数据汇总数据指标数据明细数据汇总数据指标库共性加工层数据集市层......财务集市报表集市绩效集市报送集市风险集市客户集市 缓存层贴源层标准层主题层历史数据区实时数据区外部/法人数据区半结构化/非结构化数据区通用汇总数据层应用应用数据层数据采集数据采集/数据交换行内数据行内数据......人工补录采集ECIF核心信贷网贷互金外部数据 外部数据 政务......税务征信监管工商司法日志文件日志文件埋点数据埋点数据XMLXML/JSON数据源系统文件数据源系统文件数据源系统数据库数据源系统数据库数据其他数据其他数据冒2.4数据流向数据流向说明冒2.5部署架构管控节点管控节点，都用新服务器管控节点【2】数据节点【20】Gauss【16】Gauss【4】新集群原服务器数据节点【22】新增：数据节点【25】管控节点（3）数据节点（25）合计50）管控节点合计50）管控节点(3)数据节点（47）Kafka【5】Redis【3】Gauss【4】HDFS【13】HBase【2】ClickHouse【2】HDFS【21】ClickHouse【10】HDFS【21】ClickHouse【10】ElasticSearch【16】HBase【21】ElasticSearch【10】ClickHouse【10】ElasticSearch【10】ClickHouse【10】HetuEngine【8】HDFSHetuEngine【8】新增：【29】新增：【29】控制节点（2）数据节点（27）数据节点【85】*HDFS同部署组件：HDFS+Hudi*HDFS同部署组件：HDFS+Hudi*Hbase同部署组件：HBASE+HDFSHadoop技术栈MPP技术栈【节点数】混布冒3.1创新点•多集群部署架构通过冒3.2技术实现特点冒3.3项目过程管理项目过程管理主要工作涵盖计划管理、风险管理和质量管理三大领域，具体如下： 分类措施涉及人员•制定可操作性的项目计划（总体计划、详细计划）；计划管理——项目经理、PMO•建立项目沟通机制（定期会议、计划管理——项目经理、PMO•加强进度监控（晨会、周会、评审会议）；——项目经理、PMO、——项目经理、PMO、科室负责人、部门领导风险管理•制定预防、规避措施及应急方案等；•持续监控风险状态，及时识别、发现新的风险；——项目经理、SQA、项目成员、架构科、PMO质量管理•遵循技术规范；•制定质量标准及验收标准；——项目经理、SQA、项目成员、架构科、PMO质量管理•加强团队成员质量意识。冒4.1运营情况湖仓一体化平台作为全行统一的数据归集与处理中心湖仓一体化平台作为全行统一的数据归集与处理中心，承担了全行各类数据处理任务自助数据分析自助数据分析实时大屏冒4.2项目成效平台投产上线后平台投产上线后，有效解决了原先大数据平台和数据仓库平台独立部署，集群间通过数据文件交互，且跨平台数据搬迁，存在数据存储冗余、资源浪费、消耗大量时间、代码开发难度大等问题。批处理能力40%•构建数据集模型，执行离线计算、实时计算；•增强交互式查询和深度分析能力；•平均耗时200~400ms。•融合敏捷开发与数据运维；•通过自动化流程管理，持续集成与部署，提高数据研发效率；•促进团队协作更加高效。•运用checkpoint点及夜间校准等手段，保障实时数据的准确性。•移动驾驶舱、可视化大屏等520个实时指标。冒4.1经验分享陕西农信基于数据仓库、大数据平台使用期间显现的弊端陕西农信基于数据仓库、大数据平台使用期间显现的弊端，经历一年时间完成湖仓一体调研、交流、演进