金融应用DBaaS技术研究报告-2024.08-24正式版-WN8

金融应用

DBaaS技术研究报告北京金融科技产业联盟2024年7月编制委员会主任：聂丽琴编委会成员：黄本涛林承军胡捷汪洋编写组成员：梁昊然孙张多子王枫周研徐玮峰赵亮王郭智慧彭张晨李编审：夏康张参编单位：北京金融科中国工商银中信银行股华夏银行股份有限公司中国民生银行股份有限公司招商银行股份有限公司中国平安保险（集团）股份有限公司阿里云计算有限公司深圳市腾讯计算机系统有限公司II北京奥星贝斯科技有限公司蚂蚁科技集团股份有限公司上海爱可生信息技术股份有限公司浙江创邻科技有限公司北京百度网讯科技有限公司III引

言随着数字化转型不断深化，数据库管理面临数据规模迅速增长和数据形态多样性带来的诸多挑战。云计算技术结合数据库即服务（DBaaS）技术是解决云环境下大规模数据库集群管理困难的一种重要途径。这种方式可有效应对业务和数据量爆炸式增长，降低整体的设施对业务委会组织开告》，为同提供参考。数据库基础式数据库专技术研究报数据库转型2名词解释DBaaS(DatabaseasaService)：一种将数据库管理以云的架构提供服务的模式，使得企业无需担心数据库的运维问题。IaaS(InfrastructureasaService)：一种云服务模式，提供商为用络。储和网PaaS(式，提供商发、运行为用户提供和管理应用SaaS(式，提供商为用户提供多租户行多个逻辑同一个集环境的能力群，同时保弹性(Elasticity)：云服务的一种关键特性，允许用户根据需求灵活地增加或减少资源使用。高可用(HA,HighAvailability)：一种系统设计原则和技术，旨在最大限度地减少系统停机时间。容灾(DR,DisasterRecovery)：一种策略，用于保护企业在自然灾害、网络攻击等灾难性事件中的数据和服务。3公有云：一种云计算模式，通过网络为公众或大型组织提供可共享的计算资源和服务。公有云通常由第三方云服务提供商运营，用户只需按需使用和付费。专有云：一种云计算模式，通过网络为单一组织提供专用的计算资源和服务。专有云可以在组织的内部数据中心部署，也可以由第三方服务提供商托管。4一、概述数据库存储和管理业务的关键数据，是金融信息系统的核心。随着数据量的爆炸性增长和云计算技术的迅速发展，传统的数据库管理方式已难以满足现代企业的需求，数据库即服务(DatabaseasaService,DBaaS)应运而生。DBaaS作为一种云服务模型，提供了一个数据库管理的环境，用户可以在负责维护底可用性等功以及如何优层的服务器能。这使得化数据的查公有云云、百度云及时迅速扩、按需付费。等，通常有展资源的需等特点，对金融行借助DBaaS成本。在金技术优化其融行业应用环境下，DBaaS主要的功能包括：方便数据库管理：DBaaS可以提供一致的数据库管理体验，包括自动备份、版本升级、性能监控等功能。提高数据安全性和合规性：金融行业对数据安全和合规性要求非常高，专有云下的DBaaS可以提供更高级别的控制和定制化服务，满足特定的需求。5减轻数据库管理员的负担：通过自动化的数据库管理，DBaaS可以减轻数据库管理员的运维压力，让他们更加专注于更高价值的工作，如数据架构设计、性能优化等。DBaaS作为一种新的数据库管理模式，体现出业务和应用的关注点从“数据的管理和维护”转向“数据的价值和使用”这一IT服务理念。在该理念的驱使下，数据库应更加高效、灵活、经济地满足企的挑战。本文从数字化时代践和应用，高效率和灵介绍DBaa活性，更好（一）在大数战。数据量据IDC国际75ZB，相较数据量将超的快速增长数据公司预于2021年越美国位居全球首位，数据量预计将达到48.6ZB，占全球总量的27.8%。6

同时，，包括结构以及半结构化的表格数化的日志和随着监性也是一个核心资产的，如何在发重要的问题数据库，其生灾难时快速恢复数据库，也是一个重大的挑战。（二）DBaaS解决的问题现代数据库平台在云计算体系发展出的DBaaS技术(数据库即服务)，成为解决以上挑战的一个重要方式。DBaaS与传统的数据库管理平台不同，通过引入云计算的理念，利用综合的云化技术，加速数据库基础设施对业务赋能的效率，提高系统的整体稳7定性，为使用者带来更好的平台化效益。DBaaS提供的全管理的数据库环境，避免了用户耗费大量精力思考如何管理和维护数据库，使得用户得以将资源聚焦在如何使用和分析数据上，支持业务更好的发展。DBaaS能提供灵活的资源管理和扩展机制，通过动态调整资源，避免传统数据库在处理海量数据时遇到的瓶颈。同时，DBaaS善于处理数决方法，定应对业务和择适宜的数DBaaS种数据库解能够有效地自身需求选系统。加密、网络时，DBaaS合规性的要务商会提供据库可以快据安全性和防火墙、访服务也会遵求，并确保数据备份和速恢复并继保障数据合规性。二、行业应用现状（一）金融行业金融行业大部分业务是专有云或传统部署形态。使用DBaaS技术有助于此类形态下通过自动化和标准化的管理方式来提高数据库管理效率，节省时间和人力成本，提供高可用和灾备性能，8还可以在数据库发生故障时，自动切换到其他可用的节点，确保业务的连续性。DBaaS无需重新购买硬件设备，就可以提供高度灵活性和可扩展性，并可以根据业务需求，随时增加存储容量、提高性能等，降低了整体的运维成本。DBaaS可以简化金融行业IT系统的基础架构，方便地从同一个硬件和软件基础设施为不同的用户和多个部门提供数据库能力，同时自动化，在险及成本。正常运行变目前，关流程实现降低系统风，即从保持并试图充分发挥DBaaS1.数据提升自动化源利用率等路自动化管维护和监控方面展开。控的能力。2.自动化维护和监控能力提升。数据库的运行状态直接影响到业务的正常运行，需要实时监控数据库的性能和健康状态，及时发现和解决问题。DBaaS在监控预警的基础上还提供了自动化的维护功能，如自动备份、自动升级和自动故障恢复，大大降低了运维的复杂性和人力成本。3.数据库的弹性扩展能力优化。金融行业的业务负载通常会9随着市场的变动而波动，如金融市场的开盘时间、年终结算等高峰期。DBaaS的弹性扩展能力可以帮助金融行业应对这种波动性。通过DBaaS，企业可以根据业务需要动态调整数据库的计算和存储资源，以满足业务高峰期的需求，而在非高峰期则可以降低资源配置，节约成本。此外，DBaaS还提供了自动扩展功能，可以根据预设的规则自动增减资源，进一步简化了运维工作。4.提高的经济损失方案，如多地保证业务5.资源能导致巨大难恢复解决以最大程度数据库效率的精细化管实际使用情技术可以进总体拥有成的重要指标理，如根据况调整资源一步提高资本（TCO）目前，金融行业的DBaaS应用尚处于初期阶段。DBaaS技术金融行业应用的实践指引和标准规范有待进一步的积累和完善。金融行业对技术成熟度和系统稳定性具有很高要求，DBaaS技术的落地需要充分考虑生产系统的安全稳定。DBaaS相对于传统数据库管理模式所带来的成本收益，需要经过生产环境长时间稳定运行的验证，才能在金融行业加快推广。10不同于公有云厂商基础设施环境相对单一，大型金融机构一般使用多款专有云和数据库产品，在网络环境隔离方面也存在诸多要求，需要DBaaS平台具备更强的开放兼容能力，支持跨云、跨数据库产品、跨不同部署架构的统一管理。（二）互联网及其他行业2019年，Gartner预测传统的On-Premises数据库市场将进一步萎缩，部署模式。始逐步扩大处理和分析可观，推动结合互传统数据库决方案，开确且安全地据增量最为进分为三个阶段，Clouderless，无阶段：第一Native，云服务器数据第一阶单管理和改造搬上云，解决最原始的数据库资源供给问题。这个阶段也叫做CloudReady，只需提供简单的数据库实例，就解决了许多小企业在资源供给、安装部署、升级维护等很多问题。但是在这个阶段并没有办法发挥可靠的弹性、高可用、多租户等优势，只是传统非云数据库在云平台上的一种尝试。第二阶段，云厂商逐渐基于云架构重新打造自己的数据类服11务产品，这个阶段DBaaS服务提供的云形态的数据库产品，也被称为云原生数据库。这个阶段的DBaaS改善了数据库的高可用、弹性、自动化运维能力，并降低了用户使用成本。第三阶段，DBaaS服务深入发展，以数据库的Serverless模式提供了数据库资源的解耦合服务化、自动弹性伸缩、完全按量计费、自动暂停（无业务时缩容到最小容量单元）等能力。课题组的DBaaS服亚马逊各厂商提供种DBaaS解）、Amazon（键值数据据库服务）安全性，在了开创性探决方案，DocumentD库服务）、等。AWS的Cloud-Nat索。微软ALDatabase、AzureDatabaseforMySQL和AzureDatabaseforPostgreSQL等DBaaS服务。Azure的DBaaS平台具有全球覆盖、自动化管理和弹性扩展等特点，可以满足不同规格和需求的用户。谷歌云（GoogleCloud）：提供了CloudSQL（关系型数据库服务）、Filestore（文档数据库服务）等DBaaS解决方案。谷歌云的DBaaS平台具有高性能、可扩展和全球部署等特点，可12以满足各种应用场景的需求。阿里云（AlibabaCloud）：提供ApsaraDB（关系型数据库服务）和MongoDB等DBaaS解决方案。阿里云的DBaaS平台具有高性能、高可用性和弹性扩展等特点，满足不同行业和规模的用户需求。华为云（HuaweiCloud）：提供GaussDB解决方案，具有高性能、高可满足客户核腾讯云移等特点，引擎)关系s、VectorDB有高性能、模的应用场型数据库、向量数据库可扩展和弹景需求。百度智云原生数据）等DBaaS，公有云，库）、RDS解决方案。私有云等多种场景，具有高性能、高可用性和弹性扩展等特点，满足不同行业和规模的用户需求。如图2所示，根据市场研究公司MarketsandMarkets预测，全球云数据库和DBaaS市场规模预计将从2023年的213亿美元基础上增长到2028年的575亿美元，预测期间的复合年增长率（CAGR）为22.0%。13

可见，弹性扩展和对数据呈现多样化、技术，可能。带来工作方三、D结合业下：云原生蔽金融行业专有云基础设施的差异，同时满足K8S标准开发范式，避免K8S底座侵入性，并满足兼容性要求。轻量化：数据库实例在生命周期中的必要组件，实现轻量化，支持分钟级拉起。插件化：在数据库实例生命周期非必要的管控组件等，实现服务化、插件化，支持业务按需插拔。14标准化：封装底层资源和产品的复杂性，实现标准化接口层。可观测：支持指标（metrics）、日志（logging）、追踪（tracing）一体的采集、存储和展示。故障快恢防雪崩：既要具备数据库故障自探测、自发现、自修复能力，又要具备数据库批量服务风险防雪崩能力，避免批量数据库故障风险。DBaaS服务：面向全、易用、经含计算、存安全等数据（一）个维度提供、稳定、安户隔离的，断、优化、云原生。对稳定性爆炸半径。据服务，支引擎和内核要求极高的在DBaaS系持不同的业的稳定性各不相同，可能产生故障的场景也各不一样，故障半径的控制是个很高的挑战。在传统的数据库管理模式中，数据库管理常与业务逻辑紧密耦合，这使得数据库的各种变动往往会影响到业务的运行，反之亦然。而DBaaS通过提供一种抽象的数据库管理层，使得业务逻辑可以独立于数据库管理，从而使得企业可以更快速、灵活地适15应业务需求变化。数据库业务和管控的内部复杂度、对SLA的要求、恢复的方式都有所不同，必须保证管控层的问题和故障不会影响到数据服务的正常运行，数据库服务租户之间的故障和性能不能相互影响，数据库服务的故障不会导致运维人员无法介入的管控问题。（二）高可用管理在数据一种类似种类型：第tore引擎)有能力在故二种类似主库，需要第等原生分布障场景下自从架构的三方仲裁选针对第需要配合数将DBaaS层以常见的两3/5副本的据库自身的面定义的资地三中心架模式，DBaaS需要准确地联动数据库引擎，从而实现优先本地园区选主等方案的落地。当然，这也需要数据库内核引擎的配合。针对第二种基于主备模式的数据库服务，DBaaS需要提供HA和SmartBeat组件，负责进行高可用探测、高可用切换和高可用恢复。在设计时需要统筹考虑大规模集群的HA资源占用和爆炸半径控制等问题。16DBaaS平台依托标准K8S构建部署，在考虑数据库管理HA能力的同时，设计时候还需要统筹考虑K8S底座不稳定性因素导致频繁HA的情况，限制DBOperator资源受到K8S自驱动的影响,提前避免不稳定风险发生。例如：kube-controller-manager驱逐、kubelet压力驱逐、etcdtruncated等场景。（三）资源调度数据库率，以及应网络资源的现相关问题为了更的资源利用算、存储、并在资源出性。使用单元化S的逻辑打业务有需要力。架构，为此标和逻辑调时可以开得DBaaS，特别是数标准K8S据库特Workload(Statefulset/Deployment/Pods)的资源调度。例如：ECS多租、热池预热、CPU/GPU归一化、CPU混部、NUMA、EniTrunk、PMEM、DBFS、PodVerticalScale等。（四）多集群联邦管理考虑到金融行业不同等级的应用多采用不同集群部署和高可用模式，DBaaS平台需具备多集群的联邦管理能力，根据业务17的跨城市和跨机房部署要求，在多个机房的节点池上进行调度。（五）服务接口开放产品开放服务接口是产品预留的功能扩展接口，既有助于产品落地实施过程中与金融企业内部研发管理体系对接，也有助于产品生态工具及第三方合作的发展。DBaaS作为平台化服务工具，需提供丰富的开放服务接口承载各种不同的数据服务、工具、组件，并支持四、发台上。过去几融领域逐步、管理难度题，在物理据库限制也态，我们预应用，取得大、业务响安全控制、有亟待完善期DBaaS在（一）随着企的企业开始采用多云和混合云的策略。根据Flexera的2023年云计算趋势报告，87%的企业采用了多云战略，而72%的企业正在使用混合云架构。这种趋势将推动DBaaS提供更多的跨云服务，支持企业在不同的云环境中无缝地管理和迁移数据库。同时，DBaaS平台还将提供更灵活的部署选项，如支持多云部署、混合云部署，以适应企业在不同云环境中的业务需求。18（二）自动化和智能化随着人工智能和机器学习技术的发展，DBaaS平台开始将这些技术整合进他们的服务中，以提供更高级别的自动化和智能化。例如，自动化的数据优化、实时的性能调整、预测性的故障检测等功能。相较