金融应用DBaaS技术研究报告(发布)

I本报告版权属于北京金融科技产业联盟，并受法律保护。转载、编摘或利用其他方式使用本白皮书文字或观点的，应注明来源。违反上述声明者，将被追究相关法律责任。主任：聂丽琴编委会成员：黄本涛林承军胡捷汪洋编写组成员：梁昊然孙康王辉王晓华朱彬郝庆运张多子郭智慧彭晋王瑾玲梁海安梁广涛路新英周研张晨李欢王睿操李保洋吴雨霏黄小慧徐玮峰参编单位：北京金融科技产业联盟秘书处中国工商银行股份有限公司中信银行股份有限公司华夏银行股份有限公司中国民生银行股份有限公司招商银行股份有限公司中国平安保险（集团）股份有限公司阿里云计算有限公司深圳市腾讯计算机系统有限公司北京奥星贝斯科技有限公司蚂蚁科技集团股份有限公司上海爱可生信息技术股份有限公司浙江创邻科技有限公司北京百度网讯科技有限公司1 5（一）传统数据库管理之困局 6（二）DBaaS解决的问题 7 8（一）金融行业 8（二）互联网及其他行业 8 （一）云管控与业务解耦 （二）高可用管理 （三）资源调度 （四）多集群联邦管理 （一）多云和混合云策略 （二）自动化和智能化 （三）更加完善的数据安全 （四）更多数据库的支持 （五）Serverless技术 2随着数字化转型不断深化，数据库管理面临数据规模迅速增长和数据形态多样性带来的诸多挑战。云计算技术结合数据库即服务（DBaaS）技术是解决云环境下大规模数据库集群管理困难的一种重要途径。这种方式可有效应对业务和数据量爆炸式增长，降低整体的使用成本，带来更好的平台化效益，加速数据库基础设施对业务赋能的效率。北京金融科技产业联盟分布式数据库专委会组织开展应用研究，编制形成《金融应用DBaaS技术研究报告》，为同业推进DBaaS技术，更好的实施金融行业数据库转型提供参考。3DBaaS(DatabaseasaService)：一种将数据库管理以云的架构提供服务的模式，使得企业无需担心数据库的运维问IaaS(InfrastructureasaService)：一种云服务模式，提供商为用户提供虚拟化的硬件资源，如服务器、存储和网PaaS(PlatformasaService)：一种云服务模式，提供商为用户提供一套软件和硬件平台，用户可以在上面开发、运行和管理应用程序。SaaS(SoftwareasaService)：一种云服务模式，提供商为用户提供网络访问的软件应用。多租户(Multi-tenancy)：在一个物理环境中运行多个逻辑环境的能力。在DBaaS中，多租户允许多个用户共享同一个集群，同时保证各自的数据安全和资源隔离。弹性(Elasticity)：云服务的一种关键特性，允许用户根据需求灵活地增加或减少资源使用。高可用(HA,HighAvailability)：一种系统设计原则和技术，旨在最大限度地减少系统停机时间。容灾(DR,DisasterRecovery)：一种策略，用于保护企业在自然灾害、网络攻击等灾难性事件中的数据和服务。4公有云：一种云计算模式，通过网络为公众或大型组织提供可共享的计算资源和服务。公有云通常由第三方云服务提供商运营，用户只需按需使用和付费。专有云：一种云计算模式，通过网络为单一组织提供专用的计算资源和服务。专有云可以在组织的内部数据中心部署，也可以由第三方服务提供商托管。5一、概述数据库存储和管理业务的关键数据，是金融信息系统的核心。随着数据量的爆炸性增长和云计算技术的迅速发展，传统的数据库管理方式已难以满足现代企业的需求，数据库即服务(DatabaseasaService,DBaaS)应运而生。DBaaS作为一种云服务模型，提供了一个数据库用户可以在其中创建和使用数据库，而DBaaS提供方负责维护底层的服务器硬件、数据库软件、备份和灾难恢复、高可用性等功能。这使得数据库用户可以更加聚焦在如何使用数据以及如何优化数据的查询，而不是如何管理和维护数据库。公有云提供商如亚马逊、阿里云、华为云、腾讯云、百度云等，通常有大规模的基础设施，这类基础设施需满足及时迅速扩展资源的需求。DBaaS可以充分发挥公有云弹性伸缩、按需付费等特点，对于处理大数据和应对突发流量有明显优势。金融行业广泛使用的专有云或传统架构也可以借助DBaaS技术优化其数据库集群的运维管理，进一步降低整体成本。在金融行业应用环境下，DBaaS主要的功能包括：方便数据库管理：DBaaS可以提供一致的数据库管理体验，包括自动备份、版本升级、性能监控等功能。提高数据安全性和合规性：金融行业对数据安全和合规性要求非常高，专有云下的DBaaS可以提供更高级别的控制和定制化服务，满足特定的需求。6可以减轻数据库管理员的运维压力，让他们更加专注于更高价值的工作，如数据架构设计、性能优化等。DBaaS作为一种新的数据库管理模式，体现出业务和应用的关注点从“数据的管理和维护”转向“数据的价值和使用”这一IT服务理念。在该理念的驱使下，数据库应更加高效、灵活、经济地满足企业的数据管理需求，帮助企业更好地应对数字化时代介绍DBaaS如何改变数据库管理的方式，以及如何提高效率和灵活性，更好地服务线上线下用户。（一）传统数据库管理之困局在大数据时代，传统的数据库管理面临着许多挑战。数据量的快速增长使得数据存储和管理变得越来越复杂。根据IDC国际数据公司预测，预计2025年全球数据量将增长至175ZB，相较于2021年的45ZB数据量，增长近三倍。其中，我国数据量将超越美国位居全球首位，数据量预计将达到48.6ZB，占全球总量的27.8%。7同时，需要处理的数据类型也变得越来越多样化，包括结构化的表格数据，非结构化的文本、图像、视频数据，以及半结构化的日志和网络数据，都需要有效地管理和查询。随着监管的不断加强，保障数据的安全性和合规性也是一个重要的问题，特别是对于金融行业，作为企业和组织核心资产的生灾难时快速恢复数据库，也是一个重大的挑战。现代数据库平台在云计算体系发展出的DBaaS技术(数据库即服务)，成为解决以上挑战的一个重要方式。DBaaS与传统的数据库管理平台不同，通过引入云计算的理念，利用综合的云化技术，加速数据库基础设施对业务赋能的效率，提高系统的整体稳8定性，为使用者带来更好的平台化效益。DBaaS提供的全管理的数据库环境，避免了用户耗费大量精力思考如何管理和维护数据库，使得用户得以将资源聚焦在如何使用和分析数据上，支持业务更好的发展。DBaaS能提供灵活的资源管理和扩展机制，通过动态调整资善于处理数据类型多样化的问题，为此类场景提供多种数据库解决方法，定制满足不同处理需求的方案。因此DBaaS能够有效地应对业务和数据量爆炸式增长的挑战。用户可以根据自身需求选择适宜的数据库类型，而无需自行维护复杂的数据库系统。DBaaS提供方会提供一系列的安全措施，如数据加密、网络防火墙、访问控制、审计日志和数据灾难恢复等。同时，DBaaS服务也会遵守各种数据保护法规，帮助用户满足数据合规性的要求，并确保数据库的高可用性和灾难恢复，DBaaS服务商会提供数据备份和故障转移的机制，确保在出现故障时，数据库可以快速恢复并继续提供服务。因此DBaaS也有助于提升数据安全性和保障数据合规性。二、行业应用现状金融行业大部分业务是专有云或传统部署形态。使用DBaaS技术有助于此类形态下通过自动化和标准化的管理方式来提高9还可以在数据库发生故障时，自动切换到其他可用的节点，确保业务的连续性。DBaaS无需重新购买硬件设备，就可以提供高度灵活性和可扩展性，并可以根据业务需求，随时增加存储容量、提高性能等，降低了整体的运维成本。DBaaS可以简化金融行业IT系统的基础架构，方便地从同一个硬件和软件基础设施为不同的用户和多个部门提供数据库能力，同时还能使手工的数据库环境供给、运维等相关流程实现自动化，在极简的IT基础架构下提升业务敏捷性，降低系统风险及成本。DBaaS代表了数据库专业的一种范式转变，即从保持正常运行变为更具价值的调优和开发工作。目前，金融行业已经逐步尝试应用DBaaS技术，并试图充分发挥DBaaS技术以下几方面的能力。1.数据库的管理和维护。围绕简化部署和配置、提升自动化维护和监控能力、增强数据库弹性扩展能力和提高资源利用率等方面展开。在数据库全生命周期管理方面，提供全链路自动化管控的能力。2.自动化维护和监控能力提升。数据库的运行状态直接影响到业务的正常运行，需要实时监控数据库的性能和健康状态，及时发现和解决问题。DBaaS在监控预警的基础上还提供了自动化的维护功能，如自动备份、自动升级和自动故障恢复，大大降低了运维的复杂性和人力成本。3.数据库的弹性扩展能力优化。金融行业的业务负载通常会随着市场的变动而波动，如金融市场的开盘时间、年终结算等高峰期。DBaaS的弹性扩展能力可以帮助金融行业应对这种波动性。通过DBaaS，企业可以根据业务需要动态调整数据库的计算和存储资源，以满足业务高峰期的需求，而在非高峰期则可以降低资源配置，节约成本。此外，DBaaS还提供了自动扩展功能，可以根据预设的规则自动增减资源，进一步简化了运维工作。4.提高业务连续性，降低生产风险。业务中断可能导致巨大的经济损失和信誉风险，DBaaS提供了高可用性和灾难恢复解决方案，如多活多副本、数据复制和快速故障切换，可以最大程度地保证业务的连续性。5.资源利用率的进一步提高。资源利用率是衡量数据库效率的重要指标。通过DBaaS，企业可以实现数据库资源的精细化管理，如根据业务需要动态分配数据库资源，或者根据实际使用情一步提高资源利用率，实现资源的最大化利用，降低总体拥有成目前，金融行业的DBaaS应用尚处于初期阶段。DBaaS技术金融行业应用的实践指引和标准规范有待进一步的积累和完善。金融行业对技术成熟度和系统稳定性具有很高要求，DBaaS技术的落地需要充分考虑生产系统的安全稳定。DBaaS相对于传统数据库管理模式所带来的成本收益，需要经过生产环境长时间稳定运行的验证，才能在金融行业加快推广。不同于公有云厂商基础设施环境相对单一，大型金融机构一般使用多款专有云和数据库产品，在网络环境隔离方面也存在诸多要求，需要DBaaS平台具备更强的开放兼容能力，支持跨云、跨数据库产品、跨不同部署架构的统一管理。2019年，Gartner预测传统的On-Premises数据库市场将进一步萎缩，2022年全球只有5%的新增业务考虑使用传统数据库部署模式。而DBaaS作为一种灵活、高效的数据库解决方案，开始逐步扩大应用范围。数据是核心驱动力，快速、准确且安全地处理和分析数据是业务成功的关键，互联网行业的数据增量最为可观，推动其成为DBaaS应用最为广泛的领域之一。结合互联网行业DBaaS服务的发展，可以将其演进分为三个阶段：第一阶段，CloudReady，数据库上云，第二阶段，CloudNative，云原生数据库，第三阶段，DatabaseServerless，无服务器数据服务。第一阶段是DBaaS的初始形态，将数据库通过简单管理和改造搬上云，解决最原始的数据库资源供给问题。这个阶段也叫做CloudReady，只需提供简单的数据库实例，就解决了许多小企业在资源供给、安装部署、升级维护等很多问题。但是在这个阶段并没有办法发挥可靠的弹性、高可用、多租户等优势，只是传统非云数据库在云平台上的一种尝试。第二阶段，云厂商逐渐基于云架构重新打造自己的数据类服务产品，这个阶段DBaaS服务提供的云形态的数据库产品，也被称为云原生数据库。这个阶段的DBaaS改善了数据库的高可用、弹性、自动化运维能力，并降低了用户使用成本。第三阶段，DBaaS服务深入发展，以数据库式提供了数据库资源的解耦合服务化、自动弹性伸缩、完全按量计费、自动暂停（无业务时缩容到最小容量单元）等能力。课题组对当前全球主流云厂商进行了调研，归纳各厂商提供亚马逊AWS（AmazonWebServices提供了多种DBaaS解决方案，包括AmazonRDS（关系型数据库服务）、AmazonDocumentDB（文档数据库服务）、AmazonDynamoDB（键值数据库服务）、AmazonAuroraServerless（无服务器数据库服务）等。AWS的DBaaS平台具有高可用性、可扩展性和安全性，在Cloud-Native数据库、Serverless数据库方面进行了开创性探AzureDatabaseforMySQL和AzureDatabaseforPostgreSQL等DBaaS服务。Azure的DBaaS平台具有全球覆盖、自动化管理和弹性扩展等特点，可以满足不同规格和需求的用户。谷歌云（GoogleCloud）：提供了CloudSQL（关系型数据库服务）、Filestore（文档数据库服务）等DBaaS解决方案。谷歌云的DBaaS平台具有高性能、可扩展和全球部署等特点，可以满足各种应用场景的需求。阿里云（AlibabaCloud）：提供ApsaraDB（关系型数据库服务）和MongoDB等DBaaS解决方案。阿里云的DBaaS平台具有高性能、高可用性和弹性扩展等特点，满足不同行业和规模的用华为云（HuaweiCloud提供GaussDB解决方案，具有高满足客户核心业务上云的应用诉求。腾讯云（TencentCloud）：提供TDSQL(InnoDB引擎)关系向量数据库等DBaaS解决方案。腾讯云DBaaS平台具有高性能、可扩展和弹性伸缩等特点，可以满足不同行业不同规模的应用场百度智能云（BaiduCloud提供了GaiaDB(云原生数据库）、RDS（关系型数据库）、VectorDB(向量数据库）等DBaaS私有云等多种场景，具有高性能、高可用性和弹性扩展等特点，满足不同行业和规模的用户需求。如图2所示，根据市场研究公司MarketsandMarkets预测，全球云数据库和DBaaS市场规模预计将从2023年的213亿美元基础上增长到2028年的575亿美元，预测期间的复合年增长率可见，互联网行业在DBaaS上的应用情况和发展呈现多样化、弹性扩展和安全可靠的特点，全球增长非常迅速。对数据库专业团队而言，DBaaS融合数据库和云技术，可能带来工作方式、技能要求、团队职能等多方面的转变。三、DBaaS服务关键技术结合业界DBaaS实践，可总结DBaaS建设原则如下：云原生：核心组件向K8S原生部署方向演进，屏蔽金融行业专有云基础设施的差异，同时满足K8S标准开发范式，避免K8S底座侵入性，并满足兼容性要求。支持分钟级拉起。插件化：在数据库实例生命周期非必要的管控组件等，实现服务化、插件化，支持业务按需插拔。一体的采集、存储和展示。故障快恢防雪崩：既要具备数据库故障自探测、自发现、自修复能力，又要具备数据库批量服务风险防雪崩能力，避免批量数据库故障风险。DBaaS平台同时从面向用户与面向数据库产品两个维度提供服务：面向用户提供一键生产、即开即用、弹性伸缩、稳定、安含计算、存储、网络资源的稳定运行环境，并提供诊断、优化、安全等数据库增值能力。（一）云管控与业务解耦云原生的管控与业务解耦是非常重要的设计原则。对稳定性要求极高的金融应用系统，需要严格控制系统故障的爆炸半径。在DBaaS系统中，需要向用户提供各种不同类型的数据服务，支持不同的业务形态，业务与业务之间、不同的数据库引擎和内核的稳定性各不相同，可能产生故障的场景也各不一样，故障半径的控制是个很高的挑战。在传统的数据库管理模式中，数据库管理常与业务逻辑紧密耦合，这使得数据库的各种变动往往会影响到业务的运行，反之亦然。而DBaaS通过提供一种抽象的数据库管理层，使得业务逻辑可以独立于数据库管理，从而使得企业可以更快速、灵活地适应业务需求变化。数据库业务和管控的内部复杂度、对SLA的要求、恢复的方式都有所不同，必须保证管控层的问题和故障不会影响到数据服务的正常运行，数据库服务租户之间的故障和性能不能相互影响，数据库服务的故障不会导致运维人员无法介入的管控问题。在数据管理上，DBaaS通常支撑的数据服务有两种类型：第一种类似PolarDB-X、OceanBase、TiDB、TDSQL(TDStore引擎)等原生分布式数据库，由内核层发起高可用调度，并有能力在故障场景下自选举产生新的Leader角色提供服务；第二种类似主从架构的RDS-MySQL、TDSQL（InnoDB引擎）等数据库，需要第针对第一种基于共识协议的数据库服务，DBaaS需要配合数据库自身的选举能力和切换能力进行联动和配合，并将DBaaS层面定义的资源和调度模型与数据库自身的逻辑配合。以常见的两地三中心架构为例，基于共识协议的数据库通常采用3/5副本的模式，DBaaS需要准确地联动数据库引擎，从而实现优先本地园区选主等方案的落地。当然，这也需要数据库内核引擎的配合。针对第二种基于主备模式的数据库服务，DBaaS需要提供HA和SmartBeat组件，负责进行高可用探测、高可用切换和高可用恢复。在设计时需要统筹考虑大规模集群的HA资源占用和爆炸半径控制等问题。DBaaS平台依托标准K8S构建部署，在考虑数据库管理HA能力的同时，设计时候还需要统筹考虑K8S底座不稳定性因素导响,提前避免不稳定风险发生。例如：kube-controller-manager驱逐、kubelet压力驱逐、etcdtruncated等场景。数据库资源的调度能力决定了DBaaS平台整体的资源利用网络资源的全面管控，最大限度提高资源的利用率，并在资源出现相关问题时，快速实现资源的迁移，保障业务连续性。为了更好地实现业务连续性，部分金融企业开始使用单元化架构，为此需要在金融行业专有云环境下，增加DBaaS的逻辑打标和逻辑调度能力，通过对资源的精细化管理，确保业务有需要时可以开得出所需的资源，还不会破坏整体的容灾能力。DBaaS支持DBOperator的资源生产和调度需求，特别是数Workload(Statefulset/Deployment/Pods)的资源调度。例如：PMEM、DBFS、PodVerticalScale等。考虑到金融行业不同等级的应用多采用不同集群部署和高可用模式，DBaaS平台需具备多集群的联邦管理能力，根据业务的跨城市和跨机房部署要求，在多个机房的节点池上进行调度。产品开放服务接口是产品预留的功能扩展接口，既有助于产品落地实施过程中与金融企业内部研发管理体系对接，也有助于产品生态工具及第三方合作的发展。DBaaS作为平台化服务工具，需提供丰富的开放服务接口承载各种不同的数据服务、工具、组件，并支持以低耦合的方式快速拼接插拔在DBaaS平台上。四、发展展望应用，取得了显著成效。但同时还存在资源利用率低、管理难度大、业务响应慢、复杂数据库逻辑关系处理困难等问题，在物理安全控制、敏感数据控制及与指定工作负载绑定的数据库限制也有亟待完善的方面。面对这些挑战，结合业界发展动态，我们预期DBaaS在未来将会出现以下五个发展趋势：（一）多云和混合云策略随着企业对云服务需求的复杂性增加，越来越多的企业开始采用多云和混合云的策略。根据Flexera的2023年云计算趋势报告，87%的企业采用了多云战略，而72%的企业正在使用混合云架构。这种趋势将推动DBaaS提供更多的跨云服务，支持企业在不同的云环境中无缝地管理和迁移数据库。同时，DBaaS平台还将提供更灵活的部署选项，如支持多云部署、混合云部署，以适应企业在不同云环境中的业务需求。随着人工智能和机器学习技术的发展，DBaaS平台开始将这些技术整合进他们的服务中，以提供更高级别的自动化和智能化。例如，自动化的数据优化、实时的性能调整、预测性的故障检测等功