金融级分布式数据库白皮书 2021 -中国信通院_第1页
金融级分布式数据库白皮书 2021 -中国信通院_第2页
金融级分布式数据库白皮书 2021 -中国信通院_第3页
金融级分布式数据库白皮书 2021 -中国信通院_第4页
金融级分布式数据库白皮书 2021 -中国信通院_第5页
已阅读5页,还剩55页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

02随着数字时代的来临,数据总量呈现爆发式增长,海量数据存储与随着数字时代的来临,数据总量呈现爆发式增长,海量数据存储与访问的安全性也面临较大挑战,传统数据库架构难以满足极速增长的业务需但随着数字化转型进程的进一步加快,金融机构对数据资源存储、计算和应用需求大幅提升,亟需高质量、高性能、安全稳定及低成本的数据库存储方案以满足对业务稳定性与连续性的要求。分布式数据库凭借其高可靠、高性能、低成本、平滑扩展等优势,逐步成为金融、政务等行集型行业,在生产经营过程中积累了海量的数据资源,为更好地运用金融级分布式数据库技术助力金融行业数字化转型发展,腾讯云计算(北京)有限责任公司联合中国信息通信研究院云计算与大数据研究所共同编制本报告。报告分为五个章节,第一章介绍分布式数据库的概念特点、发展历程及市场格局,第二章阐述金融级分布式数据库的概念、技术特性、需求特点及发展现状,第三章详细梳理金融级分布式数据库在银行、证券、保险、政务等领域的应用现状,紧接着引出金融级分布式数据库落地应用的难点与挑战,最后对金融级分布式数据库的发展前景给出建议和展望。对本报告中的意见和不足之处,欢迎各03 分布式数据库现状概述01 金融级分布式数据库现状概述02 金融级分布式数据库在各行业的应用分析0304 金融级分布式数据库落地应用的难点与挑战048建议与展望0505分布式数据库现状概述数据库作为IT系统不可或缺的组件,在发展过程中逐步形成了以集中式架构事务数据库为主的格局。随着用户量和业务量的急剧增长,金融业对于数据库的数据存储和管理集中式数据库在应对海量数据及复杂分析处理时,存在数据库扩展能力受限、数据存储和计算能力有限、业务瞬时使用方缺乏自主掌控力等问题。因此,利用分布式计算和内存计算等新技术设计的分布式数据库迅速崛起,并逐步06金融监管机构出台的系列政策文件及标准,为金融信息系统分布式架构2019年金融监管机构出台的系列政策文件及标准,为金融信息系统分布式架构2019年9月,央行发布的《金融科技(FinTech)发展规划(2019-2021)》中明确指出需加强分布式数据库的研发应用。做好分布式数据库金融应用的长期规划,加大研发与应用投入力度。有计划、分步骤稳妥推动分布式数据产品先行先试,形成可借2020年11月,为规范分布式数据库技术在金融领域应用,央行发布并实施《分布式数据时代的到来对金融业务系统能力带来新的挑战,金融业逐步开始尝试常会采用开源软件,运行在x86服务器、虚拟机或容器云环境中,这在一定程度上提高前商银行、光大银行、中信银行等正逐步尝试从集中式架构向分布式架实01分布式架构转型是未来大势所趋07PC时代PC时代02分布式数据库的发展历程作为数据库技术与网络技术相结合的产物,分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成逻辑上统一的数据库。它最早于20世纪80年代提出,随着信息技个发展阶段。过分库分表进行水平能力云过分库分表进行水平能力第一代垂直扩展垂直扩展 (2000-2020年) (2020年至今)PC时代 (1980-2000年)据库的发展历程机软件,利用专有硬件垂直扩展类大型企业提供商业化的数据库产品。初期的数据库基本都是单机软件,IBM务量或者数据量增加,只能进行垂直扩展,即采用更换设备、硬件配件等方式。这套方案的优点在于机器性能强大、稳定性强,但是造价昂贵,开放性不够,与通用x发环境兼容性差,扩展能力有限。08时代时代统通过分库分表等方式进行水平能力扩展2000-2020年,随着互联网业务的发展,在线场景访问并发度呈指数级上升,海量数据读写和分析需求越来越强烈,传统单机系统在业务支撑、成本、稳定性等方面面临巨大挑战,即使采用垂直扩展模式也无法维系。互联网企业开始探索新的水平扩展方案,最常见的是通过分库分表的手段进行解决,如通过分库操作解决数据库的处理性能瓶颈,通过分表操作解决单表的查询性能问题。但是,此方案的应用系统需要进行大量改造,需复杂度较高。布式数据库的发展2020年以后,随着数据类型、数据规模的高速增长,传统的终端计算场景逐渐难以应对数据存储处理的工作量与复杂度要求。云计算基于自身存算分离、资源弹性动态分配等特点,有效缓解了传统计算场景的难点,满足当前数据处理的需求,推动了分布式数据库的应用发展。如分布式数据库通过资源池化管理逐步实现了逻辑层的相互隔离与资源的自由伸缩,具备弹性扩张、HTAP(HybridTransactionandAnalyticalProcess,混合事务和分析处理)事务、多租户管理、高可用性等能力,与云计算场景0903分布式数据库的技术及特点分布式数据库的数据分散在网络多个互联的节点,以获取更大的存储容量和更高的并发访问量。数资料来源:中国信通院:《数据库发展研究报告(2021年)》]。核心技术分布式数据库的核心技术主要包括数据复制,数据分片,分布式事务,自动化运维、故障自愈与智数据复制是一种实现数据库多副本之间数据同步的技术,可确保多副本架构下数据的强一致性,避免故障后导致集群数据错乱和丢失,以提高系统的可靠性。针对分布式数据库的数据复制技术,需在一致性和可用性之间做出权衡,包括强(一致)同步复制、异步复制与半同步复制。单台机器很难应对海量的数据存储或者较高的并发查询,需要把数据拆分到多个节点上,以进行存储和处理,这种技术叫做数据分片(sharding)。数据分片包含“数据打散分割”、“按片分割”两种模型。与数据分片相近的有数据分区(Partition),即将表的内容按照某种规则分散于多个逻辑文件,每个文件包含表的部分数据。在分布式数据库中,数据分片与数据分区可以10分布式事务ACID(Atomicity、Consistency、Isolation、Durability)分别代表原子性、一致性、隔离性与持久性。分布式事务是对跨两个或多个数据存储库执行的操作,通常在由网络连接的独立节点间进行协调,也可跨越从单体系统到分布式系统的变化增加了数据库实现ACID特性的难度,降低了分布式事务的性能。通过采用诸如两阶段提交(2PC)/三阶段提交(3PC)、TCC方案、可靠消息最终一致性,与最大努力通知方案等机制设计,可基境下的事务ACID特性和性能的平衡。析分布式数据库的架构和集群规模发生了改变,需要具备运维管理的能力以保障日常运维管理工作,如自动化安装部署、自动化巡检、故障诊断与分析、故障自愈、在线DDL、SQL防火墙、SQL审核、资源隔离和全链路的智能能力分布式数据库水平扩展主要体现在计算节点、数据节点的水平弹性扩展,因数据节点存储的是业务系统的业务数据,在数据节点水平扩展中能做到业务数据自动重分布,从而在不影响业务情况下解决资源使用瓶颈,达到资源的特点:分布式数据库通过多副本实现系统可靠性与整体可用性,当某一节点中的数据不可用时,其他数据副本可继续保证业务的连续高级SQL特性支持分布式数据库从早期的电式数据库通过水平扩方式提升整体存储容1204分布式数据库的市场格局据Garter显示,2018年全球数据库管理系统市场规模达461亿美元,预计于2024年整体市场规模达千亿美元,伴随着分布式计算架构的兴起,分布式数据库或成为数据库市场新的增量。本节将市场格局进行分析。品发展情况根据应用场景,数据库大致可分为分析型数据库、事务型数据库、时序数据库、图数据库四大类。布式事务型数据库正在场认可布式图数据库正成为国布式图数据库正成为国关联分析、知识推理、搜索推荐等应用创新正不断提升社交、电商、金融等行业的信息化能力。而图数据库技术能够有效提升关联型数据的价值挖掘能力,逐渐成为各大企业关注的热点,从而积极推动自身分布式图数据库的产品分布式时序数据库为未来展打下基础时序数据库能够支持处理大并发、高持续性、携带时间戳的数据,广泛应用于电力和工业设备监测领域。随着5G时代来临,带动了物联网领域的快速发展,要求现有时序数据库必须完成分布式化,以满足未来物联网领域数据规分布式分析型数据库逐步商用产品分析型数据库主要用于通过某种算法,从海量数据中提取并转化为统计性的关键信息和指标。目前已经广泛应用于金融资产盘点、电信流量分析、互联网用户画像事务操作的正确性,主要用于金融行业的账户和计费等核心系统。随着中间件架构和新型一致性协议的逐渐成熟,各互联网公司已成功使用分布式事务型数据库支撑自身大规模的事务操作,金融等行业正逐13商分布情况 互联网厂商经历了分布式数据库“自用”到“输出”的发展阶段以腾讯、阿里云、蚂蚁金服等为代表的互联网厂商,经历了用户和业务量的高速扩张阶段(例如双十一、618购物季等阶段,微信红包、微信支付等场景),较早面临了高性能、高扩展、高可靠和海量数据存储带来满足其大规模用户和高性能场景的需求。随着各厂商加大分布式数据库的自研投入,提升技术成熟度,不断拓展应用领域,推出了如TDSQL、PolarDB、OceanBase等产品。 “集中式”向“分布式”产品拓展以达梦、南大通用、人大金仓等为代表的传统数据库公司,凭借多年数据库技术资源积淀,一方面持续推进自身原有集中式数据库技术及产品升级改造,另一方面尝试推出相对应的分布式数据库版本,如武汉达梦DMTDD等,该类产品既具备高扩展性和区域跨度下的容灾能力,也能提供数据库的数据一致性、分布式事务、复杂SQL等核心能力。 IT始涉足分布式数据库产品以华为、中兴等为代表的综合型IT服务企业,基于实际业务场景需求,在原有硬件设备、信息管理系统等产品体系基础上,迅速推出了分布式数据库产品,例如华为GaussDB和中兴GoldenDB,能在协同原有为客户提供一揽子解决方案。 焦某一数据库细分领域作为发展策略以PingCAP、热璞等为代表的专注于数据库领域的初创型公司,其成立时间或推出数据库产品时间普遍在DB应用于国内外的银行、证券、保险等行业,并在约20多种不同的金融业务场景中支撑用户的关键计算;热璞HotDB定位于OLTP业务场景,在事务一致性和透明性、全局唯一约束、分布式锁、数据分片设计智能14…………综合型综合型IT……15金融级分布式数据库现状概述大数据、移动互联网时代的海量数据呈爆发式增长,业务处理逻辑日趋复杂,虚拟货币、增值服务、在线支付等金融业态兴起,带来数据量、交易量的大幅度提高,并伴随着数十倍于正常负载的交易高峰压力与交易复杂度增加等挑战。而传统数据库在可扩展性方面的弊端日益凸显,因此金融级分布式数据库凭借数据强一致、高可靠和稳定性、快速扩展能力、高性价比逐步加速应用1601金融级分布式数据库概念金融行业普遍对数据库的安全性、可靠性、稳定性有着全行业最为严苛的要求,因此,满足金融行业需求的金融级数据库产品几乎成为所有行业中的标杆。报告认为金融级分布式数据库是能够满足金融级要求的高可用、高性能、低成本、线性水平扩展、企业级安全、便捷性运维的分布式数据库。需要注意的是金融级分布式数据库不仅仅只限定应用于金融17下的数下的02金融级分布式数据库技术特性参照中国人民银行下发的《分布式数据库技术金融应用规范技术架构》(JR/T0203-2020)、《分布式数据库技术金融应用规范安全技术要求》(JR/T0204-2020)和《分布式数据库技术金融应用规范灾难恢复》(JR/T0205-2020),金融级分布式数据库的主要特征如下:融行业的监管要求。金融级意味着数据库需要优先考虑数据CAP[CAP:一致性(Consistency)、可用性(Availability)、分区容错性(Partitiontolerance)]的C(一致性),以及事务ACID的C(一致性)。即存储于不同节点的数据副本之间,数据需要务需要实现一致性。针对传统数据库的硬件性能瓶颈,分布式数据库通过集群和软件方式,形成强大的性能、容量的可扩展性。应支持按照各自的负载压力进行计算节点、数据存储节点和管理节点的在线扩容能力,或通过扩展单台服务器的硬件资源,以满足金在数据强一致的前提下,金融级分布式数据库需要超高的可用性及可控的恢复时间,例如实现“RTO(RecoveryTimeObjective,恢复时间目标)在30秒内、RPO(RecoveryPointObjective,数据恢复点目标)为0”,即故障秒级自动用方案。18全性全性应用于金融领域的分布式事务数据库应在基础支撑保障、用户管理、访问控制、数据安全性等方面,符合国家密码管理部门以及行业主管部门对数据安全性的运维管理应具备自动化安装部署、监控告警、性能容量、系统配置、升级维护、复等统一管理能力,提供接口API,供其他平台集成和调用。金融业务生命周期较长,因此相关产品需要针对不同时期、不同平台的硬件、操19据一致性能带来较大社会影响高,安全监管要求更高据一致性能带来较大社会影响高,安全监管要求更高大部分业务逻辑响风险高03金融级分布式数据库需求分析低时延、可扩展性、高容灾性、供应链安全性等要求更为严苛。这也是金融级分布式数据库与普通据库与普通分布式数据库对比金融级分布式数据库普通分布式数据库、容量扩展补偿弥补用户情绪中,监管要求适中库共同承载业务逻辑风险适中性的需求金融级分布式数据库通常用于存储各行业的核心数据,其任意一笔数据错乱、丢失将带来严重影响。因此即使在某些软件故障、硬件异常的情况下,数据库都应保证20可靠性的需求捷迭代的需求可靠性的需求捷迭代的需求计算的需求应链风险金融级分布式数据库服务于涉及国计民生的重要业务系统,其对运行连续性要求异常严格。此要求来自于金融业,也来自于政务、大型企业本身需求、监管机构要求和用户舆论压力等。数据库作为业务系统的基础,其通用的可用性要求在99.999%以上。为确保在异常情况下数据不丢失、不错乱,即使极端异常情况仍在金融级场景中,存在短时间用户规模增大或业务迭代需求强劲的情况,金融级数据库要求适配上述场景,即数据库具有快速扩展的能力,同时业务系统要具备快速始在金融级数据库中得到普及与推广。金融级业务种类繁多,随着时间增长数据也会快速增加,带来支撑性数据库变得越来越庞大。这意味着如果每个系统都按照传统商用数据库建设标准来建设,会带来极高的成本。因此云计算环境的金融级数据库的集约模式建设方案正逐步成为主流受国际政治格局影响,采购国外高端服务器(芯片)等存在诸多不确定性。一旦出现国外服务器(芯片)断供,可能导致严重的后果。而短期内,国内对于芯片的供nm低的水平,单一服务器的算力不足会对金融业务建设系统21服务化分布式数据库的计算层和基于云底座,充分利用云平台的弹性伸缩、高效安全的运维管理能力,即开即用。同时支持多租户,每个实例的计算资源、存储资源严格隔离。以帮助金融业务实现有效的资源整服务化分布式数据库的计算层和基于云底座,充分利用云平台的弹性伸缩、高效安全的运维管理能力,即开即用。同时支持多租户,每个实例的计算资源、存储资源严格隔离。以帮助金融业务实现有效的资源整合与调度,从而提高整体用。为主流基于云计算现有的基础设施,分布式存储、SDN网络、弹性计算等能力,实现数据库的计算存储分离,仅日志落盘。实现数据并行复制、存储多副本协同、无单点瓶颈;采用智能理要求高是用户,还是第三方供应商,亦或是运维理员,都应做好数据安全防护。金融业务可能会根据业务属性全球部署,还需满足相关地04金融级分布式数据库发展技术趋势HTAP成为企业业务场景的关键选择分布式数据库拥有大量节点,如果充分利用这些节点的性能,会大大提升整体分布式数据库的性能,特别是面向复杂业务处理的场景。可以同时在一份数据上进行TP与AP的业务,随着金融业务发展,客户往往会设置多个不同地域的不同可用区,将数据库分布在跨可用区的不同位置。当某个可用区发生断电、断网甚至极端灾害情况下等大范围故障时,其他可用服务。理与智能化性能分析即通过便捷和自动化的AI技术,降低运维成本和技术门槛。通过智能化的性能分析,实现实例最佳性能参数推荐、索引优化建议、热点表分析数据趋势、历史轨迹与预测、死分析等。22金融级分布式数据库在各行业的应用分析等行业在数据库产品及服务的采购份额上领先其他行业,采购量占据了大架构的转型替换,在保证功能性能的同时,逐步向库迁移。针对目前金融、政务行业对金融级分布式数据库的需求和应用情四大行业进行应用分析。2301金融级分布式数据库在银行领域的应用统特点银行业务处理系统包括中央银行与商业银行的业务处理系统。中央银行业务处理系统主要为,即将银行的全部账务数据(包括对公、对私的资产和负债数据及银行卡数据等)集中在总行数据中心中统一管理、协调。因此规模较大的银行,其业务系统通常具有以下特点:一是业务数据规模大,业务系统多、模块多,核心交易数据变更频繁,交易热点集中;二是多渠道接入,并发量大,除总行统一系统外,还包括网上银行、分行、渠道、第三方监管、第三方支付等若干系统接入;三是数据重要性极高,安全等级要求高;四是业务可用性、可靠性要24目前商业银行系统内数据量急剧增大,系统需要弹性扩容以应对PB级别以上的数据,从而使所目前商业银行系统内数据量急剧增大,系统需要弹性扩容以应对PB级别以上的数据,从而使所高数据库开发运维成本在可控数据库的应用需求 分布式数据库的应用需求体现在以下四方面针对客户的实时需求,银行数据系统需要满足高并发业务操作需针对客户的实时需求,银行数据系统需要满足高并发业务操作需求,实现海量数据超高性能读写要求数据库可容纳多类型的据数据库可处理高并种类型数据,因此亟需实现对多模数据的统一管理,进而实现不同类型的数据统一融合管理,提分分布式架构具有系统部署性价比高的特点,随着应用增多,更需实现业务有效隔离。同时,保持系统的弹性、兼容性,大大简化25数据库的应用案例分析,近年来持续加大金融科技领域的投入。平安银行投入生产的各相关系统以传统集中式数据库为主,分布式数据库为辅,随着业务快速发展、数据量和系统负载爆发式增长,IT核心系统单纯靠垂直扩展已无法满足时效和性能要求。而分布式数据库凭借其弹性扩容、高可用、高性能等优势已广泛应用于各种联机事务处理(OLTP)及混合(OLTP/OLAP、横向扩展、数据库上云成为平安银行数据库的转型发展方向。平安银行对金融级分布式数据库当前的应用主要聚焦在信用卡新核心项目上,包括需要将其从IBMZ机架构迁移至分布式系统。在平安银行采用的分布式架构下,将传统银行的批量任务按业务类实现对于一主多从的分布式一致性强同步、故障切换选主、重建复制关系等技术,高可用、一致性式架构迁移至PC服务器分布式架构系统的成功落地。A+新核心系统技术体系支持敏捷开发、灵活创新和稳定运行,预计未来5年可节约14.5亿元的成本,为金融科技与数字化转型赋能零售业务发展提2602金融级分布式数据库在证券领域的应用特点证券业务系统主要是以证券公司为主体的信息化系统,包括日常业务处理、帐务核算、整个等。规模,通常采用分布式内存数据库。交易系统对稳定性和可用性要求高,若在交易时间段停机或崩溃,极易出现大量激烈投诉和负面舆论。二是交易系统、结算系统等容易受到外部影响而出现业务量暴涨情况,需要快速扩容。三是业务系统复杂度较高,往往存在不同时期、不同环境的不同类系统,系统改造难度较大。四是对运维自动化、智能化要求高。证券行业由于交易时段集中、资金规模巨大等特点,对IT系统的可用性和响应率的要求更高、容忍度更低。同时,交易时段集中所带来的海量交易数据的集中处理压力,要求券商的IT系统运维。27据库的应用需求:1234分析平台证券公司内部的经纪业务、资管业务、投行业务和自营业务承载于不同系统,在各个业务中存在多种角色,且各个角色在各系统中每时每刻产生多种结构的数据,这些数据数量庞大、类型繁多、产生速度快,可能、上层应用。储与多线程业务控制刻产生海量的数据,如用户的购物行为,媒体资讯浏览历史,上市公司的投融资、并购活动等信息。各业务形态也在整体市场环境下受到影响,如政策法规、国内外金融形势、重大事件等。因此证券公司的数据库规划需要支撑百TB级海量数据的存储、28据库的应用案例分析富途证券是一家为全球投资者提供港股和美股交易服务的互联网券商,专注于为用户提供覆盖多个A富管理,以及资讯、社交等服务。证券类业务最重要的是用户数据,需要具有超高性能、高扩展性、高可用性和高一致性的数据库支持百万级写、千万级读的在线业务场景。保存7年以上的账单流水,需要数据库支持存储海量数据,并,需要数据库系统实现金融级的可用率。2017年迁移到分布式架构后,富途数据库服务系统解决了数据一致性问题,在运维层面实现了自动化、故障排查、优化诊断等,极大提高了运维效率。后台支撑系统完成优化改造后,大大提不断丰富产品应用场景、开拓业务市场。富途选用的分布式架构支撑其核心系统单日查询峰值超过50亿次,单日每分钟读请求峰值超千万次,提供坚实支撑。分布式架构提供自动故障切换方案,以及异构迁移和多源同步方案,保障企务在灾难情况下自动化多云迁移和同步切换,实现跨地区自动容灾。在交易量暴涨等流量突节点故障对业务的影响越来越敏感,该分布式架构的一致性切换可保障在数次集群节点故障到最低,保障业务连续性。2903金融级分布式数据库在保险领域的应用特点保险业务系统主要是指以保险公司为主体的业务系统,保险公司的业务分为寿险、财险保险业务系统主要是指以保险公司为主体的业务系统,保险公司的业务分为寿险、财险、健康险、再保险等。业务系统大致可以分为投保系统、核保系统、出单系统、理赔系统、核赔一是业务系统相对集中,但是业务逻辑中心分散,按省或按区域具有差异性;除基础支撑系统外,其他系统适合SET(单元化)的分布式数据库模型。二是互联网渠道保险占比逐年上升,小额且频次极大,与传统保险渠道业务逻辑有极大不同,互联网保险渠道的系统和数据库负对于数据一致性、数据可靠性、历史数据校验的需求极高。四是渠道系统、周边支持系统与往存在复杂的数据同步逻辑。30高保险公司如寿险、车险、高保险公司如寿险、车险、财产险,业务量较大,随着业务规模的扩大,需要分布式数据库为其快速发离保险公司按业务划分,业务分为不同省份,每个业务均有不同的集群,带来较大的成本支出,故需要业务既能共享,又能实现隔离。同时,保险行业重视安全性,需要分布式数据库的应用需求需求强保险对于室外场景数据的要求高,需要分布式数据库具备高可用性、快速处据库的应用案例分析的业务发展。面临互联网、数字化的技术转型,同时面临集中式数据库的应用迁移,OLTP和OLAP31对数据可靠性及安全要求高,交易数据、客户资料等不容有失。该保险业务系统按照险种分个险种在每个省份会有两个单独的数据库实例。每个实例要求有全量的业务数据,并能实现快速灾难切换和RTO为0。业务系统之间的数据交互较多,因此数据流转和数据汇聚尤为重要。存在部分业务是典型的读多写少场景,多于业务高峰大量的读取需求需要数据库能实现只读选用的分布式数据库跨域双向实时复制关键技术,助力其构建多中心多活架构体系,实现数异地灾备高可用架构,每个中心均部署主节点,每个主节点支持读写,主节点之间支持双向支持中心扩展双向复制,实现数据实时同步,在不同中心之间达到业务分钟级无缝接管,确续性。灵活全面的异构数据迁移能力支持集中式数据库的平滑迁移,满足不同业务系统间数据流转以及数据汇聚的需求;具备HTAP混合负载处理能力,在支持高并发OLTP业务处理的同时支持海量数据的OLAP多维统计分析;提供读写分离功能,支持多副本,能灵活扩展只读平面能力,只读平数据使用不同的存储介质存储,可节省冷数据的存储成本,同时后台定时任务能根据用户配移,保持对业务透明,节省成本且提供历史数据的便捷访问。顺利将某分布式数据库应用到核心业务系统中,系统灾难切换多次演练表现优秀。业务系统处理效率有了明显提升,核保案件的平均处理时效提升2~3倍,核保响应时间小于100ms,核保案件的单位处理成本大幅降低,节省50%以上的核保人力投入。其使用的企业私有云部署模式,降低了技运维复杂性,同时分布式数据库弹性高效高可靠的架构也保障了该保险集团各项业务高速发展3204金融级分布式数据库在政务领域的应用统特点《第15届国际数字政府评估排名报告》[来源:早稻田大学数字政府研究中心]显示,中国处于全球第37位。数字政府能力的提升,需依赖强大的现代化治理基础设施,而数据库作为现代化治理基础设施的重要组成部分。当前我国在提升社会治理的数字化治理水平过程中,主要呈现两大特点:一是个体、企业和社会等被治理对象数量庞大、日趋复杂,而当前我国现代化治理基础设施仍以传统关系型数据库为主,效率较低,亟需变革更新;二是现代化治理要求各层、各机构政府人员深度应用信息科技工具,而当前信息科技工具应用普遍需要较高门槛,政务行业科技能力储备情况比后,应用效果不佳,难以达到预期效果。33在信息技术应用创新时代背景下,需要考虑在信创平在信息技术应用创新时代背景下,需要考虑在信创平台的整体适配,包括信创服务器、操作系统、中间件等多个环节,其中数据库软件实现自主至关重据场景需求随着政务数字化的深入,“互联网+服务”存在大量海量数据场景,例如疫情健康码、政务办事小程序等,后端数据需要支持横向伸缩,以满足海量数数据库的应用需求覆盖OLAP和OLTP不同业务场景下对于数据库能力的需求也不同,OLTP是政务领域进行数数据库的应用案例分析为落实“以人民为中心”的发展理念,实现让群众、企业动动手指就能把各项事情办好,2017年广东改革。可用等关键特征的数据库,从而引伸出采用适应云计算时代的分布式数据库的需求;重点关据库在数据一致性、可靠性、性能和稳定性、生态兼容性、运营成本、运维管理等方面的表级的数据安全保障性、是否具备海量存储与实时分析能力。34数字广东的政务云平台,其上运行五十多个省直单位的数据库,规模已超过两万多核,内存超过13万GB,存储超过4个PB,政务云机房采用两地三中心的模式。数字广东公司通过采用某分布式数据库作为核心系统数据库,开展数字化政务平台建设,包括建设政、对高并发及流量突增等政务应用场景,该分布式数据库提供一键扩容的扩展性支持,支持丰富策略的持续增长的容量和性能需求。数据一致性方面,该分布式数据库采用强同步复制方案,并通过引入线程池等技术,实现将串行的流制的性能。此外,此分布式提供数据库多源同步迁移服务,可将数据实时同步分发至多种类型的异构数据平台,支持将Oracle等异构数据库的数据实时同步至分布式数据库中,部署灵活,支持一对多、多对一等多型需要。在政务大数据中心方面,通过采用分布式数据库,每秒处理的交易量超过五万个,以应用为驱动,建设了省市一体化的大数据中心,大数据中心每秒处理交易量超过5万次,通过流程再造和决策优化,00万,疫情期间高峰时段的访问量超过了1700万次每35金融级分布式数据库落地应用的难点与挑战36应用的难点与挑战设亟待完善相较集中式数据库,分布式数据库目前尚处于发展初期,自身技术体系、标准规范、测评机制等方面建设还有待加强。如分布式数据库的SQL标准通常采用stgreSQL来了业务系统不同的技术体系、标准规范与测评机制,使得企业在使用时必须不参考国际标准,反而基于个人理解“创造”一些独特的语法,给用户的体验平有待提升在交易系统闲时完成日切、跑批成为金融机构、政府常见的应用场景,然而面向交易的分布式数据库往往是OLTP(联机事务处理)的计算和风险引擎,因此在面对复杂的OLAP(联机分析处理)业务时易出现性能不足的现象。OLAP在面对海量并发事务型请求时,存在性能瓶颈,因此,需要考虑如何在分布式数据库上,既兼顾OLTP和OLAP又不额外增加冗余设备,从而达到目标。同时,目前大量的外围业务由于功能复杂、关联数据多、复杂语句比例高,使用了较多的集中式数据库的特定语法或者功能,而迁移到新的分布式数据库时必须充分评估和改造迁移工作量、投入收益比。如果分区设计良好,分布式数据库将表现出高并发能力、高水平扩展特性,从而使迁移至分布式数据库的应库系统的整体性能。37购选型困难市场上的分布式数据库产品种类繁多,各类产品技术路线尚不统一、应用方式互有差异、能力水平参差不齐、迭代更新频率也相对较高。分布式数据库本身存在复杂的业务逻辑问题,如数据库本身锁机制、隔离级别、技术兼容性等。各机构尚未形成选型标准共识,权威部门尚未发布相关指引文件,导致机构在难。高在具体选择分布式数据库时,为保证产品能够适应金融级场景的要求,具备高可用、在线升级等功能,布局较早的机构往往需要花费大量的人力成本、时间成本搭建分布式数据库的测评体系与测评模型,导致投入较大。此外,机构人员能力的匹配性也是一大挑战,机构与阿合作方需要根据人员技术能力进行分布式数据库的选型考虑,考虑现有人员对数据库技术的了解程度,更要关注数据库技术本身的开放度,使人员可以快速学习和提升数据库技术能力,这个过的大量投入。诸多难点分布式数据库迁移是个复杂的系统工程,迁移成功与否除了需要技术保障外还依赖各环节的有序组织,即多应用方的系统积极配合使用方、应用开发测试团风险较高等问题。如全面业务改造难,应用改造和目标数据库改造的分工可能不明确,由于考虑不周,全面业务改造可能存在遗漏,只完成部分业务改造。再如迁移执行难,如迁移的时间窗口能否满足;数据量较大如何实现快速、准确迁移;需要迁移实现迁移等。38能力待提升金融机构在进行底层数据库替换时,往往会面临一系列的风险。一方面需要承受引入新的数据库产品或技术架构将面临的“排异反应”,另一方面需要考虑应用改造或者新建系统带来的技术风险。为应对两种不可控的风险,比较稳妥的方式是引入兜底方案,例如采用两种不同的数据库互为主备或应用流量双发的方式减少可能的风险。无论选择哪种兜底方案对于应用系统开发和改造成本同时,由于金融级分布式数据库与传统集中式数据库在运维方案上存在较大差异,对于运维管理人员而言,分布式数据库比原来各业务系统独立使用的数据库更加易于运维,但是刚引入分布式数据库时,难免遇到技术和人力无法匹配的阶段。在运维管理分布式数据库的过程中,性能优化方面,由于SQL语句必须具备相关的智能算法;遇到业务系统吞吐量下降等问题,需要关注是否存及时避免系统吞吐量下降的情况;故障隐患方面,需要考虑是否具备集群相关处理。问题亟待解决一般情况下,分布式数据库面临三类安全问题:一是单站点故障、网络故障等物理原因(如突然断电、自然灾害、硬件老化等)导致数据的损坏,应设置一种恢复机制,使引起安全

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论