银行业云原生技术发展实践及展望

银行业云原生技术发展实践及展望2022年7月中国农业银行浦发银行网商银行(中国工商银行)鲁金彪、刘映镇、卢光、王鑫、赵叶红、白佳乐、张家宇、周文摘要：云原生(CloudNative)作为云计算的再升级，已经成为新的发展热点。随着新的技术发展，云原生的概念在不断的演化，银行业的IT架构转型历程也是伴随云原生技术发展逐步演进，从探索云计算、分布式等新技术的规模化运用，到加速云原生布局，全面落地云原生技术，并从“容器技术、微服务、编排出发，构建云原生生态。在此过程中，银行业不仅加速了自身云化转型的进程，也带动了IT技术架构转型的跨越式发展，推动银行数字化转型升级。当下云原生的发展已经进入到了一个转折点，如何做好应用云原生转型将是未来的重点。因此，未来银行业在云原生转型过程中，首先要建立转型的能力建设路径，做好顶层设计，将云原生转型升级与主机下移相结合，选择适合自身发展水平的解决方案，其次是在实际落地过程中要建立配套的云原生落地方法论以及评价体系，有效指导应用转型。本报告介绍了云原生技术发展情况，整理了银行业云原生技术的应用和典型实践案例，分析了云原生技术发展趋势及展望，提出了银行业云原生转型建设路径和落地实施策略。1一、云原生技术发展概述(一)云原生技术内涵及发展数据中心算力发展总是随着技术的演进和业务的需求在不断迭代和跃进。云计算作为新型基础设施，通过虚拟化与云调度管理技术，实现数据中心资源池化，为上层的应用提供弹性的高性能计算资源供给能力。随着业界对云计算技术的不断探索，我们对云计算的理解和期望也在日益提升，云原生作为云计算的再升级，进一步大幅降低了企业IT开发和运维成本，提升了企业业务的创新效率和产业价值。云原生的概念最初由Pivotal公司的MattStine于2013年首次提出，这是他根据自身多年的架构和咨询经验总结出来的一个思想集合，并得到了社区的不断完善，被一直延续使用至今。2015年随着云原生计算基金会(CNCF)成立，云原生正式开始发展壮大，云原生的概念也逐渐变得更加具体化。云原生(CloudNative)是一种构建和运行应用程序的技术体系和方法论，云表示应用程序位于云中，原生表示应用程序从设计之初即考虑以最佳的形式运行在云的环境。关于什么是云原生，CNCF也给出了官方的定义':云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中，构建和运行可弹性扩2展的应用。随着新的技术发展，云原生的概念在不断的演化，但云原生技术本质上是定义了一条能够让应用最大程度利用云的能力、发挥云价值的最佳路径。从2017年Pivotal将云原生概括为DevOps、持续交付、微服务、容器4个主要要素(如图1),CNCF云原生全景图也从成立之初不到100个项目，发展到如今已超过1000个，足见其发展之迅速(图2)。当前云原生技术不只是集中在容器、微服务、DevOps等领域，已经扩展至底层技术、编排及管理技术、函数计算、观测分析技术以及场景化应用等众多分支，初步形成了支撑应用云原生结构化构建的软件研发全生命周期技术链。3基于CNCF云原生全景图，结合银行业实践，我们认为目前业界云原生技术图谱主要包括：以容器技术为核心的云基础设施、微服务、编排管理、函数计算、云原生可观测性、DevOps等六个方向(如图3),共同形成了云原生生态。因此，当前企业的云原生化，不仅仅是基础设施和平台的升级，应用也需要摒弃传统的设计方法，从架构设计、开发方式到部署维护整个软件生命周期都需基于云的特点设计，构建容错性好、易于管理和便于观察的松耦合系统，这样应用才能在云上以最佳姿势运行，充分利用和发挥云计算效能。4自服务自服务(二)银行业云原生技术演进历程我国银行业早在上世纪七十年代开始信息化建设，形成了基于基于微机、中大型机的集中式架构，因其具备高RAS特征(Reliability、Availability、Serviceability),在金融行业被广泛使用。面对银行业务高速发展带来的诸多挑战、电商秒杀大促带来的瞬时流量洪峰、以及互联网金融给传统金融带来的巨大冲击，以主机、小型机等模式为主的“烟囱式”传统金融IT架构转型势在必行。云计算、分布式等新技术的出现，为此提供了有效的途径，并以高灵活性、高扩展弹性的特点等较好适配了这一需要，并得到大规模应用，成为银行业数字化转型的基础支撑。以容器、微服务、服务网格为代表的云原生技术，凭借可移植、轻量、敏捷5等优点，也成为银行应用架构转型中的优选。银行业的IT架构转型历程也是伴随云原生技术发展逐步演进。总结下来，主要分为两个阶段：1.探索云计算技术，构建云平台。2014年前后，以工行、建行等为代表的商业银行率先启动IT架构转型，探索云计算及分布式等新技术在金融业的运用和融合创新。通过利用容器、微服务等技术，逐步建设金融级的云计算平台，基本涵盖了基础设施有效支撑了银行高并发、大容量金融业务的开展。2.全面运用云原生技术，实施应用入云。2016年中国银行业监督管理委员会印发《中国银行业信息科技“十三五”发展规划监管指导意见》,提出银行业金融机构要稳步推进云计算应用并主动实施架构转型。自此，各家银行云原生的布局开始加速，务网格等云原生技术，实施应用入云、系统重构及云原生转型升级，打造云原生应用，实现敏捷、轻量、快速、高效地开发、测试、交付和运维一体化，推动银行数字化转型。在经历了诸多大企业的部署、实践、应用之后，云原生技术的优势更进一步显现，它不仅加速了企业云化转型的进程，更加带动了IT技术架构转型的跨越式发展。Gartner报告曾指出，6到2022年，将有75%的全球化企业将在生产中使用云原生的容器化应用。云原生技术和理念得到了广泛接受，云原生应用场景不断丰富，从通用PaaS向多元化发展，云原生正在成为云上的必然趋势。二、银行业云原生技术的应用从金融行业的高监管、强安全、高复杂的行业特性出发，银行业在云原生落地实践中，基于云原生技术图谱的六个方向，全面运用云原生技术，结合自身行业特性，实施应用云原生转型升级，构建云原生生态。建立以容器技术为核心的云平台，基于微服务构建分布式体系，打造适用于银行业的新型基础设施，有效支撑金融业务快速发展；建立云原生可观测体系，加快运维转型升级，保障银行业务稳定运行；通过微服务、函数计算、DevOps流水线等，充分发挥轻量快速、敏捷灵活的技术优势，助力业务降本增效，实现产品灵活创新。(一)容器云，重新定义基础设施伴随着云计算技术的蓬勃发展和广泛应用，近些年容器技术的发展势头迅猛，成为云原生发展最核心的技术，并进入规模化的成熟应用阶段，以容器云为核心的云平台成为金融行业新型基础设施。与传统虚拟机相比，容器技术具有轻量级、可移植、易部署、标准化等特点，更加适用于现代开发模式和企业级应用架7构(例如DevOps、Serverless和微服务等),充分释放出弹性、敏捷的业务价值，提升了基础设施资源利用率，同时带来了应用交付模式的变革。计算资源池图4容器云平台典型架构业界和金融行业容器云通常基于Kubernetes这一容器编排领域的事实标准进行建设，而容器引擎则广泛使用Docker,如图4。近来在Kubernetes高版本弃用直接调用Docker的背景下，遵循CRI(ContainerRuntimeInterface,容器运行时接口)和OCI(OpenContainerInitiative,开发容器标准)标准的容器运行时也成为众多企业的新选择，比如通过Containerd和runC替代Docker,或基于Containerd和KataContainers构建安全容器平台，实现虚拟机级别的资源隔离能力。此外，容器云平台还需要配套建设镜像服务、日志服务、监控服务以及面向用户的管理平台等关键能力。伴随着云原生技术的发展，容器技术的应用场景得到了更加广泛的拓展。在基础架构方面，将容器技术与IaaS层计算、存储、网络等基础云服务有机结合，推动IT架构8从传统以基础设施为中心向以应用为中心转变，实现运行环境的弹性供给和灵活交付。在应用架构方面，将容器技术与微服务架构结合，实现应用节点高内聚、低耦合以及快速弹性扩展，灵活高效地支持业务快速创新发展。在软件生命周期管理方面，基于容器技术将DevOps等最佳实践落地为标准化工具和框架，进一步提升开发部署效率。目前容器云在金融行业运用已十分广泛，从传统IT架构转型、新技术应用创新到大数据、人工智能、区块链等新技术应用，容器技术带来的环境一致性、快速弹性伸缩等优势为银行业务线上化以及互联网金融业务场景提供强有力的支撑。以工商银行为例，作为同业最早在生产应用容器技术的银行，目前已构建全球银行业最大规模的企业级云计算平台，容器数达30万，经受了大规模生产环境的检验，在“双十一”、"纪念币预约”等业务高峰时点运行平稳。(二)微服务，实现产品灵活创新传统集中式架构下，单系统功能强，但系统庞大，建造成本高，内部各模块耦合度高，部署效率低，扩展伸缩性差，无法适应业务的快速调整和市场的快速变化。微服务架构通过将复杂系统拆分为多个独立部署的微服务，微服务间高内聚松耦合，通过低廉的成本快速构建复杂的业务系统。同时由于微服务支持云上9快速弹性伸缩和高度复用，可以最大限度的利用云平台的扩容和自动化运维能力。微服务技术助力应用系统轻量级部署、快速横向扩容，已成为云原生场景下应用拆分和部署的主要技术形态。●成本昂贵·发展存在上限微服务●单体能力弱，集群能力强●成本低度●扩展容易，无发展上线●分工明确，模块化组合业界通常基于SpringCloud、Dubbo等主流服务框架来构建微服务体系，通过屏蔽服务访问过程中的协议互通、报文序列化、网络通信、集群容错、流量治理等复杂的技术难题，赋能开发人员聚焦业务开发。微服务架构下产品研发由于涉及子系统多，子系统抽象层次不一致等因素，面临构建复杂度高、复用难度大等挑战。企业在微服务架构转型时，应考虑分层解耦设计，提炼形成企业级标准服务和业务组件。在技术层面，对IT技术服务资产高度抽象和积累，提供更加高效便捷的资产复用能力。在业务层面，通过共享服务复用，对已有服务和组件进行组合，快速推出新产品原型并得到技术层面的响应，支撑产品快速灵活创新。目前银行业大多基于开源软件自研或厂商产品来构建其微服务体系，并以微服务为核心打造分布式架构的开放平台，有力承接主机业务下移，助力商业银行数字化转型和信创转型。此外，在主流服务框架基础之上，工商银行、中信银行等商业银行主动探索和落地下一代微服务架构ServiceMesh服务网格，推动业务系统与基础框架中间件解耦，进一步将分布式服务能力(服务、事务、批量、监控、数据库等)下沉至基础设施，实现应用更加轻量和敏捷。(三)编排管理，拓展云原生生态云原生时代的来临，微服务架构与容器化部署模式已演变成现代IT企业的技术标配。在业务系统迁移入云时，尤其是针对有状态的数据库及中间件，应用实例之间相互依赖，且需要维持存储、拓扑、网络等状态，存在搭建复杂、部署时间长、扩容困难、升级工作量大等难点。对此，CoreOS团队推出了有状态应用管理框架Operator,基于Kubernetes基础资源和控制器概念构建，用于实现其所管理软件的整个生命周期的自动化。通过对容器的实际运行情况与预期运行情况的实时对比，及时发现运行态异常，并进行创建、故障恢复、异常处理等操作，最终达到预期设定的运行状态。在技术路线上，MySQL、Redis等常见中间件均有相应的operator实现，一般都提供了其相应中间件的自动部署、升级、高可用切换、扩缩容以及备份等生命周期管理能力，企业可以根据自身系统情况直接采用，或者基于Operator框架建立中间件应用自定义资源对象，通过自定义资源对象的关联关系、预期数目等控制逻辑，实现中间件容器的一键式部署、运维和管理。常见的MySQL、NoSQL及MQ消息等数据库或中间件应用(如图6),依托Operator等云原生支撑能力，可把所有的运维逻辑从镜像中抽取并集中到0perator中，可实现快速部署和便捷运维，并将相关能力下沉至基础设施，从而优化应用运行环境，减少人为故障的概率，提升整个运维的效率。相比于传统方案，云原生数据库及中间件极大改善了业务应用入云条件，解决了保障难、运维难、成本高等一系列问题。目前互联网头部企业已有比较成熟的实践，并有陆续推出相关产品。在金融行业中，工商银行、建设银行等金融机构均已有数据库及常见中间件的云原生部署落地。以工行为例，目前已实现一万余套MySQL数据库的容器化部署，基于裸金属的池化资源供应，有效减少虚拟化开销，通过精细化编排实现高效率高密度的混合部署，资源利用率提升五倍以上。(四)函数计算，助力业务降本增效Serverless作为目前云计算的热门技术，被Gartner称为最有潜力的云计算技术发展方向。Forrester也认为：Serverless架构的兴起，让函数FaaS(函数计算)成为继IaaS、PaaS、SaaS之后一种新的云计算能力提供方式。Serverless函数计算通过函数代码即业务服务的模式，应用无需管理服务器等基础设施，即可实现弹性、高可靠的方式运行。与传统技术架构相比，函数计算有着完全按需加载、事件驱动、实时弹性伸缩、应用函数化等特点，可有效降低开发成本，提升开发效率，加快业务创新。运行时虚拟化服务器存储运行时操作系统操作系统虚拟化服务器功能应用退行时服劳器应用运抗时操作养统原务器运行时操作系统虚拟化应用侧维护由于函数计算平台自身的技术架构较为复杂，建设成本较高，因此一般企业直接使用公有云函数计算服务，主要的公有云函数阿里云(函数计算)、腾讯云(云函数)和百度云(CFC)等。而金融行业考虑到安全性和多样的金融业务需求，大多选择私有化函数计算方案，实现适用于银行业务特性的函数计算平台架构。在技术架构方面，函数计算屏蔽了底层计算资源，通过事件驱动的特性，并与PaaS、IaaS进行资源联动，实现资源完全按需伸缩。在平台能力方面，函数计算平台提供开发、测试、发版、交付、灰度等完整的DevOps能力，并具备完善的日志系统、度量系统和追踪系统。在应用场景方面，Serverless技术已在批量处理、得到了广泛地应用，有效降低了计算资源的使用成本。根据0'ReillyServerless调查报告表明，除了软件行业，Serverless函数计算用户最多的是来自金融和银行行业。目前工商银行、农业银行、招商银行等对Serverless函数计算也积极开展探索和研究，帮助业务提升研发效能，支撑业务快速创新。如工行函数计算平台应用于手机银行、合作方业务、基金组合回测等场景，农行Serverless平台应用于微信小程序、掌上银行等场景，招行函数计算服务应用于微信小程序、客户交易数据处理等场景。(五)云原生可观测性，实现运维转型升级云原生可观测性是对监控领域的进一步提升及拓展，最早由苹果工程师CindySridharan提出，“监控告诉我们系统的哪些部分是工作的，可观测性告诉我们那里为什么不工作了”。在云原生时代，系统架构和开发模式的变革在为金融企业带来巨大红利的同时，也对可观测性提出了全新挑战：微服务架构的引入打破了单应用的壁垒，应用间调用链路和调用关系越来越复杂，导致故障诊断定位变得困难；云化部署使得可观测性除关注应用自身状态外，还需关注应用所依赖的PaaS、IaaS底层虚拟化资源的状态；Dev0ps模式的普及使得部署发布的频率显著提高，亟需通过可观测手段实时掌握发布状态、瓶颈问题等。界公认的云原生可观测性建设的三大支柱，如图8。针对这三类可观测数据，已形成较为成熟的端到端解决方案，如图9。在指标方面，目前业界主流技术路线是通过Prometheus体系完成系统、应用和业务指标的全覆盖采集，以KPI(KeyPerformanceIndicator)数值形式准确反馈系统在特定时间周期内的运行状态，进一步集合Grafana等可视化工具提供基于指标的视图展现 (ElasticSearch、Logstash、Kibana)技术栈提供采集、存储、检索和挖掘的一体化能力，解决因节点重启或漂移导致问题不可追溯的痛点，帮助用户全面掌握系统运行过程中的事件和异常。在链路方面，业界较多采用的是Zipkin或者SkyWalking的方案，利用探针或者埋点提供请求路径追踪能力，有助于快速锁定OpenTelemetry、混沌工程和全链路压测成为近年来涌现的新热点方向，致力于实现三类可观测数据的统一采集和打通融合，建立常态化的故障演练机制，提前检验应用健壮性，预防系统性风目前各大金融企业均在积极开展云原生可观测性的探索和实践。工商银行、交通银行和民生银行等大部分商业银行均已建立相对完善的云原生可观测体系。同时，在云原生可观测性新技术研究方面，各大商业银行积极推进，如工商银行、招商银行已建立混沌演练平台，有效提升分布式服务抵御生产各类异常事件Trading(六)Dev0ps流水线，实现敏捷持续交付随着云原生理念的普及，云原生带来的变革并不限于基础设施和应用架构等技术层面，更是对于研发理念、交付流程和IT组织方式的重塑。以云计算为核心的基础设施日益完善，加速了开发和运维角色的融合，使基于云原生的DevOps实践成为一种Dev0ps技术的应用大体可以分为两个方向：“传统”DevOps和“云原生”Dev0ps。早期Dev0ps技术受限于物理机、虚拟机供应效率等因素，主要聚焦于应用的快速迭代，较少考虑计算、存储、网络等基础设施同步交付。包括银行在内的大型企业在从传统架构向云原生架构演进的过程中仍有需要保留“传统”Dev0ps流水线来支撑过渡时期的混合形态，通过统一的工具链来串连研发、运维人员和相应基础设施。随着容器、微服务等云原生技术的逐步成熟，“云原生”DevOps也随之快速发展并成为优选方向，如图10。AppinfradefinitionCluster2"云原生"Dev0ps流水线相关组件的功能设计通常基于K8s提供的自定义Controller(控制器)功能实现，基本逻辑是根据流水线编排场景及功能需要抽象出多个CRD(CustomResourceDefinition,自定义资源对象),并开发对应的Controller来实现业务逻辑，例如定义源代码仓库相关CRD实现源码下载，定义pipeline相关CRD实现流水线步骤执行与返回结果处理等。目前业界已经有许多成熟的“云原生”Dev0ps工具可供选择，包GitlabCICDJenkinsXArgoCD用程序自动化管理工具OpenKruise'等，企业可以选择适合的开2JenkinsX:基于Kubernetes的持续集成(CI)和持续部署(CD)平台3ArgoCD:基于Kubernetes并遵循声明式GitOps理念的持续部署(CD)工具4OpenKruise:基于Kubernetes的扩展套件，主要聚焦于云原生应用的自动化，比如部署、发布、运维以及可用性防护源产品构建完整的DevOps工具链，而内部特色场景则可以通过上述CRD机制进行自定义，从而构建完全贴合自身需求的“云原最佳实践，并将DevOps理念向IaC'扩展，加速了Git0ps'技术的应用和相关工具链的成熟，使云原生下的DevOps更加高效、安全、稳定、可靠。基于容器、微服务或无服务器架构等云原生技术栈并遵循开源标准构建的应用，可以完全抛开历史包袱，充分利用“云原生”Dev0ps技术实现持续交付和智能运维能力，达到比“传统”Dev0ps更高的服务质量、更低的开发运维成本，让研发更专注于业务的快速迭代。金融行业云原生实践和落地的进展和规模不尽相同，因此从“传统”Dev0ps向“云原生”Dev0ps演进的策略也有所差异。大多金融机构由于处于不同转型进程、技术栈多样化等历史原因将在较长时间内处于两者并存的状态，但会在此基础上抽象统一的流程来尽量实现用户体验的一致性，并不断向云原生方向演进；少数新兴的互联网金融企业的IT系统自设立之处就全面基于云原生技术栈构建，相应DevOps也基于云原生架构落地。以某互联网银行为例，其DevOps总体架构是以平台为支撑，以流程为5InfrastructureasCode(laC):基础设施即代码6GitOps:一种实践DevOps理念的云原生持续交付方式，核心思想是将应用系统的声明式基础架构和应用程序存放在Git版本库中引擎打造金融级云原生Dev0ps平台架构，选择了Tekton'和ArgoCD等业界主流开源项目进行云原生的Dev0ps实践，帮助其实现降本提效、加速版本迭代，同时实现蓝绿发布、灰度投产等关键三、银行业云原生技术实践案例(一)农业银行云原生数据湖建设实践随着农业银行数字化转型进程的不断深入，行内数据量快速增长，各业务领域大数据处理需求持续增加，在数据种类、数据时效、资源成本等方面对大数据平台提出了更高要求。在新形势下，农业银行全面推进数据湖建设，依托企业级一体化云平台，结合大数据与云计算技术，形成工具云+计算云+存储云的大数据础平台、基础数据、生态工具能力，为集团数据共享使用提供一1.探索落地云原生数据湖技术，实现大数据计算引擎容器化部署和云端数据编排一是融合大数据和云计算技术，落地存算分离前沿技术架构。基于企业级一体化云平台，采用存算分离架构，实现大数据存储和计算资源分离解耦，计算引擎和缓存加速引擎基于PaaS云进行容器化部署，存储引擎基于IaaS云独立部署，支持存储和计算资源按需独立扩缩容，有效提升资源利用率和资源弹性，冷数据机位占用率下降约33%,计算资源交付时间由两周降低至一天；引入云原生数据编排技术，统一对象存储和HDFS等异构存储命名空间，并将云下数据编排靠近云端计算容器，实现云端计算加速。二是融合湖仓一体技术和流批一体技术，提升大数据管理水平和服务效率。采用流批一体架构，打通流批一体采集、存储、套程序满足多场景业务需求，降低开发和运维成本，提升大数据处理时效性和多种数字化业务场景支撑能力，数据湖处理时效由T+1提升至分钟级。2.建立数据常态化入湖机制，夯实数据基础支撑能力一是建立常态化入湖机制，实现内部数据“应入尽入”。数据汇聚方面，建立内部数据入湖企业级协同机制，完成三农、风控、信贷、营销等领域200多个系统20000多张表的快速入湖，积累结构化数据近30PB;同时推进非结构化数据入湖，完成用户行为埋点、影像文件等非结构化数据入湖，丰富数据资产种类。二是实现外部数据引入大类翻番，全面推广外部数据服务。数据引入方面，入湖外部数据大类达到12类，覆盖工商、运营商、公安部、三农县域、风控反欺诈等类别，外部数据服务种类提升4倍；同时通过总分共建的方式，赋能多家分行地方政务等数据的快速引入。3.自主研发全域数据入湖、管控与服务工具集，提升大数据通过梳理海量内外部数据入湖与服务各环节，强化事前、事中、事后的数据质量检测与管控流程，自主研发了以内部数据自助入湖工具、外部数据统一接入服务工具、集团数据应用服务工具、元数据管理工具、数据质量检测与管控工具、大数据开发工具、数据提取服务工具为核心的一整套全域数据入湖、管控与服务工具集。内部数据入湖自动化率提升近3倍，单表入湖工作量降低到0.19人天，整体实施能力较手工入湖方式提升近11倍，快速支撑了网络金融、监管报送领域急迫的数据需求。外部数据入湖形成一站式研发、总分联动、一体化管理的外部数据服务体系，实现外部数据高效接入和便捷共享，单接口开发周期从1个月缩短至1周，赋能多家分行开展地方政务等外部数据的快速引农业银行数据湖有机融合大数据与云计算技术，在降低大数据资源成本的同时，提升了数据服务的时效性，最大化实现了数据的敏捷运营，缩短了业务创新周期，全面夯实了行内基础数据底座，为全行提供更丰富、更及时、更开放、更融合的数据支撑。未来将加快推进数据湖与数据仓库的融合、数据湖与云计算的融合，紧跟云原生技术和理念，建设云数据湖仓，打造一个硬环境和软环境兼备的集团数据服务云体系，支撑总分行及子公司应用和数据全面上云，实现集团数据一体化管理，为业务创新及数字化转型提供有力支撑。(二)浦发银行云原生技术运用实践浦发银行为了推进企业数字化转型和全景银行建设，支撑生态业务对于高并发、高弹性的要求，开展了金融云的探索和实践之路。引入了以容器、微服务为代表的云原生技术，并基于生态云平台积极探索云原生PaaS解决方案，大力推广云原生架构，构建和运行可弹性扩展的应用，充分发挥其轻量快速、敏捷灵活的技术优势，赋能云价值释放。1.依托容器实现多云管理，为应用打造高效的资源平台浦发银行在2017年开展了应用容器化的试点，实现了支付链路和网银两大核心系统群的容器化部署和运行。为了进一步构建云原生技术生态，2020年浦发银行自主研发多云容器管理平台上线。经过持续建设，目前已基本建成以K8S技术为核心的平台产品及服务体系，涵盖多云管理、容器运行、容器运维和容器安全四大平台，围绕自服务、运营、运维三个维度，构建形成含资源管理、集群管理、应用中心、运维中心、安全中心等在内的多项核心模块和服务能力。浦发银行容器管理平台在基本能力、应用场景技术指标、安全性等方面均达到了信通院《可信云大规模容器集群性能》评估标准，并在集群调度效率、管理节点稳定性、横向伸缩能力、网络延时、网络性能损耗等方面均满足可信云大规模容器集群性能先进级的标准。目前平台在生产环境已部署80多个容器集群，对接200多个应用系统，容器规模超2万个，总行上云应用系统容器化部署率达80%,并有效支撑了个人手机银行、分布式核心、数字人等重要应用系统的部署运行。2.利用微服务推动应用架构转型，实现业务快速交付为了解决当前微服务应用和传统应用间的企业应用集成问题，以及实现云上和传统环境应用系统的统一集成，浦发银行于2020年上线企业级微服务平台，提供服务注册、智能路由、线上线下一体化的服务治理等功能，具备弹性扩展和混合云部署的能力，以及完备的故障发现隔离机制。浦发银行企业级微服务平台(ESF)开创性地实现了传统SOA架构和微服务架构的一体化，并对全行所有系统(包括传统系统和微服务)进行云上云下联机交易的统一集成，提升系统灵活性，使应用集成架构从原有的总线型架构得以平滑转型为微服务架构，大大节省了传统系统迁移上云、微服务改造以及获得微服务架构优势的成本。平台采用分布式、高可用架构部署，运行在容器、物理机、虚机、云环境中，为全行应用系统提供云原生的集成能力，支撑信息系统灵活多样的交付形态。同时，通过服务治理与ESF平台建设紧密结合，消除了服务治理与服务运行之间的脱节问题，实现服务标准化建设和对服务生命周期管理，成功实现全行服务治理。浦发银行企业级微服务平台已接入微服务应用300余个，投产服务数19000个，覆盖37家分行，并有效地支撑了手机权益日、代发权益、双十一、春节红包等各种互联网抢购场景，目前日均交易量7.2亿笔，日交易峰值8.5亿笔。其中，在手机权益日平台瞬时支撑TPS已达5万。3.探索云原生数据库及中间件PaaS解决方案，简化运维，降本增效在2020年之前，浦发银行数据库及中间件产品运行在虚拟机上，经过多年的打磨，整体运行稳定。然而，近年来容器等云原生技术的蓬勃发展提供了另一种可能性，利用其在资源调度方面的技术优势可以打破传统方案，探索更高效的业务模式。经过近两年时间的实践，从初期仅在开发测试环境上的摸索实现，到后期大力在生产环境上推广落地，浦发银行深刻体会到使用K8S等开源技术框架来进行有状态服务的管理，可以大幅提升运维人员的效率并释放生产力，简化运维，降低成本。为了充分发挥这一技术优势，浦发银行已逐步开展数据库及中间件PaaS产品向容器化模式的转型，范围覆盖MySQL、Redis、于2021年投产，现已运行250套服务，宿主机规模在50台左在未来发展上，浦发银行将持续推动数字化转型之路，加强与容器、微服务等云原生技术的深度融合，持续开展数据库及中间件PaaS产品探索，构建云原生数据库全栈能力，夯牢数据底座，赋能业务创新，以开放的姿态借鉴行业先进经验，为客户提供更优质的金融科技服务和用户体验。(三)工商银行云原生生态建设实践工商银行的架构转型历程伴随着云原生技术发展逐步演进，从2015年开始，以金融云平台及分布式体系建设工程为抓手，广泛开展了云原生技术探索应用，经历了两个重要阶段。2015-2019年，结合云计算发展趋势，以业界主流开源技术为基础，进行自主创新研发，建成了同业规模最大、业务场景全覆盖的云计算平台，集基础设施云(IaaS)、应用平台云(PaaS)和金融生态云(SaaS)三位一体。2020年至今，随着云原生技术含义不断丰富，工商银行对自身技术架构进行了同步迭代演进，在实施自主可控基础软硬件产品入云、可观察体系建设、服务网格架构、函数计算资源精细化使用、云安全及成熟度评价等方面进行完善提升。经过两个阶段迭代，基于云原生技术布局，形成了工商银行的云原生生态。云原生的技术内涵十分丰富，但对银行应用来说，一些能力至关重要，这也是工商银行着力建设的重点。1.容器基座，支持业务弹性扩展。基于容器技术构建具备自主知识产权的应用平台云，目前节点规模已超30万个，赋能应用敏捷部署、弹性扩容、快速自愈等能力，核心应用入云率100%,全面支撑核心银行系统、高并发互联网金融、大数据及新技术等全栈式运用。创新性提出“一云多芯”的信创云平台转型方案，具有"多芯兼容、灵活调度、交叉复用、全栈部署"的特点，纳管国产服务器超5千台，相关方案银行业首个入选工信部信创转型案例。2.微服务架构，提供灵活快速创新能力。基于Dubbo服务框架打造了企业级微服务平台，通过深度定制和大规模自主研发，创新性提出异构多注册中心、节点级服务发现、全链路灰度、同端口双协议等新特性，实现性能、高可用、稳定性的全面提升，较社区方案提升10倍以上性能容量，具备十万级服务的注册发现、及日均千亿级的服务接入能力。生产服务数量接近3万，调用规模日均超过150亿笔。同业首批实践下一代微服务架构服务跨技术体系的系统间互联互通及统一服务治理。源、业务链路的一体化运维系统，实现了监控数据的采集、存储和分析。对标业界1-5-10目标，构建全息监控、云医平台、限流中心，覆盖故障场景的全生命周期，并运用AIOps等业界新技术，提供智能化的根因分析及精准定位能力。率先运用混沌工程技术，建立常态化故障演练机制，业界首批通过混沌工程最高级理念，建立需求、研发、投产和生产运营统一协作的研发运营一体化机制，进一步提高研发供给能力和研发质效。建立基于云平台的持续交付能力，通过容器+k8s声明式API编排技术，实现基础设施即代码的CI/CD流水线，提升复杂应用系统环境在交付过程中的一致性和可复制性。业落地的方法论，从松耦合、容错性、可观察性、自动化等6大方向形成30余项指标，建立应用云原生能力成熟度评价体系。组建云原生评价团队常态化开展评价工作，结合最佳实践，在关键业务线打造云原生标杆应用，以评促建，推动应用落地成效，巩固全行应用转型效果。基于云原生生态，工商银行初步建成了开放平台体系核心银行信息系统，大幅提升了系统横向弹性扩展、账务一致性保障和系统高可用运维等能力，稳步承接借记卡、收单、信用卡发卡等关键业务从主机下移。目前已在开放平台承载全量9亿个人客户、1千多万对公客户、10亿借记卡协议数据，日均支持2亿次客户信息访问、1.5亿次借记卡协议更新和查询、1.8亿笔快捷支付交易。未来，工商银行将持续关注云原生领域前沿技术发展趋势，加大新技术创新投入，推动云原生生态迭代升级，进一步释放云计算体系红利，在更好服务全行数字化转型的同时，也希望能在这一领域为金融同业贡献更好的工行方案。(四)网商银行金融级云原生分布式架构实践网商银行从建站开始就是架构在云计算基础设施之上，使用云平台架构支撑业务开展，交付模式上使用基于经典虚拟机的发布包模式。随着业务量增长，两地三中心的架构已经无法满足业务发展需求，需要升级扩展性更好的架构，另外银行金融业务的属性需要在容灾能力上有更高的要求，因此网商银行从传统的云架构升级到了异地多活云单元架构。云原生技术持续发展，带来了安全可信、节约成本和敏捷开发的能力，随着业务的发展，对于运维效率、扩展性、可迁移性、精细化管控的更高要求驱使着基础设施往云原生的架构体系演进，网商银行拥抱新兴技术架构，正在逐步演进到云原生架构。1.混合云弹性架构。在云计算逐渐普及的情况下，无论是互联网公司还是传统IT企业都倾向于不被一朵云绑定，混合云架构已经成为一个大的IT系统演进趋势。网商银行基于统一的容器服务(兼容Kubernetes)进行应用的部署，可以解耦应用跟IAAS云底座的锁定关系，实现一个镜像多朵云部署。此外，网商银行在云单元架构的基础上通过业务链路动态识别技术，打造了按业务链路级别进行多云之间的流量弹入弹出能力，可以便捷高效地在多朵云之间进行流量调度，解决互联网时代面向突发流量及促销类活动的弹性扩缩容成本和效率问题。2.不可变基础设施。传统的可变基础设施是基于物理机或虚拟服务器进行应用的部署，在不同环境之间可以通过动态配置下发或者实时访问外部服务更新应用的机器状态，整个基础设施一直处于一个变化的过程中，对于一些需要回滚的运维场景会比较复杂。网商银行采用镜像化部署模式，将应用依赖的基础设施(含配置)打包成不可变的镜像，可以做个多环境统一镜像，极大地降低了应用多环境的部署成本，同时对自动轮转替换、自动回滚等运维动作更友好，提升了基础设施运维的自动化水平。3.服务网格。服务网格(ServiceMesh)是网商银行下一代云原生架构中非常重要的一个基础设施，它把原来通过SDK集成的一些网络通信的能力下沉到Sidecar中，包括基本的RPC、消息、DB访问能力，以及在此基础上的服务发现、熔断、限流、流量管控、数据库分库分表的能力，以此给业务系统带来较为透明的通信基础设施，将基础设施的迭代演进跟业务系统解耦，让业务研发专注于业务逻辑，减轻业务系统的负担，提升业务系统及基础设施的迭代效率，实现专业的团队做专业的事情。另外Sidecar的引入也给业务系统的多语言发展提供了更大的可能性，通过服务网格技术可解决多语言、多技术栈之间的互连互通问题，有利于构建一个松耦合银行系统架构。4.安全可信。网商银行在云原生架构探索实践过程中特别注重架构的安全能力，不断建设云原生基础上的安全可信架构。互联网公司生产网络的形态基本上都是“一张大网”,隔离能力低，效率高，但安全性低。作为一家面向互联网的数字化银行，网商银行需要一套兼顾高效率与高安全性的IT系统架构，基于服务网格网商银行实现了核心应用服务的安全访问控制，整体上形成了核心系统的纵深防御能力覆盖，在保证业务研发效率的同时可以大幅度提升安全性。5.离在线混部。随着集群规模化的提升，在线业务集群和离线集群资源池逐步变大，由于存在业务低峰期，在线和离线使用独立的资源池会遇到资源利用率的问题，一个比较明显的现象就是集群的资源分配率很高但是实际利用率偏低。为了解决资源利用率问题，网商银行在云原生架构建设过程中进行在线和离线集群混合部署，统一资源调度，以资源隔离和动态调整为基础，将不同属性类型的在线服务和离线计算类服务精确进行组合，利用高效调度算法和智能化的容量计算模型等技术手段完成资源的合理利用，提升资源错峰高效利用水平，降低IT成本。网商银行通过探索和实践云原生架构升级，逐步落地了云原生相关的技术，为网商未来业务发展提供了先进的技术支撑，为架构持续演进打下了基础。金融行业的数字化转型需要构建有力的技术支撑体系和IT能力，网商银行期望通过自己的云原生架构落地实践为业界提供借鉴经验，也希望与同行共同探索未来金融行业的架构转型之路。四、云原生技术发展趋势及展望2022年2月CNCF发布的《2021年年度调查报告》显示，随着Kubernetes成为主流技术，越来越多的企业正在慢慢向云原生技术栈升级，完善的云原生技术栈正在成为企业应用技术架构的首选。云原生技术已经得到广泛验证，支持的业务场景也愈加丰富，行业生态日渐繁荣。未来，云原生在生态发展和应用价值方面，呈现以下四个方面的趋势：资源成本管理，成为云原生广泛运用的内驱力；云原生技术发展，将促进技术中台进一步下沉；可观测性，正成为未来运维架构的核心；云原生安全，成为一种新兴的安全理念。云原生发展促进技术中台进一步下沉可观测性成为运维架构的核心图11云原生技术发展趋势(一)资源成本管理，成为云原生广泛运用的内驱力根据Gartner统计，全球数据中心利用率不足12%,数据中心的资源消耗存在巨大浪费。利用云原生技术提升资源利用率将成为金融企业采用云原生技术的重要驱动因素。中国信通院调查数据显示，“提升资源利用率”连续两年排名用户认可的云原生价值第一，通过云原生技术，76%的用户提升了基础平台资源利用率并节约了成本。在金融行业，云原生技术的运用正在不断深化和延申。然而2021年CNCF《FinOpsKubernetesReport》调研报告显示，68%的受访者表示迁移至Kubernetes平台后成本有所增加，这说明云原生架构下，仍然具备巨大的潜力显著提高成本效益，真正实现价值转化。未来，云原生架构将更加聚焦于合理的资源成本管理，通过广泛利用离在线资源混部、函数计算等云原生技术，有效促进资源利用率的提升。比如：资源混部利用成本观测、干扰隔离、部署调度等技术，从运行平台角度提升资源的共享程度；函数计算技术则通过按需申请资源、弹性伸缩等手段，从应用视角将资源的弹性获取发挥到极致，两者将成为助力资源利用率提升的重要手段和深入用云的标志。(二)云原生技术发展，促进技术中台进一步下沉随着金融行业大面积转型开放平台架构，各大银行也纷纷筹建自己的技术中台。技术中台为应用提供了丰富的技术组件，开箱即用，快速提高了业务系统的研发效率，备受各大企业、机构青睐。目前技术中台的落地，需要业务系统引入大量的三方依赖，耦合业务系统，无形中又额外增加了系统的复杂度，亟需解决。随着云原生技术的最新发展，技术中台将进一步下沉。ServiceMesh服务网格、多运行时等新兴云原生技术，通过将服务发现、治理、消息、缓存众多技术中台能力下沉到基础平台，实现技术中台与业务系统的深度解耦，加速业务研发效率。同时，ServiceMesh服务网格、多运行时等，已成为下一代微服务架构的主流方向，各大金融机构也在积极开展技术储备和业务试点(三)云原生可观测性，成为未来运维架构的核心在云原生时代，由于部署节点增多、调用链路延长，以及业务7X24小时连续性保障的要求，使得云原生可观测性在未来运维架构中承担着举足轻重的作用。而随着各大金融机构进入运维转型建设的“深水区”,指标、日志和链路通过不同技术体系归集和独立访问的壁垒逐渐显现，传统依赖人力实现故障根因定位的模式越来越无法适应新时期运维保障的要求，用户对于通过低侵入性方案覆盖现有监控盲区的呼声日益增高。针对现有运维存在的痛点，未来运维数据中台、AIOps智能根因定位建设和eBPF技术等云原生可观测性技术，将成为新的热点发展方向，并在未来运维架构中发挥重要作用。在运维数据中台建设方面，主要提供的是不同类型可观测性数据相互打通的能力，通过将数据统一入传统的数据湖实现技术标准统一，或者是建设逻辑数据湖提供统一对外访问层，提供不同数据类型二次关联加工的能力，支撑上层运维服务的建设。在AIOps智能根因定位建设方面，利用人工智能算法，充分挖掘海量运维数据的价值，从业务链路、物理部署、变更事件线等维度圈定故障范围，辅助运维人员快速定位。在eBPF等新兴云原生技术研究实践方面，尝试基于无侵入、动态加载自定义代码的方式，采集各类可观测数据，补齐内核运行态、网络拓扑等现有监控体系的盲点。(四)云原生安全，成为一种新兴的安全理念互联网时代业务不断变化，但金融行业对安全稳定、错误的零容忍始终保持不变。在云原生时代，云原生技术已逐渐在金融科技行业大展拳脚，而新技术的发展也必然伴随着安全的挑战，金融行业需要更加注重新技术安全。容器被定义为云原生基础设施开始，Docker等容器安全问题就备受关注，同时利用DevOps进行应用构建交付也面临流程安全方面的问题，安全正在从一开始就变成应用交付的一部分。云原生安全指云平台安全原生化和云安全产品原生化。云原生安全作为一种新兴的安全理念，不仅要解决云计算普及带来的安全问题，更强调以云原生的思维构建云上安全体系和部署云上应用，推动安全与云计算的深度融合。因此，云原生安全防护体系通常需要与云原生技术应用同步落地，覆盖从需求规划、架构设计、系统开发、运行维护的全生命周期中，形成开发、运维、安全一体化的DevSecOps可信流程。以安全左移(ShiftLeft)、内建、自动化为标志的DevSecOps理念及产品也将逐步落地应用，从一开始就把安全策略、对安全的考量、安全配置作为应用的一部分，而不是在应用交付甚至上线之后再进行事后的安全审计和五、银行业云原生转型建议目前云原生的发展已经进入到了一个转折点，对于银行业来说，资源层的云化已经基本完成，应用层的云化将是未来的重心。因此，接下来拥抱云原生最大的困难不是搭建云平台，而是如何做好应用云原生转型。(一)云原生转型建设路径云原生是在云计算时代指导企业基于云架构设计和开发应用，并将应用向云端迁移的一套全新的技术理念。银行业在云原生转型过程中，首先要做好企业云原生建设路径规划和顶层设计、选择应用转型策略和适合自身的解决方案。1.做好企业云原生能力建设顶层设计及规划。云原生转型是一项系统级工程，需要考虑顶层设计，宜在企业级业务建模的基础上，通过云原生转型工程落地适合企业长远发展的下一代架构，助力企业数字化转型。在云原生能力建设路径上，可优先推动微服务转型承接业务建模成果，去状态后通过容器技术实现弹性扩缩，并进一步深化编排管理能力，实现数据库等有状态节点入云；同时建立适配云原生转型的研发流程和运维架构，通过建立Dev0ps流水线提升敏捷交付效率，完善应用可观测性，提升定位和发现问题的能力；最后充分利用函数计算、服务网格等新兴云原生技术，以能力建设和应用转型相结合的方式，最大程度释放云原生红利。2.采用云原生转型升级与主机下移相结合的转型思路。近年来，国家对使用安全可靠技术提出了更高要求，并提出“要加快金融市场基础设施建设，稳步推进金融业关键信息基础设施国产化”。在这个过程中，可将信创工程与云原生转型升级有机结合，在实施主机业务下移的同时，同步进行应用云原生架构的重构和转型，快速灵活实现自主可控转型和云原生规模化应用。在应用转型策略上，宜采用技术平台建设先行、稳步