银行测试管理体系建设与实践

银行测试管理体系建设与实践在金融体系迈向数字化转型的关键时期，银行软件测试作为金融科技发展不可或缺的一环，承担了重要的基础保障作用。面对开放、竞争、合规、风控以及新技术应用等带来的重重挑战，商业银行测试管理工作迎来高速发展和转型的有利契机，向着自动化、数据化、智慧化方向快速迈进，测试体系成熟度水平也随之稳步升级。一、服务研发过程的测试管理体系自2009年光大银行组建独立第三方测试团队以来，经过十余年的探索和研究，不断完善测试领域规章制度和实施流程，逐步建立起“1+4+4+3”的测试管理体系框架。1.一套国际标准，奠定管理基础为更好地贴合研发管理过程，光大银行选择与CMMi互补的TMMi模型作为测试领域体系建设的成熟度管理标准，不断完善测试管理制度和流程，建立科学系统的测试度量体系，构建风险管控的测试策略和方法，整合规范、方法、环境、工具、资产和数据等资源，形成标准统一、过程受控、模式灵活的测试管理方案。在2018年9月、2019年3月光大银行逐一通过TMMi3级和TMMi4级的测试成熟度国际认证评估，为持续优化改进测试管理能力、全面提升综合测试能力打下坚实基础。2.四大工具平台，规范管理过程(1)统一测试管理平台统一测试管理平台是光大银行测试活动的归口管理平台，落地了TMMi4级的制度流程和交付物标准，通过对测试的需求、任务、资源、环境、版本、数据等进行精细化管控和调度，实现了测试管理过程的可跟踪、可度量、可分析、可展示。目前，平台纳管了包括系统测试、安全测试、非功能测试在内的各类测试活动，打通测试和研发过程上下游各相关系统的数据流，支持对测试工作的全生命周期管理。(2)DevOps工程效能及工具链平台DevOps平台是光大银行研发交付一体化的工程管理平台。在测试工程方面，通过内建自动化测试子平台，封装多种自动化测试工具单体组件，平台实现了跨种类的自动化测试能力，丰富了测试阶段的实施方法；同时，平台以CICD流水线为核心，整合测试相关工具链，提供了代码管理、制品管理、单元测试、代码扫描、代码评审、安全检查、自动化测试、质量门禁等专业能力，支持敏态、稳态等不同研发模式项目在研发、测试、交付各阶段进行差异化的能力适配。(3)测试资产管理平台测试资产管理平台实现对光大银行测试资产的存储、管理和维护。平台从业务产品、系统交易两个维度，以结构化方式分类存储业务产品流程与子流程、应用系统间服务调用关系、系统交易流程、业务规则与测试案例、测试与生产缺陷、测试风险项等多种资产，并通过功能矩阵进行关联，实现从业务视角、系统视角的双向展示。同时，通过对接统一测试管理平台、自动化测试平台，测试资产管理平台将资产复用与维护融入测试活动全生命周期，为测试标准化、案例自动化及知识传递提供了系统级支撑，为测试风险管控以及提升测试资源精准投放提供了有效依据。(4)测试运营支持平台测试运营支持平台实现对光大银行测试环境资源的一体化管控。平台在强调安全性和可用性的基础上，通过场景化方式为测试过程提供环境搭建维护、换日批量、测试监控、测试数据、测试共享等五大类标准化的运营支持服务，保障测试资源的归口管理和合法授权，提升测试环境信息的透明度，提高对测试过程中各类请求的支持效率，同时降低对测试人员的综合能力要求，通过强化测试实施的整体协作能力，为各类测试活动提供资源的基础性服务保障。3.四类测试服务，保障研发质量以质量提升为目标、风险事件为底线，组织开展功能测试、非功能测试、安全测试以及投产交付四类测试服务。落实监管规范，借鉴行业标准，从规章制度层面明确各类服务的组织级标准化要求；通过管理细则分类细化和完善实施范围、准入/准出标准和实施内容项；结合测试服务专业特点，发布面向特定对象或场景的“实施指南”，重点指导高风险项目和高风险触发场景实施工作；依托四大测试管理工具平台，强化各类服务标准化管理的落地执行。4.三种实施模式，支持服务需求为配合“双态三模”的项目研发转型，光大银行设计了“敏捷团队模式”“第三方独立模式”“项目归口模式”等三种测试实施模式，并在过程管理和资源配置上予以适应性调整，匹配敏捷、准敏捷和稳态等三类不同研发模式项目的管理和运行特征，支持重点业务板块业技融合团队的项目研发建设，充分满足了组织级质量可控的管理要求。二、响应敏捷要求的测试管理实践1.“自动化”提升实施效能光大银行DevOps平台内建的自动化测试子平台(TAAS)依据“分层自动化”测试框架，在技术层面整合App、UI、接口、模拟器、监控、脚本等不同工具，在业务层面支持交易、流程、产品、管理等不同测试场景，高效满足了功能测试、非功能测试以及安全测试的实施要求。(1)自动化功能测试基于TAAS提供的智能化技术和“数据—交易—场景”的分层解耦结构，光大银行显著降低了自动化案例的开发门槛，提高了复用组件构建场景案例的效率，并大幅提升了自动化案例在功能测试中的占比。当前，光大银行已累积约8万条有效的自动化测试案例，月度自动化替代率达47.58%，大大提升了测试范围和效率。此外，面向功能测试的场景化需求，光大银行实现了回归测试、敏捷测试、月度需求测试、业务产品测试等多种自动化测试场景服务，为94个应用系统建立了回归测试自动化案例库，年度累计执行90万余次。(2)自动化非功能测试非功能测试自动化实现脚本、执行、仿真、监控、诊断全覆盖，形成了赋能开发的输出能力。脚本方面，光大银行基于敏捷脚本开发和资产复用机制，形成了多层次的自动化支持能力，在对银行主流协议全覆盖的基础上，实现脚本一键速成、语法规范自动检查和报文字段智能识别，同时建立测试脚本资产库，实现了脚本复用能力；测试执行方面，光大银行配备了精准模拟金融业务模型的自动化场景配置、个性化仿真配置和一键执行功能，支持无人值守的容量阈值自动探测、压力模拟弹性扩展，以及可靠性测试的故障模拟编排和自动回归；监控诊断方面，光大银行提供实时采集、灵活配置、自动告警等能力，可支持行内包括软硬件在内的操作系统、中间件和数据库，实现了基于交易维度深层下钻的代码级根因分析，具备问题现场捕获和实时分析内存/线程DUMP能力，赋能开发人员快速定位问题。(3)自动化安全测试安全测试覆盖自动化应用安全检测、源码安全扫描及应用级缺陷测试，年度累计发现安全缺陷千余个，减少近70%的应用安全漏洞在运营阶段泄露。在代码层，聚焦内生安全，安全测试以源码安全扫描推动安全左移，通过IDE插件、流水线触发及平台调用等多种方式，支持开发阶段自主修复源码安全问题;在接口层，注重业务逻辑安全，安全测试以抓包工具拦截应用系统请求和响应，利用接口自动化技术沉淀专项排查案例，实现越权、SQL注入等安全缺陷的自动化排查。在应用层，面向Web应用与App应用，安全测试通过静态、动态测试结合，实现对互联网应用的自动化测试，完成基于静态规则和动态执行过程的安全风险识别，以及流量监测的自动化缺陷挖掘和应用插桩的链路污点跟踪分析。2.“资产化”增强经验传承(1)测试资产库结合对资产管理的预期作用，光大银行设计了以多级别业务产品与系统产品为中心、以多层次产品功能矩阵为主要展示形式的测试资产模型，通过跨系统上下游交易链路，将业务产品的业务处理流程在各应用系统中的交易流转清晰呈现，支持业务维度和系统维度的影响性分析；引入风险模型，根据风险因子的发生概率及特性对产品风险进行定量测量，评估上线风险，优化资源投入，实现基于风险的质量把控和测试过程管理。截至2021年底，资产库已覆盖全行104个系统，累计梳理73065支系统交易和208个重要业务产品，已梳理交易的测试案例覆盖率保持在100%，新增需求投产当月完成资产信息入库，超过70%的需求利用资产库开展测试，确保了资产的闭环管理与应用。总体而言，资产库建设有效降低了测试工作对个人经验与能力的依赖，纾解了人员流动引发的测试质量下降等人因风险，为需求、开发、测试、运维全链路中所有过程和角色提供了完整的信息支持。(2)自动化回归库自动化回归库以功能验证为目标，对关键交易和业务场景进行测试案例的自动化实现，形成高可用、高复用的自动化案例集资产，满足高频投产的大规模影响性测试需要，保证验证范围，控制投产风险。同时，自动化回归库具备一键触发无人干预、支持串联全链路业务场景、测试数据与案例解耦并可循环复用等特点，实现了在系统验收、基础软件升级、大版本变更等情况下的规模化应用。通过案例库标准、交易覆盖度、执行频次和成功率等管理指标，光大银行稳步推进了自动化测试回归库的高质量持续建设。当前，90%的重要系统已完成回归库建立，共积累近3万个自动化回归库案例，交易覆盖度超过45%，年度案例执行次数超过29万，为研发交付提质增效提供了强有力的支撑。(3)非功能测试“专业化”为更好地响应敏捷测试要求，光大银行将非功能测试融合微服务架构思想，持续推进专业化建设。基于多年积累的经验和资产，光大银行将非功能测试的实施流程进行精细化打磨，切分为十数个相对独立的实施模块，形成几十份标准化操作指南，并由实施人员在细分模块下进行专业培养和持续实践。实践中，专业化建设在降低非功能测试工作单元复杂度、缩减专业人员培养成本、快速响应项目需求、提升项目并行度等方面效果显著，高效满足了近三年连续翻番的非功能测试服务需求。此外，专业化建设大幅解耦测试实施各技术环节中的专业能力，为非功能测试将自主实施能力以服务形式向外输出奠定了基础。(4)安全测试案例库基于微软STRIDE风险模型的设计思想，光大银行结合行内外安全监管制度和规范、本行业务应用安全场景，以及历年来安全测试的发现，建立了适用于全行移动互联类系统安全测试规则集——《安全测试案例库》。安全测试案例库共计328条安全测试标准化案例，涵盖三大风险场景、24项场景类别、64项业务场景、181项风险项，是日常应用系统开展安全测试的实施依据和执行标准。同时，伴随安全测试案例库的持续建设，光大银行实现了安全风险点的标准化、测试过程的规范化，大幅降低了因人员认知差异、安全技能差异所带来的测试质量的不确定性，也为以自动化方式开展安全测试导入了需求、明确了方向。3.“全链路”保障交付质量(1)DevOps工程实践基于研发持续交付理论以及光大银行研发流程和质量保证要求，依托DevOps平台多种质量保证工具，光大银行在软件研发生命周期各阶段的关键环节进行质量检测和门禁管理，落地了丰富的质量内建工程实践，实现了全流程的质量控制：一是增加单元测试及覆盖率统计节点，提升技术测试覆盖度；二是实现多种类型的代码自动化扫描，落地代码规范以及安全标准，强化项目对代码质量规则、数据库脚本规则、源码安全规则、App安全规则、组件安全规则的遵循；三是设置评审节点和质量门禁，做实代码评审和检查，严控代码的分支合并和流水线提交质量，阻断不满足标准的代码向下游流转；四是开展测试阶段流水线编译、打包和部署的全面应用，并配置适配的自动化测试案例集，显著降低操作风险、提升执行效率；五是自动匹配关联代码并提交受控分支，确保了投产代码范围的准确性。截至目前，光大银行充分发挥DevOps平台优势，全面支持行内研发项目的工程管理，构建了约3000条流水线，形成了全链路的质量闭环管理，实现了对投产变更需求的全覆盖，促进了研发交付过程的“多、快、好、省”。(2)“安全一体化”下的测试左移和闭环管理安全一体化是光大银行安全领域的顶层设计理念，安全开发、安全测试及安全运营等由此向下形成了知识联动、资源整合、协同处置、技术共享的闭环管理。其中，安全左移赋能作为安全测试持续深化改进的双轮之一，高度重视基于安全实践的关键问题的源头改进，通过开展安全测试缺陷趋势分析，识别重点应用安全问题并寻找改进措施，以业务需求触发，持续推进安全测试向安全需求、安全设计延展，不断完善并借助DevOps平台以流水线插件形式向开发阶段输出包括源码安全扫描、依赖库安全扫描和App安全扫描等安全测试能力，推动测试左移的开发安全过程改进。安全运营反哺是安全测试持续深化改进的另一关键，基于“安全五问”，光大银行对行内自主挖掘的生产应用安全漏洞展开深度分析，通过反哺安全测试、建立长效机制、固化安全测试能力、实现安全测试价值，全面提升了全行应用安全防护能力。(3)生产事件回溯生产事件回溯以质量改进为目标、以追根溯源为方法，采用组合式的分类问答模型，通过逐层逐项排查，剖析出事件发生的根本原因、质量控制的失效环节、测试改进的具体方案，以及具有共性的风险特征等。同时，通过将剖析的确认结果留存为风险资产，作用于后续测试的各个环节，以跟踪式的风险预警确认，约束测试过程，有效规避同类事件的再次发生。此外，生产事件回溯以月度为单位组织开展，并通过平台落地事件根因分析、评审过程、资产存档、资产复用、跟踪预警等全过程，形成了完整的事件管理闭环。4.“可计量”助力测试管控(1)度量体系光大银行开展全面度量管理，实现测试全过程实时的透明化、数字化、精益化管控，并构建了能力成熟度和质量画像的管理“驾驶舱”。在指标层，搭建指标框架，建立覆盖进度、质量、成本、效率、能力的指标库，并形成组织级管理基线;在应用层，通过日常管理、监控预警、结果评价、趋势预测四大场景，让“看得见的测试质量”驱动测试组织成长和测试工作流程优化，推动对测试过程的有效掌控，为动态分析、预警、措施制定等提供真实、有力支持，实现“日常管理有抓手，持续改进有重点”。(2)成本控制在人力资源的需求层，光大银行使用了科学的计量手段来平衡质量风险与测试成本、测试覆盖之间的关系，通过将传统成本控制的立足点从过程管控深化到风险核算，围绕投产风险出现的概率、预期影响程度、风险依赖因子、期望的质量结果等9大风险因子，引入机器学习算法准确预测需求的测试风险成本，控制资源投放。此外，对各个系统和需求实施风险分析与建模，将有限的测试