A证券公司方案及测试报告

附件1A证券公司方案及测试报告中国证券业协会信息技术委员会2021年1月

目录第一部分实施方案 81. 概述 91.1 项目背景 91.2 实现目标 91.3 参考文档 91.4 系统分类分级 92. 证通云平台 122.1 平台安全保障 122.2 数据安全保障 142.3 平台服务保障 142.4 运维责任边界 152.5 运维相关制度 163. 全云方案 173.1 建设模式 173.2 网络架构 183.3 网络安全 193.3.1安全框架 193.3.2安全管理 223.3.3安全措施 223.3.4安全检测 233.4 项目一期系统及设备配置 243.4.1集中交易系统 243.4.2网上手机交易及行情接入服务 253.4.3外部接口服务 253.4.4法人清算系统 263.4.5管理资源及网络资源 283.5 数据同步 284. 方案挑战及突破 284.1 数据库服务器虚拟化 284.2 异地灾备系统资源弹性扩容 294.3 SDN网络组播 304.4 TPS性能指标达标 304.5 RTO性能指标达标 315. 系统测试 335.1 性能测试 335.1.1测试环境 335.1.2测试样本 335.1.3测试场景 345.1.4稳定极限性能测试 345.1.5稳定测试 345.1.6同主数据中心按业务类别性能对比总表 355.2 系统功能性测试 355.2.1柜台客户端功能性测试 355.2.2周边系统功能测试（包括APP、PC） 365.2.3交易回放功能性验证 375.3 数据库磁盘性能测试 385.4 外部接口测试 385.5 组播转单播测试 385.6 数据同步测试 395.7 平行清算测试 395.8 灾备系统切换测试 405.8.1RPO测试 405.8.2RTO测试 415.9 主系统恢复验证 426. 项目进度 436.1 建设进度 436.2 生产环境设备配置 456.3 系统验收 457. 灾备管理 467.1 值班管理 467.2 日常运维 467.2.1数据库检查 467.2.2数据库重启 487.2.3数据同步情况检查 527.2.4系统检查 527.3 变更管理 527.4 演练与恢复管理 527.5 应急切换管理 547.6 应急切换 557.6.1应急切换准备 557.6.2全云灾备切换 567.6.3系统检查 598. 附件 618.1 管理制度 618.2 工作文档 61第二部分测试报告 641. 功能测试概述 641.1 测试目的 641.2 测试分工 641.3 测试资源 642. 功能测试内容 652.1 账户业务 652.1.1开户 652.1.2账户修改 792.1.3账户控制 832.1.4账户规范 852.1.5其他业务 872.1.6销户 892.1.7用户管理 922.1.8电子档案 932.1.9期权业务 1002.2 融资融券 1042.2.1客户征信 1042.2.2额度管理 1072.2.3合同管理 1092.2.4融资融券交易 1132.2.5其他 1202.3 港股通 1252.3.1港股通业务测试 1252.4 多金融 1302.4.1金融测试 1302.5 股票期权 1372.5.1股票期权交易 1372.6 转融通 1412.6.1转融通账户业务 1412.6.2转融通保证金 1432.6.3转融通出借 1462.6.4转融通借入 1472.6.5转融通撮合 1502.6.6转融通监控 1502.7 资金业务 1512.7.1三方存管开户 1512.7.2三方存管销户 1512.7.3客户办理银行转存业务 1512.7.4存管资金管理 1522.7.5银行日间手工交易 1532.7.6客户办理存取业务 1542.7.7客户办理外币存取业务 1542.7.8客户办理转账支票存取 1542.7.9某客户办理大额取款业务 1542.7.10客户办理营业部开展新业务或被司法执行 1552.7.11B股客户到营业部申请取款、存款 1552.7.12某客户申请三方存管预约取款2000万 1552.7.13客户资金控制 1562.7.14资金流水冲销 1562.8 普通交易 1572.8.1普通交易业务/撤单 1572.8.2其他委托 1582.8.3预约委托 1602.9 债券质押回购 1612.9.1债券质押交易权限 1612.9.2债券质押交易 1612.10 全国股转 1642.10.1股转三板交易权限 1642.10.2交易/撤单业务 1652.10.3非交易业务 1662.10.4股转三板业务查询 1682.11 大宗交易 1682.11.1大宗交易限制 1682.11.2大宗交易报价委托 1692.11.3大宗交易盘后委托 1692.12 场内开放式基金 1702.12.1场内开放式基金 1702.12.2上证LOF 1722.12.3货币基金 1722.13 基金盘后 1732.13.1基金盘后业务 1742.13.2基金盘后业务相关查询 1762.14 ETF业务 1762.14.1ETF交易业务 1762.14.2跨境ETF交易 1782.14.3跨市ETF交易 1782.14.4黄金ETF交易 1792.14.5债券ETF交易 1802.14.6ETF业务相关查询 1822.15 约定购回 1822.15.1综合业务协议签署及权限开通、约定购回授信、初始申请 1822.15.2合同审批通过后，进行初始交易、撤单与购回交易 1842.15.3约定购回申请变更 1852.15.4约定购回合同变更操作 1862.16 要约收购与网络投票 1872.16.1进行上海深圳要约收购设置与操作 1872.16.2网络投票业务 1892.17 限售股、股息红利税管理 1912.17.1限售股业务（总部业务） 1912.17.2股息红利税管理业务（总部业务） 1932.18 中登存管 1942.18.1对客户进行中登存管操作 1942.18.2对客户进行中登存管操作流水查询 1973. 功能测试总结 1994. 性能测试概述 2004.1 测试环境 2004.2 测试目的 2014.3 测试原理 2014.4 测试样本 2015. 单业务性能测试 2035.1 客户登陆 2035.2 资金查询 2055.3 持仓查询 2095.4 普通委托 2115.5 两融委托 2145.6 基金申购 2175.7 新股申购 2206. 小火种性能测试 2246.1 稳定性测试 2246.2 性能测试 2267. 扩展规模性能测试 2297.1 稳定性测试 2297.2 稳定极限测试 2338. 性能测试总结 2398.1 公司TPS指标 2398.2 小火种规模压力测试结论 2398.2.1稳定性测试 2398.2.2性能测试 2408.3 扩展规模压力测试结论 2408.3.1稳定性测试 2408.3.2稳定极限测试 2418.4 性能测试总结 242

第一部分实施方案

概述项目背景近年来，证券行业信息安全事件呈高发态势，暴露出行业整体备份能力建设覆盖面不全、备份能力等级不达标等诸多问题，为更好的贯彻落实国家关于网络空间安全、社会安全的战略方针，推动《证券经营机构信息技术管理办法》在证券行业的有效落地，探索行业灾难备份建设解决方案，A证券公司、上交所技术及恒生电子作为该项目的试点单位，已完成证通云异地灾备全云方案的可行性论证、系统测试及上线部署。实现目标异地云灾备中心处理能力按照主中心1：1设计。在主中心发生重大灾难时，按照公司应急预案，在《证券期货经营机构信息系统备份能力标准》规定的时间内（RTO＜5分钟、RPO＜30秒）将系统切换至异地云灾备中心，保障业务的连续性，实现“同城保生产、异地保生存”的总体目标。参考文档依照《证券基金经营机构信息技术管理办法》、《证券期货经营机构信息系统备份能力标准》、《信息安全技术信息系统灾难恢复规范GB/T20988—2007》制定本方案。系统分类分级根据《证券基金经营机构信息技术管理办法》第四十一条要求，实时信息系统、非实时信息系统应当具备灾难及重大灾难应对能力，相关技术指标应当分别达到灾难应对能力第五级、重大灾难应对能力第六级。实时系统备份等级评估表序号系统名称重要性评估风险评估备份等级系统现状1集中交易系统66第六级同城双中心、上海灾备2PC网上交易系统66第六级多中心（含上证云）3APP手机交易系统66第六级多中心（含上证云）4固收交易系统66第六级同城双中心5极速交易系统65第六级上海灾备6行情分发系统65第六级同城双中心、上海灾备7H5交易系统55第五级同城双中心8私募PB系统一55第五级同城双中心9私募PB系统二55第五级同城双中心10自营交易系统54第五级同城双中心11资管O32交易系统54第五级同城双中心12ETF套利交易系统54第五级同城双中心13法人清算系统54第五级同城双中心、上海灾备14网上开户系统54第五级同城双中心15统一中台系统BOP54第五级同城双中心16手机商城44第四级同城双中心17网上营业厅44第四级同城双中心按照业务重要性和风险承受能力，对实时系统综合评估，得出系统备份等级。公司异地云灾备中心建设一期主要包括集中交易系统（普通交易、三方存管系统、个股期权交易系统、两融交易系统、行情分发、网上及手机交易和行情接入服务、外部接入服务）和法人清算系统（PROP、DCOM及CCNET等系统），系统主要的性能指标：1、数据备份能力：数据在异地云灾备中心完整存放，每季度至少进行一次有效性验证。2、集中交易系统灾难应对能力：RTO小于5分钟，RPO小于30秒，备份系统满足业务需求的处理能力。

证通云平台上交所技术证通云采用阿里飞天云平台底座，通过计算与存储分离架构以及支持横向扩展的分布式架构，将计算及存储都规划为统一的资源池，根据实际需求快速申请计算及存储、网络、安全资源，满足资源高效利用及业务系统快速扩展的需求。该架构具有扩展能力较强、运行效率较高等特点，可通过平行扩展通用硬件来提升计算与存储能力，从而满足业务增长需求。多台相同物理设备并行运行，即使单一设备出现故障，整个系统仍可正常运转，同时业务数据通过多副本冗余方式，保证数据的完整性。平台安全保障上交所技术证通云平台本身是由各个产品服务采用分布式集群部署架构，每个产品的服务节点分布在不同的管控物理机上，通过证通云平台内置的miniSLB进行业务流量调度，当任何一个服务节点故障后，MINISLB的健康检查机制会及时发现并屏蔽故障节点，将证通云平台业务流量分发到其他的服务节点上，从而保障了整个平台的可用性。上交所技术证通云平台具备一套完善的运维监控管理系统，包含全链路监控、告警管理、故障检测等内容，能够实时发现故障节点和服务并及时通过短信、钉钉等渠道发送告警信息给云平台运维人员。上交所技术证通云平台的7*24小时运维团队接收到告警信息后，通过应急预案对证通云平台的故障进行处理，保障证通云平台故障的及时修复。同时，上交所技术证通云平台具备同城双中心架构，当发生不可逆转的数据中心级整体故障时，能够通过ASR灾难切换管理平台，进行同城双中心的故障切换，从而保障证通云平台上的应用能够持续提供服务。数据安全保障存储采用了大规模分布式存储系统，将整个集群中的存储资源虚拟化后，整合对外提供服务。同一台ECS的数据，保存在整个集群中。在分布式存储系统中，每份数据都提供三副本，当单份数据损坏后，可实现数据的自动拷贝。如下图所示的数据存储的三副本机制，任何一个数据分片是分布在存储集群的三个物理服务器上的，一份数据副本物理服务器损坏后，仍然可以通过其他两个数据副本读取分片数据。当出现一个副本损坏后，存储集群控制器会自动进行副本的数据同步拷贝，恢复三个副本的存储，从而自动完成数据副本备份，如下图所示：平台服务保障云平台服务SLA清单如下：产品SLA承诺服务可用性计算公式ECS对于单实例维度，证通云承诺一个服务周期内ECS的服务可用性不低于99.9%服务可用性=（单实例服务周期总分钟数-单实例服务不可用分钟数）/单实例服务周期总分钟数×100%ECS对于单地域多可用区维度，证通云承诺一个服务周期内ECS的服务可用性不低于99.95%服务可用性=（单实例服务周期总分钟数-单实例单地域多可用区服务不可用分钟数）/单实例服务周期总分钟数×100%OSS对于对象存储服务维度，证通云承诺一个服务周期内OSS的服务可用性不低于99.90%服务可用性=（1-服务周期内5分钟错误率总和/（12*24*服务周期的天数））×100%每5分钟错误率=每5分钟失败请求数/每5分钟有效总请求数×100%RDS对于单实例维度，云数据库RDSMysql服务可用性不低于99.9%服务可用性=（单实例服务周期总分钟数-单实例服务不可用分钟数）/单实例服务周期总分钟数×100%Redis对于单实例维度，云数据库Redis服务可用性不低于99.9%服务可用性=（单实例服务周期总分钟数-单实例服务不可用分钟数）/单实例服务周期总分钟数×100%运维责任边界在日常运维中，上交所技术负责云平台的监控、维护以及快速修复；A证券公司负责应用系统层的日常运维；恒生公司负责提供集中交易系统的技术支持。上交所技术公司用户（1）基础资源平台建设。（2）监控、配置、变更、故障处理等所有基础资源平台运维工作。（3）配合用户业务系统上线。（4）基础资源平台的定时检查和监控、异常和故障处理等工作。（5）对用户的资质、业务资格、拟使用基础资源服务的业务活动进行登记备案，并要求其定期提交业务功能运行目录。（1）业务系统建设。（2）业务系统变更测试和部署、日常监控和检查、故障和应急处理等运维工作。（3）制定业务连续性方案和应急预案。运维相关制度项目制度规范技术制度（平台系统）《基础资源服务平台运维管理规范》《基础资源服务平台驻场工作人员管理规范》《基础资源服务平台现场值守工作手册》《基础资源服务平台运维管理手册》白皮书《平台侧高可用白皮书》《平台侧技术白皮书》

全云方案建设模式A证券公司异地灾备中心的建设模式包括租用托管机房、租用可信云两种：项目租用托管机房模式租用可信云模式建设周期长短建设成本高低高可用性资源闲置严重资源利用率高弹性扩展采购流程冗长，扩展性差按需扩展，扩展性强安全性技术要求高，自行实施云平台提供底层网络安全保障基础资源监控采购专业监控软件自行监控云平台服务包含基础资源监控维护成本成本每年递增每年成本固定项目租用托管机房模式全云模式建设周期32周9周初期成本1193万元200万元运维成本445万元/年200万元/年周期成本2973万元/5年1000万元/5年可扩展性三个月10分钟注：以上数据仅包括一期系统通过两种建设模式的对比，采用租用可信云模式（下称全云模式）进行异地灾备建设，无论是前期建设成本、建设周期、可扩展性及后期维护方面都具备明显的优势。经过3个多月的论证，本方案决定采用租用上交所技术证通云进行建设。网络架构A证券公司异地云灾备与主生产、同城机房互联，统一遵照公司“两地三中心”网络运行规划，符合公司“垂直分层，水平分区”网络建设理念。广域网通过地面专线接入，两个接入路由器采用HSRP协议实现线路自动切换。营业部和分支机构通过SSL-VPN拨号接入，云上部署软件VPN网关，通过多个VPN虚拟站点实现生产接入和管理运维接入分离。VPN通过手机动态OTP和用户密码实现双因素认证。互联网出口使用证通云EIP，可以快速在线扩展及缩减带宽。云灾备使用上交所上行链路实现行情、报盘，使用证联网、深证通银证平台实现银证业务。

VPC分区规划网络分区承载业务类型核心业务区域重要性高的核心交易系统接入重要性高的核心交易系统中间件重要性高的核心交易系统数据库三方存管银企互联法人清算恒生柜台管理监控运维区域运维管理、VPN、安全物理网络区域用于广域网互联外部机构，内部数据中心之间连接组播行情区将组播行情接收并转化成单播传输到云上网络，如：行情网关，行情转码网络安全网络安全是异地云灾备建设最大的技术挑战，如何保证数据安全以及满足证券行业网络安全各项要求，是试点最主要的工作之一。经过近2个月各方网络安全专家共同努力，联合设计出网络安全整体解决方案。安全框架全云异地灾备建设项目中整体网络安全框架设计如下图：基础环境安全基于上交所金桥数据中心基础设施，证通云提供硬件及网络等基础环境，保障机房环境安全、硬件安全和虚拟化安全。网络层安全证通云提供核心业务对外的互联网应用防护体系，具体包括DDos检测/防御、云防火墙、Web层攻击检测/防御、Web漏洞发现、主机漏洞发现、主机防入侵的实时防护能力。A证券公司负责日常监控,通过流量分析与存储，实现对未知威胁恶意行为的早期快速发现。通过配置VPC安全分区，设置网络访问控制规则，实现网络安全隔离。主机层安全证通云负责确保不同用户VPC之间隔离和防护，并对虚拟化软件进行优化和安全加固，通过安装主机安全软件监控异常行为。A证券公司在ECS上实施安全基线、WSUS服务、软件正版化、病毒检测及漏洞管理等主机安全措施：1、安全基线部署按照《证券期货业信息系统安全等级保护测评要求》JR/T0067—2011，A证券公司专门开发相应的安全基线策略和脚本，并完成部署。2、WSUS服务部署在VPC下部署WSUS服务器，对Windows操作系统提供补丁更新服务，按照先备后主的顺序加固升级，测试后投入使用。3、软件正版化从正规渠道购买正版软件授权，确保软件正版化。4、防病毒部署采用虚拟化防病毒软件，建立防病毒技术体系，提供ECS防病毒及恶意软件防护。5、漏洞管理通过定期漏洞扫描、补丁安装和虚拟补丁三种方式对存在的漏洞进行检测和修复。应用层安全证通云负责堡垒机、云WAF和应用服务器安全检测。A证券公司搭建日志分析平台，进行日志安全审计，部署应用监控系统实现对各类应用程序的监控。数据层安全根据《证券基金经营机构信息技术管理办法》、《证券期货业数据分级分类指引》建立全生命周期的数据安全保障。证通云负责数据的安全存储、安全传输和数据加密（磁盘加密、存储加密）。A证券公司负责制定数据分级分类、数据访问策略、数据库审计、数据脱敏、数据防泄漏、数据同步、数据备份等技术措施，提升数据安全综合防护能力。数据全生命周期安全阶段安全要求责任方数据采集数据分级分类规范，数据安全采集管理，数据源鉴别，数据采集应遵循最小够用原则，数据采集应明确采集依据、范围、场景和用途A证券公司数据传输通过HTTPS协议和符合国家加密保障数据传输安全、数据的完整性和可用性；敏感数据可用加密传输信道或专线支持脱敏或加密数据安全传输证通云数据存储数据存储安全，通过数据加密机制保障数据的机密性；个人信息或敏感数据应采用符合国家要求的密码算法进行加密存储提供KMS密钥系统3、提供访问控制证通云A证券公司数据备份数据备份A证券公司数据交换数据交换安全A证券公司数据处理数据脱敏数据导入导出安全管理与流程审批机制3、提供数据防泄漏DLP功能4、日志审计模块监控数据行为A证券公司数据销毁1、数据处理环境安全2、数据的物理销毁由底层存储来保证A证券公司证通云安全管理证通云提供云平台内部身份和访问控制服务，包括云平台用户账号密码管理、用户访问控制、用户身份认证、用户权限分配和回收。A证券公司负责内部VPN登录账号的身份认证、堡垒机账号密码管理、访问权限控制、日常运维操作审计、应用配置安全管理。安全措施证通云提供的安全产品，包含流量安全监测、主机入侵检测、安骑士、安全审计、web应用防火墙和态势感知等多个模块。A证券公司在此基础上进一步加强网络安全措施：（一）虚拟化防病毒安装虚拟化防病毒软件建立防病毒技术机制：序号模块效果1微隔离自动识别出信息资产，有效识别系统的安全边界2防火墙/入侵防御启用端口和协议保护，检测和拦截未授权访问、暴力破解、缓冲溢出、漏洞利用等网络攻击行为3虚拟补丁检测流量特征，对恶意请求及时拦截4防病毒扫描设置预扫描策略，定时、自动、分批对ECS进行病毒扫描，查杀、隔离5Webshell扫描对上传文件进行Webshell检测，删除可疑文件（二）日志分析平台部署云日志分析平台对各类主机、应用日志统一进行解析识别，包括安全事件日志(攻击、入侵、异常)、行为事件日志(内控、违规)、弱点扫描日志(弱点、漏洞)、状态监控日志(可用性、性能、状态)；通过对日志的深度分析，挖掘潜在威胁，追根索源。（三）云数据库审计部署数据库审计系统，对进出数据库的访问进行数据报文、字段级的解析操作，还原操作细节，以可视化的方式呈现对业务数据的查询、修改、增加、删除、导出等操作。（四）数据脱敏部署数据脱敏系统，在开发及测试环境使用脱敏后的数据，防止生产数据泄露、保护敏感数据。（五）数据防泄漏部署数据防泄漏系统，对数据的流转和操作过程进行全面的监控和检测，及时告警数据使用中可能的异常行为，防止敏感数据泄露。安全检测（一）安全风险评估聘请专业机构对异地云灾备系统进行风险评估，识别主要风险点，采取补偿措施将风险降低到可接受水平。（二）等级保护测评聘请网络安全等级保护测评机构对异地云灾备系统进行等级保护测评，对照标准进行差距分析，逐步整改满足测评要求。（三）红蓝攻防演练组织红蓝攻防演练，发现真实存在的安全漏洞，验证安全措施的有效性、安全策略的严谨性，确保信息系统运行安全。（四）应急演练按照公司应急预案，每年进行四次应急演练，确保异地灾备系统的可用性。项目一期系统及设备配置根据方案规划，项目一期建设系统主要包括集中交易系统、法人清算等系统。集中交易系统集中交易系统主要包括普通交易系统、两融交易系统、个股期权交易系统、三方存管系统、行情接收及分发等系统。集中交易资源表云资源配置操作系统小火种规模（台）扩展规模（台）数据库(SSD)32C/256G/3TCentos7.311原子AS8C/32G/50GCentos7.3718逻辑LS4C/32G/50GCentos7.3716BAR4C/32G/50GCentos7.333JAR4C/16G/50GCentos7.336行情源4C/32G/200GWindows201211报盘中间件4C/32G/200GWindows201277小计：2952灾备中心集中交易系统设计两种规模，其一，按照生产中心近一个月TPS值，设计中间件、数据库服务器、报盘系统数量，简称小火种规模。其二，按照生产中心TPS历史峰值的3倍，设计中间件、数据库服务器和报盘系统数量，简称扩展规模。小火种规模设备实时在线，弹性扩容到扩展规模所需增加的虚机，日常以镜像模式存放，用时拉起。网上手机交易及行情接入服务网上手机交易及行情接入服务已实现多点部署，不在异地灾备项目中，只需提供接入服务。外部接口服务外部接口服务包括沪深报盘、沪深行情、深证通等业务。业务类型程序名称资源配置初始安装台数配置方参数沪市报盘EzOES4C/32G/200G

3SystemConfiguration.ini（链路、PBU）EzStep4C/32G/200G

2ezstepuser.ini（链路、PBU）RptGet4C/32G/200G

3RptGet.ini（链路、用户）深市报盘TGW4C/32G/200G

1config.xml（链路、网关）股转交易网关4C/32G/200G

1tw.ini（链路、用户）B转H交易网关4C/32G/200G

1hgjy.ini（链路、用户）沪市行情UT54C/32G/200G

1utconfig.xml（链路）EzSR4C/32G/200G

1EzSRUser.ini（链路）Mdgw_上海4C/32G/200G

1config.xml（链路）深市行情Mdgw4C/32G/200G

1config.xml（链路）Fxclient4C/32G/200G

1fxclient.ini（链路）股转行情网关4C/32G/200G

1NQClient.cfg（链路）B转H行情网关4C/32G/200G

1同股转开放式基金小站4C/32G/200G

1JIJIN.ini（链路、用户）上海登记PROP4C/32G/200G

1gateaddr.conf（链路、用户）深圳登记DCOM4C/32G/200G

1DCOMConfig.Cfg（链路、用户）CCNET4C/32G/200G

1同DCOM配置。深证通FDEP消息传输4C/32G/200G

1mr.ini（链路、用户）FDEP文件传输4C/32G/200G

1同Fxclient法人清算系统部署示意图法人清算系统主要包括法人清算管理、资金结算管理、结算文件管理和银企划付/网银等模块。银企划付负责资金交收的银行资金划拨，可使用银行网银替代。结算文件管理负责对交易所、登记公司、基金公司等外部机构发送的结算数据进行管理清分，提供给各交易系统、清算系统进行结算处理。法人清算管理进行法人清算处理并负责与交易系统清算结果核对。资金结算管理负责各类交收资金的核对及收付款管理。此外，还要计划数据存储方案，负责对结算过程中产生的数据进行保存。部署示意图如下：设备清单程序清单资源配置操作系统小火种规模扩展规模结算文件管理中间件4C/32G/500GWindows20121结算文件管理数据库8C/64G/1TCentos7.311法人清算（资金结算）中间件4C/16G/200GWindows20121法人清算（资金结算）数据库32C/128G/4TCentos7.311资金结算超级代理中间件8C/16G/200GWindows20121银企划付数据库16C/32G/500GCentos7.311银企划付中间件4C/8G/200GWindows201216Prop2C/16G/200GWindows20121Ccnet2C/16G/200GWindows20121Dcom2C/16G/200GWindows20121合计325法人清算系统小火种规模为3台数据库服务器，实时在线。扩展规模为3台数据库服务器加22台中间件，22台中间件日常以镜像方式存放，用时拉起。管理资源及网络资源管理资源表云资源配置数量（台）堡垒机4C/8G/550G1VPN4C/32G/60G1备注：一台ECS部署软VPN，通过不同端口可以配置多个相互隔离VPN站点网络资源云资源初始带宽（M）扩展带宽（M）互联网弹性EIP50200数据同步主中心与异地云灾备中心之间通过九桥软件实现实时数据同步。方案挑战及突破数据库服务器虚拟化【技术难点】：交易系统核心数据库服务器，由高性能的物理服务器改变为虚拟服务器，服务器的关键指标（CPU、内存、IO、Oracle数据库的兼容性）能否达到要求，服务器的整体处理能力能否达到生产中心历史峰值的3倍。【解决情况】：2019年4月份，开始在测试云上测试虚拟数据库服务器，使用配置为：CPU（32C）、内存（128G）、硬盘（高效云盘），安装Oracle数据库软件开始测试。测试发现内存严重不足、IO指标偏低，压力测试TPS只能达到5800笔/秒，达不到历史峰值的3倍。随后，针对服务器的配置，联合上交所技术和恒生公司逐项进行研究优化，上交所技术增配了高性能的SSD盘，内存扩展为256G。联合恒生公司对中间件和数据库进行了优化。优化后服务器各项关键指标满足要求，压力测试TPS为15113笔/秒，达到了生产中心历史峰值的3倍。目前交易系统严重依赖物理数据库服务器的性能和数据库软件的处理过程，交易系统的风险日益向数据库服务器集中，数据库服务器成为交易系统最大的风险点。采用虚拟服务器后，可推动交易系统向分布式架构转换，消除单点隐患，从而为以后的双活或多活奠定基础。异地灾备系统资源弹性扩容【技术难点】：使用传统方式建设灾备，存在以下难点：建设周期长，投入大，利用率较低，资源闲置基础网络、数据库服务器提升配置、互联网出口带宽等平行扩展周期长采用数据级灾备的系统启用时间长【解决方案】：依托云平台可以很好的解决：充分利用云平台的弹性扩容优势，初期按业务实际使用需求配置，以后随着业务的扩展动态调整。是化解资源闲置，提升利用率的有效方法。传统建设模式，基础网络、数据库服务器配置的扩容需要经过严密的规划设计、论证、测试等步骤方可扩展。云平台的弹性扩容特点，包括基础网络、服务器CPU、服务器内存、服务器硬盘、互联网出口带宽扩容、ECS扩容只需提交资源申请，云平台可以在小时级内完成审批和扩容。目前数据级灾备系统，都是部署一台数据库服务器做数据同步备份，在切换启用时，需要重新调试中间件，工作量大，耗时长。利用云平台的镜像方案，除数据库外的其他服务器可预先做好镜像（含固定IP地址、主机名、中间件配置等），存放在云上。在使用时快速拉起，分钟级生成中间件虚拟设备，同时启动应用程序，系统即可投入使用。云上镜像存放的费用非常低，此方案既降低了投入，又能保证启动时间，是解决数据级灾备的非常好的方案。大部分的非实时系统或备份等级较低的实时系统，都可采用此方案灾备。参照《证通云证券基金灾备小火种方案》，为了将降低投入成本和在监管要求的时间内将灾备系统扩展为生产中心同等处理能力标准化，经过多次优化测试，确定了异地云灾备中心最佳日常运行规模（简称小火种规模）。初期按照生产中心处理能力TPS（一个月均值）配置系统容量。当发生灾难时，快速拉起镜像，自动开启并加入，实现主生产中心同等处理能力。在生产中心恢复后，可关闭新增的云主机，重新恢复为小火种规模运行。小火种规模，同时也适用灾备中心其他系统，可有效降低投入，提升资源利用率。如在法人清算系统部署时，总计25台服务器，其中3台数据库服务器采用小火种模式，其他22台中间件采用镜像模式，可降低60%以上的投入。在镜像拉起工作上，经三家公司联合攻关，集中交易系统镜像拉起时间由15分钟下降到3分30秒，保证了切换RTO满足监管要求。SDN网络组播【技术难点】：全云模式异地灾备系统，网络架构使用SDN(软件定义网络)技术，无法像传统硬件网络设备一样完成组播、广播的复制和转发。【解决方案】：证通云建设组播区，行情源部署在组播区，使用云平台提供的组代理插件将组播、广播转换成单播在网络中转发，具体实现见下图。TPS性能指标达标【技术难点】：异地云灾备系统TPS性能、稳定性能否达标。【解决方案】：灾备中心集中交易系统扩展规模按照生产中心TPS历史峰值的3倍设计，小火种规模按照生产中心近一个月TPS设计，系统压力测试结果如下：生产指标TPS（笔/秒）云灾备设计指标TPS（笔/秒）设计倍数测试结果倍数达标情况历史峰值4000扩展规模120003151133.7达标月均值1200小火种规模18001.525002.1达标从以上的测试结果，灾备中心集中交易系统扩展规模的TPS达到了生产中心历史峰值的3.7倍，小火种规模的TPS达到了生产中心的近一个月的2.1倍，异地云灾备系统性能达到设计标准。从11月5号开始，为验证系统的稳定性，对系统每天持续进行4小时的稳定性测试，截止目前，稳定性测试正常，达到了设计标准。RTO性能指标达标【技术难点】：RTO小于五分钟，同时切换完成后，灾备中心达到生产中心的同等处理能力（生产中心历史峰值的3倍TPS）。【解决方案】：云灾备系统在测试环境验证RTO性能指标偏大，经过A证券公司、上交所技术、恒生电子联合攻关，RTO由19分50秒下降为4分钟左右。灾备切换的包括三步：第一步为系统扩容；第二步为接入中间件切换；第三步为交易系统报盘系统启动。2019年6月5日，在测试环境中切换。第一步的时间从申请到拉起用时15分钟；第二步采用手工切换的方式，用时1分钟；第三步采用手工启动报盘的方式，用时3分钟50秒。三步总用时19分50秒，大大超过规定的RTO时间。随后三家联合进行攻关，首先会同上交所技术对系统扩容进行优化。从云管平台的操作界面到资源申请、审批流程，全程进行优化。一次审批，资源包可以多次生成，实现ECS服务器批量释放、启动；增加中间件进程启动延时，解决了中间件批量启动进程报错的问题；修改云平台的系统底层参数，固定了ECS的IP地址和主机名；经过2个多月的攻关，到8月10日，系统扩容时间从15分钟降低到3分30秒。其次，公司自主开发接入切换软件，实现接入AR一键切换，部署在上证云PC、手机接入服务器无需做任何改动，切换时间缩短为30秒。第三，利用自动化缩短报盘系统启动时间。报盘系统包括沪深报盘、个股期权报盘、沪深综合报盘、股转报盘、行情组件服务、三方存管等，在手工切换流程的基础上，对比了行业流行的自动化运维工具，经多次优化后，恒生的自动化运维工具最终达到了1分30秒以内的启动时间。第四、经过以上的优化，三步串行时间为5分30秒，还超监管规定时间。经过和恒生公司开发部和产品部反复论证，在系统扩容的同时，进行灾备切换，恒生公司明确并行操作不会对客户的登陆、委托、查询等业务造成影响，并行操作后，RTO时间降低为4分左右，达到监管要求。

系统测试性能测试测试环境序号项目说明1恒生UF2.0系统普通交易系统、融资融券交易系统、期权交易系统、多金融交易系统、账户系统、三方存管系统2测试数据脱敏后的生产数据3测试工具Loadrunner4恒生模拟成交系统模拟交易所、中登、银行5恒生回放业务系统生产数据回放6测试行情源上交所业务发布平台（UT5）7测试安全保障从网络层隔离与生产中心连接测试样本功能号功能号名称业务比例样本（万）样本说明331100客户登陆605测试样本抽取125家营业部，每营业部随机取状态正常的400客户，共计5万客户333002普通委托85333104查询持仓1205332255查询资金1205335002两融委托15配比来源说明：选取2015年6月8日（A证券公司历史峰值）生产中心的实际业务比例，成为压力测试各功能用户比例，以此作为压力测试基准。测试场景为了验证平台性能，我们设计了二种压力测试场景：一、稳定极限性能测试，在中间件平均CPU低于70%，数据库CPU低于50%的前提下，对系统进行持续加压，得到稳定极限TPS。二、稳定性能测试，在相当于历史峰值TPS的前提下，对系统进行持续加压，观察系统运行状态，并得到在此状态下稳定运行的时间值。稳定极限性能测试按设计的测试样本，对系统持续加压，在数据库服务器CPU利用率小于50%，中间件CPU平均利用率小于70%，得到系统最大TPS值，压力测试结果如下：测试项目扩展规模并发用户数（个）586压测时间（min）30平均响应时间（ms）32数据库CPU利用率（%）45逻辑LSCPU利用率（%）最高71%，最低44.1,平均60.4%原子ASCPU利用率（%）最高71%，最低47.5%,平均65%TPS（笔/秒）15113稳定极限TPS数值为15113笔/秒，达到生产中心历史峰值的3.7倍时（2015年历史峰值TPS值为4000），稳定极限测试满足设计要求。稳定测试在相当于历史峰值TPS的压力下，对系统进行稳定加压，观察系统运行状态，得到稳定运行时间。测试项目扩展规模并发用户数（个）94稳定TPS（笔/秒）4900平均响应时间（ms）15数据库CPU利用率（%）18.4逻辑LSCPU利用率（%）33.6原子ASCPU利用率（%）30测试时间（h）4公司历史峰值TPS为4000笔/秒，在TPS数值达到4900笔/秒时，按此压力持续加压，系统运行稳定，数据库CPU维持在20%以内，中间件CPU维持在30%左右，系统持续压力时间达到了4小时，稳定性方面满足设计要求。同主数据中心按业务类别性能对比总表业务类别主中心历史峰值TPS（笔／秒）灾备中心稳定极限TPS（笔／秒）比对结果竞价交易业务400015113达标非交易业务20006500达标综合业务8002970达标港股通业务股转业务性能测试结论：竞价交易、非交易、综合业务均达到历史峰值3倍，符合设计要求系统功能性测试柜台客户端功能性测试序号交易时段业务类别是否通过1集合竞价竞价交易业务通过非交易业务通过综合业务通过港股通业务通过股转业务通过2集合竞价撮合竞价交易业务通过非交易业务通过综合业务通过港股通业务通过股转业务通过3连续交易竞价交易业务通过非交易业务通过综合业务通过港股通业务通过股转业务通过4盘后交易竞价交易业务通过非交易业务通过综合业务通过港股通业务通过股转业务通过周边系统功能测试（包括APP、PC）序号渠道业务类别是否通过1汇通启富APP竞价交易业务通过非交易业务通过港股通业务通过股转业务通过2汇通启富PC竞价交易业务通过非交易业务通过综合业务通过港股通业务通过股转业务通过3A证券公司APP竞价交易业务通过非交易业务通过港股通业务通过股转业务通过4A证券公司PC竞价交易业务通过非交易业务通过综合业务通过港股通业务通过股转业务通过交易回放功能性验证为更真实的模拟生产环境，采用恒生回放交易系统，连续抽取一周的生产数据进行验证。首先导入T-1日后备份到集中柜台数据库作为基础数据，导入T日前备份到回放系统数据库。其次在回放系统中抽取T日交易流水，启动回放程序，向集中柜台发送交易指令，通过模拟档板撮合服务控制成交，在集中柜台中生成交易流水，再同回放数据库进行比对，全面验证柜台系统功能可用性。结论：数据比对一致，功能验证通过。数据库磁盘性能测试数据库极限写测试（500万条记录）项目主频I/O读写用时SSD云盘（测试）2.4GHZ50M/S8分13秒SSD云盘（生产）2.1GHZ52M/S5分34秒FIO性能分析项目随机读（iops）随机写（iops）顺序读（MB/S）顺序写（MB/S）SSD云盘（测试）3442039948610545SSD云盘（生产）4007739991594587数据库磁盘性能满足需求外部接口测试项目内容结果交易所测试包括深交所、上交所、新三板的申报及回报测试通过中登测试包括账户业务、清算数据接收通过银行测试深证通银行测试通过证联网银行无测试环境组播转单播测试测试记录项测试结果行情测试AS数量18测试周期持续4周行情发送服务器的CPU26%行情积压情况无积压损耗时间0.000143s组播转单播损耗时间0.000143s，满足业务需求。数据同步测试九桥数据同步软件测试业务场景

数据同步测试指标全功能型测试模拟业务高峰测试业务吞吐量1200tps4900tps数据同步是否正常是是异地云灾备中心数据完整性数据完整数据完整数据同步最大延迟5.5s6.4s数据同步平均延迟4.3s5.6s数据同步占用最大带宽600Kbps10Mbps数据同步占用平均带宽300Kbps8Mbps业务层故障切换演练，验证数据丢失时间：0s0s数据库层故障切换演练验证，验证数据丢失时间：2.8s4.7s平行清算测试（1）正确性验证系统核对项目验证结果备注外部接口服务结算文件接收通过结算文件管理结算文件清分通过法人清算一级清算结果通过集中交