北京移动数据库数智化生态能力研发与创新

北京移动数据库数智化生态能力研发与创新侯鹏｜中国移动通信集团北京有限公司01数据库市场发展现状02电信行业数据库国产化难题03中国移动磐维数据库解决方案04北京移动数据库数智化生态成果与应用Chapter01数据库市场发展现状数据库市场规模稳定增长2022-2027年国内数据库整体市场将维持增长态势，2022-2027年国内数据库整体市场将维持增长态势，2024年整体市场规模预计为543.1亿，到2027年将增长至1183.8亿，2022-2027年复党政领域内部办公与电子公文在省部级的存量替换已接近尾声，当前向风险的出现，前几年国产替换主要以非核心系统为主。以金融业为例，银行核心系统的国产数据库替代率15%左右；证券和保险核心系统的国产数据库替代率不超过20%。相关领域将成为未来三年国产替代的重点。以阿里云、腾讯云、华为云等为代表的头部厂商投入大量资源进行研发，2022-2027年中国数据库市场规模及增速8006004002000:686.6336.7208.2497.2367.7279.7206.4单位亿元CAGR：30.67%:686.6336.7208.2497.2367.7279.7206.4单位亿元CAGR：30.67%551.5437.5274.6274.62022年2023年2024年e2025年e2026年e2027年e数据库国产化发展主要趋势数字经济发展数字经济发展核心产业增加值占国内生产总值比重达到10%，数据要素市场体系初步建立，数据库作为支撑国家数据经济发展的三大基础软件之一，在政策红利下加速发展。信创改造升级信创改造升级预计央国企将在2027年前后100%完成核心信创系统的替代，目前金融行业非核心系统约40%，银行核心系统约15%，制造业、医疗等行业国产数据库替换率整体不足5%，蕴藏着巨大的市场空间。数据要素治理数据要素治理新质生产力新质生产力新质生产力是驱动国产数据库长期发展的重要因素，能触发国产数据库提供商投入更多资源，用于核心产品的研发，满足业务系统对于数据库在稳定性、高可靠性、高并发等方面的核心需求。在数据要素治理过程中，企业需要从各个数据库采集数据，并形成前置数据库，需要大量数据转化的工具组件，形成增量的数据库市场，并催生数据库生态的发展。Chapter02电信行业数据库国产化难题电信行业数据库国产化难题电信行业数据库国产化机遇和挑战数智化转型OGG数据迁移云和恩墨、新炬……PLSQL工具Java、C++存储过程，触发器Java、C++存储过程，触发器社区Oraclesupport网站SQL92oracle特色函数TDE加密ARMTDE加密ARM存储加密存储加密分期定期清理OCA、OCP、OCM认证第三方代维国产化升级国产化升级自主可控实践过程面临的挑战各单位均在试点摸索，缺少全视角、框架性策略体系和成熟案例指导现网应用多、数据连接及事务繁杂，国产数据库品牌众多、场景复杂，造成对性能能力折射失真。当前国产库商用周期短，工具生态不完备，迁移成本高、效率低。缺少统一监控、智能检测、智能审计缺少统一监控、智能检测、智能审计，易用性不足，不利于推动新质生产力发展。Chapter03中国移动磐维数据库解决方案中国移动磐维数据库发展历程移动云原生数据库的研发是中国移动响应国家“加快建设科技强国”战略、践行中国移动创世界一流“力量大厦”战略规划的重要●●构建差异化竞争力繁荣数据库生态●磐维1.0发布●●构建差异化竞争力繁荣数据库生态●磐维1.0发布域内推广自研数据库论证与准备数据库国产化研究与试点证与准备迁移平台：数据库作为信创产业生态链的重要基础软件，具•市场层面：预计2025年中国数据库市场份额将达688亿元，•行业层面：数智化转型对IT基础架构建设提出了新的挑战，•2023年发布磐维数据库2.0版本，大幅提升兼容性与工具易•发挥技术应用与变现优势，在AI4DB、全密态计算等方向积•充分调研多种开源数据库内核特点，最终采用发展趋势较好•组建数据库产品、研发和交维团队，全面开展数据库产品的中国移动磐维数据库市场定位产品定位深入研究数据库技术体系，从功能、性能、平滑过渡等多方面，构建自主可控的企业级数据库产品。围绕数据库内核产品定位深入研究数据库技术体系，从功能、性能、平滑过渡等多方面，构建自主可控的企业级数据库产品。围绕数据库内核，搭建数据库迁移平台+运维管理平台，并提供整套数据库解决方案。与国产软硬件厂商通力合作，实现全链条、全方位的协同运转，丰富信创产业生态。建设数据库服务体系，加入企业数智化转型市场，实现多行业、多领域赋能。市场拓展市场拓展中国移动磐维数据库关键特性-行存、列存、内存等多种存储模式、多样负载-提供主备式、分布式、一体机、云化多样部署-行存、列存、内存等多种存储模式、多样负载-提供主备式、分布式、一体机、云化多样部署-NUMA-AWARE技术、极大提升多核处理器-SQLbypaas特殊执行路径-主流数据库Oracle/MySQL/PG等超融合兼容引擎-基于多种国产平台软硬协同-强化学习的参数自调优、启发式索引推荐-循环神经网络的多指标监控告警-强化学习的参数自调优、启发式索引推荐-循环神经网络的多指标监控告警-多数据源、多模式、全自动化迁移-自动兼容评估，智能改造建议-提供同城双中心、两地三中心、异地双活集群-逻辑备份、物理备份，多种备份恢复策略-提供同城双中心、两地三中心、异地双活集群-逻辑备份、物理备份，多种备份恢复策略-接入认证、权限管理、安全审计、保障系统安全-基于国密算法的全密态存储/传输/计算-简化安装部署，多层次系统管理-全方位监控，全自动巡检，智能告警中国移动磐维数据库产品体系部署形态全栈式解决方案产品标准服务迁移平台企业级关系型数据库部署形态全栈式解决方案产品标准服务迁移平台适用场景年度维保服务高性能内核高性能内核SQL引擎存储引擎运维平台专家高级服务运维平台专家高级服务......增量检查点NUMA化数据结构空间管理存储管理适配......基础平台支持基础平台支持CPU：鲲鹏/海光/飞腾/龙芯/兆芯/申威/Intel等主流芯片CPU：鲲鹏/海光/飞腾/龙芯/兆芯/申威/Intel等主流芯片OS：BC-Linux/openEuler/麒麟/统信等主流操作系统部署：物理机/私有云/混合云/公有云等Chapter04北京移动数据库数智化生态成果与应用国产化实践经验AI+场景技术打造“数据库自主可控数智生态体系”国产化实践经验AI+场景技术数据库自主可控数智生态体系一套管理流程自主可控改造管理流程两大改造方法论两大改造方法论三引擎方法论双平面方法论四大数智生态工具四大数智生态工具数据交换平台智能运维平台可信管理平台SQL智能管控平台自主可控改造管理流程完整的数据库割接方案包括：迁移流程，迁移预估，迁移测试结果以及数据回流的托底方案。完整的数据库割接方案包括：迁移流程，迁移预估，迁移测试结果以及数据回流的托底方案。数据库割接集成设计数据库割接国产库必须有高可用方案需要带业务的全场景测试高可用测试测试阶段出现的问题确认闭环并进行验证后，才可进行迁移筹备阶段国产库必须有高可用方案需要带业务的全场景测试高可用测试测试问题闭环测试问题闭环运维管理建设运维管理建设包括数据库集群状态查询脚本，空间兼容性改造容量查询，慢查询定位脚本，锁定位兼容性改造安全认证通过资质审核和安全入网扫描合格方可准入及查杀，系统会话查杀脚本，集群重起安全认证通过资质审核和安全入网扫描合格方可准入性能测试数据库和开发明确改造界面，改造中去掉oracle特性内容，保证国产化版本的代码移植性。业务开发务必枚举性能风险点用例性能测试数据库和开发明确改造界面，改造中去掉oracle特性内容，保证国产化版本的代码移植性。上线的性能标准。双平面方法论双平面方法论核心库国产化挑战双平面回切方案双平面方法论核心库国产化挑战双平面回切方案第一步性能有“差距”第一步-—厂-----—厂----迁移有“风险”第二步第二步模拟测试”困难”第三步第三步三引擎方法论自主研发数据库数智化生态工具集京审SQL智能管控平台京信数据可信管理平台京融数据交换平台京审SQL智能管控平台京信数据可信管理平台京融数据交换平台京维数据库智能运维平台具备数据迁移，数据对比，自动生成报表，数据清洗，数据映射等功能。京融具备自动分析，平台自动生成分析报告，历史数据留存，随时调取态势感知，智能预警等功能。京维具备对结构化非结构化等重要数据资产持续检查确认数据是可信状态，数据一但有异常有问题，能够快速发现、告警、分析定位，并修复到可信状态。京信SQL监控和建模分析平台，具备SQL监控和审核，SQL运行模型建立，自动分析等功能。知识库主动修复主动防御智能预警主动修复主动防御智能预警关键特性痛点难点关键特性痛点难点应用效果解决方案关键特性•界面化操作：选择规则进行筛选，监控关键特性•界面化操作：选择规则进行筛选，监控•适配多种数据库：满足对多种数据库制•定期执行、智能调度：数据表清理及分区合并工作自动化、智能化执行，减少应用效果痛点难点痛点难点解决方案数据量不断膨胀，分区数持续增长，数据系统稳定运行，需保持数据库清爽和高性能，不断增加临时分区、临时数据清理等数据表保留周期历史空分区可清理列表可清理列表数据清理脚本分区表最大分区<100MB表使用频率表使用频率每小时变化<1000行分区合并列表分区合并列表分区合并脚本关键特性关键特性测应用效果痛点难点解决方案机器学习关联分析熵值技术数据机器学习关联分析熵值技术数据预处理异常识别告警结构化数据备份等副本数据…相似度分析…异常特征提取非结构化数据AAI智能引擎可信评估可信评估分析定位威胁