气象预报区域大模型需求说明

气象预报区域大模型需求说明一、项目背景近年来，随着人工智能技术发展，依靠各种气象数据驱动的预报技术开始蓬勃发展，各种天气预报大模型的不断涌现，为气象预报的发展又打开了一条新的途径，也为大城市精细化防灾减灾提供了新思路和新工具。在气候变化、极端天气频发背景下，我市城市建设开发强度大、人口经济密度高，城市对气象灾害的脆弱性加剧，气象防灾减灾面临气象监测预报预警能力不足、预警联动信息化支撑不足、极端天气风险应对存在短板等问题。为解决以上问题，2024年结合人工智能大模型技术，实现了“智霁”区域气象大模型的本地化运行，对比传统数值模式，AI大模型在台风路径、强降水预报以及推理速度等方面具有一定优势，但在台风强度、风场、精细化降水的预报上还存在不足。此外还存在以下不足：（1）现有区域大模型时间间隔6小时，水平空间分辨率3km，对对流尺度天气系统的精细预报能力仍有不足。（2）AI模型具有平滑特征，对极端天气事件的预报能力存在不足，需要开展基于AI的集合预报技术研发，提升对极端强降水、台风等事件的捕捉能力。（3）当前模型业务运行时效25分钟左右，一天两次，仍有较大提升空间。考虑后期业务加密运行和集合预报的业务应用，对于模型业务时效需求更高，须提升模型运行效率。基于以上不足进一步推进传统预报技术与人工智能技术的结合，促进气象预报质量提升，强化对台风暴雨等恶劣天气的预警保障能力，提升气象服务精细化智能化水平，推进建立人工智能气象服务先锋城市，为高质量发展助力赋能。二、服务内容1.模型推理速度优化服务在两卡并行的情况下实现5日预报完成时长在10分钟以内。进行多卡并行的推理方式研究和验证服务，修改模型推理模式和镜像及脚本，以实现在多个起报时间的推理加入多卡并行机制，即单个起报时间分配给单张卡，充分利用执行确定性预报时的算力，以提高模型推理的算力使用效率和速度。需要深入研究当前模型推理模式在多卡并行环境下的局限性。传统的单卡推理模式难以满足实时性要求，而多卡并行推理虽然理论上能够显著提升速度，但涉及到数据分配、通信开销以及模型并行化策略等诸多复杂问题。深入分析这些问题，有助于为后续的优化提供精准方向。修改模型推理模式是实现目标的核心步骤之一。这需要重新设计模型在不同显卡之间的任务分配机制，确保每个显卡都能高效地处理其分配到的任务。同时，还要考虑到不同起报时间下的数据依赖关系，通过优化计算顺序和内存管理，减少数据在不同显卡之间的频繁传输，降低通信延迟。镜像及脚本的修改同样不可或缺。针对多卡并行环境，对推理所依赖的镜像进行定制化修改，确保镜像中包含所有必要的驱动、库和环境配置，以保证多卡之间的协同工作顺畅无误。而脚本的修改则侧重于适配新的多卡并行推理模式，实现对多个显卡的精细控制，包括任务的启动、监控和资源分配调整等功能。在此基础上，为多个起报时间的推理加入多卡并行机制是整个优化方案的关键创新点。即单个起报时间分配给单张卡，这样可以充分利用每张卡的算力资源，避免资源的闲置和浪费。同时，通过精心设计的调度算法，能够实现多个起报时间任务的并行处理，进一步提升整体推理效率。为了验证服务和确保优化方案的有效性，需要进行全面的测试和评估。搭建模拟环境，模拟不同起报时间下的数据输入和计算负载，监测多卡并行推理过程中的各项性能指标，如计算时间、带宽利用率、能耗等。通过对比优化前后的测试结果，验证多卡并行机制是否真正提高了模型推理的算力使用效率和速度，是否能够在两卡并行的条件下将5日预报完成时长稳定控制在10分钟以内。此外，还需考虑到实际应用场景中的各种复杂因素，如数据波动、网络延迟等对多卡并行推理的影响。提前制定相应的应对策略，确保在实际运行过程中系统具备足够的鲁棒性和稳定性，能够稳定可靠地提供高质量的气象预报服务。2.区域大模型集合预报服务在当前气象预报模型优化的进程中，为模型加入集合预报能力，这是一项极具创新性和前瞻性的工作。集合预报作为现代气象预报的重要组成部分，能够有效提高预报结果的可靠性和准确性，为气象决策提供更丰富、全面的信息支持。为达成这一目标，模型中引入了集合扰动机制。这一机制的核心在于支持对初始场添加扰动。初始场作为气象预报的基础数据，任何微小的差异都可能在后续的预报过程中随着时间演变而被不断放大。因此，通过人为地对初始场添加符合一定统计特性和物理规律的扰动，可以模拟出多种可能的初始状态，进而针对每一种状态进行独立预报。在实际操作过程中，为了找到最能反映实际天气演变规律的扰动方案，需要进行大规模的批量测试评估。这一过程涉及生成大量不同的初始场扰动版本，利用高性能计算资源同时对各个扰动版本下的模型进行预报运算。针对每组预报结果，制定一套严谨科学的评估指标体系，涵盖预报要素的准确性（如温度、气压、风速等）、预报结果的稳定性以及与历史观测数据的契合度等多个维度。经过全面且深入的评估分析后，从众多扰动版本中精心选拔出最优扰动方案。该方案能够最大程度地模拟出实际大气运动的不确定性特征，从而使模型在不同可能的天气形势下都能给出可靠的预报。基于此最优扰动方案，启动集合成员的预报流程。多个集合成员并行开展预报工作，每个成员基于稍有不同的初始扰动状态进行计算。随着预报的推进，各个成员会逐渐展现出各自独特的预报演变路径。最后，将所有集合成员的预报结果进行汇总整理，仍然以nc（NetCDF，一种用于存储和共享科学数据的文件格式）文件的形式返回。这种通用且高效的文件格式在气象领域应用广泛，后端系统能够方便地对其进行调用、读取和深入分析。后端系统接收到nc文件后，可以基于这些丰富的集合预报结果进行多样化的应用开发和分析工作。例如，通过对多个集合成员的结果进行统计分析，计算出不同预报要素的概率分布，进而为气象预报员提供更具概率性的预报信息，而不仅仅是单一的确定性预报结果。同时，也有助于气象研究人员深入探究天气系统的内在规律和不确定性特征，推动气象科学研究的进一步发展。通过为模型加入集合预报能力并引入完备的集合扰动机制，从初始场扰动的精心设计到最终结果以nc文件形式的有序返回，整个流程紧密衔接、环环相扣，全方位提升了气象预报的质量与深度，为气象领域的各项应用提供了更为坚实可靠的技术支撑。3.优化区域大模型预报精度服务使用CLDAS数据，获得更接近真实情况的气象场，从而提升模型效果。综合考虑区域气象预报的特征、数据情况及模型结构，并基于大量实验，以得到最佳的数据融合方式。模型结构方面，在三维的多尺度空间网格下加入自注意力机制。模型参数方面，改进学习率、自注意力窗口大小、嵌入的维度、模型的深度等，同时添加分层时间聚合算法来减轻累积预测误差，提升降水预报能力。4.人工智能气象预报区域大模型评估测试服务通过前期专业且全面地提供一系列相关技术服务，充分利用现有的业务检验评估系统，有条不紊地开展针对区域气象大模型的统一预报效果检验以及不同模型间的对比工作，以此来深入且准确地验证区域气象大模型在实际应用场景中的预报效果。在本次检验评估过程中，所涉及的检验内容广泛且细致，涵盖了多个关键领域和重要指标，且并不仅限于以下所列举的各项内容：系统稳定性、实效性测试是评估的重要基础。针对系统的稳定性，我们将进行长时间、高强度的运行测试，模拟实际业务场景下高并发、大数据量的处理情况，监测系统在持续运行过程中是否会出现性能下降、数据丢失或系统崩溃等问题，确保系统能够在复杂的工作环境下保持稳定可靠地运行。对于实效性测试，我们将着重关注从数据输入到预报结果输出的整个流程所耗费的时间，检验系统是否能够在规定的时间限制内完成预报任务，以满足实际气象业务对于时效性的严格要求。常规高空预报要素的测试也是此次评估的关键环节之一。这包括对高空不同高度层的气压、温度、湿度、风向、风速等关键气象要素的预报准确性进行检验。通过与实际观测数据的精细比对，分析模型在不同时间尺度和地理位置下对这些高空要素的预报精度，评估其在反映大气高层运动和变化特征方面的能力和可靠性。常规地表预报要素的测试同样不容忽视。涉及的地表气象要素如地面气温、降水、相对湿度、风向、风速等，是气象预报中最直接关系到人们日常生活和生产活动的重要内容。我们将详细对比模型对这些地表要素的预报结果与实际观测数据之间的差异，评估模型在刻画地表气象状况变化方面的准确性和精细度，以验证其能否为气象预警、农业生产、能源调度等领域提供准确有效的气象支持。降水和台风路径测试作为气象预报中的重点和难点，也是本次检验评估工作的核心内容。降水的发生、强度和持续时间对人们的生产生活和自然环境有着深远影响，因此我们将仔细分析模型对不同地域、不同时段的降水预报情况，包括降水概率、降水量、降水类型等多个维度的预报准确性。对于台风路径测试，鉴于台风的复杂性和破坏性，需要高度精确的预报来保障人民生命财产安全，我们将通过对比模型预测的台风路径与实际观测到的台风移动路径，评估模型在追踪台风移动方向、速度和强度变化方面的性能，检验其能否为防灾减灾工作提供可靠的决策依据。在整个检验评估过程结束后，我们将依据详细、全面的测试评估内容，严谨、科学地撰写测试报告。这份报告将如实呈现实验过程、数据分析结果以及结论性建议，为区域气象大模型的进一步优化和应用提供重要的参考依据，助力气象预报服务不断向更加精准、高效的方向发展。三、提交成果1.实现融合高精度区域历史数据训练的区域气象模型一套，满足输出要素要求和准确率及运行速度要求。2.实现集合预报扰动算法，满足区域集合预报的集合成员数要求。3.相应的设计方案、部署方案和测试报告文档。四、技术功能参数及验收指标要求本项目采用专家评审验收，以确保项目成果的科学性、可靠性和实用性。专家评审团队由气象预报、高性能计算、人工智能及并行计算等领域的资深专家组成，他们将对项目的技术方案、实施过程、优化效果及最终成果进行全面评估。评审内容涵盖以下几个方面：技术方案评估专家团队将审查多卡并行推理机制的设计与实现，包括模型优化、并行策略、资源分配方案等，确保技术路线的合理性和创新性。性能验证通过对实验数据的分析，专家团队将验证5日预报完成时长是否稳定控制在10分钟以内，并评估多卡并行机制在不同起报时间、不同数据规模下的性能表现。算力利用效率‌：专家团队将评估多卡并行机制对算力的利用效率，包括GPU资源的使用率、任务分配的均衡性以及系统整体的吞吐量，确保算力资源得到最大化利用。系统稳定性与可靠性专家团队将对系统在高负载、多任务并行情况下的稳定性和可靠性进行测试，确保模型推理过程不会因资源竞争或负载不均而出现异常。成果实用性专家团队将评估项目成果在实际业务场景中的应用价值，包括对气象预报精度、时效性以及业务效率的提升效果，确保研究成果能够切实解决业务痛点。文档与代码审查专家团队将对项目相关的技术文档、代码实现进行审查，确保文档的完整性和代码的可维护性，为后续的扩展和优化奠定基础。通过专家评审验收，我们不仅能够确保项目成果的高质量，还能获得专业反馈和建议，为后续的技术优化和应用推广提供有力支持。最终，评审结果将作为项目验收的重要依据，确保项目目标的全面达成，并为气象预报领域的技术进步贡献力量。服务验收项验收指标要求模型集合预报服务模型加入集合预报能力。支持API接口访问，自动运行集合预报推理任务，集合预报功能支持不少于30个集合预报成员。提供多要素集合成员的综合预报产品、多要素集合平均预报产品。模型运行保障服务基于现有的数据环境和计算环境提供气象模型技术服务，保障系统的稳定运行，每日模型运行次数由2次提高到4次，故障率低于1%，模型技术服务支持提供API调用接口，对接前后端数据及业务系统。预报准确性针对华南区域区域降水等预报要素准确性较欧洲中心高分辨率数值模式提升5%。继续提升区域预报模型本身的预报性能和准确度，在针对和华南区域的区域降水预报中持续提升表现。模型响应时间较现有版本提升推理速度，实现并行推理能力，单集合成员在两卡并行的情况下，实现5日预报完成时长在10分钟以内。测试检验为深入评估人工智能在区域气象预报领域的性能表现和可靠性，需针对一系列典型且具有代表性的区域气象预报模型开展全面而系统的统一预报效果检验与对比分析工作。鉴于此，应制定一套标准化的检验流程和评价指标体系，确保检验过程的一致性和客观性。在具体实施过程中，要详细记录各个模型的预报结果，包括不同时间段（如小时、日、周等）、不同气象要素（如温度、降水、湿度、风速等）的预报值。基于上述数据，运用专业的气象分析软件和统计分析方法，对各个模型的预报精度、准确率、误差分布等进行量化评估。同时，从多个维度展开对比分析，例如不同模型在同一数据集上的表现差异、同一模型在不同区域或不同季节下的适应性变化等，力求全面洞察各模型的优势与局限性。在此次研究工作结束后，应提供一份内