超级计算的应用挑战

基础设施教授论坛2020.12.30应用的性能扩展问题并发运行的性能稳定性问题3pwwwhpcgnchmarkorg(访存密集型计算)phorg(通信密集型计算)gprojectlinpack(计算密集型计算)4日本日本ABCI32.58391,680加速器异构19.880.50910636*计算机的算力计算机的算力(PFLOPS)集1,592234,760/58/6t/7/8..wwwtoporghttps//*部分系统结果**Tianhe2结果56•HPCG最高性能近5•HPCG最高性能近5年有所提升，但增•GRAPH500BFS最高性能过去5年基本TOP计思想•2011/06–2019/06•软件创新的价值数据统计截止2019年底148.6PFlops1.1PFlops稀稀疏应用(访存密集型应用和通信密集型应用)计算峰值甚至难于与算力提升同步提升7bbbbx0x1x2x3x4x5x6x7 efghij b与超算硬件设计不匹配导致计算低效需要大量算法创新来弥补应用与硬件架构的鸿沟8结构网格偏微分方程显式计算结构网格偏微分方程隐式求解大规模图数据处理ACMGordonBellPrize2017ACMGordonBellPrize2016ACMGordonBellPrizeFinalist20189，静动态KeKe,etal,PPoPP19-算法可组合识别-数值精度与收敛影响-跨平台2.多应用并发运行的性能稳定性问题•OS振动、部件降级、资源竞争等大规模系统中常见影响明显放大，IO利用率明显降低nNSDI•缺少量度性能不确定性的性能分析方法配•硬件系统更好的Qos支持探索“大计算”与“大数据”极端天气的有效识别和预测对防灾减灾有着至关重要的价值极端天气的有效识别和预测对防灾减灾有着至关重要的价值气旋相关的灾害损失高达两重的国家之一，单次“E级”深度学习识别极端天气(2018年ACMGordonBellPrize)利用高分辨率大气模式输出结果(数十TB)实现深度神经网络高效训练图像分割准确率达到73%在TOP1超算Summit上，充分利用半精度计算Google深度神经网络M超过1.1Eflops的最高应用性能在E级机出现之前的E级应用性能AI辅助的高效城市震害模拟AI辅助的高效城市震害模拟onBellFinalist城市震害模拟对于大型智慧城市的可用性与城市震害模拟对于大型智慧城市的可用性与地下-地面-城市地震波响应分析计算时步限元计算方法，典型FPFPFPFP充分发GPU算资源效能和降低通信开销Summit性能；较SC14戈比取得3.99倍加速防灾减灾(年GDP损失0.6%)重要分析工具存在多样性需求ricalweather万步)；气候预测甚至跨年报-高时空分辨率来解析多尺度过程(x1000)-集合分析不确定性和提升同化质量(x50)-多源观测数据引入(EnKF单同化循环：模式和同化交换130TB数据)目前AI技术应用局限：-后校正可能亡羊补牢-纯观测预测可能鞭长莫及从模式构建、资料同化、应用调优的全流程构建统一的计算与AI深度融合预测系统原型，支持公里级分辨率的调优落地降至月尺度，提升state-of-the-art预测能力大气次网格参数化方案的深度模型••构建深度学习网络抓住云解析模式主参数化方案使其本•物理参数化方案是数值模式中最难优•当前挑战：长期积分的守恒性•需开展物理一致的机器学习探索ang小结•稀疏计算问题的非规则特征导致超级计算机上的运行低效问题•针对静态计算过程、确定平台的海量并行算法设计与实现已有研究基础，为相关应用重构提供了范例•未来挑战：应对动态计算过程的稀疏问题求解；实现跨平台的应•性能稳定性问题得到