深度学习技术在空间天气预报中的应用研究课件

1、深度学习技术在空间环境预报中的应用研究提 纲一、空间天气简介二、空间天气预报研究三、深度学习技术在空间天气预报中的初步应用四、未来设想 什么是空间天气？空间天气是指太阳表面、日地空间和地球磁场、高层大气中能够影响天地基技术系统性能与可靠性、危及人类健康与生命的变化物质条件综合状况。 （NSWP Strategic Plan, June 2010)内涵：能够影响人类活动的变化的物质条件综合状态外延：太阳表面、日地空间、地球磁层和高层大气空间天气的影响航天器计算机和内存系统翻转和失效，太阳电池损坏，航天辐射安全威胁等无线电干扰、信号闪烁、导航系统中断等电力故障，通信电缆毁坏空间天气预报研究参数分布

2、预报环境条件（高能电子、质子分布、磁层粒子、大气密度、电离层电子密度、地磁场）指数预报事件预报统计模式统计模式物理模式统计模式空间天气预报方法研究物理模式：以电动力学、磁流体动力学 (Magneto Hydro Dynamics, MHD)和运动学理论来描述空间天气事件中能量、动量、质量和磁通量等物理量的传输实现手段：主要是数值模拟，也称为数值预报从经验模式向物理模式过渡需要：人们对日地空间事件的发展过程和物理规律有了清楚的了解空间探测技术的发展为预报提供实时的监测数据物理模式物理模式统计模式（经验模式）：依据预报对象与预报因子之间的统计关系而建立的预报方法主要的统计分析技术：成熟的数学方法：

3、自回归、小波分析、时序叠加分析、滤波技术、模糊分析、物理量场的平均、神经网络技术等输入输出分析：经验统计方程模式创新的途径：主要受观测积累和数学研究进展的约束预报因子更新分析技术更新统计模式混合模式（半经验模式）：统计关系和物理基础的有机结合，如 Wang-Sheeley的太阳风膨胀模式、Tsyganenko的地磁场模式二者对比：统计模式：灵活，更快、更准确地预测训练区域的预测对象但训练区域之外的预测是不确定的，缺乏可拓展性物理模式：能够提供一系列变量的预测预测结果大多不能满足业务预报对预测精度的要求物理知识引导经验模式的发展；物理模式依赖于经验近似来描述一些物理过程混合模式混合模式统计模式（

4、经验模式）：依据预报对象与预报因子之间的统计关系而建立的预报方法主要的统计分析技术：成熟的数学方法：自回归、小波分析、时序叠加分析、滤波技术、模糊分析、物理量场的平均、神经网络技术等输入输出分析：经验统计方程模式创新的途径：主要受观测积累和数学研究进展的约束预报因子更新分析技术更新统计模式空间天气预报研究分析技术观测数据物理模式、统计模式、混合模式统计模式空间天气监测太阳多光谱观测：DSCOVR：2015；STEREO A/B：2006；SDO：2010，SOHO：1996；行星际磁场和太阳风：ACE：1997近地空间磁场和粒子：GOES系列：1975卫星观测计算和存储条件系统配置简要存储系统

5、存储能力大于350TB高速运算系统计算节点IBM BladeCenter HS22 刀片服务器 118个IBM IBM BladeCenter E 7U 刀片机箱 8个管理服务器IBM S System X3650 2U服务器1个数据库服务器IBM S System X3950 M2 4U服务器1个IBM S System X3650 2U服务器1个核心交换设备Cisco Catalyst 3750 千兆交换机5个存储系统IBM FC SAN DS4700机柜42U标准机柜4个人工神经网络通过模仿生物大脑神经元之间传递和处理信息的模式，利用数据学习过程，建立具有自适应性的模型，能够处理复杂的非

6、线性问题。2006年，Hinton等（2006）改进了训练算法和传输函数，发展得到深度神经网络。Deep Neural Network，DNN：深度神经网络Recurrent Neural Network，RNN：递归神经网络GRN，LSTM，Bi-RNN，.Convolutional Neural Network，CNN：卷积神经网络BP网络RNNLSTM网络深度学习人工智能机器学习深度学习深度学习对预报研究的促进作用卷积神经网络递归神经网络图像数据太阳活动观测数据时间序列数据行星际太阳风、磁场变化数据以及近地空间环境磁场和粒子探测数据等提 纲一、空间天气简介二、空间天气预报研究三、深度学习

7、技术在空间天气预报中的初步应用四、未来设想空间天气预报研究分析技术观测数据基于LSTM的高能电子暴预报研究线性滤波法多元非线性拟合径向扩散人工智能REFM基于AE和Dst指数的预报模型低能电子模型地磁脉动预报模型径向扩散模型全连接神经网络模型支持向量机模型地磁暴预报模型基于LSTM的高能电子暴预报研究高能电子暴预报模型线性滤波法多元非线性拟合径向扩散人工智能线性预测滤波REFM基于AE和Dst指数的预报模型低能电子模型地磁脉动预报模型径向扩散模型全连接神经网络模型多层反馈型神经网络结构RBF的神经网络结模型支持向量机模型数据采集：1995.05.012017.04.30数据收集清单序号数据名称

8、分类分辨率时段单位来源1相对论电子通量数据F5 min1995.05.01 - 2017.04.30cm(-2)s(-1)sr(-1)GOES系列卫星(大于2Mev)2太阳风参数V1 hour1998.02.05 - 2017.01.21(ACE) 1995.01.01 - 2017.04.30(WIND) km/sACE、WIND飞船（space physics data facility）NN/cm3TK3Dst指数D1 hour1957.01.01 - 2017.04.30nT京都大学地磁数据中心4AE指数E1 hour1957.07.01 - 2017.04.30nT5Kp指数K3 h

9、our1932.01.01 - 2017.04.306Ap指数AnT7磁层顶日下点距离R1 min1995.01.01 2017.05.07 国家空间科学中心基于LSTM的高能电子暴预报研究训练集：19982007，测试集：2008-2010年输入：前五日的电子日积分通量，及其与地磁指数、太阳风参数、磁层顶日下点距离等的组合；输出：未来24小时的电子日积分通量 各模型预测结果进行对比分析基于LSTM的高能电子暴预报研究Models2008200920102008-2010rPERMSErPERMSErPERMSErPERMSEFA0.9140.8160.3868710.9480.8970.31

10、36570.9590.9170.3269350.9680.9330.344007FDA0.9110.8010.4030010.9450.8900.3232070.9540.9060.3470360.9650.9270.359350FVA0.9240.8250.3774150.9410.8860.3299260.9580.9110.337830.9680.9310.349036FAE0.9080.8090.3951190.9380.8740.3459950.9490.8970.3640750.9630.9230.368979FDE0.9220.8490.3513150.9420.8750.344

11、0880.9560.9090.3414440.9670.9320.345646FVE0.8910.7810.4221350.8860.5920.6230920.9230.8280.4693620.9440.8520.512026FVDE0.8350.6110.5632580.8850.7690.4689730.8940.7850.5250700.9270.8470.520583通过增加隐层数，在原本预报效果就较高的模型上，提高幅度有限，且并不是隐层越多，预报效率越高；在原本预报效果一般的模型上运行时，预报效率有所提高，但也并不是隐层数越多，效果越好，关键是要找到一种适合的类型调试改进模型增加隐

12、含层数ModelsPE2008200920102008-2010FVA-1h0.8430.8960.9220.939FVA-1h-20.8460.9110.9220.941FVA-1h-30.8490.9020.9250.941FVDE-1h0.7870.8690.9100.922FVDE-1h-20.8170.8900.9140.931FVDE-1h-30.8150.8970.9070.930基于LSTM的高能电子暴预报研究几个主要模型在08年和10年高能电子事件发生时对应的预测值，统计事件第一天预测出的次数，计算报准率。在08年的对比中，高能电子事件共计发生27次，FA-1h、FDE及FD

13、E-1h三种模型表现良好，预测出事件第一天的次数分别为13、15、13，预测准确率分别为48%、56%和48%在10年的对比中，高能电子事件共计发生10次，FA-1h表现良好，FVA-1h、FDE、FKR和FAR四种种模型表现持平，预测出事件第一天的次数分别为7、6，预测准确率分别为70%、60%预测结果分析统计事件第一天报准率基于LSTM的高能电子暴预报研究预测结果分析拐点处预测效果分析基于LSTM的高能电子暴预报研究预测结果分析拐点处预测效果分析2008.10各参数综合对比分析基于LSTM的高能电子暴预报研究1. 在地球同步轨道高能电子通量的预报预警中，运用深度学习中基于LSTM的循环神经

14、网络结构建立模型是可行的，所用输入参量是可以选择的2. 与之前的各种模型的对比可以发现，我们建立的模型在预报效果上均有一定的提高，整体效果更加接近实测值5. 各种模型在拐点的预测效果上还有不足，需要进一步深入分析，查找关键点，以在这一方面做到有所提升；在各次事件的第一天报准率方面也依然是我们需要继续提高的一个方面3. 在模型的调试和改进过程中，可以看到采用电子通量5min均值要优于日积分值的结果，部分参量在适当提高时间分辨率时也能够起到改进效果小结4. 模型结构越复杂（隐含层数、输入参量的时间分辨率），所得到的预测结果并不一定越好，参数的设置也需要进行多次的调试以选择最优类型基于LSTM的高能

15、电子暴预报研究电离层是601000km高度，部分或完全电离状态的大气，其基本参数有总电子含量TEC、F2层临界频率、F2层电子密度和F2层峰值高度等。电离层暴是扰动太阳风到达地球磁层，使电离层发生全球性的剧烈的扰动，强烈偏离静日背景值。电离层总电子含量TEC直接决定了卫星信号传输过程的时延误差。太阳风扰动极区加热粒子沉降穿透电场抬升电离层热层暴环流O/N2变化负暴正暴改变复合率下沉电离层太阳辐射增强耀斑增加电离率电离层TEC预报模型电离层总电子含量：TEC（欧洲定轨中心，1小时、52.5分辨率）太阳活动指数：F10.7（NOAA国家地球物理数据中心，1天分辨率）地磁活动指数：ap（日本京都地磁

16、数据中心，1小时分辨率）太阳风速度：Vx（ACE卫星，1小时分辨率）行星际磁场南向分量：Bz（ACE卫星，1小时分辨率）数据范围：1999年2015年测试集：2001年，2015年；训练集：余下年份使用深度学习递归神经网络（RNN）方法，加入太阳风作为网络的输入参量，建立北京地区电离层TEC的经验预报模型。研究目的数据和方法单站TEC预报模型RNN模型：五层RNN模型，即输入层、三层隐含层和输出层；激活函数为线性函数；优化器为RMSprop算法；目标函数为均方差 。使用同样的数据集，训练三层BP神经网络模型Chen et al. 2005，作为对比组。输入：5天 * 输出：24小时 * TEC

17、Sample set 1Sample set 2Sample set 3TEC, F10.7, apTEC, F10.7, Vsw, BzTEC, F10.7, ap, Vsw, Bz6333个6011个6011个单站TEC预报模型最优模型参数TEC相对前滑13天中值的偏差：三分类混淆矩阵： predTure positive stormnegetive stormpeacepositive stormTrue P StormFalse P1False P2negetive stormFalse N1True N StormFalse N2peaceFalse Peace1False Peac

18、e2True Peace电离层暴判断阈值 |TEC| 20%，并持续3小时以上。 Kouris et al. 2008Sample set 1Sample set 2Sample set 3173164164130119119单站TEC预报模型确定隐含层神经元数： RNN 30,20,20，BP14,14,14最优模型参数不同参数的模型的正、负暴报准率相关性单站TEC预报模型北京电离层TEC的预报误差RMSE平均误差均方根误差： ，/TECUSample set 1Sample set 2Sample set 3RNN3.403.663.46BP4.133.943.85单站TEC预报模型电离层

19、暴预报结果混淆矩阵：TrueStorm rate = TS/(TS+FP), 报准率FalseStorm rate = FS/(FS+TP)，虚警率Ture predstormpeacestormTrueStormFalsePeacepeaceFalseStormTruePeaceFawcett et al. 2006RNN(红)和BP(蓝)网络的报准率、虚警率及AUC值单站TEC预报模型电离层暴预测结果RNN预测值BP预测值实测值单站TEC预报模型增加太阳风参数作为预报因子提升了模型对电离层暴的报准率RNN和BP模型均能有效的预测电离层TEC的日变化趋势，RNN模型误差明显低于传统BP神经网

20、络小结单站TEC预报模型多元线性回归法 建立F10.7和地磁指数等与电离层参数之间的经验关系式，如STORM模型。神经网络法 Chen et al. 2005 BP网络-F10.7、foF2，提前24h预报foF2 ； Nakamura et al. 2007 BP网络-F10.7 、太阳黑子数、DOY、K指数，提前24h 预报foF2 ； Huang et al. 2014 RBF网络-F10.7、DOY、LT、 Dst 、 TEC ，提前30min预报TEC，模型误差RMSE5 TECU； Nishioka et al. 2016 BP网络- F10.7、Mg 、 DOY、K指数、TEC，

21、提前24h预报TEC，平静电离层模型和扰动电离层模型平均误差分别为2 TECU、4.7 TECU。 数据同化法 现报和短期预报电离层区域TEC预报模型电离层总电子含量：TEC（欧洲定轨中心，1小时、52.5分辨率）太阳风速度：Vsw（ACE卫星，1小时分辨率）行星际磁场南向分量：Bz（ACE卫星，1小时分辨率）太阳活动指数：F10.7（NOAA国家地球物理数据中心，1天分辨率）地磁活动指数：ap（日本京都地磁数据中心，1小时分辨率）数据范围：1999年2015年测试集：2001年，2015年；训练集：余下年份在RNN单站模型的基础上，试图直接使用区域TEC数据作为输入和输出，建立中国局部区域地

22、区的TEC经验预报模型。电离层区域TEC预报模型输入： 5天 * 输出：24小时 * TECSample set 1Sample set 2TEC, F10.7, apTEC, F10.7, vp, Bz网格区域模型：TEC输入为35N45N，110E120E范围的55格点数据；五层RNN模型。Station12345678910Lat（N）52.545.040.035.035.030.030.025.025.017.5Lon（E）12585115110105120115120100110多点区域模型李美玲 等，2015：增加一个地理经纬度数据的输入层，选取10个经纬度格点的TEC数据进行训练，作为对比。电离层区域