基于大数据平台的天气预报系统综述

基于大数据平台的天气预报系统综述自动气象站的普及和观测因素的增多，使气象数据量不断上升，累积达到PB级，一般的技术和平台已无法对其进行存储和处理，而大数据平台为这一问题提供了一个切实可行的解决方案，减少了信息的繁杂度。随着用户需求的提高，智能决策、推送系统等被应用到天气预报系统，促使进一步向人性化方向发展。本文从大数据平台的角度出发，对气象信息预测和智能推送等相关技术进行分析。1天气预报系统分析基于对大量天气预报系统的分析，气象信息预测和智能推送的框架的划分如图1所示。气象数据预测是一个信息处理层，用云计算和各种数据挖掘技术来处理大量的气象数据，以动态变化特征建立预测模型。智能信息推送主要通过基于深度学习的推荐系统与 LBS相结合，挖掘与用户兴趣相符合的气象信息，并通过数据可视化技术为智能终端的用户提供个性化的信息。2气象数据预测分析自然界各^物理信号经过多种传感器采集后转化为电信号，再经过模数转换原理转化成时间序列排列的离散的数据列，要显现不同气象要素的变化趋势仍需对所得离散数据列作进一步处1/8数据预处理传感器对物理信息的采集具有时间差，故模数转换后的数据将会是按时间序列排列的，那么平稳性检验和白噪声检验显然是必要的。而在传感器进行信息采集的时候，周围环境的部分扰动同样会被采集，故如何消除其他要素的干扰，还原真实数据则是预处理需要解决的问题。由于各类数据被干扰程度存在差异，故预处理的方式亦甚多，以下列举部分数据预处理方法。Kalman滤波处理法：通过对数据噪点的某些统计特质进行假设，对数据本身进行系统的、无偏的、线性的最优解估计，从而获得最接近真实信号的估计值。EEMD分解法：通过对数据施加均匀的高斯白噪声，同时将信号按照不同频率的区段逐次分解成相互联系小、频率相异的IMF分量和一个剩余量，减弱了EMD分解法中IMF分量模态混叠的情况［3，4］。不同气象要素的预测模型不同的气象要素数据存在着不同的特点，因而其预测模型也存在差异。气温预测模型BP神经网络模型：其基本思想为通过局部搜索达到输入信号与期望信号均方差最小的信息处理系统。工作期间，信号通常呈正向传递，经隐含层非线性处理后由传递函数输送到输出层。若输出信号与预期输出信号相差较大，则转入误差反向传递的过程，在此过程中将误差均等分配到各个权值和阀值进行调整，直到实际输出与预2/8期输出信号误差小于误差设定值或超出迭代次数。基于气温受诸多因素的影响，应用非线性处理能力较强的BP神经网络作为气温在部分季节或时间段的预测模型能取得较为准确的预测结果。在选择输入变量后，运用归一化处理解决不同参变量之间单位及数量级相差较大的问题，随后确定隐含层和输出层的传递函数便可，隐含层节点数目可由多次训练实验获得。湿度预测模型GM(1,1)预测模型：该模型旨在展现数据的动态输入变化，基本思想为侧重凸显近期输入数据的特征，故在时间序列中能较好地凸显所测变量的动态变化结果，是理想的短期预测模型。设定起始时间序列点后对自变量建立自化微分方程，再用最小二乘法确定各参数的值即可推导出预测模型。能见度预测模型遗传神经网络模型：遗传神经网络是提高了随机搜索能力的BP神经网络，其基本思想是对问题情境的不同切入点随机生成一组起始解，随后通过建立适应度函数评定不同个体的适应度，适应度越高，被选取的概率越大，继而被选取的个体将会发生交叉和变异，从而诱变产生更高适应度的个体，起始解生成到问题适应解生成的过程称为一次迭代。在充分迭代之后，收敛区域将余下一个个体，最后拆解选中个体即可得最适解。遗传神经网络可看作糅合“适者生存”的自然选择思想的人工神经网络，降低了整个机制忽视全局性或陷入平坦区域的机率，更多地使拟合倾向于随机搜索，提高拟合3/8精度。针对问题情景设定输入、输出向量和网络结构参数，经过训练集、实验集和检验集处理后同样可得到问题情景的预测结果。风速预测模型离散Hopfield模式识别以及GRNN非线性组合预测法：离散Hopfield网络是一种模拟生物记忆联想功能的神经网络，通过确定权值矩阵记忆期望的稳定平衡点达到记忆的目的 ；通过自身的动力学演化达到稳定平衡点来领悟新的模式而达到联想的目的。GRNN以非线性回归分析为理论基础，在逼近、学习、分类这些领域具有较强能力，同时兼具较强的非线性映射能力以及高度容错性。降水量预测模型EEMD-GRNN模型：EEMD-GRNN模型由两部分组成，一部分是EEMD分解法，另一部分是GRNN非线性组合预测法。非线性、非平稳是大多自然数据所具有的特点，EEMD可通过自适应的时频分解能力提高数据的辨析度，提高后续GRNN的预测精度。较于传统的降水量预测模型，EEMD-GRNN模型通过提高数据辨析度，使得预测模型更多地基于样本数据，更能反应自然降水量的变化。模型整体预测思路为通过EEMD将数据分解成相互联系小的IMF分量和一个剩余的分量，继而是络结果对所分解的分量进行预测，后经GRNN对各从属系统预测值进行线性化处理后得到最终预测结果。3智能信息推送分析智能信息推送层的作用是为用户推送所在地区的个性化气4/8象信息。该层由LBS技术、气象信息推荐系统、数据可视化技术和智能终端所构成，LBS技术能准确获取移动端用户的地理位置推荐系统通过深度学习技术，生成与用户兴趣度相匹配的气象信息推荐表；数据可视化技术，对推送的内容进行可视化，帮助用户更好地理解气象信息；智能终端用于与用户交互，收集用户的反馈信息，返回给系统，提升系统推荐的精确度。下面将逐步介绍这四个方面的内容。LBS技术LBS技术的功能有获取位置和推送信息。 通过GPS或移动通讯网络（如CDMA网）来获取移动端用户的位置信息，并借助GIS平台，为用户提供所在地区的信息服务。 LSB技术的组成分为移动通信网络、信息服务中心、定位网络、移动终端。其中，定位技术是LBS的关键技术，可以分为室内定位技术和室外定位技术。WiFi定位、RFID定位、蓝牙定位等定位技术被广泛用于室内定位。室外定位技术主要有卫星定位和基站定位。卫星定位依靠经纬度信息进行定位，主要的卫星定位系统有：中国北斗卫星导航系统、美图全球定位系统（GPS）等，其中GPS定位技术的应用最为广泛。基站定位通过无线网络（如CDMA网）来获取移动端用户的位置信息。如今，国内外与LBS相关的技术已经发展成熟，但在信息推送的模块上，无法满足用户个性化的需求，而智能信息推送系统，致力于为用户提供个性化的服务，所以LBS技术与智能信息推送系统相5/8结合必然会成为一大热点。气象信息推荐系统气象智能信息推送层中，推荐系统是核心部分。推荐系统是根据用户的信息需求和兴趣点，利用推荐算法在海量信息中，挖掘用户感兴趣的信息，然后推荐给用户的个性化信息推荐系统，是解决当今“信息过载”问题的有效方法。将推荐系统引入气象领域，能为用户提供个性化的气象服务。利用用户上网、消费、位置信息等记录，为用户推送个性化的气象信息。基于内容、协同、知识等方法被传统推荐系统所采用，但随着多源异构数据的增多，传统的推荐算法面临着难以挖掘用户兴趣点及个性化需求信息的问题。近年来，深度学习技术在处理语音、视频等稀疏数据取得巨大的进展，很多专家也开始将该技术融入到推荐系统中。本文采用文献中，将融合深度学习技术的推荐系统，并通过LBS技术来为用户推送个性化的气象信息。深度学习能够挖掘出项目与用户兴趣点相符合的信息。通过深度学习模型学习气象数据的本质特征，挖掘用户与气象信息之间的隐表示，基于该表示为用户生成信息推荐表，实现用户气象信息的个性化推送。气象数据可视化技术将气象数据进行可视化，能帮助用户快速理解气象信息，提升传播效果。原理是利用计算机图形学算法、超强计算处理以及可视化算法，将数据转化成易理解的静态、动态图像。数据可视化可采用6/8动画、视频或者简单的图像如柱状图、饼图来展示，对于比较复杂的图形制作，可以借助在线可视化平台（如GoogleChart）或编程语言（Matlab、R语言）来实现。目前，国内外有很多对气象数据可视化技术的研究，如：利用Openlayers开发的气象可视化系统、PowerMap在气象数据三维可视化的应用等。其中，应用最为广泛的是融合GIS的气象数据可视化技术，它能实现准确、清晰的气象产品，通过GIS平台处理气象数据，能更直观地为用户呈现不同的气象信息。智能终端本文的智能终端是指以智能手机、电脑为载体的气象信息发布系统，结合上述三种技术（LBS技术、推荐系统、数据可视化技术），并通过第三方应用程序（APP）为用户提供个性化的气象信息。系统主要分为3层：气象数据层、Web气象服务层以及用户交互层。气象数据层又包含数据采集层和数据存储层，数据采集层负责采集系统运行所需的原始气象数据，然后经过解析、转换，形成格式化的TXT和Word文件等，存放于数据存储层中的文件或数据库;Web气象服务层负责完成系统的各种业务，包括气象个性化产品制作、信息实时推送功能以及连接数据库等 ；用户交互层如应用程序，和智能手机的其他应用软件一样，能实现版本在线升级、个性化气象信息的推送及收集用户反馈数据