智慧气象大数据分析平台整体解决方案

智慧气象大数据分析平台整体解决方案智慧气象大数据分析平台整体解决方案11需求梳理及行业发展趋势2气象行业解决方案3案例分析目录CONTENTS1需求梳理及行业发展趋势2气象行业解决方案3案例分析目录C201章节PART需求梳理及行业发展趋势01章节PART需求梳理及行业发展趋势3气象局新一代信息工程总体技术架构理解重点解析：总体架构和云架构是衔接-演进的关系气象局新一代信息工程总体技术架构理解重点解析：总体架构和云架4标准化数字化数字化标准化数字化应用资源整合数据资源整合硬件资源整合智慧气象云工程智慧业务、智慧管理、智慧服务以资源整合和应用集约为抓手，以标准化贯穿始终，从流程再造入手，初步完成数据、硬件和业务应用等三大资源整合，以统一构建的国省数据环境，统一规划的基础设施资源池，统一的加工处理流水线，构建扁平化的信息组织体系，为实施金云工程，发展智慧气象奠定基础。气象信息化行动方案实施气象信息化行动方案，夯实气象云建设基础管理信息化标准化问题导向：数据分散、信息孤岛、

应用林立资源整合共享是国家新一代信息工程建设的重点标准化数字化数字化标准化数字化应用资源整合数据资源整合硬件资5

应用导向，搭建国省统一CIMISS数据环境 以CIMISS为基础构建国省统一数据环境CIMISS确立了标准，整合了各类数据这就是气象大数据在国省、省际流动并创造价值的前提基础 应用导向，搭建国省统一CIMISS数据环境 以CIMIS6咨询规划云计算中心气象大数据平台应用展示中心应用体系主要任务发展战略现状分析标杆研究需求问题分析内涵及要素构成智慧城市愿景及目标总体架构业务架构技术架构重点工程行动计划关键路径指标体系应用架构保障措施

气象信息化整体规划思路和路线 咨询规划云计算中心气象大数据平台应用展示中心应用体系主要任务7咨询规划云计算中心气象大数据平台应用展示中心应用体系

气象云主题建设内容 咨询规划云计算中心气象大数据平台应用展示中心应用体系 气象8咨询规划云计算中心气象大数据平台应用展示中心应用体系

气象大数据主体建设内容 咨询规划云计算中心气象大数据平台应用展示中心应用体系 气象9咨询规划云计算中心政务大数据平台应用展示中心应用体系开放共赢融合创新

气象工程展示中心主体建设内容 咨询规划云计算中心政务大数据平台应用展示中心应用体系开放共赢10咨询规划云计算中心气象大数据平台应用展示中心应用体系

气象应用体系主体建设内容 咨询规划云计算中心气象大数据平台应用展示中心应用体系 气象11气象信息化建设发展方向：大整合、大平台业务数据/平台基础设施管理CIPASCIMISS日志审计MICAPS请求服务100业务系统基础库行业库实时库自动站数据业务网+气象专网+互联网二级、三级、四级网网络多品牌服务器+小机FC

SAN

+NAS+

分布式文件服务器存储容灾预报中心气候中心…

…本地备份双活、异地容灾（弱）气象中心 公服中心人工影响天气中心气象信息中心（数据中心）信息化现状统一大平台门户CIPASMICAPS大数据分析平台资源整合平台资源服务平台云计算服务基础设施统一运维管理计算资源池存储资源池网络资源池信息化痛点 信息化方向业务自建、缺乏标准系统多杂，多次登陆重复录入，效率低下数据量大，处理效率低数据格式杂，无法处理数据无法有效共享多元化数据如何创新基础设施大整合GIS ……数据资源大整合业务支撑平台业务应用大平台业务厂商设备多，品牌杂利用率低，服务器20%利用管理难，无法有效监控运维不灵活，难以支撑信息化扩展安全水平低，难以持续提供信息化基础设施能力信息化管理部门无法向快速为业务部门信息化需求提供服务容灾资源池卫星数据 雷达数据结构化数据+非结构化数据百亿条基础数据，数值预报数据庞大数值产品气象信息化建设发展方向：大整合、大平台业数基础设施CI1202章节PART气象行业解决方案02章节PART气象行业解决方案13

构建基于CIMISS的国省两级气象云应用体系-整体架构 构建基于CIMISS的国省两级气象云应用体系-整体架构14异地灾备中心公众服务国家级相关部门国家气象云主中心应用2应用3应用1天气预报 减灾服务 气象观测 卫星遥感 科研计算 数值预报同城双活中心公众服务省市县相关部门公众服务省市县相关部门公众服务省市县相关部门应用2气象公有云应用1应用3省级分中心省级分中心省级分中心国家气象云建设1个主中心（含北京局）+1个同城灾备中心+1个异地灾备中心+30个省级分中心标准体系建设技术架构安全标准数据标准服务标准

国家气象云参考部署架构 异地灾备中心公众服务国家级相关部门国家气象云主中心应用2应用15气象云计算平台网络拓扑架构气象有公共服务资源池气象有私有云资源池气象云计算平台网络拓扑架构气象有公共服务资源池气象有私有云资16

气象云内外网数据安全传输 气象云内外网数据安全传输 171717

气象云部署架构 1717 气象云部署架构 18气象公有云部署和设想从客户角度出发，为了保证技术的透明性和可持有性，理解气象公有云建设是运行在互联网上的气象云建设，而不是纯粹由互联网厂商运行的黑匣子。根据公有云部署应用的情况分析可以考虑数据库的云化；气象局可以考虑采购服务的模式，避免自建，按需计费；物理部署位置选择：最近的城市云中心（无锡、南京等），或者上海超算中心云化资源池。气象公有云部署和设想从客户角度出发，为了保证技术的透明性和可191919气象公有云部署和设想1919气象公有云部署和设想201、应用拆分 2、应用/WEB上云3、数据库U2L4、数据上云CMISS平台CMISS平台按照不同阶段处理流程划分数据收发系统（CTS）：包括数据收集、收集处理、分发处理、数据补调等加工处理系统（DPC）：数据解码系统、质量控制系统、产品生产系统等存储管理系统（SOD）：结构管理、元数据管理、数据处理、数据清除等共享服务系统：检索查询、数据统计分析、可视化等平台分类数据收发系统（CTS）系统构成数据收集环境 特征虚拟机虚拟机虚拟机

多核虚拟机

大内存虚拟机虚拟机虚拟机加工处理系统存储管理系统（SOD）收集处理分发处理数据分发数据补调系统交互监所管理数据解码（DPC） 质量控制 高IO

产品生产 虚拟机 结构管理入库存储数据处理数据清除虚拟机共享服务系统（GDS）虚拟机虚拟机

大内存检索系统数据获取数据可视化虚拟机

数据分发及统计

虚拟机 存储搬迁数据上云数据物理分散转变为物理集中分散存储转变统一云存储；集中资源，降低未来容灾难度接警信息库串并案库案件信息库违法人员库嫌疑人库 其他数据库原始数据库CIMISS平台与云平台的关系分析大数据平

台 20 信息资源数据库统一大数据平台平台HADOOP SPARKSTORM MPPDBDB1DB2DB1’DB2’HA/CLUSTERX86服务器HA/CLOUSTER小型机网络加速IB网络：心跳、业务网万兆网络：业务网IO加速: PCIE-SSD内存数据库加速：开启Oracle12c内存数据库功能CTSDPCSODGDSMCP1、应用拆分 2、应用/WEB上云3、数据库U2L4、数据上21

气象基础设施资源池技术架构 ①

全球最先进的虚拟化技术②

大型云计算中心运维经验③

根正苗红的国产品牌主要优势支撑应用完善平台特定行业云解决方案云计算管理平台云计算基础设施 气象基础设施资源池技术架构 ①全球最先进的虚拟化技术③22运维管理系统Web/网站/数据库MIS系统中高端X86服务器虚拟化弹性计算资源池核心数据库其他数据库高性能X86服务器数据采集系统数据预处理系统数据分析系统通用低端服务器大数据计算分析资源池弹性计算计算资源池数据库资源池基于不同分区的计算资源池架构通用型服务器计算/IO服务器计算存储型服务器混合型服务器网络型服务器分布式云计算平台使用x86架构的服务器搭建大规模集群，通过软件可伸缩性的优势弥补硬件差错，提高云计算平台的可用性、可靠性和安全性。整体建设原则：采购高端新设备、整合可用老设备、淘汰落后差设备；运维管理系统Web/网站/数据库MIS系统中高端X86服务器23FC-SANSAN/NAS

Pool分布式存储资源池模式计算存储资源池存储服务高性能模式数据存储服务分布式数据库服务核心数据库存储超融合的云存储系统支撑融合的信息化存储资源关系型数据库服务多媒体其它云平台存储管理采用两套存储架构支撑气象云数据中心存储平台核心数据库存储：主要支撑气象核心生产系统数据库，例如CIMISS、MICAPS结构化数据等等；超融合云存储系统：主要支撑数据中心虚拟机、数值产品数据、CIMISS、MICAPS等非结构化的文件数据，大数量多媒体文件存储；融合的存储资源池架构云计算平台以分布式存储集群为主，同时以NAS、SAN等传统存储技术作为补充。FC-SANSAN/NASPool分布式存储资源池模式计算24Hypervisor网络CSSPlugin

PlatformSNMPHypervisor

AdaptorCloudView采集周期：1min采集周期：2min采集周期：3min中间件 应用JMX/JDBCRest/WebserviceCSSPlugin

Platform新资源SNMP/Modbus存储SNMP/SMI-S动力环境服务器SNMPCSSPlugin

Platform对动态数据中心资源集中监管，并提供多视角的可视化展现。自主可控云操作系统云环境监控总览PDUUPSATS空调WindowsLinuxSolarisAIX存储友商存储NetAPPEMC防火墙负载均衡路由器交换机虚拟化XenServerVmwareKVMXENRHEVPowerVMSqlServer)应用服务器(Tomcat、WebSphere、Weblogic、JBoss)消息中间件(

ActiveMQ)数据库(DB2、MySQL、Oracle、• 气象行业应用第三方应用插件开发支持新类型资源监控Hypervisor网络CSSSNMPHypervisor25KVMCloudViewAdaptorvSphereAdaptorXenServerAdaptorHyper-VAdaptor存储管理丰富完善的管理功能模板管理灵活易扩展的架构网络管理资源自动探查

生命周期管理支持多种虚拟化平台多虚拟化环境管理AdaptorCloudVirtualKVMCloudViewAdaptorAdaptorAdap26服务器设备监控LinuxWindowsSolarisAIXHPUnix监控代理监控代理监控代理AgentSNMPIPMI全面支持各类操作系统支持多种采集协议，适应不同场景监控指标丰富，可灵活设置显示与否CloudView服务器设备监控LinuxWindowsSolarisAIXH27网络设备监控及拓扑展现

支持SNMP

V1、V2、V3

支持设备自带MIB库上传网络拓扑手动设置 拓扑自动发现及故障预警

自动接收Syslog、SNMP

Trap等告基于ICMP（ping）、路由ARP以及SNMP协议的网络自动发现警方式Request监 Response 管 CloudManager

自动发现网络及拓扑展现设 Syslog备 Trap

支持手动设置和修改网络拓扑基于SNMP（MIB）协议的网络设备监控

支持多种网络设备监控数据中心资源 网络设备监控网络设备监控及拓扑展现 支持SNMPV1、V2、V328数据库资源监控JDBC数据库Log日志表空间资源消耗分析运行指标 数据库文件事务连接数配置信息支持国内国外多种数据库灵活扩展支持扩展指标丰富，契合业务深度监控支持灵活的指标和日志级告警数据库资源监控JDBC数据库Log日志表空间资源消耗分析运行29中间件资源监控连接池现数据库连接池状态时了解业务处理状态件错误log日志监控性能 根据关键字进行日志错误告警支撑各厂商的业务应用中间件监控，提供实时的业务应用性能指标信息。轻量级、无侵入：通过JMX、SNMP等方式进行监控，无需安装部署Agent代理程序。丰富的指标采集：查看中间件在一段时间内的各项指标监控，了解业务系统健康状态。精确的实时预警：通过对关心的性能指标进行策略预警，及时获得性能瓶颈。监控实及日志监控JVM内存使用率

支持中间优化中间件配置，提升缓存实现中间件缓存监控提升中间件访问性能线程池查看中间件繁忙线程数优化中间件参数配置WebSphereWebLogicTomcatJBossTongWeb中间件资源监控连接池支撑各厂商的业务应用中间件监控，提供实时30集群集群监控与管理交换机CloudFirm出入外网管理数据审查Cloudview身份认证系统日志记录信息告警CloudManager三级安全等保审查CA证书CloudGaurd的价值出入外网数据审查CA证书身份认证系统日志记录…..业务数据多级云安全管理集群集群监控与管理交换机CloudFirm出入外网管31

应用拓扑视图 根据业务关系模型，展现业务与IT资源之间的关联关系，并进行集中监控，聚焦业务，提升IT服务质量。 应用拓扑视图 根据业务关系模型，展现业务与IT资源之间的32

应用及运行环境的快速交付 虚拟化层操作系统层中间件层应用层vAppvAppTomcat

WeblogicMySQLWebSphereLinuxApacheWindowsVMware配置部署工具软件堆栈云管理平台Ansible

WarRundeck

JarBMC

BladeLogic

SQL

ScriptDataConfiguration

FiChefPuppetBMC

BladeLogicCA

ConfigurationManagementTomcatMySQLApacheWebSphereWeblogicBMC

BladeLogicPXExCATHP

ServerAutomationCF

EngineBMC

BladeLogicLinuxWindowsles软件用户软件部署人员XenKVM

应用一键式部署，版本自动升级回退，提升业务的部署和更新速度 应用及运行环境的快速交付 虚拟化层操作系统层中间件层应用33自动化弹性与动态调配VMMySQLVMAmebaVMMySQLVMMySQLVMMySQLVMTomcatWarVMTomcatWarVMTomcatWarVMTomcatWarVM负载均衡DNSvSwitchvSwitch…+/-…+/-Per

VMCPU4Core

x3GHzRAM

2GBStorage

20GBCPU2Core

xvSwitchBW

>100MbpsLatency

<100msvNetwork

2BW

>1GbpsLatency

<100msPer

VM3GHzRAM

4GBStorage

20GBvNetwork

3BW

>10GbpsLatency

<5msRequestsvNetwork

0BW

>10MbpsLatency

<200ms负载均衡vNetwork1AmebaTomcatMySQLvNetwork0vNetwork2vNetwork0MySQL平均请求响应时间超阀值3200ms指标采集器1

采集监控指标发现请求响应时间超标触发弹性控制过程弹性控制引擎2

根据详细监控指标定位性能瓶颈网络资源控制器计算资源控制器软件配置变更控制器3

针对性能瓶颈生成弹性控制计划并发送弹性控4

控制器执行相应动作弹性伸缩指定资源配置Scale-out/inScale-up/down

制计划给指定控制器Group1Group2用户请求SLA定义SLO1

在线用户数

>10000SLO2

请求响应时间

<2000msvNetwork

1自动化弹性与动态调配VMMySQLVMAmebaVMMySQ34基础架构Software-DefinedDatacenter

ServicesVDCVDC组件应用CloudVirtualPhysical提供应用自动化部署全生命周期管理Firewall&LBWeb

servers

App

serversDatabase

servers模板通用应用环境模板上线运行环境（数值预报用户）module1module2war1moduleAmoduleBwar2上线运行环境（防灾减灾用户）war3XXXXXXwar4XXXXXX..基础架构Software-DefinedDatacent35弹性扩展支持多租用户更高的集群利用率易于使用的界面通过硬件整合实现更低的总体拥有成本利用

CloudVirtual

增强

HA/FT概述CloudVirtual

加强了对大数据工作负载的支持，包括所有主要

Hadoop

发行版在通用

CloudVirtual

基础架构上虚拟化

Hadoop

以实现无与伦比的灵活性通过集成到管理中心的管理工具帮助用户在CloudVirtual上部署、运行及管理Hadoop集群隔离存储和计算以实现弹性扩展和真正的多租户优势Hadoop

堆栈：CloudVirtual

加强了对大数据工作负载的支持当前的Hadoop：组合式存储/计算VM计算VMT1VM存储VM存储VMT2弹性扩展：隔离存储和计算物理主机大数据应用扩展弹性扩展概述优势Hadoop堆栈：CloudVirtual36输入数据文件名检查解压缩格式检查业务监视信息入库数据收集预处理数据分发省行业用户国家级用户级用户地面传输卫星广播业务监视信息入库临时文件库数据处理数据1数据2数据3解码文件名标准化图形生成业务监视信息入库数据存储管理数据共享元数据生成数 存 数据 储 据入 管 归库 理 档业务监视信息入库A F元 W P T数 e I P据b程

直生检序

接成索调

服用 务信 业信 息 信 务息 统 息 流管 计 展 程理 分 示 管析 理业务监控业务监视信息入库基 实础 时库 库互联网库行业库归档库监视信息库系统软硬件监视信息部用户内 行业用户业务值班用户业务管理用户现有气象数据处理流程输入数据文件名检查解压缩格式检查业务监视信息入库数据3738收据收集流式计算数据源GTS资料业务系统资料国家下发资料行业用户资料其他资料日志数据数据标准管理数据质量管理数据生命周期管理主数据管理元数据管理数据存储分析数据治理体系雷达数据预报地面大气高空农业生态海洋气象辐射卫星数据T639模式数据文件过滤文件识别格式转换数据解析数 唯一性据 检查预处 解压缩理数据分析

数据存储模式解码雷达解码卫星解码产品生成质量控制全文检索统计分析可扩展解码Nosql数据库分布式文件系统可交互式检索数据接口

客户端调用（时间、空间、数据取值）Web

Service（时间、空间、数据取值）REST服务（时间、空间、数据取值）调用脚本（时间、空间、数据取值）数据访问探索式检索 图形化展示基于大数据的气象数据处理流程38收据收集流式计算数据源GTS资数据标准数据质量数据38

39数据源地面气象资料高空气象资料海洋气象资料气象辐射资料数值预报大气成分资料农业&生态气象资料雷达气象服务产品卫星资料采集网关：CollectHTTPCollect FileCollectSocketCollect TCP/UDPCollect负载均衡器数据统一接入集群采集策略配置存储策略配置分发策略配置系统设置配置时效性配置接入节点1接入节点2系统监控配置接入节点3接入节点n数据处理分发集群收集时效处理文件拆分处理格式检查数据规整Tar解 地处面理/高析 空/海洋/大气成分气象资文料件解包解压文件过滤文件唯一性处理文件换名处理辐射/农业/生态气象资料格式检查自定义格式解析数据抽取文件换名处理数值预报文件过滤收集时效处理格式检查Grib解析文件识别雷达文件换名处理文件过滤收集时效处理格式检查文件识别自定义格式解文件过滤唯一性检查文件识别卫星收集时效性处格式检查文件解包解压数据消耗分布式文件系统NoSQL数据库内存计算引擎数据统一接入 39数据源地面气象资料高空气象资料海洋气象资料气象辐射资39本地目录远程目录TCP/UDP端口数据源HTTP本地日志采集集群存储配置监控配置系统设置执行任务处理集群运行配置解析处理配置集群系统设置执行线程执行线程执行线程执行线程任务调度表信息设置表归档设置列式数据库数据访问接口WebService数据存储配置数据格式配置HDFS文件系统批处理模式处理批处理架构流处理监控系统采集集群监控处理集群监控接收消息监控处理任务监控370TB/天120万条记录/s百亿条记录秒级返回数据采集流程本地目录远程目录TCP/UDP端口数据源HTTP本地日志采集40数据源地面气象资料高空气象资料海洋气象资料气象辐射资料农业&生态气象资料数值预报大气成分资料雷达气象服务产品卫星资料数据采集集群Spark数据加工处理集群HDFS/ParaStor（数据存储）资源管理调度Tar解码BUFR解码GRIB解码ASCII文件解码ImpalaSpark（SparkStreaming/Spark

SQL)MapReduce HBAE/Hive分钟数据产品

生成

质量控制算法 时值数据统计 日值数据统计均值数据统计月值数据统计年值数据统计 全文检索监控系统设备监控访问监控存储监控权限管理告警管理统计分析策略配置并发监控日志信息/审计信息日志信息/审计信息基于内存的数据加工处理数据源地面气象资料高空气象资料海洋气象资料气象辐射资41区域站、观测站、ECMWF确定性模式、雷达基数据等；存储内容行列存储区别列存储优势读取需要数据，降低IO数据量压缩编码降低存储空间读取需要列，支持向量运算，具有更好扫描性能优势优势基于列式存储的NoSQL数据库，提高访问性能；建立索引提高检索速度任意维度任意尺度访问数据数据访问时效控制在秒级范围内数据存储-行列混合存储区域站、观测站、ECMWF确定性模式、雷达基数据等；存储内容42存储内容卫星数据、T639模式数据等大文件数据索引控制器索引控制器索引控制器索引控制器数据控制器数据控制器数据控制器……管理控制器管理控制器管理网数据控制器数据控制器……数据控制器归档/回迁数据迁移数据迁移并发读写并发读写并发读写Linux、Windows客户端/NFS/CIFS/POSIX

API/HDFS/HTTP/FTP/REST/SOAP/SNMP元数据读写数据存储-分布式文件系统存储内容索引控制器索引控制器索引控制器索引控制器数据控制器数4303章节PART案例分析03章节PART案例分析44基于气象业务需求，本次测试主要面向大数据的实时检索分析能力进行测试，包括数据检索、实时统计分析、实时交互分析、稳定性、容错性和高并发等能力测试。数据类型国家气象信息中心整编下发的中国地面逐小时资料，TXT文件格式每条记录95个字段，包括风、降水量、温度、湿度、气压、云等要素信息T639模式单场单要素，数据格式为grid数据规模提供2012年6月30日地面观测样例数据，112493条基于提供的样例数据，生成60亿条测试数据提供T639模式单场单要素，10条基于提供的样例数据，生成100万条测试数据测试场景数据导入

测试数据导入的性能填图数据获取

测试在高并发场景下，快速提取填图数据的能力长时间序列数据获取

测试获取长时间序列要素数据的能力统计分析

针对原始数据，测试对要素信息的聚合统计能力，数据更新，可以实时反映在聚合结果中数据预报数据快速获取能力气象局测试背景基于气象业务需求，本次测试主要面向大数据的实时检索分析能力进45XeonE5-2620v32.4G15M6C*2I620-G20

CPU散热片*216G

DDR4

2133

ECC

REG

内存*8300G

2.5吋

10K

6Gb

SAS*2480G

2.5寸

SATA

6Gb

MLC

SSD*6硬盘盘盒D12*8550W双电源模块

PCI-E双口10G多模光纤网卡（含光模块）S1：板载2G

Cache

RAID、3PCIE、2块4盘位背板、千兆双口高端RJ45网卡物理结构XeonE5-2620v32.4G15M6C*246地面观测数据1974197519762025node1node2node4node5node3node6数据分布node1node2node4node5node3node647并发度 24加载速率 44537条/秒，约267万条/分钟总加载时间 38小时总加载数据量 60亿占用空间 7TB测试要求：导入性能大于20万/分钟数据导入并发度 24加载速率 44537条/秒，约267万条/分钟总48494919420688619615001000200015002500测试要求：按某一时间点（以整点小时为检索条件）检索中国地面逐小时资料降水量数据500并发1s内返回结果，900并发2s内返回结果查询耗时降水要素填图数据获取050100查询耗时500指数

(查询耗时)90049491942068861961500100020002549505024225629884072600050004000300020001000测试要求：按某一时间点（以整点小时为检索条件）检索中国地面逐小时资料填图数据5s内返回结果查询耗时全要素填图数据获取050100查询耗时500指数

(查询耗时)9005050242256298840726000测试要求：按某一50测试要求：在近5年的中国地面逐小时资料数据中，检索某一站点在各年同一时期的某一要素数据1s内返回结果历年周期要素分析数据获取测试要求：在近5年的中国地面逐小时资料数据中，检索某一站点在51测试结果：共5次测试，返回时间分别为：87ms、63ms、83ms、72ms、85ms长时间序列数据查询测试结果：共5次测试，返回时间分别为：87ms、63ms、8