气象云计算和大数据平台建设方案

1、气象云计算和大数据平台建设方案技术创新，变革未来需求梳理及 行业发展趋势01气象行业解决方案02案例分析04目录2气象局新一代信息工程总体技术架构理解重点解析：总体架构和云架构是衔接-演进的关系标准化数字化数字化标准化数字化应用资源整合数据资源整合硬件资源整合智慧气象云工程智慧业务、智慧管理、智慧服务以资源整合和应用集约为抓手，以标准化贯 穿始终，从流程再造入手，初步完成数据、硬件和 业务应用等三大资源整合，以统一构建的国省数据 环境，统一规划的基础设施资源池，统一的加工处 理流水线，构建扁平化的信息组织体系，为实施金 云工程，发展智慧气象奠定基础。气象信息化行动方案实施气象信息化行动方案，夯

2、实气象云建设基础管理信息化标准化问题导向：数据分散、信息孤岛、 应用林立资源整合共享是国家新一代信息工程建设的重点 应用导向，搭建国省统一CIMISS数据环境以CIMISS为基础构建国省统一数据环境CIMISS确立了标准，整合了各类数据这就是气象大数据在国省、省际流动并创造价值的前提基础咨询规划云计算中心气象大数据平台应用展示中心应用体系主要任务发展战略现状分析标杆研究需求问题分析内涵及要素构成智慧城市 愿景及目标总体架构业务架构技术架构重点工程行动计划关键路径指标体系应用架构保障措施 气象信息化整体规划思路和路线咨询规划云计算中心气象大数据平台应用展示中心应用体系 气象云主题建设内容咨询规划

3、云计算中心气象大数据平台应用展示中心应用体系 气象大数据主体建设内容咨询规划云计算中心政务大数据平台应用展示中心应用体系开放共赢 融合创新 气象工程展示中心主体建设内容咨询规划云计算中心气象大数据平台应用展示中心应用体系 气象应用体系主体建设内容气象信息化建设发展方向：大整合、大平台业务数据/ 平 台基 础 设 施管 理CIPASCIMISS日志审计MICAPS请求服务100业务系统基础库行业库实时库自动站 数据业务网+气象专网+互联网 二级、三级、四级网网络多品牌服务器+小机FC SAN + NAS + 分布式文件服务器存储容灾预报中心气候中心 本地备份双活、异地容灾（弱）气象中心公服中心人

4、工影响天气中心气象信息中心（数据中心）信息化现状统一大平台门户CIPASMICAPS大数据分析平台资源整合平台资源服务平台云计算服务基础设施统 一 运 维管理计 算 资 源池存 储 资 源池网 络 资 源池信息化痛点信息化方向业务自建、缺乏标准系统多杂，多次登陆重复录入，效率低下数据量大，处理效率 低数据格式杂，无法处 理数据无法有效共享多元化数据如何创新基础设施大整合GIS数据资源大整合业务支撑平台业务应用大平台业务 厂商设备多，品牌杂利用率低，服务器20% 利用管理难，无法有效监控 运维不灵活，难以支撑信息化扩展安全水平低，难以持续 提供信息化基础设施能 力信息化管理部门无法向 快速为业务

5、部门信息化 需求提供服务容 灾 资 源池卫星数据雷达数据结构化数据+非结构化数据百亿条基础数据，数值预报数据庞大数值产品需求梳理及 行业发展趋势01气象行业解决方案02案例分析04目录12 构建基于CIMISS的国省两级气象云应用体系-整体架构异地灾备中心公众服务国家级相关部门国家气象云主中心应用2应用3应用1天气预报减灾服务气象观测卫星遥感科研计算数值预报同城双活中心公众服务省市县相关部门公众服务省市县相关部门公众服务省市县相关部门应用2气象公有云应用1 应用3省级分中心省级分中心省级分中心国家气象云建设1个主中心（含北京局）+1个同城灾备中心+1个异地灾备中心+30个省级分中心标准体系建设

6、技术架构 安全标准 数据标准 服务标准 国家气象云参考部署架构气象云计算平台网络拓扑架构气象有公共服务资源池气象有私有云资源池 气象云内外网数据安全传输1717 气象云部署架构气象公有云部署和设想从客户角度出发，为了保证技术的透明性和可持有性，理解气象公有云建设是运行在互联 网上的气象云建设，而不是纯粹由互联网厂商运行的黑匣子。根据公有云部署应用的情况 分析可以考虑数据库的云化；气象局可以考虑采购服务的模式，避免自建，按需计费；物理部署位置选择：最 近的城市云中心（无锡、南 京等），或者上海超算中心 云化资源池。1919气象公有云部署和设想1、应用拆分2、应用/WEB上云3、数据库U2L4、数

7、据上云CMISS平台CMISS平台按照不同阶段处理流程划分数据收发系统（CTS）： 包括数据收集、收集处理、 分发处理、数据补调等加工处理系统（DPC）： 数据解码系统、质量控制 系统、产品生产系统等存储管理系统（SOD）： 结构管理、元数据管理、 数据处理、数据清除等共享服务系统：检索查询、 数据统计分析、可视化等平台分类数据收发系统（CTS）系统构成 数据收集环境特征 虚拟机虚拟机虚拟机 多核 虚拟机 大内存 虚拟机虚拟机 虚拟机加工处理系统存储管理系统（SOD）收集处理 分发处理 数据分发 数据补调 系统交互 监所管理 数据解码（DPC）质量控制高IO 产品生产虚拟机结构管理 入库存储数

8、据处理数据清除虚拟机共享服务系统（GDS）虚拟机虚拟机 大内存检索系统 数据获取 数据可视化虚拟机 数据分发及统计 虚拟机存 储 搬 迁数 据 上 云数据物理分散转变为物理集中分散存储转变统一云存储；集中资源，降低未来容灾难度接警信息库串并案库案件信息库违法人员库嫌疑人库其他数据库原始数据库CIMISS平台与云平台的关系分析大 数 据平 台20信息资源数据 库统一大数据平台平台HADOOPSPARKSTORMMPPDBDB1DB2DB1DB2HA/CLUSTERX86服务器HA/CLOUSTE R小型机网络加速 IB网络：心跳、业务网 万兆网络：业务网IO加速:PCIE-SSD内存数据库加速：

9、开启Oracle12c内存数据库功能CTSDPCSODGDSMCP 气象基础设施资源池技术架构 全球最先进的虚拟化技术 大型云计算中心运维经验 根正苗红的国产品牌主要优势支撑应用完善平台特定行业云解决方案云计算管理平台云计算基础设施运维管理系统Web/网站/数据库MIS系统中高端X86服务器虚拟化弹性计算资源池核心数据库其他数据库高性能X86服务器数据采集系统数据预处理系统数据分析系统通用低端服务器大数据计算分析资源池弹性计算计算资源池数据库资源池基于不同分区的计算资源池架构通用型服务器计算/IO服务器计算存储型 服务器混合型 服务器网络型服务器分布式云计算平台使用x86 架构的服务器搭建大规

10、模集 群，通过软件可伸缩性的优 势弥补硬件差错，提高云计 算平台的可用性、可靠性和 安全性。整体建设原则：采购高端新 设备、整合可用老设备、淘 汰落后差设备；FC-SANSAN/NAS Pool分布式存储资源池模式计算存储资源池存储服务高性能模式数据存储服务分布式数据库服务核心数据库存储超融合的云存储系统支撑融合的信息化存储资源关系型数据库服务多媒体其它云平台存储管理采用两套存储架构支撑气 象云数据中心存储平台核心数据库存储：主要支撑气 象核心生产系统数据库，例如CIMISS、MICAPS结构化数据等等；超融合云存储系统：主要支撑数 据中心虚拟机、数值产品数据、 CIMISS、MICAPS等非

11、结构化的文件数据，大数量多媒体文件存储；融合的存储资源池架构云计算平台以分布式存储集群为主，同时以NAS、SAN等传统存储技术作为补充。Hypervisor网络CSSPlugin PlatformSNMPHypervisor AdaptorCloudView采集周期：1min采集周期：2min采集周期：3min中间件应用JMX/JDBCRest/WebserviceCSSPlugin Platform新资源SNMP/Modbus存储SNMP/SMI-S动力环境服务器SNMPCSSPlugin Platform对动态数据中心资源集中监管，并提供多视角的可视化展现。自主可控云操作系统云环境监控总览

12、PDUUPSATS空调WindowsLinuxSolarisAIX存储友商存储NetAPPEMC防火墙负载均衡路由器交换机虚拟化XenServerVmwareKVMXENRHEVPowerVMSqlServer)应用服务器(Tomcat、WebSphere、Weblogic、JBoss)消息中间件( ActiveMQ)数据库(DB2、MySQL、Oracle、气象行业应用第三方应用插件开发支持新类 型资源监控KVMCloudViewAdaptorvSphereAdaptorXenServerAdaptorHyper-VAdaptor存储管理丰富完善的管理功能模板管理灵活易扩展的架构网络管理资源

13、自动探查生命周期管理支持多种虚拟化平台多虚拟化环境管理AdaptorCloudVirtual服务器设备监控LinuxWindowsSolarisAIXHPUnix监控代理监控代理监控代理AgentSNMPIPMI全面支持各类操作系统支持多种采集协议，适应不同 场景监控指标丰富，可灵活设置显 示与否CloudView网络设备监控及拓扑展现支持SNMP V1、V2、V3支持设备自带MIB库上传网络拓扑手动设置拓扑自动发现及故障预警自动接收Syslog、SNMP Trap等告基于ICMP（ping）、路由ARP以及SNMP协议的网络自动发现警方式Request监Response管CloudManag

14、er自动发现网络及拓扑展现设Syslog备Trap支持手动设置和修改网络拓扑基于SNMP（MIB）协议的网络设备监控支持多种网络设备监控数据中心资源网络设备监控数据库资源监控JDBC数据库Log日志表空间资源消耗分析运行指标数据库文件事务连接数配置信息支持国内国外多种数据库灵活扩展支持扩展指标丰富，契合业务深度监控支持灵活的指标和日志级告警中间件资源监控支撑各厂商的业务应用中间件监控，提供实时的业务应用性能指标信息。轻量级、无侵入：通过JMX、SNMP等方式进行监控，无需安装部署Agent代理程序。丰富的指标采集：查看中间件在一段时间内的各项指标监控，了解业务系统健康状态。精确的实时预警：通过

15、对关心的性能指标进行策略预警，及时获得性能瓶颈。监控实及日志监控JVM内存使用率支持中间优化中间件配置，提升连接池现数据库连接池状态时了解业务处理状态件错误log日志监控性能根据关键字进行日志错误告警缓存 实现中间件缓存监控 提升中间件访问性能线程池 查看中间件繁忙线程数 优化中间件参数配置WebSphereWebLogic TomcatJBossTongWeb集群集群监 控 与 管 理交换机CloudFirm出入外网管理数据审 查Cloudview身份认证系统日志记录信息告警Cloud Manager三 级 安 全 等 保 审 查CA证书CloudGaurd的价值出入外网数据审查CA证书身份

16、认证系统日志记录.业务数据多级云安全管理 应用拓扑视图根据业务关系模型，展现业务与IT资源之间的关联关系，并进行集中监控，聚焦业务，提升IT服务质量。 应用及运行环境的快速交付虚拟化层操作系统层中间件层应用层vAppvAppTomcat WeblogicMySQLWebSphereLinuxApacheWindowsVMware配置部署工具软件堆栈云 管 理 平 台Ansible WarRundeck JarBMC BladeLogic SQL ScriptDataConfiguration FiChefPuppetBMC BladeLogicCA Configuration Manageme

17、ntTomcatMySQLApache WebSphere WeblogicBMC BladeLogicPXExCATHP ServerAutomationCF EngineBMC BladeLogicLinux Windowsles软件用户软件部署人员XenKVM 应用一键式部署，版本自动升级回退，提升业务的部署和更新速度自动化弹性与动态调配VMMySQLVMAmebaVMMySQLVMMySQLVMMySQLVMTomcatWarVMTomcatWarVMTomcatWarVMTomcatWarVM负载均衡DNSvSwitchvSwitch+/-+/-Per VMCPU 4Core x 3

18、GHzRAM 2GBStorage 20GBCPU 2Core xvSwitchBW 100MbpsLatency 1GbpsLatency 10GbpsLatency 10MbpsLatency 10000SLO2 请求响应时间 2000msvNetwork 1基础架构Software-Defined Datacenter ServicesVDCVDC组件应用CloudVirtualPhysical提供应用自动化部署全生命周期管理Firewall&LBWeb servers App serversDatabase servers模板通用应用环境模板上线运行环境（数值预报用户）module1m

19、odule2war1moduleAmoduleBwar2上线运行环境（防灾减灾用户）war3XXXXXXwar4XXXXXX.弹性扩展支持多租用户更高的集群利用率易于使用的界面通过硬件整合实现更低的总体拥有成本利用 CloudVirtual 增强 HA/FT概述CloudVirtual 加强了对大数据工作负载的支持，包括 所有主要 Hadoop 发行版在通用 CloudVirtual 基础架构上虚拟化 Hadoop 以 实现无与伦比的灵活性通过集成到管理中心的管理工具帮助用户在CloudVirtual上部署、运行及管理Hadoop集群隔离存储和计算以实现弹性扩展和真正的 多租户优势Hadoop

20、 堆栈：CloudVirtual 加强了对大数据工作负载的支持当前的Hadoop：组合式 存储/ 计算VM计算VMT1VM存储VM存储VMT2弹性扩展：隔离存储和计算物理主机大数据应用扩展输 入 数 据文件名检查解压缩格式检查业务监视 信息入库数据收集预处理数据分发省行业 用户国家 级用 户级 用户地面 传输卫星 广播业务监视 信息入库临 时 文 件 库数据处理数 据 1数 据 2数据 3解 码文件名 标准化图形生 成业务监视 信息入库数据存储管理数据共享元 数 据 生 成数存数据储据入管归库理档业务监视信息入库AF元WPT数eIP据 b 程 直 生 检 序 接 成 索 调 服用务信业信息信务

21、 息统息流 管计展程 理分示管 析理业务监控业务监视 信息入库基实础时库库互 联 网 库行 业 库归档 库监视 信息 库系统软 硬件监 视信息部 用 户内行业 用 户业务值 班用户业务管 理用户现有气象数据处理流程38收据收集流 式 计 算数据源GTS资料业务 系统 资料 国家 下发 资料 行业 用户 资料其他 资料日志 数据数据标准管理数据质量管理数据生命周期管理主数据管理元数据管理数据存储分析数据治 理体系雷达数据预报地面大气高空农业生态海洋气象辐射卫星数据T639模式数据文件过滤文件识别格式转换数据解析数唯一性据检查 预处解压缩 理数 据 分 析 数 据 存 储模式解码雷达解码卫星解码

22、产品生成 质量控制 全文检索 统计分析 可扩展解码Nosql数据库分布式文件系统可交互式检索数 据 接 口 客户端调用（时间、空 间、数据取值）Web Service（时间、 空间、数据取值）REST服务（时间、空间、 数据取值）调用脚本（时间、空间、 数据取值）数据访问探索式检索图形化展示基于大数据的气象数据处理流程 39数据源地面气象资料高空气象资料海洋气象资料气象辐射资料数值预报大气成分资料农业&生态气 象资料雷达气象服务产品卫星资料采集网关：CollectHTTPCollectFileCollectSocketCollectTCP/UDPCollect负载均衡器数据统一接入集群采集策略

23、配置存储策略配置分发策略配置系统设置配置时效性配置 接入节点1接入节点 2系统监控配置接入节点 3接入节点n数据处理分发集群收集 时效 处理 文件 拆分 处理格式检查数据 规整Tar解地处面理/高 析空/海洋/大气成 分气象资 文料件解包解压文件过 滤文件唯 一性处 理文件换 名处理辐射/农 业/生态 气象资 料格式检查自定义 格式解 析数据抽 取文件 换名 处理数值预 报文件 过滤收集 时效 处理格式 检查Grib 解析文件 识别雷达文件 换名 处理文件过滤收集 时效 处理格式 检查文件 识别 自定 义格 式解文件 过滤唯一 性检 查 文件 识别卫星收集 时效 性处格式检查文件 解包 解压数

24、据消耗分布式文件系 统NoSQL数据 库内存计算引擎数据统一接入本地目录远程目录TCP/UDP端口数据源HTTP本地日志采集集群存储配置监控配置系统设置执 行 任 务处理集群运行配 置解析处理配置集群系 统设置执行线程执行线 程执行线 程执行线程任务调度表信息设 置表归档设 置列式数据库数据访问 接口WebService数据存 储配置数据格式配置HDFS文件系统批处理模 式处理批处理架构流处理监控系统采集集群监 控处理集群监控接收消息 监控处理任务监控370TB/天120万条记 录/s百亿条 记录秒 级返回数据采集流程数据源地面气象资 料高空气象资 料海洋气象资 料气象辐射资 料农业&生态气

25、象资料数值预报大气成分资 料雷达气象服务产 品卫星资料数据采集集群Spark数据加工处理集群HDFS/ParaStor（数据存储）资源管理调度Tar解码BUFR解码GRIB解码ASCII文件解码ImpalaSpark（Spark Streaming/Spark SQL)MapReduceHBAE/Hive分钟数据产品 生成 质量控制算法时值数据统计日值数据统计均值数据统计月值数据统计年值数据统计全文检索监控系统设备监控访问监控存储监控权限管理告警管理统计分析策略配置并发监控日志信息/审计信息日志信息/ 审计信息基于内存的数据加工处理区域站、观测站、ECMWF确定性模式、雷达基数据等；存储内容行

26、列存储区别列存储优势读取需要数据，降低IO数据量压缩编码降低存储空间读取需要列，支持向量运算，具有更好扫描性能优势优势基于列式存储的NoSQL数据库，提高访问性能；建立索引提高检索速度任意维度任意尺度访问数据数据访问时效控制在秒级范围内数据存储-行列混合存储存储内容卫星数据、T639模式数据等大文件数据索引控制器索引控制器索引控制器索引控制器数据控制器数据控制器数据控制器管 理 控 制 器管 理 控 制 器管理网数据控制器数据控制器数据控制器归档/回迁数据迁移数据迁移并发读写并发读写并发读写Linux、Windows客户端/NFS/CIFS/POSIX API/HDFS/HTTP/FTP/RE

27、ST/SOAP/SNMP元数据读写数据存储-分布式文件系统需求梳理及 行业发展趋势01气象行业解决方案02案例分析04目录44基于气象业务需求，本次测试主要面向大数据的实时检索分析能力进行测试，包括数据检索、实时统 计分析、实时交互分析、稳定性、容错性和高并发等能力测试。数据类型国家气象信息中心整编下发的中国地面逐小时资料，TXT文件格式每条记录95个字段，包括风、降水量、温度、湿度、气压、云等要素信息T639模式单场单要素，数据格式为grid数据规模提供2012年6月30日地面观测样例数据，112493条 基于提供的样例数据，生成60亿条测试数据提供T639模式单场单要素，10条基于提供的样

28、例数据，生成100万条测试数据测试场景数据导入 测试数据导入的性能填图数据获取 测试在高并发场景下，快速提取填图数据的能力 长时间序列数据获取 测试获取长时间序列要素数据的能力统计分析 针对原始数据，测试对要素信息的聚合统计能力，数据更新，可以实时反映在聚合结果中数据预报数据快速获取能力气象局测试背景Xeon E5-2620v3 2.4G 15M 6C*2 I620-G20 CPU散热片*216G DDR4 2133 ECC REG 内存*8300G 2.5吋 10K 6Gb SAS*2480G 2.5寸 SATA 6Gb MLC SSD*6硬盘盘盒D12*8 550W双电源模块 PCI-E双

29、口10G多模光纤网卡（含光模块）S1：板载2G Cache RAID、3PCIE、2块4盘位背板、千 兆双口高端RJ45网卡物理结构地面观测数据1974197519762025node1node2node4node5node3node6数据分布并发度24加载速率44537条/秒，约267万条/分钟总加载时间38小时总加载数据量60亿占用空间7TB测试要求：导入性能大于20万/分钟数据导入494919420688619615001000200015002500测试要求：按某一时间点（以整点小时为检索条件）检索中国地面逐小时资料降水量数据500并发1s内返回结果，900并发2s内返回结果查询耗时降水要素填图数据获取050100查询耗时500指数 (查询耗时)900505024225629884072600050004000300020001000测试要求：按某一时间点（以整点小时为检索条件）检索中国地面逐小时资料填图数据5s内返回结果查询耗时全要素填图数据获取050100查询耗时500指数 (查询耗时)900测试要求：在近5