【中国科学院】2024年开放地球引擎（OGE）研究进展与应用报告

研究进展与应用OGEOGE平台应用LandsatandMODISTerrainSentinelDaiyOARtSSRTM.GTOP0.MDGobCoeMCA谷歌地球引擎发展新型时空信息应用范式1.2研制目标多模态时空数据统一表达时空立方体多源联合分析全球遥感影像在线解译数据就绪服务分析就绪服务Al就绪服务算力、数据与算法的深度耦合开放共享的算力、数据与算法形成时空信息底座全栈自主的时空信息基础设施北斗规模应用习近平总书记指出："时空信息、定位导航服务已成为重要新型基础设施”1.3研制内容2)云原生分布式计算1)高性能管理与服务3)算法-算力自适应调度2)云原生分布式计算1)高性能管理与服务4)多模数据融合可视化4)多模数据融合可视化6)构建全栈国产地球引擎FH架构据立方系架模关键技术1--多层次就绪的弹性伸缩系统架构关键技术1--多层次就绪的弹性伸缩系统架构设计弹性伸缩和多层次就绪的系统架构，支持数据、算力、算法的灵活接入，动态汇聚多源、海量、异构的地球时空大数据，弹性聚合地球时空分析领域的处理方法、分析算法和Al模型据全全禁你全广品决策制定决策制定孪生世界孪生世界矸薛幅式处理/&计等云计赛排计篡可化仓统地多楼多楼经年前证免切片免切片企百度云些华为云口阿里云企企性条源分配回折地形分新变互武磺块证提出多源融合建模与一体管理的提出多源融合建模与一体管理的时空立方体结构GeoCube,实现全球大规模对地观测数据的就绪型产品_波段表传感器表-传感器名称-工作模式层级表波段表-极化方式产品表-产品键-层级键-获取时间-处理时间SAR瓦片事实表-波段键-产品键-空间键-瓦片特征-瓦片计算强度光学瓦片事实表-波段键-空间键云量40%云量40%海南矢量事实表-矢量计算强度质量表-质量键空间表|-网格编码-网格行号-网格列号-城市编码-城市名称-省份名称-层级键关键技术3--可扩展、高性能的开放时空算子体系构建关键技术3--可扩展、高性能的开放时空算子体系构建基于标准化、可扩展、高性能的开放时空算子体系，内置提供了一套覆盖矢量、栅格计算，满足常见时空分析场景的云原生时空算子集，也可以集成丰富的开源软件算法，还可以导入用户开发的专业模型时空时空多维数据1区时空多维时空多维数据2内存床床建筑物提取洪水淹没分析地图代数叠加分析空间连接空间插值植被变化检测干旱分析模型土地利用分类专业模型云原生几何操作路径分析邻域计算地形分析地形渲染颜色管理类型转换时序分析网络分析水文模拟图像处理空间统计开源算法集成遥感领域自主可控的专用深度学习框架LUOJIANET和大规模开源遥感样本库LUOJIASET,支持我们在OGC提出的首个地理人工智能国际开放标准TrainingDML-Al多框架混合编程用户友好的可视化交互前端交互遥感特性遥感特性嵌入模型中间表示中间表示优化执行引擎遥感数据与框架协同硬件/数据关键技术5—多维时空信息孪生建模关键技术5—多维时空信息孪生建模融合处理和集成管理多源感知数据，充分利用OGE的海量数据管理、分布式计算与分析能力，实现陆、海、空环境的立体仿真与决策分析程序指令输出器程序指令输出器基础图形输入顶点着色器浏览器位置位置纹理数据3D硬件驱动操作系统3D硬件驱动着色器程序(着色器程序(顶点看]顶点看顶点看]顶点看关键技术5—多维时空信息孪生建模基于海量3基于海量3D数据管理与服务技术，融合GIS数据、2.数据模型属性管理工具属性数据表导出数据模型三维场景渲染设计模型处理非异构模型轻量化三维场景渲染基础数据影像切片矢量数据插件倾斜摄倾斜模型文件组织三维儿何数据静态网格体渲染影数据(osgb)与读取二维纹理数据C材质实例资源关键技术5—多维时空信息孪生建模关键技术5—多维时空信息孪生建模4.渲染公式4.渲染公式无人机影像数据集代码模型组合器谈天说地向数求智r批处理本地下载定量遥感产品生产Al智能遥感应用遥感专用DL框架模型资源数据资源模型资源数据资源OGEOGE平台应用数数据资源模型资源高级检索样本查询所在的位置>数据资源注册时间：2022/10/5注册时间：2022/10/5对地观测数据(38)对地观测数据(38)Landsat系列产品(14)Sentinel系列产品(3)MODIS系列产品(7)高分系列产品(9)珞琳系列产品(2)全球DEM产品(2)DOM产品(1)>样本数据(87)注册时间：2022/10/5更新时间：2022/10/25更新时间：2022/10/25搭载平台：经济地理数据(122)传感器：经济地理数据(122)>二次加工数据(12)第1-10条/共38条1234>10条/页跳至页资源中心—数据资源中文ENGLISH山②疆格处理(112)矢量处理(86)资源名称/别名：不限空间分析模型名称模型别名空间分析n相加重命名波段数据类型不等于O★O★OGE首页资源中心开发中心授型榴述：NormalizedDifVegetationIndex(NDVI)足用于评估植被状况的指数，该模块使用NDVI态环境评估等应用。NDVI差值，实现柏被安化的检测与分键信息，支持生态保护和土地管理决第。横型榴述：根据NDV数，使用LC08_11TP_ARD_EO”数据(分析就堵组andsat8数姻)对多时相像用时的影像分测控取水体，并统计水体出现的频率应用中心提幅述：NormalizedDifferenceWaterIndex(NDWI)是一种用于检绿色波段的反射率，NDW可以有效区分水体和其他地物，该模块利用NDW进行水体分析，为用户提准确的水体辨识和监测功能。Buill-upIndex(NDBI)是一种用于检测建筑物的脂数，该模块使用NDBI美国Landsat8通晰影像反演算法，能指数(NDVI).枯被股盖度(FVC)和植被净初级生产力(NPP),在此基础上生成每年的潮南省全境档被生态质量指数.损型滞述：WelghtedNormalizedIndex(WNDWI)星在NDW基础上重，WNDIW提高了水体检测的精为型播述：采用OSNetConwNeXI-NOSDataset69模型，专注于安化检拖线的交互_提配描述：利用两个不同间点的NOWI差值，实现水体变化的检测与分析。通过比较两个时的水体指数差力支持.crop_fecog,swinonnx模型，专门用能够准确地识和提取图像中的耕地信持模型描述：构律首个知识增的地学领速定制白身的时空计算业务Index(SPEI)星一个用于衡量气候干比性，正值SPEI表示相对的条件领域提供有力的土横型描途：利用OGE平台所提供的一套resthut服务接口开发的，基于能消耗数据计算2015-2020年长江流域城市排放数赋。命OGE首页资源中心开发中心应用中心管理中心命命中0子00示00抛7姓盗姓盗l yhf供供位Tbel117e-an0t4ett996c758817解口arnpoul0pouWBnhptn”..Ieir.l”..OGE平台应用中心基于后端的数据与计算能力，提供干旱分析、水体提取、植被指数等应用模型，用户可以开发自己的应用系统。2.22.2OGE资源汇聚(已入库数据)数据空间范围时间范围备注全国2023年5月-8月共计约1793余景Landsat8长时序湖北省每年5-8月份覆盖一遍，2020年-2023年共计约495余景高分高分1全国2023年5月-8月共计约2013余景高分6全国2023年5月-8月共计约581片全国2023年5月-8月共计约984景全国2023年5月-8月共计约903景全国2023年5月-8月，每月形成一次覆盖共计约7351景全球30米分辨率全球12.5米分辨率2.22.2OGE资源汇聚(已入库数据)数据空间范围时间范围备注地表反照率LST全球共计约2727余景净辐射NR全球共计约61360余景蒸散发ET全球共计约6944余景叶面积指数LAl全球共计约10440余景光合有效辐射比FAPAR全球共计约10440余景总初级生产力GPP全球共计约50300余景增强型植被指数EVI全球共计约2392余景植被覆盖度FVC全球共计约2304余景归一化植被指数NDVI全球共计约2392余景净初级生产力NPP全球共计约2392余景2.22.2OGE资源汇聚(已入库数据)1)GF1数据覆盖情况(2013景)GF-1数据覆盖范围GF-1数据覆盖频次2.22.2OGE资源汇聚(已入库数据)1)GF6数据覆盖情况(581片)2.2OGE资源汇聚(已入库数据)2.2OGE资源汇聚(已入库数据)2.22.2OGE资源汇聚(正在入库数据)数据产品类别地区时间地表反射率单景结果湖北省云掩膜单景结果湖北省地表反照率单景结果湖北省气溶胶光学厚度切片结果湖北省归一化植被指数单景结果湖北省植被覆盖度单景结果湖北省季度合成结果中国2.22.2OGE资源汇聚(正在入库数据)数据产品地区时间范围FY-3D中分辨率光谱成像仪L1数据中国FY-3D中分辨率光谱成像仪L1数据(GEO)FY-3D中分辨率光谱成像仪L1数据(白天)2020年(20天)FY-3D中分辨率光谱成像仪L1数据FY-3D中分辨率光谱成像仪L1数据(GEO)FY-3D中分辨率光谱成像仪L1数据格陵兰2020年(3个月)FY-3D中分辨率光谱成像仪L1数据(GEO)FY-3D中分辨率光谱成像仪L1数据美国2020年(4个月)FY-3D中分辨率光谱成像仪L1数据(GEO)FY-3F中分辨率光谱成像仪L1数据全球2024年(2~7月，每月前5号)FY-3F中分辨率光谱成像仪L1数据(GEO)圆盘2020年(4个月)全天2020年剩余8个月(UTC22点到第二天7点)2.2OGE资源汇聚(已开放算子)格网化和表面三角化工具，共计10大类、112个算子叠加分析、邻近分析和提取分析，共计6大类、86个算子计算子(19个),共计2大类、53个算子6个算子口遥感图像处理算子：涵盖OrfeoToolbox/SAGA核2.API介绍2.1概览n三t技术文档0GEe开中心心中心0m资源中心2.3交互式时空云计算交互式计算的需求■现有Web端云计算平台的支持度与适应性不够●任务流编排存在整体性和静态性约束目前仅支持将完整流程提交到云端整体执行，不支持细粒度的流程提交与动态的局部调整。反复尝试不断优化未考虑不同任务流之间因具有相同处理链路而产生的计算冗余问题，导致系统计算资源的浪费。未考虑不同任务流之间因具有相同处理链路而产生的计算冗余问题，导致系统计算资源的浪费。持续性多轮次有策略针对上述需求与问题，开展时空任务流编排、计算优化与调度优化策略的研究空间空间动态脚本1动态脚本?动态脚本3动态脚本1C①◎①④①①时空算子序列S2(1)时空代码流程：由一系列代码脚本有序组合而成(2)时空任务流图：由一系列时空任务单元有序组合而成(3)时空算子序列：由一系列系统可执行的算子有序组合而成(4)分布式时空计算作业：由一系列以数据块为核心的分布式计算任务组合而成基于基于前序任务流图之间的结构相似性与任务共现性，梳理了四种基础可复用情形及综合可复用情形，并设计了应对策略(a)裁剪前序图a1相关逻辑并复用其结果；(b)分别裁剪b1与b2的逻辑并复用其结果；!(c)先进行冗余化操作再分别裁剪与复用；I(d)裁剪前序图d1相关逻辑并复用其结果；1(e)综合应用多种处理机制，同时注意重水体提取的交互式计算过程In[12]:In[12]:初的化交互地园m2=leafap.Map(center-[30.57,114.28],zm2=leafap.Map(center-[30.57,114.28],zIn[13]:计放W7并放ndwi_binarizationservice.getProcess('Coverage.binarization"),execute(ndvi,vis_params2-fmin':-1.'mx':1,"palette':['white","bbin_res2ndi_binarization.styles(vis_parans2).getMap(ndsi_binarization)加至地/E上2.add_tile_layer(binres2,nane"dibinarization",attribution2In[141:设置法波方法ndnt_binarization,Medianservice.getProcess(Coverage.focalMedian").execute(ndri_binarization,"sguare",1)res2=ndwi_binarizatioo_Median.atyles(visparas2).getMlap(Cndibinarfzatlon_Median)2水体提取的时空代码流程√√分阶段构建时空代码流程√针对性查看时空计算结果√迭代式执行局部分析流程，对局部代码参数的调整与修改,只会影响到依赖于它的时空任务流图，不会影响到全时空代码流程中不依赖于它的时空任务流图美型转换美型转换h二值化二做化高新法波监迭代调整滤波方法过程中产生的时空任务流图实验数据实验数据评价指标实验环境案例：植被提取类型转换获取数据案例：植被提取类型转换获取数据数据放缩渲染中值滤波查看植被提取结果二值化调整二值化参数渲染√相较于非增量式计算，增量式计算的执行时间有了显著的降低，各地图层级下的优化指数均在6左右。关键技术点：1JupyterNotebook细粒度编程I用户在JupyterNotebook中执行时空处理任务的时序图(含数据类型)UserJupyterNotebook南入矢量政子2.4细粒度混合编排2.4细粒度混合编排 rerDataSet=serviee.getCbal5_data=np.array(rasterDataSet[0]).aztype(np.flbali4_data=np,array(rasterDataSet[11).astype(mp.flnoLatamask=band4_data[:,0]=-9999原京VT指数mDti=(band5_data-band4_data)/(band5_data+band4出城架scalel并臣湖加odataDp_output[no_datanask]=-9999对影像边绿nedataask城充In[冈：上值化service.getProces(Coverage.binarization).erecdian=aervice.getProcega(Coverage.focalNedian).erecute(Ndvi_binarIn[冈：pr=Inin:-1,ax:1,palette':I'rold,yellov,brom²,lightblue,blueqi_binarization_Median.atylea(via_par理算法流程3.1东方航天港数智中心国产云平台国产云平台彬海数据计算与分析弹性资源分配数据计算与分析大明分市计其地但吩桥大明分市计其地但吩桥数据汇聚数据数据组织与管理云云百PB级存储能力食二②数据汇聚百PB级存储能力食二②数据汇聚与百度合作3.2东方航天港数智中心针对开放获取数据，设计实现了自动化并行入库工具完碳进行下理程用CPU核下拜行免教据请换情式、切M个切时进程过完计算立即博交切片文件指到上线程池e数据切片数据切片对除浮征号器上师光以列上3.1东方航天港数智中心构建时空立方体就绪型数字地球管理框架与云服务平台，为东方慧眼，以及全球范围的遥感影像、数字高程、地物矢量、定量遥感、遥感解译样本、卫星虚拟星座，以及物联网等多源、异构、海量感知数据提供统一时空基准与数据底座统一时空基准时空算子体系多维操时空算子体系就绪型数字地球管理框架智能智能设计负载均衡的分布式存储，提供海量观测数据的低延时访问，并基于云环境计算对象映射和计算资源自适应调度，实现大规模遥感数据的并行计算，提供高并发的遥感分析响应能力SeasnlvargbySeasnlvargbyMap计算抽象Map计算抽象在开放地球引擎(OGE)核心能力的基础上，研发OGE遥感教育云平台，为高等院校提供测绘遥感类课程在线实习/实训云平台，支持实习课程管理、实习进度管理，以及测绘遥感创新比赛。总体概览快捷入口重我的数握(罩》我的用户(人)实习课程用户中心首页实习概览月活人数实习课程角巴管理版本管理O√平台在线提供数据资源和实习课程，支持云端更新√管理员在线管理实习课程；老师在线创建实习课程、发布实习任务；学生在线参加实习、提交实习成果实调程村制建深程实习任务统计进行中的实习预器油息玄习篇介实习任务◎四*◎四数止时间：2024-08-4——创新赛道空天信息组OGE教育云平台打造了赛事中心，为测绘遥感类学生提供应用创新比赛平台，支持遥——创新赛道空天信息组“数智+空天信息”开放地球引擎“数智+空天信息”开放地球引擎OGED天日天国家自然科学基金委员会信息科学部2024“东方航天港·地卫二杯”遥感影像智能处理算法大赛N89re:2024-09-053.3国家自然科学基金重大项目■国产平台+国产数据应用OGE集成高分等国产卫星遥感数据，项目基于OGE和国产数据开展陆表能量平衡、水循环、碳循环参量和土地覆盖智慧化定量反演，解决国产卫星遥感数据应用瓶颈3.3国家自然科学基金重大项目3.3国家自然科学基金重大项目■多源遥感数据"时-空-谱-角"一致性预处理技术建立多源数据的按需接入机制，支持主流EO开放数据的检索与自动解析入库，突破多源遥感数据“时-空-谱-角”一致性预处理技术，建立了面向国产高分数据(GF1和GF6)的分析就绪预处理框架，为遥感定量反演提供连续性和一致性的分析就绪数据数据存储高分影像分析就绪数据生产工作流预处理几何逐像素元数据3.3国家自然科学基金重大项目通过输入遥感高级产品(LAI、FAPAR、NDVI.….),重建MODIS、Landsat8反射率数据，实现对原始影像云、阴影等缺失区域的填补。目前算法正测试迁移到高分系列卫星，实现16m分辨率地表反射率的重构虚拟星重构照率数据高分1照率数据集成+算子集成虚拟星座16米数据3.3国家自然科学基金重大项目课题2:辐射能量平衡课题1:遥感再分析支撑遥感再分析理论方法遥感再分析理论方法支撑3.4国能时空信息智能服务平台针对国家能源集团国内各单位乃至全球业务对时空信息服务的需求，基于OGE时空数据、算法、算力耦合的新型时空信息基础设施架构，构建面向能源行业上