开放地球引擎（OGE）研究进展与应用

研究进展与应用>5petabytesofdata谷歌地球引擎发展新型时空信息应用范式Al就绪服务深度耦合开放共享的北斗规模应用重要新型基础设施”1)高性能管理与服务2)云原生分布式计算3)算法-算力自适应调度4)多模数据融合可视化5)融合AI遥感大模型6)构建全栈国产地球引擎O弹性伸架构系架模设计弹性伸缩和多层次就绪的系统架构，支持数据、算力、算法的灵活接入，动态汇聚多源、海量、异构的地球时空大数据，弹性聚合地球时空分析领域的处理方法、分析算法和Al模型地程座广品决策制定挛生世界时空模拟挛生世界时空模拟分析就绪基础设施。企开标光理/&计幕统地云计赛/的计赛多分新遗程峨我合并行分新旁切片旁切片有据季不有据季不国产云士的企国产云士的企阿里云阿里云E份折地形分新岳用支样R购反|代四阳理理硕璃璃关键技术2--多源融合表达与一体管理的关键技术2--多源融合表达与一体管理的GeoCube产品_波段表-产品键-数据类型传感器表-传感器键-传感器名称-卫星平台名称-波段类型-工作模式层级表-瓦片分率-像素分率-层级波段表-波段名称-极化方式产品表-传感器键-层级键-参考坐标系-瓦片计算强度SAR瓦片光学瓦片-瓦片质量键-瓦片计算强度红波段云量40%海矢量事实表矢量D序列-矢量特征-矢量计算强度质量表-云层遮挡空间表-网格编码-网格行号-城市编码-城市名称-层级键矢量数据表关键技术3--可扩展、高性能的开放时空算子体系构关键技术3--可扩展、高性能的开放时空算子体系构建基于标准化、可扩展、高性能的开放时空算子体系，内置提供了一套覆盖矢量、栅格计算，满足常见时空分析场景的云原生时空算子集，也可以集成丰富的开源软件算法，还可以导入用户开发的专业模型时空时空多维数据2网囟时空多维时空多维数据1内存CPU地图代数叠加分析空间连接空间插值干旱分析模型土地利用分类植被变化检测专业模型云原生几何操作路径分析网络分析水文模拟空间统计地形渲染颜色管理邻域计算地形分析类型转换时序分析开源算法JIASET,支持我集成遥感领域自主可控的专用深度学习框架LUOJIANETJIASET,支持我们在OGC提出的首个地理人工智能国际开放标准TrainingDML-Al多框架混合编程模型中间表示执行引擎嵌入用户友好的可视化交互遥感数据特性嵌入遥感数据与框架协同硬件/数据融合处理和集成管理多源感知数据，充分利用OGE的海量数据管理、分布式计算与分析能力，实现陆、海、空环境的立体仿真与决策分析程序指令输出。基础图输入，程序指令输出。基础图输入，片着色机载激光点云多波来海底…输入色器位置位置操作系统操作系统3D硬件驱动器仁GLSL编译器GLSL3D硬件驱动器仁顶点看]顶点看着色器程序(色器色器二进制)3D图形处理器硬件关键技术5—多维时空信息孪生建模基于海量3基于海量3D数据管理与服务技术，融合G3DBIM精细模型等，实现全球多尺度复杂场景的高性能渲染服务。数据模型基础数据BIM数据模型基础数据BIM模型影像数据影像数据矢量数据格式转化倾斜摄倾斜模型文件组织维几何数据静态网格体渲染影数据(osgb)与读关键技术5—多维时空信息孪生建模关键技术5—多维时空信息孪生建模SfMPoints1.5平台总览开放代码数据资源数据资源应用中心谈天说地向数求智模型资源模型资源资源中心OGEOGE平台应用OGE首页游源中心，开发中心应用中心赛事中心：管理中心中文ENGLSH山②xiang经济地理数据查询所在的位置>数据资源资源名称/别名：不限注册时间：个标盗：高分系列严品Landsat系列产品(14)Landsat系列产品(14)Sentinel系列产品(3)MODIS系列产品(7)标签：高分系列产品所属人：admin搭数平台：GF-2描述：高分二号卫星0.8米全色和3.2米多光语相机(PMS注册时间：2022/10/5传感器：PMS2描述：高分二号卫星0.8米全色和3.2米多光道相机(PMS.注册时间：2022/10/5传感器：PMS1严品别称：高分二号L1级PMS2更新时间：2023/11/14影像数：40册产品别称：高分二号L1级PMS1更新时间：2023/11/14影像数：32量LJOLL2产品别称：Luolia产品别称：Luolia1号夜光通感数据更新时间：2022/10/25影像数：14景标签：珞聊系列产品搭载平台：注册时间：2022/11/14传感器：经济地理数据(122)注册时间：2022/11/14传感器：页10条/页跳至页10条/页跳至资源中心—数据资源OGE首页资源中心。开发中心应用中心赛事中心管理中心瞪格处理(112)瞪格处理(112)矢里处理(86)模型别名重命名创建时间修改时间◎O★乙10条/页跳至页Vegetationindex(NDVI)是用于评估格被状况指数，该模块使用NOV态医量的准确评估，支持衣业监源生硬解罐述：NormaizedDiferenceWaterIndex(NDWI)虽一种用于检水体的数，通过比较近灯外波段和绿色波段的反射率，NDW可以有效区分水体和其他地物，该接块利用NOW榴型屋途：利用两个不时网点3NDVI值，实现柏被交化的检测分第.提型榴途：根ENDV数，佳用LCo6L1TPARD_60数据(分析欧培andcat8数概)对多时相剥像进行水体时间序的计分析。利不用8t的彩像分别控取水体，并统计水援型成途?NormalzedDifferenceBuilt-upIndex(NDB1)是一种用于检测建填物的临数，该模块使用ND61地利用管理等投供了可的筑物信息关闲landat8顺影像反演肺法，快速准确地生产出南省每手应的怕幢指数(NOV0.怕被服盖度(FVO和格被净初吸生产力(NPP),在此基础上生成每年的南省全墙馅被生态质量临教授榴途：WeightedNormalizedIndex(WNDIWI)层在NDW基础上皿.WNDWI提高了水体检测的晴下效果，该模块专注于水体分析，为型通采用OSNetConwNeXx1NOSDatavet69梗型，专注于交化检飘通过深应学习技术，该模块实现了对图像中变化的效识别，为监测市发应，环安化等提供强大的分析工且领型播述：tuoluNet遥领白主可控的证像机器学习相架，针对谣变化大等特性，备内存司矿、R度汤道奖活建、数眠通道自主优选、糕架与数露地同处理的特点，可容已有拖隆的交互酸配罐述：利用网个不同间点的NOWI值，实现水体变化的检5分听，通过比较两个时s的水体留数,用户可以获得笑于水体变化的详细力支陈.coprecogswinonrx模型，专门用能够准确地识和提取图像中的耕地结被型途：构律益个知R增的地学领城大操型，用新一代人工智址技不提供地学领0识问答服务，助用户快定白身的时空计算业务早和的状况的临标、该临数考虚了降水和减发隔辆的响，过标准化处理这酷回素，其在时间和空间上具有可比性，正值SPE表示相树的条件提型描途采用土地利用分类，通过深度学技术，模动分类，为地资源董理、环境温等领域撑供有力的十损型猫途利用OGE平台所提供的一意resthut酸务接口开发的，基于能耗数就计42015-2020年长江流域城市砌排放，利用传统的放因子法和每市的农业工业、建饥业的产值以及城填OGEOGE平台开发中心为用户设计了脚本式编程、图形化构建两种任务编排模式命0GE首页资源中心开发中心应用中心首中心NCISH◎xiang0pae◎四志四N国居营理器国居营理器命0GE页中心开心l航用中心首理中心DmhrR11 /i/mmOGE平台应用中心基于后端的数据与计算能力，提供干旱分析、水体提取、植被指数等应用模型，用户可以开发自己的应用系统。数据空间范围时间范围备注全国2023年5月-8月共计约1793余景Landsat8长时序湖北省每年5-8月份覆盖一共计约495余景高分高分1全国2023年5月-8月共计约2013余景高分6全国2023年5月-8月共计约581片全国2023年5月-8月共计约984景全国2023年5月-8月共计约903景全国2023年5月-8月，每月形成一次覆盖共计约7351景全球30米分辨率全球12.5米分辨率数据空间范围时间范围备注地表反照率LST全球共计约2727余景净辐射NR全球共计约61360余景蒸散发ET全球共计约6944余景叶面积指数LAl全球共计约10440余景光合有效辐射比FAPAR全球共计约10440余景总初级生产力GPP全球共计约50300余景增强型植被指数EVI全球共计约2392余景植被覆盖度FVC全球共计约2304余景归一化植被指数NDVI全球共计约2392余景净初级生产力NPP全球共计约2392余景2.22.2OGE资源汇聚(已入库数据)1)GF1数据覆盖情况(2013景)1)GF6数据覆盖情况(581片)2.2OGE资源汇聚(已入库数据)2)Sentinel-2数据覆盖情况数据产品类别地区时间地表反射率单景结果湖北省云掩膜单景结果湖北省地表反照率单景结果湖北省气溶胶光学厚度切片结果湖北省归一化植被指数单景结果湖北省植被覆盖度单景结果湖北省季度合成结果中国数据产品地区时间范围FY-3D中分辨率光谱成像仪L1数据中国FY-3D中分辨率光谱成像仪L1数据(GEO)FY-3D中分辨率光谱成像仪L1数据(白天)2020年(20天)FY-3D中分辨率光谱成像仪L1数据FY-3D中分辨率光谱成像仪L1数据(GEO)FY-3D中分辨率光谱成像仪L1数据格陵兰2020年(3个月)FY-3D中分辨率光谱成像仪L1数据(GEO)FY-3D中分辨率光谱成像仪L1数据美国2020年(4个月)FY-3D中分辨率光谱成像仪L1数据(GEO)FY-3F中分辨率光谱成像仪L1数据全球2024年(2~7月，每月前5号)FY-3F中分辨率光谱成像仪L1数据(GEO)圆盘2020年(4个月)全天2020年剩余8个月(UTC22点到第二天7点)子2.1概赏application-develop.html#application-develop.html#wwi(/reso■交互式计算的需求■现有Web端云计算平台的支持度与适应性不够n●任务流编排存在整体性和静态性约束r反复尝试不断优化●任务流计算未考虑链路冗余处理问题用户与系统的交互过程多轮次构建流程→脚本解析→执行作业→返回结果有策略针对上述需求与问题，开展时空任务流编排、计算优化与调度优化策略的研究空间空间动态脚本1动态脚本?动态脚本3由一动态脚本?动态脚本3空间空间空间@由一系列时空任务单元有序组合而成时空任务流图G2时空任务流图G2(3)时空算子序列：算子a算子a笪子算子、算子(4)分布式时空计算作业：由一系列以数据块为核心的分布式计算任务组合而成基于基于前序任务流图之间的结构相似性与任务共现性，梳理了四种基础可复用情形及综合可复用情形，并设计了应对策略(a)裁剪前序图a1相关逻辑并复用其结果；(b)分别裁剪b1与b2的逻辑并复用其结果；!(c)先进行冗余化操作再分别裁剪与复用；I(d)裁剪前序图d1相关逻辑并复用其结果；1(e)综合应用多种处理机制，同时注意重水体提取的交互式计算过程输出结果影像滤波调整方法In[12]:In[12]:影的化交互增2-leafmap2-leafmapMap(enter[30.S7,L.28],ton-6sdi-serviee.getProeess(Covras.aormliaeDIfterenee”).exeautendeiervie,aetProcess(Coverogemltiplyhu),execute(ndri,100.0二化nd置ribrisparan2Iain'+-1.palett:[hit,blme7binres2ndei_binarization.styles(visparams2.etMop(ndri_bimrization)2adl_tile_layerlhinures2,nane"_bimriration",attrlbation"ndbim2tnt41:设新过方法adbiarization,Medianservice.gatProcessCtoverass.focallediam").oxecute(ndni_biaarizatres2ni_binarization,JMedian.atyles(isparans2),getMapCndsi,binariratlon,ldi2adt_tile_layerfres2,aae"2√√分阶段构建时空代码流程√针对性查看时空计算结果√迭代式执行局部分析流程，对局部代码参数的调整与修改,只会影响到依赖于它的时空任务流图，不会影响到全时空代码流程中不依赖于它的时空任务流图类型特换类型特换树n画评价指标评价指标实验环境实验数据案例：植被提取类型转换获取数据数据放缩案例：植被提取类型转换获取数据数据放缩渲染中值滤波查看植被提取结果调整二值化参数√相较于非增量式计算，增量式计算的执行时间有了显著的降低，各地图层级下的优化指数均在6左右。关键技术点：1通信用户在JupyterNotebook中执行时空处理任务的时序图(含数据类型)UserlupyterNotebook编写代码子UserupyterNotebookFieEdtViowInsertCellKemolWdgetsHalperDataSet=service,getCoverage(coverageID=1081220392015278LG300°,producDM15_datap.array(rasterDataSel4_datanp.arry(rarterDataSet[1]).adata_sark=band4_datal:,0]=9999原t=(band5_data-band4_data)/(band5_data出精果rcale化开且凝加odata/_outputlno_datask]=-9999对影像边龄ne_dataFark范i_binarization=service.getProcea(Coverage.binariration).erebinuizationlMedian=arvice.etProca(coversefocaLNadian).rncute(NNpar=(ain':-1,aax:1,palette':rald°,yellov',brem",lightblun,"ayi_binarization_Modian.atyle(vie_params)OGEOGE平台应用GPU算力和百PB感数据、物联网数据等地球时空弹性资源分配天大百P级GPU算力千核CPU算力数据计算与分析一即pok数据组织与管理等FF百PB级存储能力食二②数据汇聚百PB级存储能力食二②数据汇聚与百度合作针对开放获取数据，设计实现了自动化并行入库工具候下大并发下能大并发下能从信息门户网站自动获取数据立即较下概的文位的切所从信息门户网站自动获取数据aaX个切所进程计露上上数据切片e第一武段T文上师光列条上—不向型：就绪型数字地球管理框架设计负载均衡的分布式存储，提供海量观测数据的低延时访问，并基于云环境计算对象映射和计算资源自适应调度，实现大规模遥感数据的并行计算，提供高并发的遥感分析响应能力聖在开放地球引擎(OGE)核心能力的基础上，研发OGE遥感教育云平台，为高等院校提供测绘遥感类课程在线实习/实训云平台，支持实习课程管理、实习进度管理，以及测绘遥感创新比赛。快捷入口总体概览快捷入口实习课程能的实习(门)我的实习课程能的实习(门)实习概览习课程四胞资道用PP√平台在线提供数据资源和实习课程，支持云端更新√管理员在线管理实习课程；老师在线创建实习课程、发布实习任务；学生在线参加实习、提交实习成果进行中的实习实习任务视计进行中的实习实习任务视计四=990时时OGE教育云平台打造了赛事中心，为测绘遥感类学生提供应用创新比赛平台，支持遥感解译、算法设计和应用开发等多个赛道的比赛。——创新赛道空天信息组数智空天创新无限——创新赛道空天信息组数智空天创新无限出出r国家自然科学基金委员会信息科学部r国家自然科学基金委员会信息科学部2024“东方航天港·地卫二杯”温感影像智能处理算法大赛3.3国家自然科学基金重大项目3.3国家自然科学基金重大项目OGE集成高分等国产卫星遥感数据，项目基于OGE和国产数据开展陆表能量平衡、水循环、碳循环参量和土地覆盖智慧化定量反演，解决国产卫星遥感数据应用瓶颈3.3国家自然科学基金重大项目3.3国家自然科学基金重大项目■多源遥感数据“时-空-谱-角”一致性预处理技术建立多源数据的按需接入机制，支