高效生产力工具处理自动化(GPA)技术新进展

高效生产力工具处理自动化高效生产力工具处理自动化(GPA)技术新进展郑美玲产品工程师平台产品线组件内核产品管理与营销工程团队北京超图软件股份有限公司2024年6月26日，北京P1P2处理自动化(GPA)空间数据分析处理高效工具空间数据分析处理高效工具Geoprocessing支撑多行业场景Automation支撑多行业场景P3处理自动化为您带来便利无惧业务需求复杂多变无惧业务需求复杂多变，快速交付优化业务流程优化业务流程，减少开发复用成本P41更完备的GPA技术2更强大的GPA能力3更高效的分布式处理P5P6发展历程桌面处理自动化 处理自动化服务GeoAI、大数据工具三维工具等条件、迭代、变量……2019-20212019-2021iPortalGPAApp1000+工具Spark升级工具性能优化计划执行模型库加密202211i全新WebUI900+工具变量列表、分组模型元数据局部执行即时取消iPortal数据注册数据拖拽建模读写更多类型数据任务排队调度Spark多进程P7处理自动化(GPA)全功能概览处理自动化建模处理自动化建模WebApp(SuperMapiPortal)处理自动化建模(SuperMapiDesktopX）处理自动化服务(SuperMapiServer)可视化建模模型库模型管理模型文件模型库模型管理模型文件模型执行模型执行逻辑控制逻辑控制模型基础工具箱SuperMapiDesktopX处理自动化建模菜单栏工作空间可视化建模视图工具箱P8SuperMapiServer处理自动化建模菜单栏菜单栏工具箱可视化建模视图参数面板P10SuperMapiPortal处理自动化建模P11P12低代码可编程工具多可扩展高性能P13模型管理与分享》模型执行与调用模型管理与分享》模型执行与调用》模型构建P14模型管理与分享》模型执行与调用模型管理与分享》模型执行与调用》模型构建P15模型构建—数据作为节点添加到建模页面支持直接拖拽数据目录中的数据到建模页面作为节点，后续可以连接GPA工具作为数据输入参数，无需手动配置，提升建模易用性，且能在处理流程中更好地掌握数据信息•型源件据文数•型源件据文数•式布储存分Tiff……•库源•库源据据数数…………P16对接多类型矢栅数据进行分析处理支持直接对接多类型矢量、栅格文件做分析，而无需进行导入分析完的结果也可以直接写出为相应格式，减少数据格式转换无需导入无需导入直接写出直接写出P17对接Web栅格数据进行分析处理对指定范围的对指定范围的Web栅格数据进行分析处理影像服务影像服务更多栅格影像分析：••••••水文分析坡度、坡向剖面填挖方栅格统计……P18P19模型构建—丰富的预定义工具ProcessingAutomation1000+预定义工具数据数据处理ad数据ad数据导出数据导入机器学习栅格机器学习栅格分析空间统计分析矢量分析地理编码空间查询影像地理编码空间查询影像管理制图与服务发布分布式250+三维分析地图地图瓦片P20新增工具40+•三维数据（24）：模型瓦片续生成、生成材质资产…•影像处理（12）：影像去雾、影像云修补、DSM水体填值…•影像管理（3导出影像服务集合VRT文件…•空间处理分析（2cressman插值、波段计算•分布式（2拓扑规则、距离计算影像处理、影像影像处理、影像AI、三维、空间分析、分布式分析等更多工具持续更新……P21新增影像数据进行波段计算满足遥感数据流程化分析处理需求，新增支持对影像数据进行波段计算黑臭水体识别提取黑臭水体识别提取P22增强拓扑质检规则面向数据质检业务，新增线面尖锐角检查规则，即选即用优化线无打折、面内无缝隙、面内无重叠等规则，满足实际需求处理时间（单位：秒）处理时间（单位：秒）12高效易用高效易用37w线对象（无尖锐角）84w线对象（无尖P23模型管理与分享》模型执行与调用模型管理与分享》模型执行与调用》模型构建P24模型执行与调用调用方式调用方式模型执行—覆盖同名结果数据集避免冗余的中间结果造成数据源膨胀，减轻数据存储压力重复执行业务模型流程时不需要修改参数，提高工作效率P25P26模型计划执行模型计划执行定时触发PostGIS定时触发PostGIS实时数据获取入库P27集成业务系统进行服务接口调用P29模型调用—新增任务排队调度能力避免服务器过载增加按优先级排队的模式，保障紧急业务优先执行调度管理器调度管理器任务任务1运行运行任务2根据优先级提交任务等待任务2根据优先级提交任务等待任务任务3高优先级任务高优先级任务模型调用—新增任务排队调度能力避免服务器过载增加按优先级排队的模式，保障紧急业务优先执行P30P31模型管理与分享》模型执行与调用模型管理与分享》模型执行与调用》模型构建更便捷、更安全的模型管理与分享全新的模型管理模式—模型库桌面端GPA和WebGPA均支持通过模型库的方式进行模型管理，两端互通将构建的多个单模型汇集到相关业务模型库，便于集中管理和分享复用P32模型管理与分享—模型库授权管理设置授权码，有效保护用户模型资产P33P34模型管理与分享—模型库授权管理设置授权码，有效保护用户模型资产P35小结—GPA能力增强模型构建》模型执行与调用模型构建》模型执行与调用》模型管理与分享P36P37Spark部署模式P38单机多进程模拟分布式Sparklocal（多进程）模式，在本机启动多进程模拟分布式环境，实现算力资源高效利用，提升大数据处理分析性能推荐百万级数据在桌面端产品直接使用600600万+图斑600600万+图斑600万600万+图斑PostGISPostGIS56核256GB4h4h耗时缩短至1/8省级基础地理信息中心实测省级基础地理信息中心实测P39千万级图斑叠加分析性能提升通过优化计算时的内存管理，以及PostGIS数据引擎的分布式读写，省级以上千万图斑对千万图斑全量叠加分析性能提升的难题得到突破性进展耗时约44分钟叠加分析叠加分析集群总配置：140核280GBP40支撑多省自然资源复杂业务快速交付业务规则复杂•多次空间叠加业务规则复杂•多次空间叠加•字段计算与赋值•汇总统计•……数据体量大、特征复杂•全省千万级图斑•参数化、多部件、导洞•几何拓扑错误•……结果算不准•结果算不准•叠加后面积精度不高处理效率低•分区县计算•人工值守•短期无法出成果•……支撑多省自然资源复杂业务快速交付叠加分析结果叠加分析结果2023地类图斑耗时缩短一半 2022地类图斑城镇村等用地PostGISPostGIS2*(88核512GB)P41P42支撑多省自然资源复杂业务快速交付耕地保护责任制考核相关数据核算耕地保护责任制考核相关数据核算永农核实处置与变更分析永农核实处置与变更分析进出平衡考核进出平衡考核土地利用变