2023云栖大会：存算显一体化全空间数据管理

谢炯APSARA云栖大会网格化、孪生化、移动化、智能化数据体量快速膨胀数据体量快速膨胀数据就绪，计算无法就绪提价值APSARA云栖大会成本、效率、易用所存所算非所得所存所算非所得便管理协同产品瑶池全空间数据管理方案数字孪生解决方案时空大数据解决方案空天大数据解决方案…数据类型行业领域交通物流共享出行社交传媒智慧城市资源管理公共安全工程建设航空航天协同产品瑶池全空间数据管理方案数字孪生解决方案时空大数据解决方案空天大数据解决方案…数据类型行业领域交通物流共享出行社交传媒智慧城市资源管理公共安全工程建设航空航天结构化数据DataQ协同计算平台半结构化数据csv/geojson/geoparquet非结构化数据影像/三维/点云Atlas时空可视化平台盘古存储洛神网络安全防护飞天平台APSARA云栖大会 几何引擎 实景引擎 栅格引擎 地理网格引擎 轨迹引擎 快显引擎 表面网格引擎 点云引擎 体网格引擎 路径引擎云原生关系型数据库云数据库云原生数据仓库AnalyticDB-PG云原生多模数据库云原生云原生DBaaS管控平台神龙计算融合空天地、室内外、地上下多模多态数据的混合存储、查询与分析计算服务Geometry&GeographyTrajectorySfMeshGeometry&GeographyTrajectorySfMeshVoMeshSceneGeomGrid/H3Grid支持GeoSOT、H3网格数据的存储与计算APSARA云栖大会空天地、地上下、室内外、动静态SuperViz 公共云混合云 公共云混合云APSARA云栖大会Ganos支持多种款阿里云瑶池数据库产品输出GanosGanos ADB-PGPolarDB-PGLindormPolarDB-PGLindorm•标准版、企业版•支持宽表引擎、流引擎（FLink）•PG11-PG15五种兼容性形态••标准版、经济版•基础版、高可用•含Ganos矢量、栅格、轨迹、网格、快显等引擎•含Ganos矢量、栅格、轨迹、网格等引擎能力飞天企业版Table/Index/PartitionedTableTable/Index/PartitionedTable SharedStorageSharedStorage APSARA云栖大会冷热分层架构SharedStorage冷热分层模式SharedStorageSharedStorage•通用性好：数据由冷到热分层存储，支持空间、非空间所有数据类型•成本极低：支持压缩，平均压缩率60%，部分可达20%，成本降为1/10•性能优良：物化缓存层加速冷存数据访问，性能衰减可控制在20%-80%•易用性好：冷存后支持增删改查SQL完全透明•灵活度高：灵活的冷热分层存储模式APSARA云栖大会3D科学计算SELECTST_ComputeViewShed(sc,'{"x":0,"y":0,"z":0,"h":0,"azimuth":90,"pitch":-35,"horizontalFov":90,"verticalFov":60,"distance":600,"depthMapSize":128}')FROMt;支持可视域分析、日照分析、通视分析等基础3D分析SQL方式调用，简单易用，无需依赖任何实体级精确计算满足对大规模、高精度三维场景的精确分析需求并行计算加速SELECTST_ShadowRatio(sc,'MULTIPOINT(00-2,128,-7-413,'{"location":"srid=4326;POINT(12030)","start_time":"2021-07-1208:00:00","end_time":"2021-07-1218:00:00)'::geometry","time_interval":"01:00:00"}')FROMt;APSARA云栖大会二三维一体化全球网格剖分二三维一体化支持Ganos内部全空间模型的打码计算退化网格支持提供退化网格编码和计算能力在网格层级较高时最大可降低存储80%GeoSOT三维网格剖分、网格热力三维退化网格示意APSARA云栖大会实时网格热力聚合纽约2亿出租车位置数据（Uber）生成任意时刻任意区域纽约地区出租车网格热力图原生网格数据类型lonfloat,latfloat,timetimestampwithouttimezone,网格热力聚合+任意条件过滤SELECTST_AsText(h3_13)AScode,couGROUPBYh3_13WHEREtime>'2010-10-1100:00:00'ANDtime<'2010-10-17极致性能筛选5000万点聚合耗时控制在3秒内APSARA云栖大会实时轨迹热力聚合轨迹热力“实时”聚合从传统需要预制生产，发展为由聚合函数动态生成支持动态条件过滤极致性能APSARA云栖大会2D/3D矢量快显二维矢量快显动态MVT瓦片：比原生PostGIS方案可视化效率提升1倍以上三维矢量快显APSARA云栖大会全空间3D模型快显SELECTST_ImportIFC(‘ifc_demo’::cstring,‘OSS://xxx/architecture.ifc'::cstring);SELECTST_As3DTiles(element,'ifc_demo_tiles’)FROMifc_demo_ifc_elemWHEREfamily='IfcProject‘;支持导入IFC、OSGB、GLTF/GLB等多种专业格库内3D数据快速可视化兼容3DTiles、GLTF/GLB等标准格式规范透明访问支持库内、Gateway、多态分层存储（onOSS）三种模式简化前简化后简化前简化后APSARA云栖大会全空间3D模型快显SELECTST_3DSimplify(mesh，config，iter支持不规则体网格类型CREATETABLEt_vomesh(高效模型简化算法简化后，模型拓扑结构保持不变一次迭代，存储空间减少高达80%，平均体积丰富模型处理能力模型拓扑、模型加工、模型分析等新增：模型合并、模型属性插值、几何属性查询Lindorm流引擎轨迹点地理围栏判断4C16G配置下每秒可处理8000个Lindorm宽表引擎包含空间填充曲线索引（Z-Order）以及空间网格索引，点查面性能在10ms级别支持轨迹点&轨迹线混合存储模型，支持时空复杂查询与Lindorm流引擎轨迹点地理围栏判断4C16G配置下每秒可处理8000个Lindorm宽表引擎包含空间填充曲线索引（Z-Order）以及空间网格索引，点查面性能在10ms级别支持轨迹点&轨迹线混合存储模型，支持时空复杂查询与APSARA云栖大会轨迹点接入与构建实时聚合地理围栏历史轨迹数据存储轨迹线存储重采样相似度时空热力图GeomGridGeomGrid……APSARA云栖大会协同计算协同计算空间智能空间数据计算空间数据计算可视化算子处理流程编排Ganos+多GIS引擎混编二三维计算与分析时空处理血缘分析空间数据接入空间数据接入空间数据服务空间数据服务Ganos时空数据发布成标准GIS服务大规模倾斜摄影服务空间查询服务动态发布多表视图空间数据管理空间数据管理遥感影像管理（Ganos时空拼图技术）全类型空间数据管理空间数据目录时空数据检索6协同计算平台时空数据汇聚、治理、分析、共享全链路SQL2SQL2Map轻量分析可视化系统APSARA云栖大会Atlas数据接入数据接入数据库配置数据源检查数据可视化可视化展示数据统计数据探查地图探查数据表探查元数据探查工具集查看工具分析工具分享工具数据可视化系统Atlas空间服务转换空间服务识别解决方案多态分层存储解决方案多态分层存储•历史数据、低频更新数据采用多态分层存储大幅降本明，减少业务侧代码•利用GanosSFMesh3D类型实现车道线、道路、地物等高精对象真3D存储，提升查询性能3X以上痛点PB级数据体量，存储成本高昂外挂OSS性能低业务侧实现外挂OSS存储方案，查询性能低下，更新不透明2.5D模拟3D，查询分析繁琐APSARA云栖大会真三维高精地图降本管理效果效果真三维高精地图生产管理系统解决方案解决方案分析一体化能力轨迹线实时聚合热力渲染痛点海量轨迹存储空间大，成本高同时具备航线事务处理与海量航线分析推荐业务任意时段船舶热力实时分析APSARA云栖大会亿级船舶轨迹数据管理挖掘效果效果船视宝-船舶管理与调度系统解决方案VoMesh解决方案VoMesh类型采用Ganos独有的不规则体网格类型精确刻画断层等结构计算下推、快显高效简化算法支持LoD，一次迭代存储空间可减少80%+，平均误差控制在5%以内SQL级操作，便于使用与集成痛点非匀质复杂结构大规模地下复杂孪生结构需要精确（断层、褶皱等）描述数据处理效率低缺乏高效简化算法支持LoD拓扑分析处理效率低依赖专业地质平台软件极强专业性APSARA云栖大会升级为透明地球（2D到3D）效果效果DDE透明地球管理平台APSARA云栖大会全球级地学栅矢分析痛点痛点数据管理难度大全球18907景DEM栅格影像与数十Tb矢量数据统一管理分析计算效率低往往需要数十分钟到数小时采用专业的遥感分析软件与GIS软件，对接时需要大量基于sdk的二次开发解决方案解决方案•Ganosgeometry与Ganosraster联合分析