FFA2024分论坛-行业解决方案合辑

2•…），THANKYOUChinaUnicomNetworkResourcesDataLakehouseApplicationPractice效果及规划效果及规划现状及挑战StatusandChallenges宽带业务开通—物理网络图无线/传输—数字网络图NewStructureofDataLakehouse•全字段比对100%一致•分钟级延迟≤10•全字段比对100%一致•分钟级延迟•全增量SchemaEvolution-CdcSchemaCommonUtils•全量写•全增量SchemaEvolution-CdcSchemaCommonUtils•多个增量写同一个表字段兼容支持SchemaEvolution+Schema•多个增量写同一个表字段兼容支持THANKYOU谢谢观看ConstructionofReal-TimeVariablePoolinWetechBasedonFlinkA正常行为正常行为异常行为异常行为·组件耦合·SLA·······FlinkExactlyOnce语义查询查询变量池时变量池流式计算流式计算原子层查询日志查询日志数据源均值、方差查询请求查询查询请求查询THANKYOU数据治理注：运维是指电站的运行维护风力发电机组和光伏面板大多位于偏远地区，巡检作覆盖周期长。如何减少巡检频次，快速发现问题、定场站的高效率监测运维，可以提高场站安全性莫吕掘滚莫吕掘滚禾诡蜂狙悟蛭撑霭莹□□□□悟蛭撑霭莹□□□□哆禾诡槐斥红红似窦腩撈甄螺拚窦腩撈禾诡刁久尘幌窦腩馏窦腩馏窒螺锨闭螺拚《鲜5$$JFHUJFHU螺拚窦腩撈讲赣琶陈Kafka禾诡溺陪蹭禾诡困久蹭禾诡困久S501(#30)S502(#31)S504(#33)…… 数件件件型型valuevaluevalue率valuevalue力valueQYvaluevalue型法测value移XYZvalue…根据配置可以将遥测转换为遥信，采用的策略是配置根据数据包校验逻辑判断是否接收到了错误的数据，在数据采集和传输过程中因为通讯原因可能会造成数指标计算上指标计算上统计报表… 壁壁壁枯枯 数据采集数据采集 联合⽆⼈机缺陷联合⽆⼈机缺陷集线等效⼩时集线等效⼩时箱变等效⼩时箱变等效⼩时组串等效⼩时组串等效⼩时库THANKYOU基于Flink的中国电信星海时空数据多引擎实时改造中国电信数据发展中心企业级大数据时空智能系统2024年11月星海时空智能系统的现状通过构建时空系统的运营体系，结合全量客户信息，形成跨地域、跨部门的客户位置、等信息，封装各类标准化时空服务能力，强化生态合作，促进了时空系统的n时空资产：2023年建设基站画像、用户位置标签体画像、智能区域（区域画像）2024年建设行业指标库、时空算法库、基于MR数据集指纹库n2024年8月，中国电信“星海大数据秀科技成果奖（左图）。这是对电信时空智能系统建时空系统能力分层体系价值链N1算3级的定位价值链N1算3业交通旅游金融交通旅游金融++运态表表表表表表表表表表表表层4G信令数据据数据底座网元底座数据底座网元底座实时计算发展历程集能实时计算业务痛点业务场景分散不聚焦、相同场景不同客户的业务口径不一致。需要时空系统回答如何将数据资产规模化建设、业务场景封装、客户三者协同的问题。简单说来，我们既想要关注数据的完备性，具有处理海量的数据能力，又想要封装行业的通用能力，还想要快速多场景LBS支撑多场景LBS支撑不支持策略/规则/质量管控不支持策略/规则/质量管控多引擎实时架构思路交通旅游交通旅游金融零售教育制造应急公共服务商务会展实时流介据据I多引擎改造2实时架构演进 异常告警计算出行分析计算区域洞察计算人群驻留计算人单异常告警计算出行分析计算区域洞察计算人群驻留计算人单第一阶段：多链路烟囱式开发第二阶段：多引擎加工（实时数仓）这是一个多点运维到集中自动化运营的过程，监控运维平台的构建需要满足自动化的要求。Flink集群Backpressure监控、CheckPoint的生效的监控、长尾任务的解析，数据消费lag值监控，生产加工时长的监控等都实现了自动化实时多引擎web页面：手动配置数据流规则客户：调用API网关进行配置④④贴源数据的轨迹点去重原始用户轨迹点中存在位置点重合及聚集现象（职住地尤为明显），导致用户轨迹过度冗余，为更清晰呈现用户轨迹且减少原始用户轨迹点中存在位置点重合及聚集现象（职住地尤为明显），导致用户轨迹过度冗余，为更清晰呈现用户轨迹且减少计算和存储资源浪费，对用户轨迹数据进行分组、清洗，同时使用Flink滚动窗口函数进行位置点剔重度④③②引擎规则生效的优化传统方式定时扫描外部数据加载到传统方式定时扫描外部数据加载到flink内部进行关联，并非基于事件驱动，存在实时关联效率低现象；利用FlinkCDC全增量一体的方式捕获规则变动，以事件驱动的方式，与信令主数据流进行join，达到实时驱动触发基于配置规则的计算，降低计算的时延和提高计算准确性周边位置检索优化遍历求解 7位GeoHash遍历求解 7位GeoHashn检索方法：利用公共前缀n空间索引优化：计算时间复杂度最低为遍历求解的网格化并base32编码，相邻网格其编号前缀相同。如此，将二维空间数据压缩为一维。结合B+树索引，可适应于不nn检索方法：利用公共前缀n空间索引优化：计算时间复杂度最低为遍历求解的网格化并base32编码，相邻网格其编号前缀相同。如此，将二维空间数据压缩为一维。结合B+树索引，可适应于不n时空伴随分析n附近网约车等快速检索n周边POI兴趣点推荐GeohashGeohash示意图几何围栏时空映射优化基站匹配关联⽮量空间计算基站匹配关联⽮量空间计算预先使用空间算法找到面与,转换点面预先使用空间算法找到面与,转换点面包含成为点与集合的join关在实际处理时，直接通过数据流中基站编号映射关来判定用户是否在区域效率提升：基站匹配方式优化了几何围栏关系计算，在点面包含计算场景下，约为传统矢量计算时间复杂度的1/k倍（k为面的折基站的映射关系中下，通用点面包含、面面相交常使用ST_Intersects、效率提升：基站匹配方式优化了几何围栏关系计算，在点面包含计算场景下，约为传统矢量计算时间复杂度的1/k倍（k为面的折基站的映射关系中基站基站匹配典型应用漫入漫出类应用：运动状态识别引擎①①②②③营销类应用：个体行为识别引擎②筛选目标地市的数据④关联目标用户群，二次确认⑤剔除已营销用户⑥剔除免打扰用户⑦计算驻留时长⑧驻留时长达到阈值，判定为个体行为识别用户外部数据引入类应用：个体行为识别引擎智慧文旅类应用：群智感知识别引擎 ），像想象空间：封装更多引擎为置置务为置置务勤码务计勤分析未来展望汇总层整合层明细层应用层汇总层整合层明细层应用层流流流令流流流令湖②满足规划指引安全出湖e汇总层应用层整合层明细层安全出湖e汇总层应用层整合层明细层明细层汇总层应用层整合层批批批⑥计划2025年构建秒级延迟、分明细层汇总层应用层整合层批批批湖n长期来看，根据3GPP组织（第三代合作伙伴计划）在2024年6月冻结的Release18的最新通信协议，未来通讯大网将融合低轨卫星互联网、5G6G基站、室分室内等定位能力，增加包含大模型、深度学习构建的通导感一体、空天地全域、软硬结合的“三位一体”的业务场景（比如低空经济），电信时空智能系统会有进一步加快发展。服务能力调用手持终端、车载终端、飞行器终端、舰船终端、THANKYOU谢谢观看面向未来的一体化实时湖仓架构设计建设特点•数据架构不分层，以任务为单位支撑应用场景架构痛点•全部预处理方式要求每个开发同学E2E加工，不能适应建设特点支持OLAPQuery•数据分层：在DWD层按照主题将数据源整合，构建可复用的架构痛点•数据存储冗余：不同业务SLA不同，KV引擎和OLAP根建设特点•统一存储：公共明细层、公共汇总层，应用明细层、应用汇总关键收益在存储层需要统一，既能存储大量历史数在存储层需要统一，既能存储大量历史数4需要确保数据的时效性、一致性和可查询同一个计算引擎需要能够同时支持批、实?Hologres2Hologres2WHEREds=to_char(CU3__4 统一元数据极致性能增量消费45405050Trino422HologresV3.0.5DeletionVectorShard/PartitionPruningLocaljoinClusteringRuntimeFilter低中高全量刷新(全量刷新(实时数据实时数据•可将DynamicTable的刷新任务以Serverless方式执•可将DynamicTable的刷新任务以Serverless方式执行•不占用实例资源，任务间相互隔离。更加稳定、更高效实时数仓HologresCREATEDYNAMICTABLEcommerce_tao merce_taobar_adv_benavior_logbehavior_log淘宝直播（全仓案例）淘天营销活动分析（湖仓案例）淘宝直播（全仓案例）淘天营销活动分析（湖仓案例）80%据据数据归档数据归档Y⃞openlake__win…Y⃞openY⃞openlake-win…》昌github__events高强中高强中中中强 阿里云上客户案例 阿里云上客户案例阿里巴巴集团案例轻松筹飞书深诺THANKYOU•翟佳(wechat_id:zhai--jia)：背景介绍架构和实现总结和未来规划MULTI-TENANTMULTI-TENANTMULTI-TENANTMULTI-TENANT背景介绍架构和实现总结和未来规划MULTI-TENANTMULTI-TENANT MULTI-TENANT MULTI-TENANT MULTI-TENANT MULTI-TENANT MULTI-TENANT 背景介绍架构和实现总结和未来规划 MULTI-TENANT MULTI-TENANT），THANKYOU•/•/•dev@•users@•/apache/pulsar•/apache/bookkeeper•/AscentStreamn1PaimonxSpark的发展历程n7PaimonxSpark极致查询优化nA未来展望与规划完整流批能力新特性探索完整流批能力新特性探索极致读写优化面临的挑战应对bL',2,4)数据更新与写入元数据加载优化 …………3-5倍查询性能提升/confluence/display/PAIMON/PIP-16%3A+Introduce+deletion+SparkSQL执行链路Spark查询优化https://mp.weixin.qq.cSpark查询优化43210210.50JDK17,Scala2.13底层API接口改变引入Spark3/4common层通过profile切换Spark3/4半结构化的数据需求日益增加Json灵活，但是解析慢结构化数据解析快，但是不灵活Variant灵活，高效，开放Shredding列化后，查询性能数量级提升测试版本已完成Variant和ShreddinTHANKYOU•愿景：成为世界上最好且最受尊重的基础软件公司•公司使命：为开发者和企业赋能，以速度、敏捷、增长之道创新。）：LEXNLEXN乐信TCLLenovoTCLLenovo同程旅行同程旅行≈超大号超大号MySQL天然高可用多库合一高扩展高吞吐）：）：式式 1selectt2.v_type,sum(t1.k+t2.k)frselectt2.v_type,sum(t1.k+t2.k)fr Region1*、Region2*Region1、Region2Region1、Region2*Region1、Region2Region1、Region2Region3Region3Region3*Region3Region4Region5Region6*Region4*Region5Region6RegionRegion4Region5Region6*Region4*Region5Region6Region4Region5*Region6方案对比低低低中高高高低低高低低低高低中高低低方案对比Clickhouse技术架构数据分布策略基于random或hash分片分布式事务弹性扩缩容数据规模并发吞吐能力数据重平衡业务侵入性高并发实时写入和更新高并发单表查询高并发关联查询批量处理大数据分析性能与大数据生态的用户行为用户行为业务数据业务数据系统日志系统日志爬虫数据爬虫数据中中高●工具自身高可用模式运行保护●●●●毫秒级捕获存储层变化并异步复制到下游集群●●支持事务和下游事务的原子性●用户行为业务数据系统日志爬虫数据统一视图数据服务用户行为业务数据系统日志爬虫数据统一视图数据服务!TiDB数据处理：数据调度跑批加工+HTAP能力所有层数据都可以提供数据服务/分析TiD