Apache Doris助力企业实现数据智能化应用

赵书贤启高科技联创&方案架构师01关于启高科技02零售业数据特征03基于ApacheDoris+启数道的数据平台分享嘉宾–上海启高信息科技有限公司赵书贤联合创始人&方案架构师超过18年企业大数据BI咨询规划与实施落地经验，为超过百家大中型企业提供大数据BI咨询实施服务，对零售、制造行业有丰富经验，对SAPBW/HANA、大数据各组件、数据开发平台均拥有丰富实践经验。启高科技，企业数据领域的持久伙伴与坚强后盾2个行业聚焦零售、制造行业2个行业聚焦零售、制造行业总部上海虹桥辐射全国1个产品启数道DataOps平台专注于大数据BI产品与实施专注于大数据BI产品与实施服务50+家客户近三年服务的企业让数据成为驱动力荣誉与资质证书100+名顾问技术团队规模服务客户服务客户启高科技陪跑企业数据价值化全过程数据价值化方法论数据价值化方法论前期采集与整理保障与安全应用和创新人才与组织前期采集与整理保障与安全应用和创新人才与组织明确数据价值化建立完善的数据采运用数据分析和挖掘技术，将数据应用于不同场加强数据保障和合规通过人才培养和组织变的目标、现状、线路图集和整理机制，确保数据的准确性、完整性和及时性。对数据进行深度挖掘和分析，发掘出潜在价值，并为业务决策提供依据。景和业务领域，开展数据驱动的业务创新和变革，推动企业发管理，确保数据安全和合法使用，避免因数据泄露等问题带来的风险革，建设具备数据思维和能力的团队，推动企业实现从传统到数字化转型启高科技服务内容启高科技服务内容指标体系数字大屏指标体系数字大屏报表权限管控数据API数据脱敏数据人才培养数据文化workshop数据治理落地数据平台建设数据资产管理数据战略咨询数据治理咨询数据应用规划门店提效电商提效成本监控……预测维修车间无纸化车间目视化质量优化……深耕行业，专注企业数据深加工，聚焦数据模型行业数据模型客户独特数据模型启高行业数据资产模型客户的客户独特数据模型启高行业数据资产模型客户的数据资产客户的数据兼顾企业特点门槛要求低、快速匹配企业业务流程纺织服装企业全方位数字化转型，消除牛鞭效应商品商品牛鞭效应（BullwhipEffect）是指在供应链中，较小的需求变化或波动逐渐放大，从而在上游供应链环节引发更大的波动和不稳定现象。DRPOMSCRMDRPOMSCRM服装企业数字化转型过程的困境场景复杂场景复杂、响应要求高数据量庞大、数据多元且最复杂O2OSRMSRMERPPLMPOS商城Wechat电商平台WMSERPPLMPOS商城Wechat电商平台WMSMES……沉淀多年的信息商品多样化渠道多元化商品多样化渠道多元化经营链路长经营链路长柔性快返柔性快返多品牌矩阵多品牌矩阵流量分配流量分配DTCDTC千变万化的商业模式充分利用大数据将供需实时连结在一起，实现全链路拉通终端需求驱动大数据技术掌握终端需求，并以需求为始点进行研产销存全链路经营活动效率提升全链路信息互联互通，实现信息的高效传递，避免长鞭效应协同作业订单跟踪，实现全环节协协同能力精准定位借助大数据AI技术，实现人货场的精准定位•需求预测、快速迭代、终端与工厂制造端联动，减少了链条中的无用环节，将高质量的流行商品快速交付给了客户；•通过算法从海量数据中挖掘时尚趋势，将数据反馈给庞大的设计和打板团队进行后续生产；数据中台管理库存、生产能力数据，直接连结工厂车间与客户；借助强大的数据和算法支持，实现快速增长供应链信息系统服装生产工厂车间品牌商信供应链信息系统服装生产工厂车间品牌商信息系统线下门店电商平台全链路数据拉通，实时反馈数字大屏固定大表移动看板数据应用（可视化应用）计算引擎计算任务计算任务新零售ERP数据管道（实时）/定时任务ODSFlinkCDCDataX2Kafka指标归因智能补货（业务场景应用）ODSApacheDoris/SelectDB数据存储存数字大屏固定大表移动看板数据应用（可视化应用）计算引擎计算任务计算任务新零售ERP数据管道（实时）/定时任务ODSFlinkCDCDataX2Kafka指标归因智能补货（业务场景应用）ODSApacheDoris/SelectDB数据存储查询引擎应用层分析权限数据服务API启数道大数据管理平台启数道大数据管理平台Doris作为企业大数据存储查询引擎的几大亮点数据写入效率数据写入效率1.支持多种方式的高效写入，尤其是StreamLoad性能非常高2.单表导入性能，在并发数为1，单次导入数据量达到10MB，导入吞吐量能达到160MB/秒，或者10W行/s。数据查询效率数据查询效率1.Doris的一些特性，如分区分桶，数据模型，物化视图，优化器等提升查询效率2.高并发数据更改能力（随机写）1.Doris提供的UniqueKey数据模型，根据key列，修改value列。数据拉取能力（增量数据流）1.Doris2.1版本之前，默认使用Merge_on_read机制2.Doris2.1版本开始，默认使用Merge_on_write机制：在更新数据时，完成所有数据合并的工作，以便提高查询性能Doris在零售行业数据应用适用场景Doris是一款分布式查询数据库，在拥有较高的查询性能的同时能够保持数据一致性、并支持Join及标准SQL，简单运维等特性，适合集数据仓库与数据查询于一体的应用场景。逻辑计算逻辑计算适用场景实时计算适用场景实时计算视图计算•Doris提供同步/异步导入，对所有导入提供原子性保证，通过Label机制保证对应数据最多被导入一次•Doris可以实现类似财务分摊等强一致性的计算逻辑，支持标准SQL操作•Doris支持视图预计算，可默认以视图方式实现逻辑•面对变化较频繁的场景，可以通过Doris视图方式实现，不用重新上数，每次修改代码后可直接查询视图结果，提升响应效率•结合视图计算，可以通过Flink将数据进入到Doris，然后在Doris视图中写加工逻辑，以达到实时场景•即：业务数据只有一次接入过程，然后就是视图计算了启高科技打造的覆盖全链路的大数据服务平台：启数道与BI可视化、数据产品集成与BI可视化、数据产品集成治理及服务发布架构开放屏蔽大数据架构复杂性实施简单加速数据中台实施部署架构开放屏蔽大数据架构复杂性实施简单加速数据中台实施部署组件化可拖拽式数据应用数据对象数据源数据对象数据源数据开发数据建模数据开发数据建模调度管理数据开发任务编排数据质量数据API数据门户调度管理数据开发任务编排数据质量指标管理指标管理数据资产数据标准数据资产数据标准数据血缘数据治理元数据数据血缘数据治理元数据训练集API定义训练集API定义数据标签API监控智能场景自服务极