eBay智能营销中的AI一体化大数据平台实践 2024

eBay智能营销中的Al一体化大数据平台实践刘思中热门专题行业专家把关内容筹备，助你快速掌握最新技术发展趋势200个实战案例了解大厂前沿实战案例，为200个真问题找到最优解40场直播答疑40位技术大咖，每周分享最新持续学习视频结合配套PPT●eBay的智能营销●eBay智能营销的特征平台●eBay智能营销的机器学习训练平台·eBay智能营销的模型A/B测试平台●消息营销广告联盟FacebookBingGoogleEmail短信APP付费渠道消息渠道营销漏斗全覆盖●营销转换广告推送管理平台(PMP)消息推送管理平台广告推送管理平台(PMP)卖家聚类商品广告聚类买家聚类相关性模型推送策略卖家聚类商品广告聚类算法模型基础架构基础架构eBay大数据生态与算法应用数据丰富且体量巨大●每天消费数据>1PB·计算资源丰富vs.性价比●最后一公里的解决方案 广广告质量卖家聚类算法模型算法团队智能营销算法平台离线计算(Hadoop/Spark)实时计算(BES/Pulsar/Kafka/Flink)离线推理(SparksMLib)CPU集群(K8s/Rheos)GPU训练集群(Krylov)Pipeline开发工具在线推理(Darwin)商品广告聚类数据开发工具相关性模型模型评估广告投标模型推理模型训练推送策略数据挖掘探索模型数据挖掘探索模型训练部署模型上线测试评估·数据质量·特征打造·开发部署一致性·指标质量●eBay的智能营销●eBay智能营销的特征平台●eBay智能营销的机器学习训练平台·eBay智能营销的模型A/B测试平台eBay智能营销特征平台(FeatureLake)·特征计算的挑战●开发周期长，占用模型开发生命周期60%以上的时间●特征开发与生产上线不一致●离线特征与在线特征不一致●复用率低、难于搜索已有特征·特征平台的机会 ·有限数据源(<100)●有限数据聚合转换(80%重复).特征领域+键(key)·.特征领域+键(key)·历史回溯时间特征定义算法团队定制化特征加载特征动态定义特征建造前台特征元数据特征访问特征元数据特征访问r场景1数据源一致聚合时间粒度相同(离线数据无聚合) ·回溯历史较短(<14场景1数据源一致聚合时间粒度相同(离线数据无聚合) ·回溯历史较短(<14d)离线数据在线特征处理离线数据特征获取模型推理实时数据实时数据静态特征处理 场景2算法团队离线特征处理算法团队定制化特征加载.聚合时间粒度不同(特征<定制化特征加载特征动态定义特征动态定义特征建造前台.回溯历史<14dvs.>14d特征元数据特征访问.特征元数据特征访问.数据源不一致离线数据在线特征处理离线数据特征获取模型推理实时数据实时数据静态特征处理·数据计算架构Lamdavs.Kappa ·不可能三角：数据实时性vs.窗口历史回溯长度vs.窗口时间精度·特征工程的其他重要功能●eBay的智能营销●eBay智能营销的特征平台●eBay智能营销的机器学习训练平台·eBay智能营销的模型A/B测试平台GitRepository算法团队心中的理想环境GitRepositoryRUNUPLOAD●支持多异构环境(Python/Spark,RUNUPLOADMODULEDataScientistCOMPOSMONSTEP2MODULEDataScientistCOMPOSMONSTEP2DataScientist●无缝地完成从训练到上线●模型管理+代码质量管理+版本管理模型协同开发模型特征模型模块开发模型CI/CD模型模块编排模型性能洞察系统集成调用●基于Github的模型源代码+模型服务版本管理模型服务PyTorchPyTorch●模型模块化+协作开发Xpark●统一集成部署Xpark离线数据库spok离线数据库spok工具集●多租户空间隔离工具集高性能集群定制集群默认集群高性能集群定制集群在线数据库私有集群存储集群存储集群模型编排模型服务模型服务PyTorchPyTorchGitHub运行报警开发工具(SparkSubmit运行报警Xpark等)Xparkspak离线数据库Xparkspak离线数据库工具集默认集群高性能集群定制集群默认集群高性能集群定制集群在线数据库私有集群存储集群存储集群计算集群多样性模型特征模型模块开发系统集成调用模型模块编排模型CI模型特征模型模块开发系统集成调用模型模块编排模型CI/CD●离线统计模型一Spark/Hadoop/Python●神经网络模型-GPU集群●特殊需求-独享集群·独占资源模型服务PyTorchGitHubPyTorch模型发布模型分析模型发布运行报警运行报警Xpark离线数据库工具集默认集群高性能集群离线数据库工具集默认集群高性能集群定制集群在线数据库私有集群计算集群存储集群模型运行监测●运行状况、时长、失败率模型服务PyTorch模型服务PyTorch模型发布模型发布Airflow运行报警运行报警XparkspakXparkspak离线数据库工具集●容器化部署离线数据库工具集高性能集群定制集群默认集群高性能集群定制集群在线数据库私有集群存储集群存储集群●eBay的智能营销●eBay智能营销的特征平台●eBay智能营销的机器学习训练平台测试平台 ●真实数据的模拟与收集 ●快速集成●测试指标的自动化计算eBay智能营销模型A/B外部营销系统 外部营销系统●数据源统一客户信息管理客户信息管理实验结果实验分析实验管理实验执行实验结果实验分析实验创建生命周期管理变量组分配变量组配置概要报告实验方法配置实验对象管理分组采样实验监控置性度分析维度分析相关性与因果分析商业智能可视化指标管理发布回滚实验引擎实验策略引擎采样算法统计学分析指标计算引擎实验策略引擎采样算法实验存储实验存储