全自动动态模型更新系统在支付风控领域的实践

1、技术创新，变革未来动态模型更新系统在风险管理领域的实践目录PayPal 的风险管理概述PayPal 的模型构建方案和特点PayPal 的新一代动态模型更新系统PayPal的支付业务2.67亿活跃用户2100万商户账户覆盖全球200多个国家100多种货币付款56种货币提现25种货币余额20多种语言服务截止2018年2100万商户账户2.67亿活跃用户PayPal的全方位支付风险管理Risk Management团伙欺诈不发货假货次货卖家信用账户被盗银行卡盗刷余额不足虚假投诉PayPal基于模型的风险管理方案决策数据特征模型超过1.5PB的内 外部数据日增10亿条以上新记录10年以上的历 史信息2

2、万多个特征构 建在超过200个 维度上每年部署6000 个以上新特征包含在线，近实时和离线特 征等100个以上基于 各类算法的在 线模型每年构建50个 以上的新模型综合利用神经网络，深度学 习等的各类模 型组合4000条以上构 建在80多个检 查点的规则实时评估，自 动告警的监控系统PayPal风险模型的构建要素案例研究数据分析机器学习软件工程PayPal风险模型的标准构建流程模型开发Selection, Training, Evaluation数据准备Sampling, Simulation, Cleaning模型部署Implementation,Auditing模型监控Monitoring

3、, Optimization风险模型的构建流程PayPal基于风险模型的策略构建流程模型选择Model Evaluation, Handshaking规则调整Portfolio Segmentation, Ramp-up, Auditing行为监控Monitoring, Alerting策略分析Trend Analysis, Strategy Evaluation模型策略的构建流程传统模型更新一个真实的案例C1C2OCT-14DEC-14FEB-15APR-15JUN-15AUG-15OCT-15DEC-15FEB-16APR-16JUN-16AUG-16OCT-16DEC-16Overall

4、 TPV of P1 & P2P2P1传统模型更新一个真实的案例2015/10/012015/12/012016/02/012016/04/012016/06/012016/08/012016/10/012016/12/01Model Catch Rate TrendC1C2价值就在这 里动态模型更新防止模型性能衰减时间C1模型C2模型性能C1*动态更新模型PayPal的新一代动态模型更新系统设计目标更新快效果好全自动始终利用最晚最新的数据构建模 型，动态适应新产品、新模式、 新特征。有机结合短期数据的适应型模型 和长期数据的稳健型模型，以达 成更好的性能和持久的效果。高效率、全自动的数据准备

5、，模 型开发，部署和策略优化。PayPal的新一代动态模型更新系统设计方案模拟历史数据策略行为数据模型 选择规则 调整决策监控策略 分析策略 更新效果反馈和回退机制模型 监控模型更新数据 准备模型 部署模型 开发PayPal的新一代动态模型更新系统数据准备线上数据 记录监控记录定位问题数据设定规则清洗数据线下批量 数据模型训练 数据集PayPal的新一代动态模型更新系统模型训练模型训练 数据集设定训练参数模型训练 结果训练集评估集训练结果 评估最优参数搜索/shifuml/shifuPayPal的新一代动态模型更新系统自动模型部署模型计算引擎模型算法描述线上模型池在线热部署模型架构 描述算法

6、编译器结果校验模型 监控PayPal的新一代动态模型更新系统模型策略方案I模型选择 策略策略部署基准模型线上模型池动态模型v1动态模型v2决策评估PayPal的新一代动态模型更新系统模型策略方案II模型选择 策略策略部署线上模型池决策评估基准模型动态模型v1 动态模型组合v1基准模型动态模型v2动态模型组合v2PayPal的新一代动态模型更新系统模型策略方案III模型选择 策略策略部署线上模型池决策评估组合模型v2组合模型v1基准模型 模板动态模型模板动态组合模型PayPal的新一代动态模型更新系统系统架构动态模型更新系统模型训练 作业流模型部署 作业流数据接入元数据 特征数据 离线数据模型评

7、估 作业流模型池策略优化 作业流策略更新作业流决策和监控系统Shifu* ML框架PayPal的新一代动态模型更新系统作业流8 天Normal RefreshModel building2 weeks 1 monthModel deployment1 week 2 weeksModel audit1 weekCutoff strategy building2 weekStrategy deployment2 weeks 1 month传统模型动态模型模型训练1 月3 天模型部署12 周1 天模型评估12 周1 天策略优化2 周1 天策略更新2 周1 月2 天23月PayPal的新一代动态模型更新系统效果评估动态模型传统模型MAYJUN