美的金融智能风控系统的构建与实践-美的+曹铭斌

美的金融智能风控系统的构个人经历010203010203业务挑战业务目标核心架核心架构演进规划资金归集资金可视大额支付实时入账票据服务信贷服务资金归集资金可视大额支付实时入账票据服务信贷服务保航。事业部消费者代理商增值产品产业链资金全线上化付认证等重要基础服务给供应经销商经销商是对平台能力的极大挑战与价值体现。现01集成内外部黑名单，建设统一数01集成内外部黑名单，建设统一数据集市与数据资产，从而构02通过可视化的指标引擎与规则与决策流的可视化配置与求支付机构应建立客户风险评级管理机制与003对风险预警事件统一管理与户身份进行风险特征分析，背景发展需要、数据应用能力的矛盾；行足源0102010203核心架核心架构演进整体架构演进数据架构：如何应对与日俱增的海量数据和并发计算规划数据查询和存储更新时效慢：T+1业务线多，数据格式不一致指标查询配置存数据查询和存储更新时效慢：T+1业务线多，数据格式不一致指标查询配置存取MySQLElasticsearch引擎DB(MySQL)指标同步数仓业务事件WEB触发规则/规则流配WEB触发触发件风险管控弱问题发现慢系统高耦合Ai模型能力缺乏说明系统的对外API出入口。•元数据服务：提供数仓的META元件进行配置使用；•CEP指标引擎：包括CEP任务调P行用戶配置的指标计算任务。第一阶段读写分读写分离SQL优化分库分表数据量暴增如何应对与日俱增的海量数据和并发计算数据架构演进历程第三阶段第第三阶段大数据选型ES数仓HIVE+ES落地数据服务数据迁移数据核算 对接支付平台 引入实时计算+HBASE重构数据服务 效果初现 大数据选型ES数仓HIVE+ES落地数据服务数据迁移数据核算 平稳期平稳期存储计算存储计算••PB级数据存储>分布式缓存••适配多业务线的异构数据>SQL化动态语法解释数据架构核心设计思路入Flink引擎数据集成1.离线数据如何与Flink打通2.业务提供的MQ如何与Flink打通式2.多个指标如何灵活串联为复杂存存算分离下的指标存储结构•rowkey：hash(用户唯一标识+指标ID)存存储结构简单HBaseHBase在海量数据，优势明显这这是一个写大于查的场景HBaseHBase适用场景及当期发展e容易动态扩容。三方数据可以是：则配置抽象化。eRete算法的规则被激活。文本特征提取算法提取文本在词汇、主题等层面的特征效果往往一般。基于基于NLP的文本相似度计算 (1)提取省市区先验知识特征辅助地址文本相似度计算； g“微调”训练;主要基于Sentence-BERT和CoSent 基于HNSW库的KNN搜索改造基于ES向量化检索增强D这张图搜索某个顶点的K个最近邻基于ES向量化检索增强•向量存储的索引的不是「词元-文索引构建的时候会尝试通过聚类而非倒排索引的方式构建。•向量搜索的数据索引不同于普通搜索machinelearning、deeplearning技存储到搜索引擎「这里不是特指计算模块对向量进行聚类保存。基于基于Flink-rocksDB的统计数据据就触发计算)checkpiont」模分片计算：Lambda架构「批处理层+实时计算层+服务层」当天的指标采用实时计算，跨天的指标拆分两部分计算：昨天及之前的指标+当天指标，两个计算数据由「指标服务」合并计算最近3天的同一账户累计出金金额方案：制计算的窗口偏移量。化前方案一致A，周期]时间0102010203核心架核心架构演进规划决策可视化整关联风险挖掘风统一名单服务，级风控请求数据交互风险管理闭环决策引擎核心大数据中心标签加工特