金融反欺诈场景下的Spark实践

1、金融反欺诈场景下的Spark实践金融反欺诈场景下的Spark实践融科技企业临的欺诈险在线反欺诈中的Spark算法实践基于Spark架构的实时反欺诈平台123金融与科技的结晶融的本质：资源的最合理化应互联技术：交易的边界成本趋向“零”融科技（FinTech）：通过技术段推动融创新，形成对融市场、机 构及融服务产重影响的业务模式、技术应以及流程和产品量速类质VolumeVelocityVarietyVeracity每天生,最高每分钟网络 设备 行为 完整度和质量T级数据50+申请渠道 PII 社交 三方 等类别经常残差不齐金融科技-个人对个人的信用贷款宜人贷官方网站宜人贷借款APP宜人理财APP宜

2、人贷：极速信任-自动化信用评估欺诈风险是互联网金融 线上信贷工厂模式最大的挑战客户获取信用评估交易促成客户服务全流程线上借款与理财咨询服务场景不同 人群不同数据获取方式不同数据维度不同 数据深度不同信用评估机制不同线下线上金融科技企业面临的欺诈风险群团体化地区集中化式多样化具智能化险遇到的问题业界通常解决法业界的法为什么效信险还款能力收集收入水平、消费 水平、负债情况等对 用户进行风险评分无权威数据、数据收集 难度大、传统评分卡有 效特征挖掘难度大欺诈险伪冒申请和欺诈交易人工审查、信用黑名 单、基于规则人工效率低、无权威黑 名单、无法自动发现异 常、欺诈手段更新快金融反欺诈场景下的Spark实

3、践融科技企业临的欺诈险在线反欺诈中的Spark算法实践基于Spark架构的实时反欺诈平台123反欺诈也是一种机器学习过程Y标： Benchmark选取好、坏户定义训练、测试和跨时间验证样本X变量：特征程特征程图谱特征挖掘技术知识图谱技术图挖掘技术信消费 通讯社交为险控制数据字塔构建金融知识图谱：FinGraph10种实体-电话、份证、银卡、信卡、IP、 设备号、地理位置等约2.6亿节点约10亿边关系应用场景层面智能搜索、反欺诈、贷后管理、营销分析、运营支撑 等数据整合层面信用数据、金融消费数据、行为数据、社交数据、 网络安全、第三方数据 等图数据库neo4j系统支持层面特征工程、模型开发、异常

4、监控、推荐系统 等Spark+Hadoop+GraphX+Mllib+Streaming+TensorFlowFinGraph 平台系统反欺诈场景下Spark三板斧Spark StreamingSpark GraphXSpark Mllib流式数据处理业务：SDK实时数据处理算法：PageRank、LPA业务：图挖掘特征程、挖掘欺诈组团算法：LR、RF、Kmeans、LDA业务：特征程、简单机器学习训练3.3倍反欺诈分析案例：借款户通信社交络 与欺诈险-结论：PageRank分段户的坏账率是 低分段户的3.3倍反欺诈建模中的数据科学金融反欺诈场景下的Spark实践融科技企业临的欺诈险在线反欺诈

5、中的Spark算法实践基于Spark架构的实时反欺诈平台123对不同事件得出实时欺诈评分PHONEAME: MikeADRESS: Chaoyang, Beijing IP: 123.89.21.10IMEI： 447769804451095 Mac: 00-80-C2-00-00-1AOS：android 4.3 Model: Oppo R7.73446185设备激活注册账户查看新手引导点击贷款点击提交 初审退出申请数据采集机器学习57欺诈评分92SENT EVENTSGET RISK SCORE通过SDK采集欺诈事件设备数据为数据位置数据机品牌机型号操作系统本机号

6、码设备IDApp安装列表账号登录进按钮点击信息输告浏览操作时间GPSIP反欺诈平台架构反 欺 诈具 平 台SDK数据流提报终审户评分模型/规则引擎预警户反欺诈组调查员进件户数据(为数据、设备数据、资格数据等)数据层模型层具层户层Neo4j/HDFS/Hbase/Mysql/Redis消费数据通信数据Kafka存储层.事件、团伙引擎(知识图谱)Spark StreamingImpalaMap Reduce数据处理层反欺诈平台工作流程反欺诈 调查组SDK进件设备算法模型户申请借款消费特征通讯特征评分等级FICO评分校准预警户1天）结合图谱挖掘，利于快速发现欺诈团伙根据调查认定的欺诈户，寻 找联系紧密的户团体认定 欺诈认定 欺诈用一手行为数据和图谱信息创造商业价值SDK数据 采集知识图谱反欺诈 平台挑战：初步历史为数据分析体现了 显著的欺诈区分能。怎样实 时捕捉，上传，处理，和分析为数据？解决案：代码 埋点SDK动实时/准实时上传户 为Flume+Kafka实时处理分析挑战：反欺诈调研时效性差，需要实 时动提报疑似欺诈案例，及 时发现欺诈事件/团伙，来主动 拦截？解决案：Go做为效开发和运基础Python连接动提报后台SKLearn、GBDT、 事件识别Cypher图谱关系挖掘挑战：