流处理技术在事中反欺诈领域的应用及实践

1、流处理技术在事中反欺诈领域的应用及实践1议程反欺诈技术现状事中反欺诈的三大指标及传统流程OLAP领域的发展现状流处理技术应用在反欺诈领域的主要难点 流立方平台如何解决上述问题流立方平台在反欺诈及其他众多领域的案例分享2反欺诈技术的演进路线事后批量分析以异步的监 测或追踪 为主实时处 理以事中实时的管控为主提升客户体验以事后的监察或跟踪为主，着重于模型的 发掘与确认准实时 处理传统的反欺诈技术体系仍然以数据库作为主要技术手段3事中反欺诈的三大技术指标事中反欺诈的三大指标 传统事中反欺诈的主要流程超低延时(99.9%10000)非线性客户在同步等待交易拦截数据查询原始流水数据库查询实时进行指标运算

2、行为分析所有规则比对规则匹配综合决定执行策略风险决策4数据分析处理发展（OLAP）DatabaseACIDSQLData WarehouseAcquisitionStorageAccessHadoopMapReduceHDFSDistributedStreamingProcessingIncrementalDynamicDistributed小数据量低延时(几十 毫米)大数据量超高延时(几 天，几十小 时)大数据量高延时(几小 时，几十分 钟)大数据量低延时(几十 或几毫秒， 甚至,5squery,10strans)其他问题长周期数据处理能力大维度数据处理能力6极速数据流处理平台 -基于时间窗

3、口移动的动态数据快速处理技术(时序处理)基于事件驱动的模式识别技术(CEP)支持计数、求和、平均、最大、最小、方差、 标准差、K阶中心矩、连续、递增/递减、最大 连续递增/递减、唯一性判别、采集、过滤、 排序等多种分布式实时计算模型单节点30000流水/秒高可扩展时效性 毫秒级7流立方 VS Spark-StreamingSpark-Streaming(流处理框架)完善的生态系统流转式数据处理流立方(产品)时间窗口移动复杂计算模型高可用分布式缓存计算逻辑独立管理，即刻上线对比项Spark流立方概览框架产品* 存储支持分布式缓存* 计算逻辑自行编写独立管理运行模式主次+流转对等+平行8流立方 核

4、心功能流立方流式 处理高速缓存时序 处理复杂 计算复杂事件9案例分享一+1项目介绍信用卡中心”流立方”产品替 换信用卡中心原有数据 库处理模块，为FICO引 擎提供实时指标，解决FICO引擎计算性能瓶颈 问题。直销银行提供咨询、设备指纹、 数据服务、功能方案。10案例分享二监控商户457万家监控POS549万台监控便民终端214万台监控日均交易3000万笔项目介绍银联商务作为国内最大的线下第三方支 付公司，有着巨大的商户数量和海量的交 易数据。目前银商已将核心交易系统与移动支付 系统的全量数据接入，由帮助银 商完成核心业务的风控，并卓有成效。性能提升(准实时侦测延时1s)，复杂规 则的执行。11流处理技术 实时报表/仪表盘缓存1缓存2缓存n流处理引擎业务系统机器学习实时仪表盘用户/商户评级反欺诈其他需求12这些客户在使用流立方14流立方性能指标43789787811556163012492375903454936662801084889020000040000060000080000010000001200000流立方并发指标(TPS)推送查询1.431.611.621.920.190.260.280.340.511.522.50 x1x2x4x8x1x2x4x8流立方延时指标(毫秒)推送查询注1：测试环境为8台PC Server。单台服务器配