互联网金融 刘江-携程大数据风控实践携程-下载版

腴源呈携程基于大数据分析的实时风控体系介绍携程刘江ontentso我们的挑战Aegis系统架构核心模块介绍风控模型和策略0Part风险管理是一种文化■携程文化：让旅游变得更幸福■风险管理文化：11

MaketheTravelMoreFreelyandSecurely”1PartI我们的挑战■业务类型和数据量增长■需要更加自动化和智能化■用好设备和行为数据■跨海外网络的数据延迟2PartAegis版本演进历史2011年自建风控系统.Net+SqIServer2015年Java版上线实时流量服务上线吞吐量增加10x效率提升10x全业务切入2016年Aegis系统上线分布式并行计算实时处理用户行为数据交易关明非查2017年设备指纹同步执行复杂模型新的规则引擎新的变量引擎XMAN2PartIAegis运行框架ONLIME儀上｝OFFLINE窿下｝HADOOPHB.ASEBIGDATA海里数据分布存諸ELASTICSEARCH实时索引MODELING.....................料学建模-StatisticModeling统计建模二LogisticRegression逻狷司3-加chineLearning机器学习:RandoEFo「est随机森林-DeepLearning^度学习:CNN卷积神曇网够-FeatureEngineering特征工程RULEENGINE规则引擎SPARKSTREAMING模型实时并行计算2PartAegis系统架构图用户行为©MQ/KafkaRT:Counter/fpNRT:UserProfile/GraphBATCH:T+1D/1HVARIABLESZEUS/MRMONITOR:rules/models/eventsOFFLINE■■案件库'faflDataServiceCache(5TB)DBHBase2PartIAegis数据采集框架数据贴源层；；数据采集层］;数据计算层业务数据仓库风控引擎审核中心案件中心外部客户数据合作伙伴数据社交数据外部账户数据实时数据流ETL离线数据集市基础数据采集元数据中心数据健康度管理［实时数据计算平台外部数据采集数据使用层规则引擎决策模型变量工场运营平台数据产品数据质量/数据监控/数据建模/数据优化/数据调度Aegis一笔支付请求的背后■黑白名单■数据预处理/变量衍生~1000-2000个■执行规则~400条+■执行模型-5-10个■结果计算及后处理曰Aegis性能和稳定性■日亿级交易处理能力■支付风控平均处理时长小于150ms,99.9%线600ms.支持DR灾备，数据分级存储，7x24H监控&预警■通用性强：•支持支付风控、业务风控、外部合作伙伴风控支持Aegis规则引擎■■■■■■■■却一*・■■e二.■■■■营销活动机票支持按业务分组使用gRPC互联支持动态调整分组和扩容RuleEngine规则分布式并行执行基于Java,咼吞吐量、低延迟Aegis模型执行引擎PythonJPMML自主研发特点标准、开源，兼容性好标准、开源，兼容性好。使用Java解析并执行.dot模型文件，支持随即森林和逻辑回归算法，算法可扩展性能10-100ms,因需要独立部署，有网络开销性能和Python执行.dot接近，只是可以嵌入式运行，所貝稳定性比Python高0-10ms,嵌入式执行，性能高，稳定性高特性：■使用Java完全自主实现的dot模型执行器，执行耗时只有Python版本的10%■拥有完善的模型运行监控和熔断机制Aegis审核自动提示处理提示全部隐莓负面因素:1.证件号可能的国籍：尼日利亚I哈萨克斯坦I马来西亚I韩国I索马里I中国香港I墨西哥I土耳其I南非I荷兰I,2.3.电话亩^<=0.133,注：［cutoffv=0.05］:4.机票模型分值=［BOTTOM1。％］0.2655,注：［cutoff:〈0.5］处理提示全部隐蕎正面因素：1.机票航段3洋程机票类型2.登机人包含持卡人姓氏或者全名负面因素:1.证件号可能的国籍:摩尔多瓦|越南|蒙古|肯尼亚|波斯尼亚佬挝|瑞士|贝宁|印度尼西亚|黑塞哥维那|奥地利|阿富汗I斯里兰卡I,2.3.电话审核^注：［cutoff<=0.05］：4.^1^^^0=0.3374,注：［cutoff:<0.5］5.行程涉及髙危国家［阿联酉］Aegis实时流量服务配置服务O推送接口Q查询接口t2TB+RedisCluster日查询量超100亿次支持分钟、小时、日、月等多级精度，支持动态配置支持3个月以上的超大时间窗口流量数据实时推送，1秒级延迟适用于限额限次、Velocity变量和Ratio变量的实时计算特性：■自主研发■指纹准确率＞99%■获取成功率＞99%■全站部署Aegis设备指纹Aegis襪实时用户行为分析|1.每秒6万条UBT数据处理能力UBT数据（20亿+/日）2.秒级输出结果，保证可用于实时风控n丿3.实现了跨设备、跨域名的RSession计算-----------------,A4.自主研发的DAG系统Chloro服务输出：RSession数据（轨迹）、PV数据JLJL实时风控人工审核Aegis交易关联排查Graph■rr*-i—-.■、-tzt*基于父易、人、设备、卡、账号等多个维度的大数据关联分析，确定关联交易。数据用于规则、模型、和人工案件排查基于HBase自主实现的Graph存储，50亿+交易数据，1秒级返回关联结果Aegis交易关联排查订单爆号*2529073195QU订单号订单日期订箪类型录黒UID联系人手机25290731952016-07-25F_WeChat4O3168883I860■二■□24359998782016-07-25酒店FE140119201331□24335115252016-07-24酒店FM413128776159l24694226202016-07-17F★133L24121637032016-07-15酒店FM289167080135：□24121536452016-07-15酒店FM2891670801挑…_—□24097374162016-07-15酒店F_WeChat22702482213441ZZM»s24094311382016-07-14酒店FM289167080139f-----.o24076S43402016-07-13酒店F_WeChat403422737130L□368112102016-07-11消蜀券F138277976671381一……■'''@2123983381322016-07-09酒店F3000696130185：□22648591302016-07-09用车F1102803029□23959562032016-07-08酒店Fywsfj800720日23956033512016-0708酒店FE33650902186-"5□23946519462016-07-07酒店F2056923792186：.■□366489932016-07-06消荔券FD1178762491591.'@□23913123712016-07-05酒店FD117876249159：-----24421972542016-07*04FM268797542*^BlS>163.como24421972402016-07-04FM268797542★匚二9163.com□23831071382016-07-01酒店F3009781965177广------卡号证件号IPDIDClientID提现卡号琨现证件号探作23OMHI'14136.203.107*1202102041*1200109431关联230_______61200108061关联64007987★1202114021关联64007987★1202114021关联★1202116471关联64007987★1202114021*1200106311关联★1200117781关联63854384★1200101341关联59169486★0903112041关联1069655*1200109941关底★1200113941*82e34d2e-c1200109621关联*1202106981关联46553239★1202106981关联230!Mrt-83关联★117.40.225183e3125fff-2趣*1202113341关联4PartI风控模型和策略6■模型规则化■规则模型化4PartI风控模型和策略DeepLearning电子邮箱多维度关联刻画用户行为设备指纹风控模型和策略海量交易数据信号衍生位置支付账户IP衍斯法刻画pattern基础衍生高金额、快速起飞/入住等冲突变量信息不一致，例如发卡国和Ip国Recency贝阱年龄,Sfi-玆易velocity（单、双主体）频繁交易y奂卡等过滤条件velocity频繁高危行为ratio高危行为占比，短期交易集中个体异常个体行为发生变化/异常群体异常行为相对于同地域人群异常躲闪行为行为有躲避风控规则的嫌疑够厭行为领试卡的行为risktable历史案彳中言息的利用风控模型和策略特征工程单人游•下单和起飞时间之间的天数•手机和ID与ADcity是否冲突•保费，订单金额家庭游•常旅客卡•订单金额_•往返航班好友游•航班类型•国内国外游情侣游•持卡人非出行人•是否同省单人游家庭游好友游情侣游国内因公■单人游■家庭游风控模型和策略文本信号挖掘文本处理NLP/文本分析技术语音识别\词汇库\-声波数据预处理-开发词/词组库，并关联到-音频采样相关主题和目标-分解频带•考虑同义/下位词-傅立叶变换创建识别码•使用：-对特定目标识别问题焦•RNN识别音频片段字符点-文本数据对深度学习发音预测矫正：-为模型特征工程做预备实体识别\基于文本模型\-识别特殊实体类别，如人-统计分析对特定目标宇词名，地点，时间，问题类的相关性另U,关键名词•根据标签的可用性应用业•使用：界最新的无监督或有监督-识别特定种类实体算法-对特定实体对相关词组•使用：分组-模型特征库萃取风控模型和策略字母生成概率变量注释变量名26个字母+10个数字+特殊字符频率freq_域名欺诈率名字模式欺诈率正常名字模式生成可能概率名字复杂度名字长度domain_degreename_degreename_probabilitynum_changelength生成概率（数字转移数字概率不为prob_prefix_num_no_11）生成概率（数字转移数字概率为1）prob_prefix_num_1生成概率（只有字母）prob_prefix_alp序j数据去重|始数据原始数据去重测试test数数data据据1丿建模train数data据\_______/项目状态项目状态项目状态项目状态I现业务监控报表数据源获取平台加工应用信号侦测&预测分析[•实时查看模型变量和模型评分分布•支持快速开发定"多重数据仓库集"自动生成各产线制特定算法I成I模型报警风控模型和策略模型工厂________•线上自适应调整I•密切监测模型运I•实时/离线模型表模型参数I行情况I现业务监控报表•传统数据库I•变苇衍生和特征I+NoSQL保证ETLI工程