大模型下的多模态智能风控落地实践 2024-王小东

大模型下的多模态智能风控落地实践新希望金科AI中心总经理2024.08.171大模型下金融风控面临的新问题和挑战1大模型下金融风控面临的新问题和挑战3基于大模型的多模态智能风控解决方案4基于大模型的多模态智能风控应用案例、欺诈手段层出不穷、欺诈手段层出不穷1、模型性能出现瓶颈、模型性能出现瓶颈32、团伙作案更加难以发现4、AI欺诈手段日益高明11高逼真的生成式AI技术：实时AI换脸+头声音/图像/语言/视频，算法精度高，处理速度快，配合屏幕打光和高清显示屏等。除了人脸，还有身份证生成，房屋22智能对话能力：利用ASR识别客户说了什么，利用LLM语言大模型，实时和用户实现智能对话，准确理解意图和生成回复内容，利用TTS实时合成生成内容读给客户听。33语音生成能力：以语音大模型为基座，基于5秒/更长语音训练个人音色，并使用声音克隆技术复刻个人音色。支持将文本转换成富有感染力和真实性的语音，支持情绪，语调的声音合成技术，使信息传达更加生动有力。身份证阴影遮挡字攻击手段层出不穷，技术升级迫在眉睫攻击手段层出不穷，技术升级迫在眉睫照片挖孔圆筒面具3D面具手机翻拍此处不公开此处不公开AI换脸、换声、视频生成、数字人等AI攻击案例生成内容丰富造假成本低生成类容逼真度高生成内容丰富造假成本低ll才，视频编辑人才等才可以批量生成伪冒身份材料，生成式AI出现后只需要会提示工程/简单微1大模型下金融风控面临的新问题和挑战2大模型下金融风控破局之道2大模型下金融风控破局之道3基于大模型的多模态智能风控解决方案4基于大模型的多模态智能风控应用案例智能打点标注屏幕录制截屏、抓拍音视频通讯能力模型开发模型编排模型集市模型管理模型微调模型发布智能打点标注屏幕录制截屏、抓拍音视频通讯能力模型开发模型编排模型集市模型管理模型微调模型发布大模型智能催收智能营销智能风控代码Review风险报告生成金融数字人智能催收智能营销智能风控代码Review风险报告生成金融数字人智能客服智能客服智能助手智能助手智能面签智能面签智能反欺诈智能反欺诈法律文书生成法律文书生成代码助手代码助手VSVSVisualVisualGLM/QwenVL等相同点相同点ll参数量上10B的模型。l模型都可以对结构化非结构化数据进行高维参数表l基本都是基于Transformer这种架构的不同网络结构不同点不同点l生成式大模型是大模型中的一种，主要进行文本，l生成式大模型生成的内容不可控，不精准很难在金l非生成式大模型，以概率输出的大模型可在金融领域参与策略决策和应用。方案1不公开方案1不公开方案2非生成式：训练模型概率实现方案2非生成式：训练模型概率实现痛点痛点ll正负样本积累至少1W+。l写不同神经网络代码构建模型，模l模型开发周期长，模型区分能力弱l模型推理代码，模型建模代码不规大模型解决大模型解决ll正负样本100+。l模型主干网络统一，Head层不同。l模型开发周期短，半天内开发一个l模型推理，建模代码统一。模型服务模型编排模型部署基础模型开发模型服务模型编排模型部署l基于多帧视频流建模，识别人像中上下帧差异，证件被编辑，眼球反光，边框，摩尔纹等细节特征完成真假甄别。1大模型下金融风控面临的新问题和挑战3基于大模型的多模态智能风控解决方案3基于大模型的多模态智能风控解决方案4基于大模型的多模态智能风控应用案例UncuratedDataAugmentedCuratedUncuratedDataEmbeddingDeduplicationEmbeddingDeduplicationl用视觉经典网络计算图像Embedding，使用Kmeans聚类，从人像、身份证、房屋、流水、结婚证、经营场所等未标注数据中检索出与精心整理过的数据集中存在相似度很高的那部分样本。最后，给定一个查询此处不公开此处不公开预处理——输出视觉大模型通用大模型特征模块头部模块卷积视觉大模型通用大模型特征模块头部模块卷积l基于算法模型识别时样本量，精度，模型推理资源等要求，用户可以选择不同的视觉基础模型，基于模型微调完成图像子任务的开发，并能以概率的方式输出模型结果。pythonpythontrain.py\--input“imageInputLayer”\--base_model“cv_big_model”\--convolition“convolition2dLayer”\--class“softMax”\--model_path“./models/face_abnormal”\--model_type“cv”\--output_dir“./checkpoints/”\--max_source_length100\--max_target_length100\--per_device_train_batch_size4\--per_device_eval_batch_size4\--gradient_accumulation_steps16\--save_steps50\--eval_steps50\--learning_rate2e-4通用大模型房屋大模型流水大模型伪造大模型版面大模型模型微调证件翻拍打印断裂拼接裁剪遮挡通用大模型房屋大模型流水大模型伪造大模型版面大模型模型微调证件翻拍打印断裂拼接裁剪遮挡l语音大模型的模型思路和视觉一样，差异在于先将语音转成频谱图后，再利用视觉建模能力。通用大模型合成音大模型模型微调语音 ——质量检测 通用大模型合成音大模型模型微调语音 ——质量检测 拼接攻击模仿攻击 拼接攻击模仿攻击原有模型开发基于大模型模型开发原有模型开发基于大模型模型开发数据标注模型业务代码任务多耗时长数据标注模型业务代码任务多耗时短VSVS子模型开发效率从月到天主干网络(多分类时只需要跑一次)预处理预处理输出方案1：大模型+微调l大模型网络层次较深，眼部感受野在浅层网络可识别，深层网络l方案1：大模型+微调l大模型网络层次较深，眼部感受野在浅层网络可识别，深层网络l脸上半部和整个人脸基于大模型微调都会过拟合，基础模型学习的全局图像特征不适合小物体。脸上半部l基于人脸检测后，取脸上半部使l基于人脸检测后，取脸上半部使用Alexnet，VGG等网络特征做方案2：小模型+微调方案2：小模型+微调ll研发的模型原子接口有时候没法直接用于生产，比如人脸比对模型容易受光照，姿态，表情，脸部遮挡的影响，只有脸部符合一定要求人l模型编排提供可视化拖拉拽的能力，基于原子模型组装模型接口。ll模型开发部署后需要对输入、格式化输出、模型异常、业务逻辑等进行代码加工，基于MaaS平台提供的l模型在线IDE在线部署模型业务逻辑，不需要基于Docker虚拟化只部署基础原ll原子模型、经过加工后带有业务逻辑的模型、经过多个子模型编排的模型都可以形成模型集市，方便查看模l支持图像、语音、文本等AI小程序/H5/APP等算法MaaS服务流媒体控制服务小程序/H5/APP等算法MaaS服务流媒体控制服务等推流/拉流服务(GO)推流/拉流服务(GO)AI实时检测l只看单张图如果脸部没有被编辑，头l只看单张图如果脸部没有被编辑，头发和脸部缝合不好等异常是很难发现l利用视频流+AI大模型+小模型可很l呈现类攻击(需要借助屏幕介质播l注入类攻击(劫持摄像头实时篡改)：看不到屏幕信息，能看到实时的换脸视频流，利用多帧流建模+单帧脸部AI换脸算法检测+眼球变化+背景+时果识别是否存在视频流AI换脸。1大模型下金融风控面临的新问题和挑战3基于大模型的多模态智能风控解决方案4基于大模型的多模态智能风控应用案例4基于大模型的多模态智能风控应用案例身份证+活体+双录实时反欺诈梅尔频谱梅尔频谱 声纹比对人脸比对人像背微表情欺诈检测声纹团活体伪冒基础防增强防伪行为风声纹比对人脸比对人像背微表情欺诈检测声纹团活体伪冒基础防增强防伪行为风别字体造字体造假翻拍翻拍打印识别份证份证11多层级欺诈识别l根据用户欺诈层次的不同动态调用不同的活体识别方式完成认证。活体22多模态身份防伪33深度图像分析44身份防伪分l提出了针对活体大头照识别信用分，欺诈分，合规分，中介分的解决方案，解活体正常演示AI换脸攻击面具攻击模拟嘴部攻击活体正常演示AI换脸攻击面具攻击模拟嘴部攻击l虚拟人智能双录既然是无人化，就必须用各种音视频算法保证用户是真人，不存在欺诈，用户意愿真/别/自拍他拍识别/裸体识别/拍摄场景识/别/自拍他拍识别/裸体识别/拍摄场景识别/换脸检测等此处不公开1大模型下金融风控面临的新问题和挑战3基于大模型的多模态智能风控解决方案4基于大模型的多模态智能风控应用案例生成内容逼真造假成本低生成内容丰富lAIGC+大模型降低了仿冒他人身份的门槛，降低了成本，为黑灰产攻击提供了新型手段，同时逼真度生成内容逼真造假成本低生成内容丰富lAIGC+大模型降低了仿冒他人身份的门槛，降低了成本，为黑灰产攻击提供了新型手段，同时逼真度也进一步提升达到以lAIGC应用层出不穷，数字人，AI换脸，AI换声，视频生成等APP和应用到处l借助大模型和AIGC可生成各种虚假照片，包括身份证，人房产证等，每类图像的造假都高达好几十种，每个子任务都开发模型，模型数量可高逼真的模拟人对话，做活体，做双录等，欺诈方式和真实lAI算法不断演进，后续只会更加成熟和更此处不公开多，开发周期长，负样本量也不够开发模多，开发周期长，负样本量也不够开发模可见，少量的试用不端到端风控模态融合图文描述多模态关系网络端到端风控模态融合图文描述l对图像进行描述