大模型驱动的账户风险管理 2024-王永合

大模型驱动的账户风险管理平安壹钱包/大数据研发部算法负责人/王永合目录4.后续规划目录3.应用场景介绍4.后续规划欺诈特征建模与分析专家规则总结与开发基本信息核查确认风险点电话照会客户确定管控方式已有机器学习模型已有机器学习模型已有数据流转架构人工参与度低系统运行稳定数据预处理数据清洗数据预处理数据清洗数据集成特征选择特征构造特征编码探索性分析数据可视化统计分析相关性分析建模与评估训练模型交叉验证模型调优特征重要性评估主成成分分析模型解释性分析总结特征录入规则投产验证人工主导全球金融科技大会命中风控规则命中风控规则信息核查确认风险点无风险电话照会*排除风险解除管制账户管制案件小结具有明显风险有风险倾向*进入案件池多次未接通确认欺诈InfoQ极客传媒目录3.应用场景介绍4.后续规划2.总体目标与方案思路一种非结构化数据分析技术传统做法：经验主导，对数据源变化不敏感，容易遗漏、误判基于大模型：灵活应对变化的数据源，依靠泛化的描述进行数据分析传统做法：经验主导，人工总结，效率低下，不成体系基于大模型：借助RAG技术，从海量数据中召回相关知识，高效生成精确、结构化的内容一种低代码数据运营技术传统做法：向产品提需求->需求评审->前基于大模型：自定义编排workflow,依靠数据+提示词快速上线验证，低成本进行业务探索大模型迭代的数据闭环N风控运营流程的数字化切入风控运营主线流程人工驱动->数字化运营N风控运营流程的数字化切入风控运营主线流程人工驱动->数字化运营提升风险感知与风控决策能力提升风险感知与风控决策能力通过数据流转+大模型辅助，提高运营处理案件效率标注管理Agent管理线上服务性能监控标注管理Agent管理线上服务性能监控服务探活超时熔断灰度验证平台建设模型配置平台建设自动化回归测试创建任务创建任务角色定义预发测试技能管理流程编排版本控制提示词管理知识库管理工具集管理提示词工程场景隔离提示词工程场景隔离词槽管理版本控制回归测试RAG工程多召回策略多知识库RerankIUR工程建设工程建设Agent工程规划引擎Agent协同决策引擎BERTBERTERNIE技术框架LangChainPytorchMilvusFaissMistralQwen多模态处理Memory知识构造->知识检索->增强生成知识检索知识向量注入问：用户异地登陆；大额卡券交易；非常规时间发起交易；连续发起多笔交易embedding向量模型txt业务知识文档ASR切片算法文档片段1文档片段2文档片段3FAQ2FAQ3向量模型文档片段1文档片段2文档片段3FAQ1角色：你是一位风控运营专家，熟知风控领域的各类专业知识和常识，能结合已知内容给出客观、全面的回答任务：请根据待核查风险点，参考相似案件剧本，一步步思考，生成本次案件的电话照会剧本。险点”,“待核查信息”,“照会思路”,“注意事项”。限制：输出内容必须严格按照给定的格式进行组织，不得偏离待排查风险点：{question}相似案件剧本：{context}你的答案：2.2.3.方案思路-技术介绍(AutoAgent)·通过Prompt定义每个角色的职责和作用AutoAgentAutoAgent任务规划者任务规划者任务拆分调用工具任务拆分调用工具MemoryMemory检索是否已Memory更新YesMemory检索全球金融科技大会·跳过任务规划步骤WorkflowAgentWorkflowAgent用户观察者任务规划者用户观察者任务规划者Tool_2Observation_Tool_2Observation_all总结者FCon全球金融科技大会InfoQ极客传媒目录2.总体目标与方案思路4.后续规划3.应用场景介绍全球金融科技大会3.应用场景介绍全球金融科技大会3.1.案件风险点诊断对手信息基本信息、IP对手信息基本信息、IP信息、信用记录用户画像注册信息、绑卡信息、归属地信息、员工标识……异地登陆、设备变化、交易记录、操作习惯变化……、集团内同账户相关信息集团内同账户相关信息同设备、同手机、同身份证、同ICCID、同交易对手……Action_1Observation_2SummaryAction_2SummaryAction_2Observation_nAgentsObservation_all理想状态：强大的LLM+多专家协同+丰富的Tools->风控运营专家·整合简单风险，聚焦复杂问题新的诊断工具误”,作为诊断工具优化/下线的依据未删改：将大模型生成结果标记为“正确”,添加至回归测试用例库风险诊断报告-待排查风险点存入知识库，供后续使用根据workflow,调用工具生成处理结果、处理思路和参考依据结合各工具的结果，生成总结根据处理思路和参考依据快速判断模型生成结果的可靠性并进行适当的的删改聚焦其他隐晦的异常信息新增至模型生成结果下全球金融科技大会4.应用场景介绍全球金融科技大会●原流程不包含此步骤，缺少策略制定，依赖个人能力●照会过程复杂，容易迷失方向、丢失细节●过程不留档，老带新困难数字化运营业务数字化运营业务·结构化剧本内容，便于知识积累与维护·结合历史相似剧本进行RAG,增加生成质量·大模型生成内容标注，不断优化结果i案件基本信息新增：待排查风险点-照会剧本存入数据库，供后续RAGi案件基本信息自电话照会剧本电话照会剧本全球金融科技大会4.应用场景介绍全球金融科技大会客观·规范化业务流程核查结果&管控建议·对比剧本和实际通话记录·确认各风险点的核查结果·案件整体风险评估·生成管控建议·风险核查结果·案件风险判定·管控建议交互文本(ASR)核查结果&管控建议·参考全流程关键信息·生成结构化总结文本·归档至业务知识库·达成数据链路闭环核查结果&管控建议旅·案件基本信息·待排查风险点·核查结果·管控建议案件小结目录2.总体目标与方案思路3.应用场景介绍4.后续规划4.后续规划·对标注结果分析·问题归因分析·生成优化方案参考《账户运营质检规范》·是否确认基本信息·是否遗漏风险点·是否有进一步追问/反问析风控运营陪练·参考历史风险案例·生成风控案件信