打造金融级智能中台的数据底座-王志勇

太岳(王志勇)主办方 的创业团队，声称可以利用1/1000的数据就可以进行深度学习训练，是否值得投资?·AI浪潮下，工程开发人员的思维方式是否要改变?主办方主办方王志勇(太岳),07年加入阿里，先后支持过中国雅虎、口碑、支付宝的业务研发，目前负责蚂蚁进入人工智能团队的主要中台产品研发，包括搜索平主办方主办方2.数据底座的背景分析3.高效：用AI解决AI的问题4.高质：流程与工具并用5.安全：金融的底线6.总结主办方主办方Al在蚂蚁的应用场景基于深度学习的风险识别与防控智能理财基于金融大数据提供智能理财策略分析和决策建议智能理财基于金融大数据提供智能理财策略分析和决策建议金融大脑金融大脑基于数据隐私加密共享学习的联合放贷智能保险定价、定损、理基于数据隐私加密共享学习的联合放贷一站式金融场景机器人智能业务决策和执行助理主办方主办方蚂蚁AI能力大图行业&场景行业&场景智能风控智能营销智能保险智能客服助理智能信贷智能理财金融知识图谱&NLP金融视觉平台金融算法(AutoML,图推理，隐私保护共享学习，运筹优化，无监督学习，在线学习，强化学习，模型可解释)金融大脑主办方主办方蚂蚁保险-让更多人享受有保障的生活相互宝相互宝多收多保多收多保··半年超过5000万用户·2500万小商户主办方图像识别实体抽取实体匹配用户上传图像识别实体抽取实体匹配感知NLP&知识图谱·反欺诈：识别PS图片等Geekbang).InfoQGeekbang).InfoQ1.金融智能的应用场景1.金融智能的应用场景2.数据底座的背景分析3.高效：用AI解决AI的问题4.高质：流程与工具并用5.安全：金融的底线6.总结主办方主办方模模型数据标注模型部署数据清洗数据标注模型部署研发平台研发平台知识图谱&NLP平台知识图谱&NLP平台工程底座(训练、评测、发布等)数据底座(存储、标注、分析等)工程底座(训练、评测、发布等)底层技术底层技术ASWF、DataOS训练&算法搜索主办方为什么数据底座很重要·数据处理贯穿模型迭代的始终·数据和特征决定了机器学习的上限●数据安全是金融行业生命线数据量与准确率之间的关系测试字符数量测试字符数量1002003004005006007008009001000一WindowMemory-Based·训练安全质量·标注质量·标注效率低主办方主办方数据流转智能标注6.总结主办方主办方标注检查模型预标清洗过滤标注检查模型预标数据采集数据标注数据采集数据标注规则校验业务数据支口¥业务场景规则校验业务数据支口¥业务场景业务校验数据切分数据转换数据转换统一存储主办方样本数据复用为预标注结果沉淀成资产沉淀成资产快照数据主办方智能标注：模型市场赋能标注算法算法自训练模型自训练模型通用模型主动学习数据增强预标注智能辅标视频类图像类文本类主办方主办方 ·主动学习(ActiveLearning)是一个迭代过橙色：主动学习蓝色：随机 ·分类宝case:约10%的样本达到所有数据的橙色：主动学习蓝色：随机4040绿色：所有al_scoresamples0al_importance_scorealal_scoresamples0al_importance_scoreal_importance_probsamples*原始样本交叉熵重要性函数值重要性采样概率采样样本数据增强：解决样本少或者不均衡的问题2.enlarge1.复制、翻转、剪切、缩放2.高斯噪声、高斯模糊…1.复制、翻转、剪切、缩放2.高斯噪声、高斯模糊…A:x*N3.3.SMOTE、GAN分别抽取K条计分别抽取K条计总样本数主办方主办方 ●很多业务场景带来数倍的效率提升；·大部分实现基于前端算法，计划开源主办方主办方⊙口a一步长⊙口a一步长章冲Q+牛画：社云线条过(基)利多卡因胶浆剂(I治疗费材料费BD真空采血器(检验)BD真空采血器(检验)BD真空采血器(2)(检化验费五.亡hh购主松*白0.270.0046.0130.00/100%双里(乙)1支(甲)1次(甲)1把(甲)1支(甲)1支(甲)1支(甲)1支(丙)1项(丙)1项(甲)1项/11而亚嵌44.0030.00第二联收据联识别票项目/规格类数量金欲西药费(基)利多卡因胶浆剂(I治疗费静脉采血材料费一次性活检钳JRQ-Y2316- 0.0.4BD真空采血器(检验)主办方北即北即六福珠寶主办方播放速度1帧率|30确定]至[1帧[跳转隐藏所有标记删除当前帧标记+添加帧标记主办方主办方标注说明15/93帧隐藏P当前主办方主办方6.总结主办方主办方驳回驳回驳回驳回工工作流工具检查检查机器人数数据引擎流程引擎分析引擎样本数据指标数据流程引擎分析引擎主办方主办方标注质量总体数据雷题准确率①样本准确率①题目一致率①样本数据验收数据验收比例验收不通过数验收准确率①验收F1值①6.65%文本|验收结果汇总|验收结果汇总验收时间量验收比例主办方标注结果统计-多选题查看更多v联合结果单项结果制造业制造业|木材加工….:2.63%政务|社保：5.26%其他：10.53%三级行业体系生活服务|其他：10.17%-批发零售日用百….:15.25%教育培训其他培….:18.42%教育培训其他培….:11.86%批发零售日用百….:15.79%其他：6.78%制造业|木材加工….:1.69%文娱|广播、电视….:13.16%教育培训其他：13.56%赁和商务服务业….:8.47%双击查看标注结果详情文娱|娱乐活动|.….:23.73%体系模型效果报表混淆矩阵①混淆矩阵①真实值预测值毛绒玩具抱枕八音盒花水晶摆件毛绒玩具4000抱枕0000八音盒0000花0000水晶摆件0000竹简00000PR曲线(按标签)纸板箱|纸袋纽扣纽扣电池绳子缓冲材料缓冲空气袋编织袋缝纫机分数阈值④:0.885074.9%0.8召回率①0主办方2.数据底座的背景分析3.高效：用AI解决AI的问题4.精准：流程与工具并用5.安全：金融的底线6.总结主办方主办方加密加密分割水印不落库时效主办方主办方标注员开始标注员开始标注页Token、标注员密钥标注展示主办方·语音、文本、图片··最小化分割标注任务包1片段1.2标注任务包2片段2.1原始数据数据分割片段2.1标注任务包3片段2.2敏感信息识别片段n.m主办方主办方加密标注数据标注数据加密标注数据原数据1加密数据1原数据1加载到内存解码&合成模型训练加载到内存加密数据2原数据2原始数据数据分割加密数据2原数据2原数据3加密数据3原数据3磁盘统一存储主办方6.总结主办方主办方平平台宽表产品宽表标注平台数据资产图像平台NLP平台知识图谱数据多维透视质量多维评估报表监控&预警管控&治理能力组件能力组件模型市场主动学习数据增强数据安全分析引擎统计信息标注&预测结果标注数据归一标注数据归一原始数据反馈数据结果结果原始数据反馈数据标注任务信息流程引擎统一存储统一格式统一分析主办方主办方AndroidServerAPIAndroid小程序创建应用ServerA