平安银行大数据在零售应用实践分享 202501

CONTENTCONTENTGrafanaNagiosZooKeeper统脱敏离线计算平台交互式查询引擎实时计算平台GangliaPrometheusYARNNOSQL存储KDC/kerberos技术平台GrafanaNagiosZooKeeper统脱敏离线计算平台交互式查询引擎实时计算平台GangliaPrometheusYARNNOSQL存储KDC/kerberosZ+数据中台AI中台技术架构监控管理监控管理任务管理权限管理智能客服智能推荐智能客服智能推荐广告系统NLP…TensorTensorflowCaffePytorchRSparkPythonKubernetes+DockerKubernetes+DockerFPGACPUFPGACPUAI与云计算的结合以云服务的形式提供AI的能力GPU资源的统一管理利用GPU并行运算能力为深度学习加速使用Kubernetes+Docker基于构建基于容器的云平台资源隔离与资源限制；基于镜像发布；弹性计算（秒级动态扩容）；HA；多租户；自动化部署支持主流深度学习与机器学TF、Caffe、Pytorch、Spark、xgboot、sklearn分布式存储块存储、对象存储、分布式文件系统，支持海量训练数据CONTENTCONTENT智能推荐/营销整体架构智能引擎智能引擎口袋银行APP短信/消推/微信客服电销智能外呼规则过滤打分排序AB实验人群识别事件分流属性分流事件触发行为分析用户画像物品画像意图预测算法库（MAB/LR/GBDT）PMML模型加载中间件适配Embedding向量检索事件中心多渠道触达模型监控流量分析模型监控数据模型数据仓库流计算批计算特征中心特征中心流计算批计算样本关联在线训练特征抽取离线训练样本关联在线训练特征抽取离线训练在线在线/离线模型训练统一调度统一调度YARN存储RedisrcElasticSearchK8SHiveKafkaMongodbSparkGPUCPURocketMQMySQL基础平台召回集召回集实时埋点数据添加过滤条件实时存储实时clickeditemlistuser模型更新user统计特征+（FAISS）候选itemlistuser模型更新user统计特征+（FAISS）user离线模型userembeddingitemembedding智能推荐引擎–将推荐流程抽象成通用–通过对接特征中心/标签–标准化排序算法支持（LR）智能推荐系统架构 -业务系统 事件中心统一网关(熔断、降级、限流)·公共储存（REDIS）实时数据近线计算在线服务离线数据数据源（ES、REDIS离线数据数据源（ES、REDIS）ETL离线分析离线分析智能营销智能营销系统架构>>上游系统下游渠道MQ消息推送 >ESA接口调用销售线索智推系统事件中心MQ事件消息推送 >查询客群、事件、日历< >渠道结果回传营销系统其它渠道标签系统<查询配置及规则结果缓存Redis规则缓存Redis离线数据ES运行结果Mysql关联系统数据同步查询报表保存配置及规则事件中心智推系统配置中心查询服务报表输出<报表平台查询关联配置销售线索Λ配置规则，查询报表调度平台活动集市营销系统智推系统前端页面指标平台其它系统标签系统旅程计算引擎接收和查旅程节点规则运行>>上游系统下游渠道MQ消息推送 >ESA接口调用销售线索智推系统事件中心MQ事件消息推送 >查询客群、事件、日历< >渠道结果回传营销系统其它渠道标签系统<查询配置及规则结果缓存Redis规则缓存Redis离线数据ES运行结果Mysql关联系统数据同步查询报表保存配置及规则事件中心智推系统配置中心查询服务报表输出<报表平台查询关联配置销售线索Λ配置规则，查询报表调度平台活动集市营销系统智推系统前端页面指标平台其它系统标签系统旅程计算引擎接收和查旅程节点规则运行配置规则Mysql报表统计CONTENTCONTENT经营分析–将数据开发工程师培养成算法工程师/数据分析师–在做BI开发的过程中积累业务知识，为经营分析做知识–建立运营分析框架–完善的数据分析工具体系用户行为分析(埋点系统架构)kafkaTopic[商城]ElasticSearch埋点数据查询事件分析用户行为分析平台埋点接入层分发/过滤kafka Topic[信用卡]Topic[理财]Topic[基金]Topic[基础]聚合SDKWebtiveAndoridPC口袋小程序多维查询存储漏斗计算hivecubekylinkafkaTopic[商城]ElasticSearch埋点数据查询事件分析用户行为分析平台埋点接入层分发/过滤kafka Topic[信用卡]Topic[理财]Topic[基金]Topic[基础]聚合SDKWebtiveAndoridPC口袋小程序多维查询存储漏斗计算hivecubekylin用户行为分析数据报告开发调试数据报告开发调试运营专题配置管理页面配置页面配置页面组配置页面组配置参数管理参数管理客群配置客群配置漏斗设置漏斗设置用户行为分析◆路径分析√支持正向或逆向了解用户流量的流向分布√帮助产品和运营清晰看到上线的功能触达路径是否直观合理，通过流量百分比寻找断点，优化页面访问路径◆漏斗分析√通过定义关键转化路径，清晰地了解转化情况√帮助定位流失原因，提升转化表现√支持查看不同渠道来源的转化情况，以此对比评估用户行为分析-概览用户行为分析-事件分析–基于kylin的多维查询–支持主要维度（考虑存储成本）–未来支持跟用户维度、产品维CONTENTCONTENT数据治理架构数据资产平台作为数据治理的前端展示系统，旨在实现数据治理，快捷查询，提高数据使用有效性和效率，建立完整且一致的元数据管理策略，提供集中、统一、规范的元数据信息访问、查询、使用渠道。同时，定制全行统一的数据标准，提供安全分级及质量问题管理。提供大数据安全分级管理，安全脱敏以及安全加密，安全监控和安全识别以及权限管理功能。统一建模，提供业务源系统建模能力和模型展现功能，以及模提供大数据安全分级管理，安全脱敏以及安全加密，安全监控和安全识别以及权限管理功能。统一建模，提供业务源系统建模能力和模型展现功能，以及模型管理。定制全行统一的数据标准平台，包括字段标准管理，码值标准业务源数据和中台数据统一标准。提供数据质量问题管理，数据质量监控管理，监控规则管理以及告警管理功能。多纬度展现数据资产的总览、价值、时效、访问情况等。数据资产管理平台元数据管理中心搜索提供面向用户的场景化搜索功能，同时可以进行数据地图，源业务数据字典的检索数据资产