智能AI企业大数据中台建设方案

智能AI企业大数据中台建设下茶快速打磨迭代联通型组件多云化支持共享资源页洲烹托；迈尔-舍思怕档前尼息·克耶tf大数据平台的起源——Exceltf·产品使用方便，人员易·支持简单的数据挖掘多少金融模型来自于Excel组合图制作2668亿元二季度2013年2024年四季度三季度大数据平台的起源集美貌与智慧一身的“SQLServer”免费第·数据量在几亿条之内(每天50万，一年1.5亿),查询效率0K,如果扩展cluster,大数据平台的起源——传统数据仓库+日志分析工具数据处理调度源数据库理元数理脚本N个源数据库N个源数据库n·数据处理稳定性数据处理调度r数据处理调度r主数据管主数据管理(免元数据管理元数据管理脚本利用Hbase,加速可以加速Hbase利用Hbase,加速可以加速Hbase中国人自己的开源项目!一个分布式易扩展的可视化DAG工作流任务调度系统中国人XX开源的项目!p_dev_user_app_actionyg_dev_et-xxx_info千帆日数据(A3)千帆日数据(50)月上节点被Apache接受成为Apachekafka_devdey_ods_bhv24d_hours_refoma3_bds_dev_user_bhv_sum_reform_dA2_DEV_ETL_REFORMproduet_ods_dev_stindardp_bds_dev_app_installation_Jisnot_product_ods_dev_sand单点故障去中心化的多Master和多Worker是单个Web和调度程序组合节点是单一调度程序HA额外要求不需要(本身就支持HA)Celery/Dask/Mesos+LoadBalanc配置，当任务过多时会缓存在任务队列中，不会造成机DAG监控界面化变量等关键信息一目了然只能看到任务状态不能直观区分任务类型可视化流程定义是所有流程定义操作都是可视化的，通过拖拽任务来绘制DAG,配置数据源及资源。同时对于第三api方式的操作。否通过自定义DSL绘制DAG并打包上传否别是对不会写代码的业务人员基本无法使用9快速部署一键部署集群化部署复杂集群化部署复杂功能是否能暂停和恢复支持暂停，恢复操作否只能先将工作流杀死再重新运行否只能先将工作流杀死再重新运行是否支持多租户支持easyscheduler上的用户可以通过租户和had现多对一或一对一的映射关系，这对大数据作业的调度是非常重要的。否否任务类型契合度支持大数据作业sparkhvemr的调度，同时由于支持多租户，与大数据业务更加契合由于不支持多租户，在大数据平台业务使用不够灵活由于不支持多租户，在大数据平台业务使用不够灵活是否支持自定义任务类型是是是是否支持集群扩展是调度器使用分布式调度，整体的调度能力会随便集群的规模线性增长，Master和Worker支持动态上下线是，但是复杂Executor水平扩展是，但是复杂Executor水平扩展整体运营产品改进运营提升优化业务增长用户洞察活动自动化场景化个性化推荐测试数据分析数据计算自定义仪表盘事件渠道分析留存漏斗分析索引优化索引优化服务监控管理分用户群即时数据处理引擎实时实时分析路径秒级查询引擎存储引擎用户价值探索数据整合流失预警智能学习学习标签数据治理数据联邦知识图谱大数据项目执行难数据接入广告媒体超市油卡运营商自主研发展示工具(E-chart/D3等)理N个源数据库具(可资源)理2大数据平台+ETL任务+实时数据流·实时数据分析·人工智能、增强智能..物近远弱FEgE们的l面nERP/CRM时代前台中台后台前台部门，面对客户或者为客户创造产品和客户进行交易的地方，和客户进行直接与客户交互，赢得利润的系统(例如、心无旁骛地为公司赚取利润，另一方面则是监测前台业务流程，降低各类风险事件的发生几率。联通型组件多云化支持流程驱动企业自底向上流程驱动企业自底向上设计互联网+环境下，流程驱动企业向数据驱动企业转型建立新业务流程⑦系统设计⑦固化系统数据应用固定硬固定硬件升级数据驱动金数据/AI*面积为企业互联网+投入成本24成长期成长期成熟期数字用户资产衰退期产品探索实施期导入期衰退期竞品分析市场宣传竞品分析市场宣传产品学习竞品跟踪学习缩短差距用户行为分析用户需求分析用户洞察2013年-2018年银行业平均离柜业务率2013年2014年2015年2016年2017年2018EOAnalysys易观行业发展；传统手段难以维系商业银行进一步的显著增长客户脱媒：银行正在失去同顾客的接触机会，因为人们转向非去中心化：随着更高的价格透明度和商品相似性导致银行产品过程管理类指标过程管理类指标产品迭代优化及体验提升数据智能中台精细化的用渠道及用户运营策略场景金融提升用户体验，是零售业务突围的核心XX认为，银行全面提升用户体验需要从以下四个举措入手：同业对标指标生态创新机制过程管理类指标同业对标指标生态创新机制过程管理类指标全渠道统一规划管理机制全渠道统一规划管理机制精细化的用精细化的用渠道及用户运营策略化及体验提升场景金融化及体验提升场景金融产品与服务设计数据智能中台零售业务经营目标需要进行拆解，制定围绕经营目标的用户体验衡量体用户体验与零售业务核心经营目标紧密相关，需要引起管理层、总行及各分支行的重视，并基于此形成统一认知和行动计划管理层总行数据驱动总行数据驱动例如，例如，结果导向类指标 结果导向类指标零售业务成长公式=客户基础X交叉销售率X交易金额大小X交叉销售频次基于上述银行零售业务成长公式，需要设计一套完整的指标体系，其中需要考量：过程管理类指标过程管理类指标包括各个关键举措的量化行动目标，包括获客、获客以及粘客等同业对标指标同业对标指标键指标总行-网络金融/市场团队北极星指标周度成长曲线及距离目标的总行-网络金融/市场团队北极星指标周度成长曲线及距离目标的差距获客进展及距离目标的差异主要营销活动表现渠道分析相关数据分析…北极星指标周度成长曲线及距离目标的差距同业对比差距变化获客进展及距离目标的差异活客进展及主要营销活动表现粘客(交叉销售)进展及漏斗转化数据看板是实现有效过程管理的重要抓手为了实现有效的过程管理，需要基于相关指标及目标值设计仪表盘，用以针对目标整体完成情况进行追踪与检视。银行管理者通过仪表盘，可以快速直观地了解各类目标的完成情况，从而把握全行的增长状况，进行业绩对话。银行各个业务线及分支行也能够实时了解基于经营目标的动态过程，便于形成下一步行动计划。北极星指标周度成长曲线及距离目标的行，以及各个分行距离目标的差距同业对比差距变化北极星指标周度成长曲线及距离目标的主要营销及运营活动表现重点运营活动及漏斗转化分析用户分群产品体验及转化分析分行-网络金融团队分行北极星指标周度成长曲线及距离目标的差距对北极星指标贡献最好和最差的TOP支行，以及各个支行距离目标的差距主要营销及运营活动表现支行北极星指标周度成长曲线及距离目主要营销及运营活动表现策略建议XX认为，银行全面提升用户体验需要从以下四个举措入手：过程管理类指标过程管理类指标精细化的用精细化的用渠道及用户运营策略化及体验提升场景金融化及体验提升场景金融数据智能中台建立与目标配套的组织和管理机制-全渠道统一规划新客登船购买产品使用与服务查询与投诉44 建立与目标配套的组织和管理机制-生态创新机制扫描科技市场动态，实时洞察创新方向全景用户画像，全面把握用户潜在需求，为创新夯实基础网络游戏电视游戏电子竟技网络音乐数字出版网络文学视频直播移动音频网络自制移动阅读知识经济电视剧二次元电影综艺动漫IP金融用户场景矩阵营销视须社交/社区垂直媒体搜索引擎自媒体数字新媒体电视新媒体户要的产品布局方向景目前用户规模融为生活金融用务企业房产金融银行保险基金证券第三方支付征信彩票个人理财金融安全产业金融P2P众筹虚拟货币终端智能终端智能手机PC/笔记本智能电视平板电脑家用游戏机智能腕带类设备医疗监控设用商务旅游健康/医疗处于I象建或者投限的中的场景可以考虑式进行移动分发汽车汽车电商车后服务汽车工具车联网智能驾驶智能汽车新能源汽车驾驶学习汽车违章交通地图导航公共交通城市出行汽车租赁在线停车充电加油ⅡI旅游好T6Ⅲ娱乐医疗医疗服务健康服务医疗电商体育竟技体育体育赛事场馆基建体育用品服装设备休闲体育出行教育景虽然金融用户偏互联网交易生活服务信息服务家政关业洗农招聘票务餐饮姬恋/婚庆演艺团房产物好低，但(建议以场景目前力充分的产业合作用户规模较情况下也可方式进行)大，在以布局消费流通线下零售线上B2C移动购物线上C2C专卖店跨境批发服务/B2B垂在线教育学前教育K12教育语言教育综合平台类高等教育留学教育职业大数据lassPassSaasDaas私有云公有云混合云云存储云安全数据挖掘数据可视化数据交易图像/语音识别行业云1智能制造工业4.0智能工厂智能制造工业大数据工业机器人智能机场智能交通智能家居智能物流智能社区制定产品创新策略，数据量化考核，形成内部赛马机制平安集团移动端场景布局房产健康/医疗生活商务旅游出行平安好医生主教育知鸟购物娱乐为主营业务导流，强化市场地位教育培训场景医疗健康场景“银行金融理财场景其它各类场景过程管理类指标过程管理类指标产品迭代优化及体验提升数据智能中台精细化的用渠道及用户运营策略场景金融用户分层的精细化管理围绕用户的具体信息，进一步细分用户群体用户基本信息用户资产及产品持有情况用户行为偏好/潜在需求用户实时行为轨迹用户基本属性(包括性用户教育背景及职业背用户基本属性(包括性用户教育背景及职业背景用户生活阶段(例如，求的老年家庭等等)用户资产情况产品持有情况(例如，单一存款为主/单一理财为品持有)基于用户在数字化产品的的触发规则和执行时机战术车等等)推测其潜在消费用户风险偏好建立结构化和系统化的用户分类管理，以及选择科学合理的分层指标定义银行及金融用户的生命周期用户维护成本新手获取阶段新手获取阶段成长阶段成熟稳定阶段衰退阶段用户的生命周期用户群体划分成熟用户0<存量金额<Y并且超过用户群体划分成熟用户0<存量金额<Y并且超过Z时间未进行投资衰退期用户金额全部赎回且超过M时间不回访，对触达无反馈成长用户新访问用户访问→注册投资金额>X参考投资长期金融产品明确基于用户生命周期的阶段性目标新用户首投用户复投用户成熟用户衰退期用户流失用户目标发现优质渠道最优化管理渠道促进新访问用户注册转化体验帮助新用户发现产品价值促进新用户投资转化帮助投资用户更多感受产品价值促进投资用户斧头转化率提升用户投资金额发掘成熟用户产品/服务需求延长成熟用户的生命周期减少衰退期用户量和占比使衰退期用户转为成熟期用户召回流失用户业务环节获客(市场)转化(市场、产品、运营)运营(用户、产品、活动、内容)新用户首投用户复投用户成熟用户衰退期用户流失用户目标发现优质渠道最优化管理渠道促进新访问用户注册转化优化新用户上手体验帮助新用户发现产品价值促进新用户投资转化帮助投资用户更多感受产品价值头转化率提升用户投资金额发掘成熟用户产品/服务需求延长成熟用户的生命周期减少衰退期用户量和占比使衰退期用户转为成熟期用户召回流失用户运营策略优化管理渠道新用户产品体验设计新用户运营设计注册流程设计绑卡、充值等环节转化流程设计首投转化设计新用户运营设计(新用户引导)首投→复投转化长期产品转化促进用户复投设计(内容运营、优惠券、红包等运成熟用户运营设计(产品内容运营、优惠券运营)满足成熟用户产品需求满足成熟用户服务需求衰退期用户运营设计(吸引用户回访文案、红包等等)召回用户群体选择召回运营设计(召回文案设计、召回活动设计)目标发现优质渠道最优化管理渠道促进新访问用户注册转化体验帮助新用户发现产品价值转化帮助投资用户更多感受产品价值头转化率提升用户投资金额发掘成熟用户产品/服务需求延长成熟用户的生命周期减少衰退期用户量和占比使衰退期用户转为成熟期用户召回流失用户优化管理渠道流量指标访问用户量/新访问用户量流量质量指标访问深度-人均访问次数&浏览页面数量&访问时长流量质量指标&页面质量跳出率综合指标注册用户量/注册率资金规模&用户画像投资金额&人均投资金额优化上手体验呢&服务投资用户优化上手体验呢&服务投资用户选择合适的度量指标-优化上手体验&服务投资用户新用户首投用户复投用户成熟用户衰退期用户流失用户目标促进新访问用户注册转化多感受产品价值减少衰退期用户为成熟期用户召回流失用户注册&绑卡流程质量注册转化率&注册各环节转化率、绑卡&充值转化率及转化质量关键环节用户规模绑卡人数、购买转化人数产品设计投资理财内容&场景频道用户渗透率新用户-专享产品购买转化率留存用户-各类产品购买转化率&各产品购买分步骤转化率关键环节金额规模各产品购买金额用户画像各产品人均投资金额及用户洞察用户运营用户运营选择合适的度量指标-优化上手体验&服务投资用户新用户首投用户复投用户成熟用户衰退期用户流失用户目标最优化管理渠道减少衰退期用户为成熟期用户召回流失用户内容运营运营内容是否触达用户(文案&设计)内容-用户渗透率活动运营运营活动参与率(活动页面转化)用户通过活动的投资金额用户留存日周月留存率、用户LTV新用户留存、老用户留存、活跃用户留存产品设计产品核心功能留存数据分析在银行用户生命旅程中发挥不同作用活客活客0.厅堂排队数字化产品使用3现金存取63现金存取610分红及赎回个人信息变更12新客户申请及激活信用卡13.存量客户申请及激12新客户申请及激活信用卡13.存量客户申请及激16接收账单、还款及催收个贷23接收账单、还款个贷27现金管理、代发工资27现金管理、代发工资小微分析对营销执行过程进行管控过程管理类指标过程管理类指标产品迭代优化及体验提升数据智能中台精细化的用渠道及用户运营策略场景金融建立用户数据中台，统一用户数据规范，实时分析支撑数据应用整体运营产品改进运营提升服务提升优化业务增长用户活动自动化场景化个性化推荐测试数据分析自定义仪表盘事件渠道分析留存漏斗分析分用户群实时分析智能路径用户价值探索流失预警智能机器学习学习标签数据计算索引优化资源管理服务监控即时数据处理引擎秒级查询引擎存储引擎数据整合数据治理数据联邦知识图谱大数据项目执行难数据接入广告媒体油卡运营商联通型组件多云化支持大数据中台模式———大中台模式和深中台模式业务2业务1业务4业务1业务2业务4业务3业务3业务2业务1业务4业务1业务2业务4业务3业务4开发业务1开发业务2开发业务3开发业务4开发BAT中台模式，更广泛的数据中台智慧零售应用战略决策应用全链路营销应用智慧零售应用战略决策应用全链路营销应用数据化运营应用智能CRM应用行业应用，因行业而异，为客户专享致据共享服务通用工具|行业产品数据融通致据共享服务通用工具|行业产品数据融通数据交换BI|DataV|ADplus|……Dplus|Oplus|智能分群---质量管理数据管理与服务对内：数据资产管理体系数据连接萃取数据管理与服务对内：数据资产管理体系数据连接萃取垂直数据处理对内：采集管理体系数据智能建模研发服务器数据库计算引擎服务器数据库计算引擎硬件及计算引擎RealTimeData每次都要开发不同的Steamming,开发周期长采集格式1采集格式1采集格式2采集格式2同一个数据实时和批量处理不同要适配各种采集格式每次都要开发不同的ETL同一个数据实时和批量处理不同要适配各种采集格式数据不能实时展现每次都要开发不同的Steamming,开发周期长采集格式1采集格式1采集格式2采集格式2不能即席查询和训练不能即席查询和训练要适配各种采集格式摄像头边缘计算下的大数据和AI架构——IOTA架构小程序摄像头1.计算分布在所有链路流程上2.通用业务数据模型3.端负责处理数据—致性问题4.即时查询、实时反馈ApApp小程序XXXX——用户数据中台举例·私有化部署·支持实时复杂计算和下钻分析·支持二次开发第三第三方数入B数据更新数据更新数据接入服务端数据库数据库Out-析开放法建立模型数据层数据层接收层边缘计算*安装私有化部署只需数分钟到1小时(Docker化),数据埋点回传3-7天，首次用户增长方案3-7天，用户成功多轮测试迭代企业大数据平台/数据仓库企业大数据平台/数据仓库应用层应用层层XX层XX即时查询引擎秒算·PAAS&SAAS架构无差异·组件开源，秒算自研部分逐步开源XX用户数据中台数据采集架构设计如发送频率调整，重试频率用户设置>启动、间隔策略2456789))}}数据有序稀疏索引属性名用户ID21事件名物品名价格32数量5触发时间事件名物品名触发时间135121222XX用户数据中台底层计算引擎架构设计数据收集实时计算实时存储可视化第三方应用第三方应用在线查询YARNARKMGR第三方数据存储运维监控Ambari转化周期