智慧银行大数据分析应用平台建设方案

智慧银行大数据分析应用平台建设方案目录4银行大数据分析业务应用金融大数据分析应用背景银行的商业价值链银行的商业价值链客户/营销销售/渠道户是谁/在哪里?客户通过什么的关系?需要的产品?数据在以客户为导向的经营价值链中的应用考量·领先的集团公司在做些尝试和转变?·数据应用在哪些领域可能有应用价值?·大数据时代有哪些新的机遇?风险/管控流程/运营的事?产品/创新产品?什么是战略/市场哪类客户?他有多大?PwCIpage4未来的银行的趋势将会对在职人员有更多要求以前，金融被称为看门狗的角色，而不是分析洞察呈现数据驱动的监管机构现在，业务人员有望演变成新的角色带来决策制定和执行如今分析学存在许多不统一的概念-对“大数据”术语拥有多种定义3biKILOBYTESMEGABYTESGIGABYTES属性用大数据领域下广泛的科技产品/解决方案金融大数据分析应用背景V交易总账统3D打印机5数据是新“石油”PwCIpage8银行大数据分析应用需求大数据的方法论?哪些是前沿的大数据技术?音频pagePwCIpage战略/市场客户营销的营销分析客户/营销流失激活发分析到期应对客户之声客户特征集分析客户价值相关性分析相关性分析相关性分析客户行为集和分析客户需求销售/渠道析销售活动/产品/创新产品流程/运营测风险/管控面向业务经营面向内部运营更加高效化更加体系化关联的360°客户PwCIpage12广告广告挖洞察层客户信息构建层大数据来源层更加立体化能力更加全面化行业趋势汇报匹配业务需求和未来大数据技术趋势，规划贵行大数据能力框架及大数据业务云图，制定面向运营和服务的大数据功能架构梳理贵行数据资产的分布及利用情况及管控现状，规划银行级的数据架构方案及大数据管理机制的建设选择典型应用场景，将大数据运营融入贵行的运营和管理，推动转型研大数据平台规划及完成落地实施数据的有效利用率降低从数据到洞察力是主要的挑战OO前端应用前端应用前端工具营销运营绩效集市风险集市人力资源综合类数据存储转储整合区还款数据风险数据绩效数据数据治理，数据管理数据交互管理平台多维数据集具数据存储平台数据源数据挖掘多维分析四席查询AohOcreronrsre,gouew.t用的要求，厂商迫切需要为自己产品增强高级持在大数据时代的竞争力乎Teradata于2014支持R语言而内存技术带来了时效性的革命性突破，和Hadoop更是完美的结合。Hadoop提供持久化能力和海量数据的批量计算能力，内存技术提供一定量数据内的实时分析和交互式分析的能力。Actian的Vectorwise是世界上最快的单点内存列式数据库，近期推出了深度融合Hadoop的新版本SPARKSPARK的高性能和接近一栈式计算能力的特点已被业界公认为是下一代的Hadoop超级计算引擎交互式统合除了HANA外值得关注的查询PwCIpage17Google于2014年中旬的I/0大会上宣布了Pipeline统一了2种代码的不同风格。下图为阿里巴巴在双11当天的实时作战指挥部现场。在双11巨大的流量压力下淘宝天猫的关键销售指标实时展现在了决策者们的面前。淘宝的实时流计算后的主要技术支撑，每秒运算量超过500万/条，每日过2500亿。dsh精准广告投放等智能爬虫和搜素据的识别和应用智能预测，规划和优化基于智能AI的设备，程序和接口智能机器人百度2013年初在美国硅谷成立了百度深百度2013年初在美国硅谷成立了百度深度学习研究院(IDL),招揽了余凯、吴恩达等机器学习领域顶级的专家。目前主要的研究成果包括百度识图，三维视放放开放价值挖掘能力对降低数据应用的门槛非常重要，让数据价值平民化和向无力建设和维护自己苹台的银行提供大数据基础设施的开放，比如提供数据基础非涉密的政府数据及科研数据以一种主动和免费的形式开放，而不是“申请信息公开”成Bluemix,将支持包括PwCIpage20认知智能大数据平台1.0版基础架构平台层存储层数据层合理的数据治理/管控是确保发起人、领导层有效沟通理传统的数据生命周期一般指数据获取(创建)、数据存储、数据加工(转换)、数据使用、数据归档、数据消除。但我们认为新的数据生命周期数据规范方案存储使用恢复销毁传统数据生命周期大数据与先进分析将从描述和诊断性向预测、规范与自主决策型转变回顾过去前瞻性查7)·实时产品与服务(图表分·对现有及未来客户价值具·快速评估多种“假设分藏这总与分析历定数增(发生了什么7)(以发生什a7)我决新7正耐27)识5湖发及原因与成果(为H2会发?)越来越复杂的数据与PwC分析欢迎来到“数据湖”数据湖是一个大数量和品种，结构化和非结构化的大数据架构数据专员，程序员可以挖掘数据流的实时该湖可以作为一个临时区域的数据仓库，在批处理模式的报告和分析中更仔细的“处理”数据的位置数据科学家利用数据湖探索和构思数据湖泊利用商品集群计算技术使得大规模可扩展的，低成本的数据文数据科学家利用数据湖探索和构思PwCIpage26PwcIpage27下一代的大数据体系-数据湖内容认知的智能内容认知的智能数据的分析模型，学习，模拟，行动，保护全面的监控和分析社交媒体和社区深度挖掘数据变现内容知识语义标签数据的理解实时统计和检索数据的快速入库源数据的自动标签数据的自我学习异常关联原汁原味语义和配置化搜索简单IT架构(云服务)实时性/半实时IT创造(数据仓库/集市)大量ETL非实时基于文本分析技术和语音分析技术的调研，结合结构化数据在大数据加工域的处理，整合它们之间的共性处理部分，规划大数据加工域内数据处理的过程。业务交易数据文本分析语音分析结构化数据社交网络网络文章语音文件PwCIpage30治理大数据架构-顶层框架银行数据池传统数据平台大数据平台新技术创新PuCIpage32①2③④⑤⑥⑦云服务银行数据池分析工作台数据集成展现层云服务银行数据池分析工作台数据集成传统数据平台大数据平台大数据平台外部数据池WeatherSensors外部数据池WeatherSensorsPwCIpage33网络生活网络客户信仰客户需求背景专业购买背景专业以独创的“7W2H”标准语法将客户解析，归纳为“客户属性、客户行为、客户需求”三方面N3个维度、6个层级的客户属性库体系3个维度、6个层级的客户属性库体系超越传统所想!需求需求求求PwCIpage35要，不局限于对产品的需要涵盖方方面面!大数据平台标签数据大数据平台标签数据信息财务信息属性信息行为其他信息浏览信息搜索信息营销活动360客户视图源系统数据源系统数据PwCIpage36对于银行内外部不同来源的信息，使用多源数据采集架构来捕获各种可能需要的数据，并包含数据格式统一化引擎用确保所有输出数据标准的一致性。外部数据采集架构外部数据采集架构和讯网金融界HTML格式处理XML格式处理路透社国泰安电子文件纸质文件内部数据采集PDF格式处理JSON格式处理数据流技术引擎数据格式化处理网路防火墙虚拟专用网络代理-PwCIpage37风险风险木果(3)情感分析&行(1)数据清洗&分模型层级通过将非结构化数据转换为结构化数据，从营销方面可以了解客户的具体需求、产品满意度、甚至生活方式；从风险方面可以验证客户身份、客户收入水这部分数据与现有数据库内部数据结合一起用于模型建立，提高模型的准确性迥些●即时获取使用网站个人信息●即时获取使用社交媒体个人信息●即时获取在线搜索健康、养老、教育、投资信息●在线购物信息(如商品购买)穿戴式设备(例如●旅游网站信息芒果网社交媒体信息(如●房产投资●业务线坐席收集客户信息●客户增值服务使用和体应信息●客户经理掌握的客户信息号、流水、消费、续妨业务信息内部数据网络收集客户●客户投诉文本和语音缺口内部及外部已整合数据运动锻炼、减肥餐饮理财●医疗和健康管理信内外部未/半整合数据 工商红盾行外数据结构化查询接口人行征信行外数据非结构化网页抓取水电数据行外数据结构化查询接口公安核查行外数据结构化查询接口法院信息行外数据结构化非结构化查询接口网页抓取公安户籍信息行外数据结构化查询接口土地信息行外数据非结构化网页抓取百居易房产交易行外数据非结构化网页抓取银联，电信数据行外数据非结构化合作基于Hadoop及实时处理框架用于对非结构化数据进行处理转换，核心技术包括数据清洗，语义分析(NatualLanguageProcess),数据标签等。函数Map(映射)函数Map(映射)非结构化数据术清洗文档内容相似度排查语义分析NLPO结构化数据舆情等)并加以整理归类检索检索分类分类理1.数据碎片1.数据碎片2.元数据标签3.数据洞察索引可洞察的数据不可洞察到数据搜索前台-信息搜索结构的变化网页结果网页结果排序索引检索自然语言文本表示推荐音频图片榀结构化数据半结构化数据文本和非结构数据知识库半结构化信息抽取性抽取配置化可视化展现统计可配置化检索统计推理推荐个个索引生成认知立方数据整合据PwCIpage45认知立方体构建PwCIpage46信息实体的N维到平面特征的转换PwCIpage47捐款(donation)红十字会(Red红十字会(RedCross)地震(earthquake)Iypes;NUMBER0.46PwCIpage48重建(rebuilding)地震(earthquake)政府(govemmentf)hhPA)银行对知识图谱根据内部数据有大量的业务需求需求人工智能(AI)是计算机科学的一个分支，可进行模拟计算机的智能行为知识表示知识表示新一代自然语言传感器/物联网(认知计算)规划深层因果推理虚拟个人助理推荐系统(工序自动化)影像分析PwC银行数据与分析资产PwC银行数据与分析资产的App项目台架构来分析Apps&平台十协作-行业内/跨行业银行分析创新十预先架构数据&分析环全球咨询师网络灵活模型-项目、retainer快速探素-外部数据行公共与第三方数据的数据平台对标指数模型十完成100-500课程书行业/领域集中式分析环境银行分析学院数据服务十十十十机器学习与银机器学习与银行分析能力PwC演算法ExpectationMax·分级群聚演算法回归分断法实酬计草法机器学期计算法-1AveragedOne-Dependence贝叶斯算法实酬计草法机器学期计算法-1分类和回归树(CART)迭代二分3(分类和回归树(CART)迭代二分3(ID3)卡方自动交互检测(CHAID)决策树决定条件树Source:PwCAnalysis;ATourofMachineLearningAlgorithms.JasonBrownlee·线性回归·逻辑回归···局部预估平滑散点图(LOESS)····遗传程序设计动态学习计法关耗榈则学习法···BootstrappedAggreg···BootstrappedAggreg·随机森林法PwCSource:PwCAnalysis;ATourofMachineLearningAlgorithms,JIasonBrownleePwC大数据的主要能力商业机会Payers支付者供应商&制造商发app计算法新设备)。MaProviders制订正确的分析投资需要一个以业务规划和运营模型为基础PwCIpage57规划实施路线图设计设施路线图设计软硬件架构方案对公7个入各尸典型应用场景洛地1.现状分析与需求调研X周wW究业试点阶段**注*:实施规划阶段可以与规划设计阶段部分重叠注**:试点阶段以***银行队为主，普华团队进行支持优点研讨会资源较多访谈访谈问卷以上三种调研方式各有所长也各有不足，因此，在项目整个运作过过程中，银行将这三种方法配合使用(特别是在项目第一阶段以上三种调研方式各有所长也各有不足，因此，在项目整个运作过过程中，银行将这三种方法配合使用(特别是在项目第一阶段)PwCIpage6lPwCIpage62价值核心驱动世代率数字识别客户，并将为银行带来长期的价值微细分机，渠道，方法(内容构和定位策略，推动存款增长和留住客户使用客户偏好动，通过网上银行发展来为客户提高了产品的功能支持客户摩擦了解摩擦点通过客户互动的生命周期及其在社用户体验&:忠诚度DataModel:ssLifeEventsSocialMediaDataHealhfrPwCProprictar)ybankingandbankingandpayments,depositpicing)HouscholdFinukial2以值为核心的消费勘察：群体?大?(如，何种渠道?短信推送?)向“可定位”转型?运用运用体验流程?·根本原因为何?·高价值客户的物理位置、同效应?·利率变化对于获客策略的的竞争力?·我行的客户忠诚计划与他行的对比情况?交付1)定制化仪表盘-根据客户需求定制化创建仪表盘并每1)更新/定制模型4)评估结果1)定制化报告-面向客户需求每月交付—2周2)目标业务测量与影响PwtPwtKey:Key:银行中有大量(62%)的客户A市场属于中至高收入(>$50K)引了大部分(51%)低收入(<1全球性保险公司3全球金融支付4全球金融支付5美国信用卡公司6全球零售商78910全球制造商PwCIpage67识别并优先与业务一致的大数据能力，用来支持客户以数据驱动增长的模式，随着业务战√略目标创造$100M以上的数据分析平台投资。建立数字化客户营销能力的战略并设计基础设施来支撑无限扩展性，使提供数量/扩展能力得到提升，客户点击量增加3-5倍，同时改善合作伙伴关系。为客户建立单一的全渠道视角；满足从每个值层5%的客户中获取10%的利润。√员工晋升优化与通过分析预计财务影响和流程改变；新型优化方案体现了贸易消费的效益建立信息管理战略，包括优先排序31个项目计划的3-5年实现路线图并确保信息满足业数字操作和组织模型设计，使银行关于客户体验方案可以确定短期数字渠道达到10%客户满意提升的改善，并且建立一个战略管理得以使数字化开销和数字市场在2年提升5倍。实现银行数据分析操作模型，实现对基于创新信息产品的追击；获得董事会对数据分析的√$100M投资，并且推出8个数据分析试点。√√Y√√√√Y√√y务预算和资金计划趋势预测和新机遇探索行业数据和报告据处理和整合各种数据PwCIpage69分析能力从战略到执行聚焦行业全球交付能力spoke”模型来经营能力多样化价等),能力专家(如战略、等)以及技术专家(如，数据创新创新大数据和咨询数据工/对标知识资本题咨询数据工/露商项目对标银行帮助客户利用大规模可视化平台与协作平台来组成复杂的战略规划流程PwC'sYourCompanyInaRoomSM战略与增长分析客户与市场战略与增长分析合?值?销售与分配售战略?求?流程与运营产品与定价分析洞见?合规分析资金、风险、财务分析..开发结果机会.性持致组织部门间分散的技术设计不能够快速整合第三方有限数量的可供分析的结前一种快速的分析方法，以更好的商业决策DecisionDecisionHealthCheck(DHC)m优先权决策框架明确商业价值决策框架明确商业价值根据决策的速度和复杂性确定优先顺序根据决策的速度和复杂性确定优先顺序跨价生命周期分析生命周期分析分析工具包保保数据架构完整技术平台选择联锁数据技术平台选择联锁数据·协调测试和学习方式以创建了信息优势银行分析应用程序以深入了解并迅速采取行动·在适当情况下，使用“快速启动”解决方案，包含一系列快速从数据到洞察到决定以致行动22建立大数据与分析架构评估及路径·业务逻辑与个人专有的应用性质紧密耦合(如，取决于应用程序-基于应用程序"分析了当前数据采集、数据转换、数据分布和展"提出了不同的分析试点场景需求，结合常见数据"定义一组全面的计划，预估未来架构增量阶段的为全球领先金融服务/支付公司建立以大数据驱动增长的战略开发了一个全面的/跨业务部门-基于客户业务运行的·识别数据差异-包括内部差异与同业领先差异；基于业决方案"在银行内部建立“数据民主化”,包括工具、技能与激励变化；执行自选试点来普及“数据民主化”PwCIpage84销售管理销售管理户关系加强客户管理·交易反欺诈模型监管需求拓广客户群催收核肖新PwCIpage86客户决策支持体系，需要围绕挖掘客户的深度、客户广度、提升客户价值三个维度进行降低客户流失”最大化客户价值”■激活沉默客户客户向上销售■客户流失预警关注客户体验分析期间有空气质量有改善还是恶化?年皂及相吴信用十信息等就且客客户营销解决方案同期信用卞客户属辆机文比数据分析辆机文比数据分析成户热销大刺比成户热销大刺比pagePwCIpage能分率上育xx望营植租人营销创新-一账通精准营销项目营销活动设计订购率订购率收益率合营销活动营销活动设计与执行随机选10%营销活动设计与执行平安一账通客户网站行为数据集市一账通精准营销网站广告精准投放7月期间共有10期行产品偏好类广告精准投属性库营销活动活动组A对比组C加权平均原始组响应率：