基金公司数据平台建设

前言4数据是整体IT战略的重要组成--嘉实IT于2016提出此战略产品产品客户客户 发展阶段嘉实数据平台的历史发展发展阶段2007年数据中心硬件升级，大范围使用IOE架构2011年引入专用BI平台，例如BO、帆软等分析平台报表2015年引入kettle等开源ETL平台，落地管理驾驶舱等应用引入分布式newsql数据库落地客户及产品画像、智能营销、自助分析平台等应用NGDP建设及大数据平台混合架构，关系型&非关系型，sql&nosql，批量&实时OLAP独立发展6烟囱式系统数据孤岛性能瓶颈单一关系平台数据分层不合理模型混乱烟囱式系统数据孤岛性能瓶颈单一关系平台数据分层不合理模型混乱典型痛点问题举例1.1.数据量越来越大，任务计算越来越慢，时效性问题突出2.给客户生成账单，需要跨库访问，运行非常慢3.想得到这一笔交易的网点编号，需要数个大表连接4.无法快速查询一个基金客户是否持有子公司的份额5.如何计算一笔交易所归因的管理费和销售服务费？6.同样报表3年前上线时运行3分钟，现在20分钟7.底层业务变了，但前端输出结果未同步修改策略：建立全新一代平台NGDP并逐步迁移原有应用1前言及综述2数仓与数据主题建设CONTENTS数据平台架构4数据应用举例5数据治理6总结回顾1前言及综述2数仓与数据主题建设CONTENTS数据平台架构4数据应用举例5数据治理6总结回顾3388•基金数据平台承载了市场、投研、资讯各方•这些数据均为各类业务实体、关系、事件行•数据平台是客户与业务查询、决策分析、监•基金数据平台承载了市场、投研、资讯各方•这些数据均为各类业务实体、关系、事件行•数据平台是客户与业务查询、决策分析、监 产品投资 客户市场9数仓建设方法源ODS数仓访问层•综合吸收kimball、inmon等数据模型大师的建模思想，尤其是Immon的规范化三层数仓的建设思想；•吸收TDFS-ldm等平台的先进做法；•借鉴CSRC模型、及其他行业优秀数据模型。数据主题建模•新平台的数据模型是建设重点之一，大类数据主题的方式对数据全面•参考了TD-LDM、证监评审代码设计数据落地质量验证•规范设计流程•重视各阶段文档产出评审评审代码设计数据落地质量验证•规范设计流程•重视各阶段文档产出评审模型设计转换规则模型验证评审系统场景分析字段调研数据验证字段级调研文档系统/表调研表级调研文档评审IdentityIdentity（I）Relevance（R）建立基本定义与其行为之间的关联为Behavior（B）表分析表分析系统调研表筛选数据建模工具据模型重复建设，烟囱式发展、互相不一致；•自顶向下，整体分析，按主题做系统化梳理、•借用Erwin\PDM等建模工具1前言及综述2数仓与数据主题建设CONTENTS数据平台架构4数据应用举例5数据治理6总结回顾1前言及综述2数仓与数据主题建设CONTENTS数据平台架构4数据应用举例5数据治理6总结回顾33容错性和鲁棒性Lambda核心原则CQRS核心原则技术平台建设参考原则容错性和鲁棒性Lambda核心原则CQRS核心原则•技术平台建设不是开源流行工具的简单堆砌，需基于原则作为选型参考；•参照lambda（storm的开发者marZ提出）、CQRS（•原则的落地结合实际场景、结合金融数据特性（结构化为主、精准性要求高稽核、监控；测试、模拟环境；优先分布式系统；持续优化批处理效率；细粒度与粗粒度区分；生产与分析分离；并发查询与分析查询分离松耦合系统建设；嘉实新数据平台分层•前期重点工作会集中在数据工程；•后期阶段需要加强数据服务，数据赋能•前期重点工作会集中在数据工程；•后期阶段需要加强数据服务，数据赋能对标企业数据中台建设需要，新一代技术架构需要进行相关匹配。物理架构部署数据存储、计算、服务的重点为hadoop集群、oracle集群、sdb集群等分布式newsql数据查询平台的引入分布式数据服务及API接口收益计算；•以往资产查询等，需要各个系统拼凑，效率低下；•支持大数据量大并发量的数据访问支持；•独立于数仓、独立于业务系统统一调度平台选型角度1）ETL工具（2）调度工具+程序脚本技术平台相关考量事项硬件替代方案较多，例如：国内的一体机替代国际厂商一体机；数据库等软件替代较为复杂，可从分析端做起，生产考量业务系统的ACID、MVCC、isolation等具体隐含需求……Nosql/newsql是重要辅助手段，在数据缓存、实时处理、非结构化数据等；开源大数据平台具备自身优势，尤其性能、可扩展方面；在CRUD操作密集且叠加事务场景下，关系操作如何支持，例如多并发、互斥、锁定等；1前言及综述2数仓与数据主题建设CONTENTS数据平台架构4数据应用举例5数据治理6总结回顾1前言及综述2数仓与数据主题建设CONTENTS数据平台架构4数据应用举例5数据治理6总结回顾33数据应用的框架各类型的数据应用，均以数据平台为依托，以相关数据工具为支撑•三个能力圈层；•由内而外不断丰富；•在基础与支撑平台基础上，不断面向应用场景进行拓展估•传统的二维报表平台基础上提升为自助分析（组合分析、透视分析等）；•引入国内某BI软件作为BI前端，连接后端的impala或者rdb；•建立让公司员工进行数据查询、数据可视化、数据分析的自助分析平台。技术部门为用户提供数据和分析工具，让用户自主自助的去探索和分析数据，挖掘数据的价值授人以鱼不如授人以渔大数据平台案例—客户画像落地客户画像的标签和指标，数据平台承担大批量的客户标签、指标的批量计算；数据标签化、可视化对于客服、电销等工作产生有力支撑数据标签化、可视化资讯整合库EDM内容建设建设SecurityMaster等主数据信息；重新整理的资讯库，重点面向新数仓的应用案例—收入核算及拆分原先用oracle进行收入解析拆分，每月运行48小时，使用hive改写，在6小时内处理完毕；hadoophive在数据量非常大的计算场景下取得非常好的使用效果；WIND晨星…自助分析WIND晨星…自助分析数据仓库估值投资研究数据集市O32携宁…外部服务TSLTSL/Python/Matlab/R开放式平台指标浏览器SmartBI指标库组合评价绩效评估&风险管理框架多维度分析（基金经理、策略组）业务研究公司核心风险前瞻性风险外部服务API&数据集市底层是资讯+数仓，通过数据集市提供基础数据支持，覆盖投研+市场数据PRA内部做相应的指标计算和业务逻辑加工分析后对用户/外部系统提供数据服务；1前言及综述2数仓与数据主题建设CONTENTS数据平台架构4数据应用举例5数据治理6总结回顾1前言及综述2数仓与数据主题建设CONTENTS数据平台架构4数据应用举例5数据治理6总结回顾33数据治理管控数据治理需要借助于相应的数据管控系统，更重要的是制度的落实；数据模型元数据管理