证券行业新一代大数据平台建设方案

1、证券行业新一代大数据平台建设方案技术创新，变革未来01Part One证券公司数据管理现状与挑战1、政策、监管陆续对券商数据管理提出新的要求2016年12月：证券公司全面风险管理规范第三十二条：证券公司风险管理信息技术系统应支持风险信息的搜集，完成识别、计量、评估、监测和报告，覆盖所有类别的主要风险第三十三条：证券公司应当建立健全数据治理和质量控制机制。积累真实、准确、完整的内部外部数据，用于风险识别、计量、评估、监测和报告证券公司应将数据治理纳入公司整体信息技术建设战略规划，制定数据标准，涵盖数据源管理、数据库建设、数据质量监测等环节。2015年07月：关于运用大数据加强对市场主体服务和监管

2、的若干意见重点任务分工及进度安排表：支持银行、证券、信托、融资租赁、担保、保险等专业服务机构和行业协会、商会运用大数据为企业提供服务2016年12月：证券期货投资者适当性管理办法第十三条经营机构应当建立投资者评估数据库并及时更新,充分使用已了解信息和已有评估结果,避免重复 采集,提高评估效率数据质量管理数据标准管理元数据管理ETL工具ETL自动化JOB封装源系统数据质量平台应用平台消费系统数据中心近实时数据交换多维分析灵活查询 统一门户仪表盘数据挖掘合规管理近实时应用风险监控KPI监控ACRMOCRM中央监控 反洗钱呼叫中心统一门户数 据 交 换 平 台管理调度平台ODSEDWODMSDMFD

3、MADM数据存在于多源关系型数据库系统集中交易 中， 数据整合以按需方数式接入数据据法人清算 中心， 梳理处数据源结构理融资融券 过程很长。加由于数据中工心不支持半股指期货结构化与非结构化数据，行情数据 在数据源方面缺乏对于互联网数据、第三方数据、影像、文档、 等分析需求。2、当前券商数据管理平台架构存在诸多问题大数据量检索执行效率慢对大数据批量处理支持较差不支持非结构化处理任务不支持非结构化数据缺乏对外部数据整合能力对多租户管理能力有限无法支持毫秒级实时性应用缺乏较好的数据挖掘工具缺乏较好的数据管理工具3、缺乏科学的数据治理体系规划标准规范开发实施创建获取维护使用存档检索清除规划分析设计开发

4、测试部署维护数据 架构数据标准数据质量需求数据质量监控、评估、提升数据安全需求数据安全审计数据保留需求数据归档、备份与清除元数据管理问题一：数据多头管理，券商缺少专门对数据监管与控制的组织问题二：数据统计口径、加工方法不一致，缺乏统一标准问题三：数据分布零散，源数据分布于多个应用系统中，部署与同步原则不一问题四：缺少数据生命周期管理问题五：数据挖掘与分析应用差问题六：数据质量、数据安全管理亟待提高02Part Three证券公司大数据平台与应用现状量化分析客户分析风险管理业务运营行情预测高频交易客户画像精准营销风险识别风险对策缩短交易 结算时间高效连接 前台运营外部数据 预测内部数据 预测平台

5、建设数据仓库历史数据 查询数据采集数据处理数据科学数据应用数据管理大数据技术科技驱动业务创新，离不开大数据技术的支撑业务运营客户分析数据管理投资交易行情预测风险管理诸多业务应用系统的数据处理分发，需要从数据标准化、一致性、数据满足应用的程度来进行数据统一管理，实现数据仓库、历 史数据查询、数据管理、数据分发等功能结合互联网平台或APP的客户数据，进行实时采 集、分析，实现用户画像、精准营销推送、高 净值客户管理、智能投顾、基于地理位置的分 析；对于客户的大数据画像分析结果，也可应 用于投顾团队和经纪人团队，便于线下的展业 和业务开展风控的指标管理、实时预警、合规管理、数据维 度一直是券商最依赖

6、于数据处理的部分，可结合 市场风险、信用风险、反洗钱、投资人适当性管 理等应用场景，在机器学习算法和风险模型上提 供解决方案通过大数据分析优化运营管控，通过数据实现时效分析、自动化产品生成，在资产管理和财富管理角度减少生 命周期管理中的冗余环节，同时评估 操作风险损失数据通过行情大数据结合舆情分析对企 业内外部数据进行分析比对，预测 资本市场与宏观经济走势，为券商 投研智库提供参照依据通过大数据训练算法模型对量化投资、组合分 析进行标的选择、投资风控、相关性分析、多 因子选股提供参考和依据；通过市场数据实现 投资组合分析、智能化投资顾问、市场交易回 放等证券公司大数据主要应用方向排名券商数据平

7、台主要应用场景排名券商数据平台主要应用场景1中信证券混合式各类分析/用户画像12安信证券混合式用户画像/精准营销2海通证券混合式数据仓库13中泰证券混合式数据仓库3广发证券混合式用户画像/精准营销14光大证券混合式数据查询/管理4国泰君安混合式用户画像/精准营销15东北证券混合式数据仓库5华泰证券混合式画像/营销/交易风控16中投证券混合式6银河证券混合式数据查询/管理17平安证券混合式画像/营销/资产配置7申万宏源混合式数据查询/管理18国金证券混合式金融工程/流计算8招商证券混合式数据仓库36国开证券Hadoop数据仓库/管理驾驶舱9国信证券混合式用户画像/精准营销51上海证券混合式用户画

8、像/精准营销10中信建投混合式用户画像/精准营销55第一创业Hadoop数据仓库11东方证券混合式数据查询/管理66财富证券混合式数据仓库国内券商大数据平台与应用场景03Part Three大数据基础平台搭建基于单实例Oracle的数据中心问题性能方面：数据加载耗时越来越长，无法满足目标系统对数据的时效性要求；Oracle性能优化无法逾越I/O瓶颈，不断增加索引和分析也增加了系统在加载时的资源消耗， 同时增加了系统维护难度；性能瓶颈导致随机查询能力受限；平台扩展：1.不支持线性扩展，使数据的存储得到制约，扩容需要花费高成本以购买大型设备，无法控制 数据增长带来的性能处理压力；处理能力：只能处理

9、结构化数据，无法满足多样化（半结构、非结构化）格式数据处理需求；部署大数据平台数据整合大数据初步应用大数据应用大数据平台扩展大数据应用深化平台建设数据整合应用建设内容大数据产品和服务技术和应用扩展后期规划部署大数据分析平台数据采集清洗按照业务需求对终端统计分析用户各终端页面埋点行为数据采集移动运营指标公司内部业务系统数（日活、新增、留存）据引入数据可视化开发手工维护数据绘制产品运营指标图统一公司各平台客户表数据外部数据接入1，终端产品和服务改 进制作产品运营报 告2，构建客户画像标签体系构建， 形成客户画像向数据服务层推 送用户标签1，提升营销效率客户聚类分群全渠道运营客户流失预测营销活动支持

10、2，辅助经营决策营销人员行为分析精细化报表3，其他部门需求支持更多元数据采集提升可视化水准按照业务需求开发模型依据平台工作量提升平 台性能为公司资管和固收等业 务提供数据支持机器学习机器人投顾行业舆情监控决策支持第一阶段规划（2016年9月-2017年1月）第二阶段（2017年2月-2017年12月）第三阶段大数据建设思路ETL集中交易融资融券个股期权OTC柜台投资管理TA系统估值系统法人清算OA系统 TA文件行情Attunity Replicate采集程序DATASTAGE JOB实 时 库文 件 服 务 器财付通综合报表平台营销服务平台风险管理系统报表报送系统网上商城系统外 部 系 统Gu

11、ardianDiscoverStreamInceptor同步程序STAGE层 ETL接入分 发 库模型指标层分析应用层归元核心数据层档数数据据维度信息层数据缓存层调 度 平 台Transwarp HDFS基于大数据平台（TDH）数据中心数据中心整体迁移过程演示数据中心架构图数据接入1.DDL导入数2.存据储过程稽3.初核始化库并行同步并行同步效果评估：数据采集任务性能并行入库任务性能方面，TDH整体相对于Oracle提升7.34倍：并行任务对比，TDH相对于Oracle最多能提升46.6倍对于Oracle最慢的并行批量入库任务，Oracle耗时16774秒，TDH提升29.8倍只需要562秒效

12、果评估：核心ETL任务性能核心存储过程作业对比：总体核心作业耗时ORACLE用时86111秒，TDH需要15106秒，性能提升了5.7倍；单存储过程作业对比，ORACLE最大作业用时13618秒，TDH用时273秒，提升了49.9倍；最大任务提升倍率为354.75倍；性能对比：整体批处理性能TradeDateTASKTDH- COSTSTARTENDORACLE-TASKORACLE-COSTSTARTEND20170203ADM_BI_REPORT_MONTH-OLD572017-2-3 10:112017-2-3 10:11ADM_BI_REPORT_MONTH3665502017-2-3

13、 10:012017-2-7 15:5020170203ADM_BI_MONTH5082017-2-3 10:012017-2-3 10:10ADM_BI_MONTH51712017-2-3 10:002017-2-3 11:2620170203BI_KPI_ASSET8612017-2-6 6:242017-2-6 6:38BI_KPI41212017-2-6 6:182017-2-6 7:2720170203KPI_REPORT_DAY2232017-2-6 6:492017-2-6 6:53KPI_REPORT9512017-2-6 7:282017-2-6 7:4420170203PR

14、OC_DATA_STD_CW53412017-2-4 1:402017-2-4 1:41STD_CW536632017-2-4 0:582017-2-4 1:0920170203QSTG_REPORT_0116102017-2-3 17:542017-2-3 18:20QSTG_REPORT_0147582017-2-3 17:382017-2-3 18:5820170203STD_ALM_BALDATATRANSFORM782017-2-3 15:252017-2-3 15:26STD_ALM88232017-2-3 13:012017-2-3 15:2820170203STD_ANALYS

15、IS_KPI6552017-2-4 1:472017-2-4 1:58STD_ANALYSIS2110702017-2-3 19:322017-2-6 6:0920170203STD_HS925302017-2-4 0:272017-2-4 0:36STD_HS9277942017-2-4 0:182017-2-4 2:2820170203STD_JZ3119252017-2-3 20:082017-2-3 20:41STD_JZ3139432017-2-3 21:262017-2-3 22:3220170203STD_JZ415792017-2-3 20:082017-2-3 20:17ST

16、D_JZ4121222017-2-3 21:262017-2-3 22:0220170203STD_MALL422017-2-4 0:062017-2-4 0:07STD_SYNC_MALL29272017-2-4 2:152017-2-4 3:0420170203STD_OPT9272017-2-3 23:322017-2-3 23:47STD_OPT7172017-2-3 23:352017-2-3 23:4720170203STD_SC602832017-2-6 1:242017-2-6 1:29STD_SC6010922017-2-3 7:302017-2-3 7:4820170203

17、TOTAL_ASSETS27612017-2-3 20:082017-2-3 20:54TOTAL_ASSETS324262017-2-3 21:292017-2-4 6:2920170203TOTAL_OPEN_CLOSE22942017-2-3 20:082017-2-3 20:47TOTAL_OPEN_CLOSE325682017-2-3 21:262017-2-4 6:2920170203TOTAL_STOCK27692017-2-3 20:082017-2-3 20:54TOTAL_STOCK325882017-2-3 21:262017-2-4 6:2904Part Three基于

18、大数据平台应用大数据分析平台自定义用户分群业务漏斗分析用户自定义报表操作类交易类市场类Transwarp HDFSDiscoverStreamInceptor模型指标层归 档 数 据元 数 据分析应用层核心数据层维度信息层数据缓存层大数据基础平台综合报表系统领导驾驶舱辅助决策支持指标报表展示自助式业务分析客户信息管理系统客户信息管理部门工作协同风险管理系统净资本管理异常交易监控.数据治理体系数据管控平台数据应用整体逻辑架构大数据分析平台拓扑图代理服务器数据分析服务器数据分析 服务数器据分析 服务数器据分析 服务器数据分析 服务数器据分析 服务器TDH大数据平台管理节点 服务器管理节点 服务器万兆交换机数据 服务器数据 服务器数据 服务器数据 服务器数据 服务器数据 服务器数据 服务器数据 服务器外部数据服务器数据接入采集服务器采集服务