上午5后南方基金新数据中心一期介绍-屈磊_W

1、南方基金新数据中心介绍信息技术部2017年11月1数据组小组职责数据组的主要工作 规划建设数据中心平台项目，通过数据中心分期分阶段项目建设，规范统一数据采集清洗，实现统一的数据模型存储，制定主数 据和元数据管理的方法和步骤，实现公司ODS/EDW数据仓库； 通过数据交换平台、数据总线服务为业务和系统提供标准化的数 据接口和服务，为业务提供高可用、准实时的数据服务支持； 同时进行数据应用项目开发建设，对数据进行商务智能分析； 利用大数据技术工具对客户精准化营销、产品开发提供大数据技 术支持。数据组职责 数据中心平台项目规划建设 数据需求与服务支持 大数据相关研究数据标准与质量管理数据应用与智能分

2、析2数据中心平台项目规划建设一期实现数据中心数据仓库基础平台，完成营销数据中心CRM的数据采集、清洗与模型转换，实现客户、产品、销售渠道等主数据管理；构建数据交换平台与服务总线，制定向外系统提供数据的接口和服务标准，实现对电商时性数据服务支持；数据的高可用性、准实规划二期、三期数据中心平台项目内容，制定数据中心平台发展路线图，将数据中心作为公司数据统一存储管理的财富仓库，进而提供高可用的数据服务，支持和推动业务发展。3目录1、新数据中心大数据平台2、现阶段建设实施情况3、客户主数据及常态化指标4、后续可提供的数据服务4TDH大数据平台介绍5TDH的产品特性Inceptor完整的SQL支持 99

3、%的SQL 2003支持，唯一支持PL/SQL的引擎（98%），唯一支持ACID分布式事务的SQL引擎；Spark:高效内存/SSD计算 支持SSD的基于Hadoop的高效计算引擎，可比硬盘快一个数量级； 可用于建立各种数据集市，对接多种主流报表工具。大数据挖掘：完整的分布式机器学习算法库 支持最全（超过50余种）的分布式统计算法和机器学习算法，同时整合超过5000个R语言算法包。适合金融业风险控制、反文本分析、精准营销等应用。流处理：健壮和功能丰富的流处理框架、 支持真正的Exactly Once语义、支持所有组件的高可用(HA)、支持流式SQL和流式机器学习67数据中心：大数据平台组成TD

4、H大数据存储与计算平台、数据采集及任务调度平台、客户主数据统一账户管理系统、web应用及微服务。 8角色用途 开发环境 生产环境 主机名 主机名 TDH大数据平台 50NEWDC-TDH-01管理、数据存储 61NEWDC-TDH-02管理、数据存储 72NEWDC-TDH-03数据存储 83NEWDC-TDH-04数据存储 任务调度及采集 4521NEWDC-ETL-01Control-M任务调

5、度 4722NEWDC-ETL-02采集及数据下载交换 Oracle RAC05NEWDC-ORACLE-01客户主数据及前置库 06NEWDC-ORACLE-02客户主数据及前置库 Web中间件 03NEWDC-WEB-01数据服务及HTTP大数据平台架构TDH大数据存储与计算平台：由4台高性能机器（Node1、Node2、Node3、Node4）构成，承担公司统一的数据存储和数据管理；现在已经扩至8个存储计算节点，配置4个Incep

6、tor Server一个节点运行4个excutor。数据采集及任务调度平台：配备任务调度及采集服务器各一台（Informatica Server、Control-M Server），进行核心生产系统数据采集及任务调度；统一账户管理系统：实现客户主数据管理，数据库服务器两台（OracleRACServer1、OracleRACServer2）组成OracleRAC高可用数据管理方案，支持客户主数据管理及数据服务结果数据库，Web中间件服务器一台（Web Server）支持客户主数据管理应用及对外数据服务。9大数据平台网络拓扑10新数据中心建设背景及总体目标项目实施周期：2016年12月-2017

7、年6月 电商业务系统：数据查询计算服务 CRM、报表中心：数据采集效率、性能出现瓶颈 客服、呼叫中心：数据一致性、准确性及常态化指标的落地 营销、投研数据中心：统一技术架构及规范服务要求总体目标： 建设公司级数据中心数据仓库，统一数据技术架构，构建企业统 一数据模型，实现对数据的统一管理和服务。 在对公司数据实现数据统一存储和管理基础上，对各应用系统提供统一的数据服务； 进行客户和产品的数据挖掘分析，并借助于大数据技术和工具实现对客户精准营销和产品开发，支持电商和投研等业务的大数据应用。11一期建设目标功能性要求 数据中心一期主要完成数据仓库基础平台； 实现面向客户营销数据统一采集、清洗处理和

8、规整入库； 加强客户、产品、销售渠道等主数据管理； 客户盈亏收益类常态化指标计算与落地； 优化现有营销数据中心数据采集、清洗和处理过程； 规范基础源数据、数据中心规整数据与业务系统数据接口之间的 数据服务和实时准实时的数据交互过程； 采用新的技术架构和方案支持电商7*24小时数据服务。非功能性要求 数据容量空间：80-100t，目前已经规划120T的空间。 采集时间和效率：缩减至半个小时到1个小时以内 响应时间：达到毫秒级12主要数据来源：TA、电商直销:包括自建TA、LOFTA、ETFTA、现金通TA、电商TA数据源直销 数据内容涉及： 客户基本信息、基金产品数据、销售机构数据、 账号数据（

9、基金账号维表、交易账号维表）、 账户申请和确认数据、交易申请和确认数据、 份额流水数据、静态份额数据、基金行情数据、 日期数据、费率信息、销售服务费收入数据、 字典表备注：子公司TA客户、产品、账户、交易、申请、确认及份额流水数据13主要数据来源：FA、FMDCFA数据源：包括年金FA、社保FA、专户FA、QDFA 数据内容涉及： 基金产品基本信息，包括母基金和分级基金、 管理费和销售服务费、托管费信息 采集凭证表和估值表（估值2.5升级到4.5后各项费用以视图形式直接提供）FMDC数据源：投资交易数据中心 数据内容涉及： 公司所有基金的基金基本信息 公司所有基金的基金当日资产和当日份额、前日

10、资产和前日份额、以及份额变换、 混合和股票型基金的基金头寸信息14主要数据来源：OA、CRMOA数据来源 数据内容涉及： 基金产品基本信息，包括分类、类型、母基金和子基金关系数据、基金经理信息 财务数据：包括公司预算的所有数据，例如科目、预算、预算发生和调整 员工基本信息数据：包括姓名、CRM数据来源 数据内容涉及： 客户数据、号、部门 基金产品数据，主要涉及到产品分类和一些标签等15一期需求概览业务类：技术类： 营销数据基础模型 统一账户管理平台 数据仓库基础平台 数据查询集市服务 主数据 客户、产品、渠道 常态化指标及标签 数据接口 电商、CRM、客服客户主数据客户唯一标记：参与者类型+姓

11、名+证件类型+证件号码关键信息：参与者类型、证件类型、证件号码、姓名、经办人证件类型、经办人证件号码、经办人姓名 联系信息：移动电话，联系电话，联系地址 ，单位电话，邮证编码，电子邮箱，传真号码 清洗关键字段：证件号码，移动电话，联系电话，联系地址，单位电话，邮证编码，电子邮箱，性别，生日，传真号码，单位名称，经办人证件类型，经办人证件号码，经办人姓名 客户主数据参与者类型 参与者类型英文名称 登记标准证件号码 参与者姓名 参与者简称 参与者英文名称 性别 出生日期 婚姻状况 学历 行业，预留 职业 国籍 城市 联系地址 联系电话 移动电话 备用移动电话 联系方式 联系方式类型 单位名称 工作

12、单位电话 邮政编码 传真号码 微信号 QQ号码 电子邮箱 职位，预留 年收入 客户等级 客户类型 首次进入时间 经办人姓名 经办人证件类型 经办人证件号码 经办人证件有效期 参与者绑定方式 对账单寄送标志 企业性质 公司网址 工商登记号 注册地址 注册日期 注册资本 法人姓名 总经理 深交所股东账号 沪交所股东账号 组织机构代码 发证机关 参与者身份鉴别类型 原始身份鉴别信息 鉴别信息生效日期 鉴别信息失效日期 经纪人 是否开通客服 失效日期 常规连续认证失败次数 是否开通网上交易 登陆成功次数 常规最后修改时间 直代销标志 常规 最后一次登录时间 数字连续认证失败次数 数字 数字最后修改时间

13、 变动数据 备注 产品主数据产品主数据当前以TA的数据为准，特有属性从其他系统补充主数据字段信息如下：字段名称 产品代码 最高募集份额 基金性质 运作状态 超额申购比例 业绩报酬支付方式描述 产品名称 最低募集份额 是否为ETF基金 基金状态 超额申购_部分确认 财顾费说明 产品简称 产品成立日期 是否显示累计净值 行情公布方式 强赎标志 风险准备金计提比例 产品全称 成立份额规模 是否QDII行情公布频率 赎回费归基金资产比例 管理费计提比例描述 英文名称 成立净值规模 是否指数基金 净值精度 转换费归基金资产比例 托管费计提比例描述 英文简称 合同备案日期 是否量化产品 封闭期描述 追加认

14、购/申购单位金额 销售服务费率描述 英文全称 合同生效日期(成立日期)是否保本 开放日描述 认购费率描述 其他费率描述 支持的份额类型 首次开放日期 是否参与定增 产品简介 申购费率描述 业绩报酬计提方式 默认的分红方式 基金成立确认比例 是否为资产证券化业务 存续期起始日 赎回费率描述 业绩报酬支付方式 初始销售份额面值 募集失败日期 是否投资单一股票 存续期截止日 转托管费率描述 管理费计提方式 发行价格 单一客户最低认购金额 是否投资衍生品 TA代码销售服务费率描述 管理费支付方式 存续期限 单一客户最高认购金额 是否挂牌转让 清盘日期 转换费率描述 托管费计提方式 管理人 单一客户最低

15、申购金额 是否存在特殊交易 发行日期 拟代销规模描述 托管费支付方式 托管人 单一客户最高申购金额 是否投资衍生品 募集结束日期 份额过低期限 投资范围描述 销售模式 单一客户最低赎回份额 是否转债基金 基金认购期限 基金封闭期限 投资策略描述 收益分配模式 单一客户最高赎回份额 是否参与打新 认购模式 最低开户数量 投资目标描述 收益分配原则描述 单一客户最低持有份额 是否分级 基金发行方式 客户过少期限 投资限制描述 比较基准 赎回款到账天数 业绩报酬说明 认购利息处理方式 最低资产要求 止赢线 信息披露或报告要求 赎回比例 业绩报酬计提方式描述 最小认购单位 委托人数量上限 止赢线触及处

16、置措施 最高募集金额 确认天数 预警线 最低募集金额 默认赎回顺序 预警线触及处置措施 止损线 止损线触及处置措施 渠道主数据渠道主数据当前以TA的数据为准，属性字段如下：一期主要是完成电商渠道拆分销售渠道键 TA代码 销售机构代码 销售商代码 销售机构名称 组织键 销售渠道；EC-电子商务，FI-机构理财，DS-直销，SA-代销 销售商名称 销售机构类型,BNK-银行,SCT-券商,DS-直销,3SALE-第三方销售 销售商全称 自助渠道；Y-自助渠道，N-非自助渠道 总部地址 Y-邮编或其他虚拟网点/N-非虚拟网点 邮政编码 所属行政区划键 销售商联系人 是否为第三方合作渠道；Y/N销售商

17、联系电话 渠道状态;1-有效，0-失效 销售商传真号码 一级渠道名称 销售商EMail二级渠道名称 销售商银行代码 三级渠道名称 销售商银行帐号 四级渠道名称 银行户名 五级渠道名称 销售商登记日期 六级渠道名称 TA签约销售商状态 省分行代码 销售商类型 地区代码 是否支持份额明细 网点代码 赎回天数 工行网点号；8位网点号，其他机构为空值 申购天数 账号预分配 分红天数 当前确认序号 认购计息天数 对账方式 是否支持份额类别 认购款到账日期方式 认购申购最大折扣 是否支持多交易账号 支持单步转托管入 接口配置版本 基金转换确认方式 接口模式 赎回转换最大折扣 常态化指标及标签分类原则：优先

18、级高：基础交易，保有类指标；盈亏；客户状态优先级中：基础客户标签； 优先级低：统计类客户标签； 报表中心：自定义查询时点类； 二期需求：当前算法不明确类 总数：92常态化指标调整数据接口总数：111一期各阶段及二期实施内容项目二期第二阶段项目一期：第一阶段 电商APP、网上交易投研应用风控应用报表中心呼叫中心OracleSAP BOSQLServerMy SQLOracleOracleOLTP请求认证结果返回电商接口数据投研主题数据营销主题数据CRMSQL ServerDMSQL ServerOracle基于微服务框架的数据服务推数推数推数OLAPEDW：数据平台企业数据模型ODS数据治理 主

19、数据：客户、产品元数据：系统、业务统一平台技术架构 数仓环境统一采集统一计算统一推数系统注册发布服务采集调度推数管控接口服务ETL转换贴源 FAOracleTAOracleOAMy SQLBPMOracle24一阶段重点解决的问题电商数据服务问题： 1）查询计算效率：请求响应处理时间；报表中心呼叫中心电商APP、网上交易投研平台OracleSAP BOSQLServerMy SQLOracle2）事务操作：增删改操作，资源锁情况；3）时效性：7*24小时在线实时服务支持；查询服务 投研数据中心营销CRM数据中心营销CRM问题： 1）数据采集：每日4个TA数据采集3-5小时，串行处理模式； 2）

20、接口支持：电商、客服等对数据的需求支持，开放库表，数据直连； 3）主数据管理：目前没有统一的管控规则，需要确定客户、产品等主数据以谁为主，以及相应的更新维护策略； SQL ServerOracleETL转换贴源 FAOracleTAOracleOAMy SQLBPMOracle报表中心问题： 1） 数据采集：与营销CRM数据采集重复，数据不一致； 2） 主数据：上游系统数据变更影响到报表输出的数据错误； 3） 历史表的清理：缺少一个有效的管控，增加维护迁移成本；25一阶段实施后的价值提升实施前电商APP、网上交易实施后My SQL报表中心电商接口数据营销主题数据CRMSQL Server报表中

21、心CRMSQL ServerOracleSAP BOOracleSAP BOSQL Server7*24服务采集处理数据仓库大数据平台 TAOracle自建 晚.3h TAOracleLOF1、采集效率提高 2、电商独立分库 3、避免资源锁情况发生4、营销数据源采集统一晚.4-5hTAOracle现金通Pm.2hTAOracleETF 采集处理晚.40m TATAOracle自建大于10h5、主数据一致性Oracle现金通1-2h晚.30mTAOracleLOFAm.20mPm.20mTAOracleETFAm.2h串下执行采集任务借助于大数据工具技术，并行执行采集任务26目前的运行时间效率情况2070万客户，算客户的基础盈亏银华跑了40分钟，现在只要5分钟。大多数基于产品、