民族证券自主开发数据中心.ppt

1、自主开发数据中心 中国民族证券 马光悌,2,前言,证券公司的技术系统 主交易系统和管理系统 指令处理系统 业务支持系统 办公系统 业务支持系统 各行业都用，需求各异 可考虑自主开发,内容,一、项目概述：为何要建设数据中心？,简化信息系统架构 数据中心建设后可以大大简化各系统之间的关系，生产系统是数据的生产者，业务系统既是数据的生产者又是数据的消费者，而数据中心是物流中心和配送中心 减轻生产系统压力 数据中心的数据不仅权威而且全面。利用先进的实现方法，使得统计和分析更便捷，这样会大大减轻生产系统的压力，同时也为建设新一代订单系统打下了坚实的基础 保证业务数据统一 许多业务系统需要同类型的数据，由

2、于不同系统处理方式和统计口径不尽统一，往往同类数据在各个系统中都不统一。数据中心建设后可以解决数据统一问题 提高业务创新能力 数据中心是数据加工厂，同时也是价值发现者，这样为我们后续业务系统的建设和完善提供了强有力的数据支持。 提升决策分析水平 数据中心的数据全面性和包容性强，为数据深度挖掘提供了先决条件，也为决策分析提供了强有力的支持,一、项目概述：如何来建设数据中心？,走自主开发建设道路 能够贯彻落实属于我们的设计理念，快速响应业务部门的需求，节约运行维护成本，推动业务创新。 构建稳定高效的平台 面向海量数据，构建一个稳定高效的数据处理平台和服务平台是数据中心建设的核心。 采用成熟的开发工

3、具 利用成熟的ETL工具，能够保证数据整合的完整性、高效性和可维护性；利用成熟的BI工具，能够快速、灵活、多视角、丰富地展示各类数据。 建立科学的数据模型 根据证券行业业务的特点，结合科学的数据组织方式搭建企业数据仓库，为今后数据统计、数据分析和数据挖掘打好基础。 分步骤建设数据中心 数据中心是一个持续建设的项目，我们将根据我们的现实需求和未来需求分步骤来建设我们的数据中心。,一、项目概述：如何来定位数据中心？,数据加工厂 在保持业务数据原始性和完整性的基础上，按一定的业务规则、指标、粒度对数据进行加工处理 数据服务者 建设统一的数据服务平台，为各个业务系统以一定服务形式提供所需数据 数据发布

4、者 数据中心体现了数据的权威性，向外报送的数据可以以统一的口径对外服务 业务发动机 数据中心的建设为创新业务的开拓奠定了坚实的基础，有了数据中心的基础，我们可以很方便很快速开发和实施一些增值服务系统。 价值发现者 通过数据中心数据长期的积累，我们可以从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的但又是潜在有用的信息和知识,原则之一：逐步投入、分步建设 原则之二：先易后难、逐步深入 原则之三：标准统一、服务多样 原则之四：架构稳定、灵活扩展 原则之五：包容业务、有别业务 原则之六：来自应用、服务应用 原则之七：数据积累、知识发现 原则之八：树立权威、体现创新,一

5、、项目概述：建设数据中心的原则是什么？,系统平台的建设：ODS平台、EDW平台、ETL平台、BI平台、管理平台 业务数据的集成：DIS是依据制定的数据标准、业务规则和处理流程把来自不同业务系统的数据进行重新组织 操作数据层开发： ODS不仅为各业务系统提供可操作的数据，同时也是转入到EDW的短期数据存储层 数据仓库的开发：依据不同的业务主题和数据模型进行数据组织的，是数据统计、数据分析、数据挖掘和高速计算的基础 管理平台的开发：在快速开发平台的基础上完成了数据中心管理平台的开发，并与Cognos平台进行了集成，实现数据的展示 任务调度的开发：在DataStage平台上开发各种数据处理任务，并把

6、数据抽取、转换、处理、装载各个环节通过合理的调度完成数据整合,一、项目概述：一期项目完成的主要内容是什么？,二、系统介绍：技术框架,原始数据,操作数据,数据仓库,数据整合,数据展示,数据管理,数据服务,事务型DB：Oracle,事务型DB：Oracle,分析型DB：GreenPlum,IBM DataStage,IBM Cognos,DataStage、WebService,快速开发平台,RISC、AIX,RISC、AIX,X86、Linux,X86、Linux,X86、Linux,X86、Linux,X86、Linux,ODS,EDW,交易,营销,资管,财务,清算,客服,内控,资讯,二、系统

7、介绍：数据关系,EDW,交易 数据,清算 数据,营销 数据,财务 数据,其它 数据,非结 构化 数据,交易 数据,清算 数据,营销 数据,财务 数据,其它 数据,规整 数据,DA T A S T A G E E T L,ODS,DA T A S T A G E E T L,E T L,呼叫 中心,营销 平台,财务 系统,门户 网站,管理平台,商业智能工具,元数据管理和质量管理,其它 系统,数据服务平台,二、系统介绍：处理流程,三、建设过程：系统选型之数据仓库选型,选用GreenPlum满足了我们的需求 海量并行处理结构(MPP：Massive Parallel Processing) 由多个S

8、MP服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统。其基本特征是由多个SMP服务器(每个SMP服务器称节点)通过节点互联网络连接而成，每个节点只访问自己的本地资源(内存、存储等)，是一种完全无共享(Share Nothing)结构，因而扩展能力最好，理论上其扩展无限制，目前的技术可实现512个节点互联，数千个CPU。,高性能 基于X86架构的多节点并行处理，MPP结构决定性能 低成本 包括硬件、软件、开发、扩展和维护成本 开放性 主流操作系统和数据库，支持主流的ETL、BI及开发工具 维护性 系统维护简单易学,三、建设过程：系统选型之ETL工具

9、选型,选用IBM DataStage满足了我们的需求,性能价格比好 大数据量处理能力强。 系统成熟可靠 支持主流数据库和文件处理，支持元数据和质检。 系统实施简单 任务开发简单，任务调度容易实施。,三、建设过程：系统选型之BI工具选型,选用IBM Cognos满足了我们的需求,兼容性 操作性 功能性 展现力 维护性,三、建设过程：系统集成,ODS数据库部署 IBM P570、Oracle 10g、HDS AMS1000(10T) EDW数据仓库部署。 Dell R600、Dell DM1000、Suse Linux、GP DataStage系统部署 Dell R300、RHL Linux、Da

10、taStage 8.1 Cognos系统部署 Dell R300、RHL Linux、Cognos 8 展示和管理平台部署 Dell R300、RHL Linux、Resin、开发平台,三、建设过程：开发过程,三、建设过程：软件开发手段,ODS设计及开发 PowerDesigner EDW设计及开发 PowerDesigner DataStage 规划及开发 Job开发及调度 Cognos报表设计 数据查询及固定报表 Cognos多维分析设计 多维模型设计 前端管理平台开发 利用快速开发平台 数据清洗、转换程序设计及开发 PowerDesigner,三、建设过程：软件管理手段,SVN：实现版本

11、控制 BugFree：实现任务调度和缺陷管理,三、建设过程：ODS的设计与开发,原始数据层：与业务数据结构相同，按需采集 操作数据层：为特定业务、应用、数据仓库定制的数据存储层。这里需要根据业务规则、数据标准和处理流程进行清洗、转换。,三、建设过程：数据仓库的设计与开发,主题模型设计及开发：面向全公司 数据集市设计及开发：面向部门及特殊需求,三、建设过程：DataStage的设计与开发,数据抽取（业务数据到原始层） 数据清洗（原始层到ODS） 数据转换（原始层到ODS，ODS到EDW） 数据装载（初次：业务层数据文件EDW，日常：原始层ODS数据文件EDW） 所有这些过程通过DataStage

12、任务调度完成处理,三、建设过程：Cognos的设计与开发,三、建设过程：Cognos的设计与开发,三、建设过程：Cognos的设计与开发,三、建设过程：管理平台,业务建模 快速开发 质量控制,四、实现效果：技术效果,开放式技术架构：便于集成、开发和扩展 清晰的数据层次：数据流清晰明了，有利于数据的扩展 先进的整合工具：实现统一调度，处理大数据量性能高 强大的展示工具：实现快速报表和多维分析 卓越的数据仓库：具有高速海量数据处理能力 灵活的业务模型：数据仓库以七大主题进行数据规划和组织 快速的开发平台：通过建立业务处理模型就可以快速开发应用，不需要太多的编程工作,四、实现效果：技术优势,建设成本

13、低 维护成本低 扩展成本低 性能优势大 业务支持好 应用开发快,四、实现效果：技术优势,建设成本低 维护成本低 扩展成本低 性能优势大 业务支持好 应用开发快,四、实现效果：创新效果,包容业务、有别业务 数据中心基础数据都来自各个业务系统，但并不是简单的数据整合，而是按一定的标准、规则、处理方式和数据模型进行重新组织，以便能够进行深度挖掘，为业务发展提供价值发现和决策分析 来自应用、服务应用 数据中心基础数据都来自各个业务系统，同时又要为各个业务系统服务。如，数据中心可以从柜台系统、CRM系统采集所需要的客户信息、交易信息、经纪人信息，通过数据中心进行数据处理后为CRM中经纪人推送相关的客户行为分析数据、资金周转率数据、佣金贡献率数据、监控指标数据等 支持动态分析过程 利用数据模型中的业务数据，结合业务模型，并通过商业智能工具进行动态分析。如，利用数据中心平台，针对公司净资本变化情况进行相应的敏感性分析和压力分析，帮助决策机构进行投资分析。 支持