ODS数据服务平台介绍

ODS数据服务平台介绍主要内容1、数据平台的功能2、数据平台的建设原则3、数据平台数据平台建设使用技术4、ODS表命名规则5、Basedb数据结构设计要点1/2/20252数据平台两大功能1、提供数据服务 增量层（INCR层），存放生产库的存量数据，以此作为所有外围系统的数据接口，提供数据级服务。2、提供信息服务 ODS层（BaseDB与CubeDB） BaseDB存放融合的基于操作级的数据，而CubeDB是基于BaseDB的汇总数据，以此提供数据查询与数据的统计。 ODS层只存放与统计相关的数据。增量层的数据范围＞ODS层的数据范围

1/2/20253保监会报表、总部快报等CallCenter、省级数据接口DTS调度抽取DTS调度抽取Trigger抽取增量及全表抽取CBPS8版年金系统AMIS财务系统……镜像库镜像库增量数据库增量数据库SQLServer数据库INFORMIX数据库省级ODS数据库SQLServer数据库CBPS7版总部汇总层总部ODS数据库未确定数据库总分传输省级汇总层DTS调度抽取SQLServer数据库1/2/20254层次间的数据导向1、增量层（INCR）是生产系统的同构层，并且是逻辑集中的。有几类业务系统就有几个增量数据库。

2、BaseDB对同构层数据进行了集成和融合，但它还是基于操作型数据的3、CubeDB对数据进行了抽象和加工，它并不是基于操作型数据的。主要是针对前台的报表应用建立统计模型。不同层之间的数据特点决定了它们的应用方向。如：1、增量层适合于作为数据供应池2、BaseDB除了作为CubeDB的数据汇总来源外，还可提供数据查询使用3、而CubeDB适合于报表生成和数据分析1/2/20255目前应用基于数据服务的应用有：CallCenter、电子商务，以及后期的再保数据接口，他们将从增量层获取数据基于信息服务的应用有：中介统计平台、保监会报表系统以及每日业务快报、广东省报表中心等，他们均从ODS层获取数据（即基础数据来源于BaseDB，经过汇总，产生CubeDB中的事实表数据）.1/2/20256数据平台建设的几点原则1、整个架构基于PC服务器 当前多层次的架构适合于多个PC服务器的联合工作。 如果采用小型机架构，存在下列问题：1）数据平台庞大的数据以及复杂的层次结构，将要求独占小型机资源，这对于各省的硬件设备，难以支撑。2）如果把数据平台的各层都架构在小型机上，那么应用上难以达到平衡，应用间效率的互相影响和牵制会相对突出。 而采用PC服务器方式，由于PC服务器成本低，我们可以通过多台PC服务器的联合工作，获得有效的性能。 未来设备采用：使用64位的PC服务器＋高速磁盘存储设备，将会给数据平台提供坚实的基础。1/2/20257数据平台建设的几点原则2、基于微软平台与微软技术 微软平台的集成性和方便快捷是显而易见的。 数据库采用SQLSERVER，在SQLSERVER中，集成了如下服务：数据库平台、报表工具（ReportingServices）、ETL工具（DTS）、分析平台（AnalysisServices）以及复制工具（ReplicaiotnServices），而且许多BI工具都是很有名的。 应用前端基于.NET平台，在微软平台上，采用.NET技术一定优越于JAVA。除非我们要在UNIX平台上建立应用，否则，采用JAVA是舍简取繁。

1/2/20258数据平台建设的几点原则3、采用Trigger方式提供轨迹数据 由于各个生产库在设计阶段，都未充分考虑到轨迹数据的记录，所以采用Trigger方式，是目前唯一可行的方案。这样，才能保证数据平台的数据与生产库之间的一一对应。否则，你费尽心力，也难以作到双方的数据一致性。

1/2/20259数据平台建设的几点原则4、增量层作为生产库的同构层，并作为数据供应池 增量层与生产库是完全的同构关系，有多少种生产库，就有多少个增量库，目前数据平台中设计好的增量库有：CBPS7版增量库（INCRDB）、CBPS8版增量库（INCRV8）、AMIS增量库（INCRAM）、年金增量库（INCRNJ）以及投连万能增量库（INCRUL）。 目前增量层中的数据已扩充成全量数据。 这一层是为外围系统而生的。主要是考虑到对CALLCENTER与再保系统的深度支持。1/2/202510数据平台建设的几点原则5、BaseDB保存集成的、经过融合的、基于操作型的数据 如果直接在增量层上架构统计应用，会存在许多的不便，因为增量层中的数据是非集成的，一项统计可能要跨越多个数据库，同时，数据是非融合的，一项统计可能要基于不同的数据库进行复杂的定制。而基于BaseDB，可以在很大程度上避免这些复杂性。但同时，BaseDB中的数据还是基于操作型的数据，并未进行太多的抽象，这样带来的优点是：1）我们可以有效减少ETL的复杂性2）提高了ETL的效率。也正因为BaseDB是操作型数据，所以我们需要CubeDB层对基于统计的数据进行抽象加工。1/2/202511数据平台建设使用技术操作系统

数据库ETL工具前端应用调度方案

数据库引擎WindowsServer2000，未来希望采用WindowsServer2003SQLServer2000，未来希望采用SQLServer2005DTS，属于SQLServer2000自带。JAVA和ASP、ASP.NET

由VB程序开发的管理维护平台实现对生产库（INFORMIX）的访问使用ODBC引擎，应用上采用JDBC或ADO引擎1/2/202512ODS表命名规则A类表－保单类表B类表－收付费类表

C类表－客户类表包括A01长险保单表，A04基金险保单表，A05短险保单表，A02基本要约表、A03子要约表、A11长险被保人表、A12基金险被保人表、A13短险被保人等表。主键合并包括B01实收表，B02实付表，B03应收表，B04应付表、B05帐户表、B06财务应收备份表、B07财务应付备份表。主键合并包括C01客户主表，C02个人客户信息表、C03团体客户信息表、C04联系方式关联表、C05联系方式列表。主键合并D类表－保全类表目前暂不抽取E类表－理赔类表包括：E01理赔申请表、E02赔付理算表、E03索赔被保人表。主键合并T类表－AMIS类表包括T01营销员基本信息表，T02营销员自然状况表，T03佣金明细信息表，T11营销员流动情况，T29代理人资格证，T50机构定义表等H类表汇总层的表命名L类表、M类表、N类表留给省一级使用1/2/202513BaseDB中的冗余字段BaseDB中许多表都设计了冗余字段，它主要作用是：1、减少表间关联，提高汇总速度。2、降低不同业务系统之间的差异性。大部分冗余字段都采用双向更新方式，以保证冗余字段的值不会被遗漏。1/2/202514A类表的冗余字段许多信息在7版中存在，但8版中把保单信息分布在几张表中，所以我们在抽取8版数据时，生成了相关字段的信息。原则如下：1、一对一的表，直接更新2、一对多的表，SUM更新或首条记录更新1/2/202515B类表的冗余字段B类表的冗余字段，大部分是从保单表更新得到。但在8版中，由于生成保单的置后现象（即回执问题）。所以在未找到保单记录的情况下，我们通过投保单信息（A31）与投保要约信息表（A32）来更新B类表的相关字段。1/2/202516C类表的处理