数据仓库系统设计说明书

经典word整理文档，仅参考，双击此处可删除页眉页脚。本资料属于网络整理，如有侵权，请联系删除，谢谢！归一大数据平台数据仓库系统设计说明书系统设计说明书2-系统设计说明书1背景2..........................................................................................................................................................................................................34...........................................................................................1156783-系统设计说明书4-系统设计说明书01234567891引言5-系统设计说明书6-系统设计说明书2总体设计）））7-系统设计说明书3系统接口设计无接口。4子系统/模块设计4.1.1ODL(操作数据层设计4.1.1.1功能描述实现从外部系统导入数据到大数据平台,ODL层数据与数据源保持一致.同步方式包括:增量同步全量同步数据源类型包括:数据库4.1.1.2业务流程流程图:8-系统设计说明书数据源系统数据库远程调用读取同步脚本数据库同步是否流程说明:1.调度系统定时启动数据同步作业.2.作业读取数据同步脚本,远程调用数据库接口.3.数据库接口返回远程调用结果.4.接收数据库接口返回的数据集,装载到ODL本地表.异常处理:调度系统捕获异常并处理日志说明:由调度系统负责记录作业正常和异常日志.数据源说明:1.通过视图封装需要同步的物理表,与业务进行隔离.当物理表发生变动,尽量通过修改视图兼容.2.数据同步程序访问数据源视图.数据粒度说明：与数据源保持完全一致。4.1.1.3作业设计详见数据同步列表.xlsx>>9-系统设计说明书4.1.2事物层设计4.1.2.1功能描述BDL层对ODL数据进行清洗、转换，实现统一维度的数据整合。4.1.2.2业务流程流程图:BDL数据流程图读取作业脚本数据清洗L阶维度转换、捕获维表段结束流程说明:1.调度系统定时启动数据同步作业.2.作业读取ODL表，进行数据清洗，对不符合规则的数据进行丢弃或转换.3.将转换后的结果数据装载到BDL本地表.异常处理:调度系统捕获异常并处理.日志说明:由调度系统负责记录作业正常和异常日志.10-系统设计说明书数据粒度说明：与ODL保持一致.4.1.2.3作业设计详见数据仓库转换文档.xlsx>>4.1.3IDL(宽表层设计4.1.3.1功能描述在IDL层对BDL事实表按主题进行合并,形成一次写多次读的宽表,降低系统整体开销.并实际根据需要进行用户级粒度的聚合,进一步提高查询效率.4.1.3.2业务流程流程图:分布式数据仓库读取作业脚本按主题关联事物级粒度L阶用户级粒度聚合段结束流程说明:11-系统设计说明书1.调度系统定时启动数据同步作业.2.按主题读取相关BDL表,进行关联,尽量补齐维度字段,生成事物级宽表.3.按用户级粒度聚合,生成用户级宽表.异常处理:调度系统捕获异常并处理日志说明:由调度系统负责记录作业正常和异常日志.数据粒度说明:1.事物级粒度.2.用户级粒度.4.1.3.3作业设计详见数据仓库转换文档.xlsx>>4.1.4PDL(应用层设计4.1.4.1功能描述PDL层按业务需求,IDL宽表汇总查询生成各种结果表.4.1.4.2业务流程流程图:12-系统设计说明书调度系统开始各种粒度聚合读取作业脚本维度条件筛选生成指标数据段结束流程说明:1.调度系统定时启动数据同步作业.2.读取IDL宽表,按业务需求进行聚合,筛选,生成指标数据.3.结果写入PDL层结果表.异常处理:调度系统捕获异常并处理日志说明:由调度系统负责记录作业正常和异常日志.数据粒度说明:1.按业务需求的各种粒度.4.1.4.3业务账数据统计设计业务账数据统计如下特点:业务账指标由多个交易类型代码组合,一个交易类型代码对应多个业务指标,例如:13-系统设计说明书业务账指标A交易类型代码{M00010,M00001,M00002,M00003,…}业务账指标B交易类型代码{M00010,,M00012,M00013,…}业务账指标C交易类型代码{M00000,,M00002,M00023,…}随需求也业务变化,业务账指标及其交易类型代码也会变化.每个业务账指标统计算法相同,只是其交易类型代码组合不同.每个业务账指标可能会被多个报表调用，例如积分总金额”针对以上特性,运算统一化技术的功能，减少系统维护成本。4.1.4.4作业设计详见数据仓库转换文档.xlsx>>14-系统设计说明书4.1.5PUB(维度库设计4.1.5.1功能描述采用异步LOOUP方法,主动捕获非法维度数据,经过人工识别生成维度数据.4.1.5.2业务流程流程图:调度系统开始分布式数据仓库ODL表、维表读取作业脚本捕获异常维度是段结束流程说明:1.调度系统定时启动数据同步作业.2.异步读取ODL表和维表,对比维度映射表查找是否有不存在的维度数据.3.如果发现非法维度数据,经过人工识别,写入维度映射表和维度表.异常处理:调度系统捕获异常并处理日志说明:由调度系统负责记录作业正常和异常日志.15-系统设计说明书4.1.5.3作业设计详见数据仓库转换文档.xlsx>>4.1.6业务账数据集市库4.1.7数据导出设计4.1.7.1功能描述将PDL表和维度导出,同步给mysql库,供统计报表查询使用.4.1.7.2业务流程数据导出流程图门户系统统计表、维表ETL阶段流程说明:1.调度系统定时启动数据同步作业.16-系统设计说明书2.读取PDL表和维表,将数据装载到MY