01-综管数据采集架构、流程、功能.docx

1、1、总体流程:监管各用户框架:界面展示ETL作业监控日志模型表接收数据指标库HCM5库ETL库ET枭换监控日志数据库状态日志采集异常信息校验日志指标分发设置指标分发监管库数据归档归档设置指标计算设置归档设置数据归档日志ETL脚本管理ETL转换管理交换库库指标计算日志业务数据采集校验设置数据校验指标下发日志指标下发日志校验信息回推数据入增量库数据入全量库业务数据平台数据中心其他数据中心手工填报系统其他基础支撑命名规范代码规范异常处理规范数据安全、数据库用户管理流程:数据流程交换库中心库指标库监管库2、功能清单库功能模块功能点说明交换库项目组数据交换采集业务数据以标准接口接收项目组上传业务数据校验

2、信息反馈将校验信息反馈给项目组库功能模块功能点说明数据校验校验类型分为主键、必填、值域、表关联性四种校验类型分级别校验非严重型只校验量不过滤数据，严重型校验量并过滤数据校验项可配置表配置、字段配置、严重级别配置校验日志生成相关校验量日志数据入库数据入库通过数据交换至中心增量库日志生成相应的数据量日志快速入库历史数据快速入库中心库中心增量库设计表分区按月分区（单个分区单个表空间），按区域子分区索引根据计算建立合理的索引物化视图根据计算需要建立合理的物化视图索引存储索引单独存放表空间大表存储大数据量表单独存放表空间中心全量库设计分区按年分区（单个分区单个表空间），按区域子分区索引根据计算建立合理的

3、索引索引存储索引单独存放表空间归档任务定期数据归档定期将中心增量库数据归档至全量库增量库新建、删除分区定期新建下月分区，删除己归档分区（表空间循环利用）指标计算业务划分单个业务类型单个存储过程可配置计算增量计算、全量计算、指标选择计算可配置指标算法针对单个指标多个算法时，可切换指标算法指标生成生成最细维度指标数据、指标版本致赋予数据与指标版本号，使其保持一致指标库指标存储指标维度存储最细维度指标物化视图根据下发需要建立合理的物化视图索引根据下发需要建立合理的索引指标下发默认F发每次指标计算完成后默认下发每次计算指标库功能模块功能点说明可配置下发可根据维度、指标下发指标保证下发数据一致性单个指标

4、存储在多个表中，保证其数据一致性监管库作业监控作业运行收集所有作业运行日志以监控作业执行顺序协调作业顺序执行汇总日志将运行日志汇总以方便查看异常处理运行日志报异常时候调用异常处理作业前台交互运行日志前台交互，以便人工监控处理数据库监控监控数据库状态定期收集所有用户的数据库状态信息（空间、索引、统计信息）处理作业当数据库处于非健康状态调用处理作业ETL库存储存储KETTLE脚本KETTLEKETTLE作业建立所有正常流程作业规范命名规范用户以HCMS_开头，后面跟用户主要功能拼音缩写，形如“HCMS_功能缩写"表空间用户默认同用户名，其他命名为用户名加功能拼音缩写，“用户名一功能缩写”索引以TND_”开头，后面跟表缩写信息及字段信息，形如“IND_TABNE_ZD1”视图以“VIEW_”开头，后面跟视图功能缩写，形如“VIEW_GN”非业务表字典DIC_开头，日志LOG_开头，配置CFG_开头模型MDL开头，权限AUTHO开头，指标INDIC开头数据模型配置DMC开头注释规范存储过程存储过程开头应包含改存储过程的说明