商业智能平台数据采集方案

1、Smartbi商业智能平台数据采集方案数据采集2基础数据平台数据查询统计分析KPI分析风险预警数据上报数据采集数据分析在线录入数据文件导入ETL文件加载外部系统的数据采集3银监会1104监管报表1104总体应用架构数据源SDATA数据区数据模型与数据整合区指标数据区/应用模型区核心总帐个贷信贷贷计卡 格式化文件基础数据平台前端应用数据抽取、清洗、加载与转换（ECTL）1104报表平台应用服务器银监会接口数据模型区补录改写生成报送文件信息采集平衡检查报表展现XLS报表模板导入报表定制统一报表平台功能框架3.报表设置统一数据平台5.静态报表数据1.指标管理计算指标基础指标2.模板管理填报历史取数定

2、义补录/汇总表内校验状态管理人行报表银监会1104报表内部分析报表预警保存报表数据银监会报表模板清单列表人行报表模板其他报表模板权限管理汇总关系定义校验公式定义 预警设置其他报表报表生成表间校验报表存档4.报表加工6. 查询分析报表数据重用生成上报外管局/财政部报表1104应用功能框架1104角色功能设计1104业务操作流程数据采集方式-在线录入数据缺口定义对目前无法从各源业务系统中获取的银监1104报表数据项，需要由用户进行手工补录处理。补录缺口数据的方法按照缺口数据的业务归属，系统提供2种数据补录方式：总行用户手工补录缺口数据；分行用户手工补录缺口数据，上报总行汇总；分行补录注意事项后台需

3、要保留数据粒度至分行级；前端对各分行补录人员进行用户分组和权限控制；可以设定不同频度报表的分行补录上报日期范围，超过规定时间不允许上报；总行已上报报表的分行补录数据不允许修改；数据采集方式-格式化数据文件导入格式化数据文件导入针对每个分析主题，定义统一的数据填报文件模板可采用导入格式化数据文件的方式加载到1104数据模型中，比较适合原来已有手工台帐或者原有数据已经保留在Excel中由1104项目组统一制定标准接口数据文件格式标准。支持的数据源文件格式：Excel数据采集方式-定期ETL抽取定义统一的数据接口数据文件用户定期将数据文件通过ftp方式提交到文件服务器上通过调度引擎，定期对提交的数据

4、文件进行拷贝、读取、解析并存储到数据库中，完成数据增量加载过程支持的数据源文件格式：CSV、txt等其他功能说明表间数据引用表间数据引用说明：结合1104报表业务需求分析，27张报表之间存在表间数据平衡关系。并且，表间数据平衡关系在业务上可以定义为“主从表”数据项的依赖关系。表间数据引用功能是为了简化用户手工调平表间数据。按照业务部门确认的规则，预先定义数据引用关系，由系统将自动完成数据引用操作。举例说明：G01附表1.各项贷款=G01_6. + G01_7.+ G01_8.+ G01_9.+ G01_13.7+ G01_13.8。假定以G01为主表，则可以将“G01附表1.各项贷款”定义为从

5、G01表取数，即数据引用；表间数据引用注意事项：需要业务部门预先定义表间数据依赖关系；用户需按照既定的业务流程处理各张报表；系统只能对“相等”的表间数据依赖进行数据引用处理，“ 和 ”关系无法自动进行数据引用；其他功能说明数据舍位四舍五入要求：单位为万元的数据保留整数单位为百分比的数据保留两位小数，舍位功能说明：系统自动进行四舍五入操作；系统保留舍位前、舍位后两套数据；其他功能说明数据平衡性检查系统依据设定的报表表内（纵平、横平）、表间数据平衡关系进行检查，对不满足平衡关系的条目进行记录，并将检查日志结果反馈给用户；只有通过表内、表间数据平衡检查的报表才能进行报表上报，以保证上报数据质量；系统

6、支持带四则运算的数据审核公式，如：表内平衡检查：G01表13.买入返售资产=13.1+13.2+13.3+13.4+13.5+13.6+13.7+13.8G22表3.流动性比例 =1.10流动性资产总和/2.8流动性负债总和100 G41资本充足率汇总表 4.6长期次级债务的可计算价值3. 核心资本净额*50% 表间平衡检查：G01附表1.各项贷款=G01_6. + G01_7.+ G01_8.+ G01_9.+ G01_13.7+ G01_13.8操作流程说明报表定制报表定制的内容：导入Excel报表模板定制报表处理规则定义报表取数规则定义补录内容和补录方式表间数据引用规则数据平衡性检查规则

7、角色授权报表定制功能说明：由系统管理员用户在“报表管理”工具中完成；报表模板可以支持MS Excel中定义公式、函数等功能并保留报表模板中定义的表头、附注、字体等格式信息；操作流程说明分行用户数据录入流程操作流程说明总行用户操作流程ETL接口数据区中间数据存储区上报数据存储区示例：定制报表模板示例：定制计算公式、校验公式示例：报表展现示例：明细数据录入银行经营风险指标预警体系经营风险指标安全性指标流动性指标盈利性指标资本充足率存贷款比率不良资产率资金流动性本息回收率资本利润率风险阀值、风险权重风险告警风险资产总量不良贷款率核心利润率经营成本核算流动资产结构流动负债结构23海航信息财务BI系统数

8、据采集项目背景海航集团现有的各财务系统职能相对独立(预算、核算等各系统都是独立的)，无法满足产业集团/集团的多级管控体系对财务报表要求 各产业公司月度预算执行报表以及其他财务报表数据的收集、整理基本还是手工从相关财务系统导出基础数据并在 Excel表格上加工汇总的方式，耗费了各产业公司、集团计财部相关财务人员的大量精力，并且容易出错 财务数据由子公司、公司、集团，一级一级手工向上汇总，效率很低，一个环节出错导致后续环节需要重新调整，各级经营层领导不能及时看到相关经营数字，甚至影响到月度经营会议的及时召开 当前的财务系统以及财务报表也无法灵活满足财务部门/经营层领导所需各类财务数字分析，无法灵活

9、定义/实时察看各类关键财务指标24解决方案建立数据仓库管理各类财务经营报表所需基础的财务和业务数据使用BI工具结合二次开发支持多种基础数据收集，包括用户手工录入数据，上传预先编制好的Excel表格，集成财务系统自动定时抽取基础财务数据，集成业务系统自动定时抽取基础业务数据等 使用BI工具自动汇总各级别的财务/业务数据，实时汇总/生成各类财务所需的报表 使用BI工具及二次开发进行组织权限管理，使得各级负责人能够随时察看其负责业务线/部门/公司/集团的财务经营数据 使用BI工具展示复杂的财务统计数据 使用BI工具展示关键财务指标（仪表盘） 使用BI工具对财务数据进行不同层面的钻取分析（多维分析）2

10、5功能概况满足单一产业公司财务要求的报表，同时也满足集团型企业财务报表。 集成NC财务核算系统，实现核算数据的自动采集。 支持Excel数据导入。 自动由下级部门向上级部门汇总数据。 实现集团统一上报格式报表，同时也实现各子公司、公司自定义格式报表。 灵活的会计统计方式，实现NC系统会计科目一对一、多对一的口径，同时自主选择报表汇总级别 在线报表数据编辑和导出KPI图表展现26示例-建立与NC系统的连接，自动采集核算数据27示例-Excel文件导入方式支持Excel数据导入。（如：当月实际执行数，预算数）28示例- Excel文件导入方式样例一：预算数Excel模板29示例- Excel文件导

11、入方式样例二：EXCEL导当月实际数模30示例-Excel文件导入后展现样例一：导入后的数据展现,自动汇总部门预算执行情况表31示例- Excel文件导入后展现样例二：导入后的数据展现,上级部门预算执行情况表基础上的汇总32示例-生成集团统一上报格式报表33示例-在线录入打开任意报表，双击需要修改的末级单元格34示例-在线录入输入新的数据35示例-在线录入点击报表上面的保存按钮，保存成功提示 系统自动刷新当前页，数据修改成功36示例- KPI指标分析收入分析：通过参数选择展现不同部门各个月份的毛利润数据37示例- KPI报表用关键指标数据说话3839中粮集团经营分析平台项目40 中粮生化能源事

12、业部（以下简称事业部）是根据中粮集团“成为生物质能源的主要提供者、领导者，粮食生物化工的主要领导企业”的战略定位而相应设立的，是中粮集团核心业务单元之一,中国粮油(香港上市公司,代码HK0606)的重要组成部分之一。目前事业部下属及管理企业主要包括黑龙江、吉林、河北、天津、上海、安徽、广西等省份的九家工厂和一家集中销售公司，未来还将不断上线或并购若干新的项目。 为了更好的利用信息化这个先进的手段，业务分析、统计、查询、报表、告警的需求迫切需要一种先进的数据仓库技术来整合事业部各个业务系统，例如财务系统、人力系统、生产系统、销售系统和报表系统等，通过抽取、转换、清洗、加载技术进行数据的梳理、口径的统一、编码的统一、标准化的建立来建设数据中心，从而为数据应用如分析、统计、查询、报表、告警甚至今后的数据挖掘提供强大的科学、可靠、准确的数据支撑。 项目背景总体应用架构ETL总体架构图42采用两种数据采集方案43第一种方案：对于每个分析主题所需数据，提供统一的数据接口。在各利润点系统部署程序，定期调度把增量数据导成指定格式的文本文件，上传到系统服务器，然后加载到系统中。第二种方案：对于每个分析主题所需数据，制定统一的填报模板，由利润点定期上报，系统定期调度把所有涉及的表的