集团企业大数据可视化平台建设方案

集团企业大数据可视化平台建设方案集团企业大数据可视化平台建设方案集团企业大数据可视化平台建设方案XX银行XX项目投标书——技术部分北京宇信易诚科技有限公司I目录TOC\o\h\z\u第1章方案总述 11.1项目背景 11.2项目目标 21.3项目建设原则 2第2章系统建设规划 42.1项目建设目标的理解 42.1.1项目建设范围 4业务范围 4组织范围 4数据范围 42.1.2项目建设内容 4基础数据平台 5集团级指标体系 6统一报表平台 62.22.2.1集团大数据平台的建设目标 72.2.12.2.1集团大数据平台一期建设目标 72.2.22.2.1集团大数据平台二期建设目标 7第3章整体设计方案 83.1系统设计方法论 83.1.1方法论 83.1.2设计原则 10标准规范 11开放性 12可扩展性 12高性能 13可管理性 14高可用性 15安全性 16可重用性 173.2数据平台技术体系 183.2.1数据平台逻辑架构 18数据集成区 19集团分析型数据区 19管理平台区 19统一报表展现平台 20ETL设计关键技术点说明 20.1.1ETL处理策略 20.1.2ETL处理流程 21.2质量检核 21.2.1ETL处理原则 21.2.2ETL处理方法 213.2.2数据采集设计 22T+1数据采集 22数据补录 24.1检核规则管理 24.2录入任务管理 25.3数据录入 26.4查询操作 27.5录入任务审批 283.3数据平台数据体系 283.3.1数据架构设计 28源系统数据落地区 29缓冲数据层(ODM) 30基础整合层（FDM） 30共性加工层（ADM） 31数据集市层（MDM） 31各层次数据特点对比 323.3.2数据模型设计 34基础整合层 34共性加工层 34.1共性层模型设计思路 34.2共性加工层模型建设方法 36.2.1存储什么数据：存储具有一定程度汇总的指标 36.2.2数据如何获取：指标分类和指标ID 37.2.3数据如何存储：星型模型 37.2.4如何适应多应用系统共性数据存储的需求：与业务需求轻耦合 38.2.5如何适应指标频繁变化的要求：具有高度的扩展性 39.3共性加工层当前目标 41.4共性加工层远景目标 42.4.1完善贵公司数据平台及之上的应用系统数据架构 42.4.2扩展共性加工层指标数据 43.4.3关于共性加工层主题划分 43集市数据层 433.3.3灵活查询功能架构 443.3.4数据备份与恢复 45数据备份与恢复实施思路 45数据备份机制 46数据恢复机制 46数据清理机制 47存储空间规划 473.4数据平台应用体系 493.4.1统一报表平台 49报表管理模块 49.1系统管理 50.1.1支持主流关系型业务数据源 50.1.2支持多种数据集类型 50.1.3基于RBAC模型的权限控制模式 51.1.3.1可配置的权限控制项 53.1.3.2资源权限 54.1.3.3报表数据权限 55.1.4对角色授权 55.1.4.1权限对照设置 55.1.4.2角色权限复制 56.1.4.3角色权限查看 57.1.5可配置的系统资源 57.1.5.1菜单项管理 57.1.5.2系统日志管理 58.1.5.3公告管理 58.1.5.4通用代码管理 58.2报表管理 59.2.1提供统一的报表管理方式 59.2.1.1统一的报表服务器管理 60.2.1.2统一的参数模板管理 60.2.1.3统一的报表发布方式 62.2.1.4统一的报表资源管理 62.2.2报表生命周期管理 63.2.3调度式自动执行报表 63.2.4支持多种报表缓存方式 64.2.5支持历史数据追数 66.2.6支持制度包导入更新 67.3指标管理 67.3.1指标逻辑架构 67.3.2指标数据流程 67.3.3功能框架 68.3.4指标引擎 68.3.4.1指标引擎框架 68.3.4.2指标引擎功能 69.3.4.3派生指标定义优化器 69.3.4.4指标分类组装 70.3.4.5指标运算调度器 70.3.4.6指标运算器 71.3.4.7数据回写器 71.3.5指标管理 71.3.5.1基础指标信息维护 72.3.5.2派生指标信息维护 72.3.5.3派生指标公式维护 73.3.5.4指标权限管理 75.3.5.5指标计算信息维护 76.3.6指标库管理 76.3.7指标运算 78.3.8指标应用 78.3.9与元数据平台关系 79.4自定义报表 79.4.1类Excel报表设计器 80.4.2多种报表样式支持 82.4.3自定义报表特色 85.4.4支持用户自定义公式 87.4.5支持数据校验 88.4.6支持异常变动校验 90.4.7归属信息查询和导出 91数据管理模块 92.1数据保存 92.1.1保存内容 92.1.2保存时间 93.2数据状态 93.3日志管理 93.4ETL调度监控 95公共管理模块 95.1机构管理 96.1.1行内机构管理 96.2用户管理 96.3消息管理 97.4参数管理 97.5权限管理 98.6机构变动管理 98报表展现模块 99.1数据补录 99.1.1支持主流关系型数据库 99.1.2灵活的录入与查询方式 99.1.2.1录入任务审批 101.1.2.2数据正式入库 102.1.3支持事件式多表同步更新 102.1.3.1检核规则管理 103.2报表展现 104.2.1统一的报表展现方式 104.2.2报表导航图 105.2.3个性化报表资源管理 105.2.3.1我的收藏夹 105.2.3.2我的文件夹 106.2.4常用指标查询 106.2.5报表指标查询 107.2.6高级指标查询 108.3仪表盘 109.3.1提供关键的高粒度、高纵深的汇总信息(即关键信息) 109.3.2强大的图形引擎 110.3.3灵活的仪表盘设计器 110.3.4提供1对1的信息服务 111.3.5个性化首页设计器 112.3.6个性首页管理 112.4智能报告 113.4.1新增智能报告 114.4.2查询智能报告 114.4.3修改智能报告 115.4.4删除智能报告 115.4.5生成智能报告 1163.4.2数据图表化展示 116功能设计 118.1指标体系查询 118.2集团排名 119.3行长报表 119.4大额变动 121.5汇率&利率查询 121指标体系设计 123.1规模指标 123.2财务指标 124.3质量指标 124.4流动性指标 124.5预算指标 125.6市场风险指标 125.7外部监管指标 125.8风险资产 125.9资金变动情况 1263.5数据平台设计关键点 1273.5.1数据平台性能保障 127性能保障概述 127ETL性能保证 129数据库性能 130J2EE 1393.5.2时间窗口 1413.5.3备份策略 1423.5.4数据模型的历史数据存储 1443.5.5源系统变更影响分析 146第4章软件及推荐硬件设备配置方案 1484.1系统软件方案 1484.1.1统一报表平台 150概述 150技术架构 150.1技术层次划分 151.2技术工具选择 152物理架构 153功能架构 155功能介绍 156.1集成BI报表 156.2数据补录 159.3即席查询 162.4仪表盘 167.5快捷报表 170性能保障 171工具价值 173.1报表应用集成与整合利器 173.2可灵活组装的逻辑系统 173.3与BI报表工具互为补充 173.4广泛的环境与平台支持 174.5广泛的认证平台支持 174.6完善的用户和权限管理策略 174.7支持大用户量的并发访问 174.8统一缓存机制 175总结 175宇信行业案例 1750宇信易诚软件产品介绍 1750.1综合报表系统（RIDP） 1750.1.1报表应用整合平台 175搭建BI工具与前端展现之间的桥梁 177整合主流报表工具与数据源 177提供不同机构不同部门的统一用户体验 178满足不同机构的部署需求 178满足规范化开发要求 178满足信息系统间集成与整合需求 1780.1.2RIDP功能介绍 178报表展现(RptView) 178.1统一的报表展现方式 179.2个性化报表资源管理 180.2.1我的收藏夹 180.2.2我的文件夹 180快捷报表(SmartRpt) 181.1良好的通用性 181.1.1支持主流关系型数据库 181.1.2良好的性能 181.1.3多种报表输出格式 181.2Excel式报表设计器 182.3多种报表样式支持 182仪表盘(EIS) 184.1提供关键的高粒度、高纵深的汇总信息(即关键信息) 185.2强大的图形引擎 185.3灵活的仪表盘设计器 186.4提供1对1的信息服务 187.4.1个性化首页设计器 187.4.2个性首页管理 188数据录入(Input) 189.1支持主流关系型数据库 189.2灵活的录入与查询方式 190.3增强的数据安全性 192.3.1录入任务分发 192.3.2录入任务审批 193.3.3数据正式入库 193.4支持事件式多表同步更新 194.4.1检核规则管理 194报表管理(Report) 195.1提供统一的报表管理方式 196.1.1统一的报表服务器管理 196.1.2统一的参数模板管理 197.1.3统一的报表发布方式 198.1.4统一的报表资源管理 199.2调度式自动执行报表 2000.2指标管理 2010.2.1指标逻辑架构 2010.2.2指标数据流程 2010.2.3功能框架 2020.2.4指标引擎 202指标引擎框架 202指标引擎功能 203派生指标定义优化器 203指标分类组装 204指标运算调度器 204指标运算器 205数据回写器 2050.2.5指标管理 205基础指标信息维护 206派生指标信息维护 206派生指标公式维护 207指标权限管理 209指标计算信息维护 2100.2.6指标库管理 2100.2.7指标运算 2120.2.8指标应用 212集团企业大数据可视化平台建设方案第215页方案总述项目背景随着贵公司业务的快速发展，信息系统不断增多，业务数据量的规模也在急速膨胀。集团数据整合平台作为贵公司的数据整合中心，需紧密衔接总行ODS、数据仓库及集团特色系统、并且需考虑到贵公司未来将要建设的系统的接入问题。根据贵公司业务的拓展和条线管理的需要，各业务部门对决策信息依赖程度不断提高，经常会有一些高灵活性、多变性、高及时性的信息需求。贵公司目前需要能够满足业务需求快速响应的统一数据平台，仅依靠传统的数据加工模式对源数据进行抽取加工操作，由于业务口径的不一致性、数据质量低下、以及缺乏良好的数据统计分析手段等问题导致集团范围的决策分析成为难题，不能充分发挥业务积累的相关数据的作用数据的及时性和准确性难以保证，给管理和营销增加了难度。本次数据报表平台项目承担了集团主要业务数据的集中和整合及报表应用展示的功能。通过数据平台的建设，将为零售、公司、同业、绩效、人力资源、运营等业务提供统一准确的数据支持，是贵公司业务精细化管理能力的重要基础类系统。数据平台从中远期角度来看，将成为贵公司管理层/经营层洞察经营全貌、优化经营管控水平、推进战略决策效能、支撑综合运营分析的数据分析平台。通过数据的集中化、标准化管理，实现集团数据的信息共享，构建实现企业数据平台及相关的管理决策分析应用。项目目标贵公司数据平台建设项目是搭建一个对接总行ODS、数据仓库、衔接集团特色业务的数据平台。从底层的数据平台、DW到上层的BI（商业智能）展现，数据平台在各交易系统之间、交易系统和报表分析系统之间实现数据交换，通过数据的加工、整合实现报表统计和分析。建立基础数据模型、ETL平台、ETL管理调度平台、确保数据采集完整、保证ETL数据质量、形成统一的数据展现。具体目标为：1、构建统一的、层次合理的、灵活的企业级数据模型，整合各业务系统数据，形成集团统一的数据视图，建设成为贵公司系统应用的基础数据平台。2、建设统一数据应用平台，在实现基础数据平台的基础上实现统一报表平台，为贵公司业务分析和经验决策提供全面的支持。项目建设原则本次项目建设遵循的技术原则如下： 数据平台的正确建立和合理利用将直接影响到贵公司的未来信息化发展，贵公司数据平台建设应参考以下架构原则，指导和规范未来的数据平台信息化建设和管理，在项目方案中应该能够体现以下原则：1. 数据集中原则： 将总行ODS、数据仓库数据、集团特色数据和应用统一进行管理和运维，保证资源的高度利用以及通过相关的技术保证数据和应用的绝对安全和稳定。2. 数据标准集团统一原则： 依据总行的数据字典，减少数据定义的二义性。未来集团特色应用系统的数据结构是集团数据结构模型的子集。对集团级数据实行单点维护，确保集团级数据的可靠性和一致性。3. 数据管理集团统一原则： 统一的存储管理，统一规划使用存储资源，提高存储资源使用效率。统一的性能管理，根据实际业务需求，合理分配资源，确保对数据的访问性能能够满足业务的需要。统一标准的安全管理，提高数据访问控制能力，降低关键业务数据的安全隐患。4. 降低数据冗余和数据复制原则： 减低集团级数据的冗余度，降低数据对存储资源的需求。各业务系统根据自身业务处理实际需求，确定对属于其它系统数据的同步需求，制订出相应的数据复制同步策略并统一进行实施。系统建设规划项目建设目标的理解数据平台的建设对于贵公司是一个非常重要的系统工程，承担着贵公司企业数据整合、数据交换以及数据服务的重任，通过数据平台的建设使得贵公司将自身信息资产切实、有效的管理起来，形成企业统一信息视图，搭建企业数据治理的框架，并为统一报表系统提供有效的数据支撑。项目建设范围贵公司数据平台本期项目建设范围，可以从涉及到的业务范围、涵盖到的组织范围以及数据平台需要接入的源系统范围三个角度来分析。业务范围本项目的业务范围以贵公司零售、公司业务条线为主，计财、绩效、运营等为辅。组织范围本项目业务涵盖的组织范围为贵公司及辖内二级集团、支行。数据范围本项目的源系统范围包括目前贵公司的主要业务系统，并需要满足本期数据平台主题应用的数据需求。项目建设内容基础数据平台基础数据平台技术架构搭建从总体上规划企业级的基础数据平台，平台将包含历史数据存储、基础数据平台、统一报表平台、自动调度监控等内容组成，数据平台要采用统一的数据标准规范；基础数据平台ETL监控、调度功能，完成从原数据仓库数据移植到新数据平台的工作。ETL子系统实现将各业务系统的数据抽取至数据平台，并进行数据的清洗、转化、加载等操作，形成数据分析、决策所需的各种汇总数据模型、分析模型，最终形成各种报表、查询以及KPI指标。ETL子系统实现自动化的数据抽取、数据加载、数据转化、数据卸载、自动化数据重新加载、加载错误自动处理、脏数据识别等功能。基础数据平台数据补录功能提供数据补录平台功能，包括补录流程管理、补录模版管理、单笔补录、批量补录等。通过补录平台实现数据平台无法自动获取的具备分析价值的数据。本期基础数据平台数据标准涵盖以下工作内容：接口标准：规范数据平台加载数据接口、卸出数据格式及校验标准公共代码标准：参考总行ODS与数据仓库标准与集团特色数据标准；数据质量管控数据质量管控是一个长期的过程，依托于数据管控组织机构、流程的建立和完善。数据平台一期进行数据质量管控体系的初步探索，主要完成如下目标：（1）、建立初步的数据质量管理检查规则，包括功能性和非功能性规则。功能性规则主要包括：完整性、唯一性、合法性、准确性等；非功能性主要包括信息的完整性、一致性、业务稽核等；（2）、根据建立的初步检查规则，进行数据质量的监测，出具初步的数据质量检查报告；（3）、根据数据质量检查报告，提出数据质量提升的解决方案。集团级指标体系借鉴与参考总行统一报表指标体系成果，在此基础上建立满足集团口径指标体系，扩展集团指标；满足业务日常固定报表使用的同时提供多样化的报表展现界面，包括表格展现，各类图形展现；要求界面友好，易用性强，并能够提供具性化应用风格支持。统一报表平台构建统一报表平台，实现集团业务应用报表的集中化管理、一体化服务；具有报表定制、管理、维护功能；构建集团用户及权限管理体系，支撑集团业务用户报表应用需求。能够快速响应各级业务应用人员的报表需求，满足报表批量分类存档的需要。2.2.1集团大数据平台的建设目标2.2.1集团大数据平台一期建设目标基于对贵公司系统现状的了解，贵公司数据平台一期的建设目标是：1、构建统一的、层次合理的、灵活的企业级数据模型，整合各业务系统数据，形成集团统一的数据视图，建设成为贵公司数据集中管理和应用的基础数据平台。2、建设统一数据应用平台，在实现基础数据平台的基础上实现统一报表平台，为贵公司业务分析和经验决策提供全面的支持。3、集成现有对公、零售主要系统业务固定报表，支撑业务数据使用需求。4、指标数据按照图表样式进行区间查询展示数据趋向，波动。5、将集团原指标体系按照新指标体系进行平移；2.2.1集团大数据平台二期建设目标鉴于一期建设主要是搭建主体平台，二期的信息化建设目标是继续完善平台，丰富平台应用效果，全面覆盖现有旧综合平台，将重要数据迁移。具体目标如下：二期项目中可以集成计财、运营、人力资源等系统报表;支持数据图表展示、SQL查询等个性化查询需求；将更多的管理应用系统的数据源迁移至数据平台；建立并推广一套完整的需求与技术落地标准与体系。可以预见，随着数据平台的不断成熟，业务部门对数据平台的认知不断提高，会有源源不断的需求基于数据平台提出，这种变化将使得数据平台由前期技术部门“推”转变为业务部门的“拉”，让业务需求作为数据平台持续良好发展的源动力。整体设计方案系统设计方法论方法论数据平台的项目是一个长期的循序渐进的过程，也是一个不断创新、修复、完善的过程，其伴随着应用系统的发展而发展。根据贵公司的业务特点以及企业系统建设的现状和未来发展蓝图，致力打造一个可扩展的、高可用性的、安全的、高效的、跨部门的可以快速处理海量数据的数据平台。在贵公司数据平台建设方面依据可重用性、安全性、高可用性、可管理性、可扩展性、高性能的设计原则采取总体规划，分层实现的方式。纵向层面自上而下看，贵公司数据平台的架构由逻辑（应用）架构、数据架构、技术架构和物理架构四个层次组成，每个层次内部又根据设计需要进行抽象分层，从而形成立体的贵公司数据平台项目架构方法。逻辑（应用）架构是贵公司数据平台项目承载的应用体系，它描述了贵公司数据平台项目所要实现的应用需求，以及支撑这些应用需求所必须的公共模块，如调度、监控和元数据管理等工具组件。数据架构承载了支撑应用架构所必须的业务实体关系的分布，它通过数据模型的方式进行组织，主要分为缓冲数据层(ODS)、基础数据层（FDM）、加工汇总层(ADM)和数据集市层(MDM)等四个层次。技术架构是用于支撑贵公司数据平台的数据分布和流动的技术框架，用到的技术有数据库技术、数据平台技术、ETL技术、多维计算技术、数据展现技术等。作为最底层的物理架构，是对贵公司数据平台物理设备和网络的合理规划部署，它通过有效地利用硬件和网络，并能够添加硬件设备进行扩展为上层架构（技术架构、数据架构、逻辑架构）提供支撑能力。数据架构数据架构业务实体关系分布和对应的数据模型技术架构支撑的技术架构，DW技术、数据库技术、ETL技术、数据展现技术和相应配套技术逻辑架构模块组成，需求实现，相应的公共模块，调度、监控、元数据管理等非应用技术组件网络物理基础设施系统基础设施物理架构物理设备和网络等的合理规划和有效扩展，为上层架构提供支撑贵公司数据平台架构方法立体视图设计原则根据贵公司数据平台提出的系统建议的总体原则，总结我们在多家金融机构建设数据平台经验，贵公司数据平台的设计原则体现如下原则：标准规范，可扩展，开放，前瞻，高性能，稳定，安全，易维护，实用，可管理，高可用，可重用。系统设计原则标准规范建立标准的ETL开发流程，制定符合贵公司数据平台的代码标准化统一规范，设计应对有高效数据处理要求及日常低能耗操作的兼容性数据模型，建设符合贵公司数据平台远景目标利益的技术管理体系。数据模型：制定表名、字段名命名规范标准。设计基础标准模型及基于基础数据模型之上的未来建设的应用系统的模型标准。建立数据质量管理机制，提高贵公司数据平台的数据质量，也是数据平台迈向标准化规范化管理的重要环节。ETL处理：将ETL处理程序分类化，整理规范出各种ETL处理策略。确保ETL开发人员所开发的ETL程序遵循中信总行的规范。ETL管理：建设ETL管理平台，将其纳入贵公司的ETL管理体系，形成有贵公司特色的ETL管理制度。开放性系统建设遵循开放原则，适应未来业务和技术发展，与现有系统进行有序的数据交互。数据模型：数据模型的设计尽量接口化，关系与抽象并存。应对新出现的业务种类，同时能够兼容与现有系统进行数据交互，完成输入与输出系统的角色。ETL处理：ETL程序处理逻辑规则模块化，应对日益更新的技术发展及业务变更。相关产品：项目开发过程中使用的宇信易诚工具类产品可以提供客户相关开发源码进行二次开发。后续开发：项目组再实施过程中，会对客户方科技人员进行相关的技术培训，使科技人员能够独立的进行ETL程序的开发、报表开发、数据分发的设置、数据源配置等等可扩展性可扩展性是指数据平台能够支持贵公司业务系统和应用系统发展的需要。在本项目中，具体要从以下几个方面考虑系统的可扩展性：数据模型：设计基础数据层和数据预处理层模型时应充分考虑，除了能够容纳现有源系统的结构设计，还应该尽可能满足即将要上线的业务系统数据模型，同时还需要制定一套合理的模型设计规范，使得新上线的业务系统数据模型能很方便地扩展到数据平台。ETL处理：需要考虑两个方面的扩展性，增加新的ETL任务处理以及原有任务所处理的数据规模加大，ETL处理架构必须能适应新的变化，需要考虑通过集群的方式来扩展。数据交换平台：在设计时应考虑，随着分发数据规模的扩大和推送节点的增多，对交换处理和传输处理的性能要求会越来越高，必须支持集群的方式进行扩展。此外，数据交换平台还必须提供二次开发接口，支持SOA服务模式，可以进行应用级的扩展。服务器：平台中的每一种服务器都使用集群扩展模式，可以通过对服务器数量的增加获得更好的数据处理和查询能力。高性能高性能是指在硬件资源有限的情况下，数据平台应尽可能的支持尽量多的数据服务需求，还能承受用户峰值时间段压力，使得数据平台能够满足集团范围内的使用者。在本项目中，高性能的设计主要体现在以下几个方面：ETL处理：在进行ETL设计时，需要考虑大数据量条件下的处理效率，确保在规定的时间窗口内完成ETL处理，特别是一些特殊日期的ETL处理，例如结息日、月底等。数据交换平台：需要考虑在大数据量条件下的文件传输效率，主要也是体现在一些特殊日期条件下的文件传输，以及特殊情况下的全量文件传输。数据库设计：对一些海量数据表或频繁访问的数据表，在数据库设计的时候需要从数据库设计的角度考虑性能优化机制。可管理性这里所说的可管理性主要是指系统运维的可管理性。比如：在实际运行过程中，系统能很方便地对系统的运行状态进行监控，查看数据质量情况；出现系统异常时，能及时收到消息通知，并有一套完善的流程来处理数据或系统方面的异常等等。在本项目中，可管理性的设计具体表现在以下几个方面：ETL处理：在ETL的总体设计时，确保系统可以监控全过程的运行状态，并能对异常情况及时提醒，保存完整的处理日志信息，并设计相应的错误处理流程。另外，还需要考虑ETL任务配置的直观图形化。数据管控：在总体设计时，应充分考虑数据的复杂性，必须能做到多而不乱，能够清楚了解系统每一个应用的转换逻辑和数据含义，在任何环节有变动时，能迅速的反馈变动产生的影响。数据交换平台：在总体设计时，需要充分考虑数据交换任务易于配置，传输结果易于监控。高可用性高可用性是指系统在一些特殊情况发生时，依靠架构的有效设计，仍然能保证正常运行。在本项目中，高可用性的设计主要体现在以下几个方面：数据模型的可用性：模型的设计应能屏蔽证券业务源系统结构的变化对数据平台集成平台和将在其上建设的分析应用系统带来影响。局部数据模型的扩展不会对其它数据模型产生