【大厂案例】亿信数据治理方案

亿信数据治理方案一、公司介绍二、数据治理产品介绍三、相关案例目录CONTENTS公司介绍

关于我们北京亿信华辰软件有限责任公司是一家专注于商业智能和报表统计产品研发和推广的产品型公司，也是国内领先的商业智能产品与服务提供商。北京总部上海分公司广州分公司武汉研发中心分支机构总部北京中关村东升科技园；下设武汉研发中心、广州、上海分公司、珠海、深圳及成都办事处等。拥有员工数量公司现有人员约500余人，其中技术人员比例占80%。总办公面积公司办公场所面积达4000平方米公司简介

我们现在2013创新荣获中国软件和信息服务BI领域最佳产品奖最早的BI产品工具的国内厂商秉承“技术为本、服务为彰”的经营理念，致力于数据采集汇总、数据分析预警、商业智能、数据仓库软件的研发与推广，是国内唯一能提供全生命周期结构化大数据存储、处理、管理、可视化分析和应用的厂商。公司规模

为什么能因为专注持续专注于围绕数据分析利用的全生命周期产品与服务的提供持续专注于产品研发的投入每年以超过销售收入45%以上的投入，持续地研发核心产品。所以专业专业的产品线实践出真知，持续提高、完善、创新专业的服务线涵盖税务、卫生、金融等多个行业，不断总结和提炼，提高需求响应速度，提高工程化效率超过销售收入45%以上公司规模

我们将要通过产品工具提升大数据采集、整合、分析应用的高效自动化和工程化全流程自动化解决方案全流程工程化实施、维护与优化通过产品工具提升数据应用的智能化通过类似搜索框解决数据的应用问题（智问）通过集成VR/AR等技术解决实时业务决策问题通过集成非结构数据处理、机器学习、深度学习等技术，提供敏感的认知服务通过服务和服务能力的传递提升行业应用的业务价值……

……提供数据全生命周期管理和应用工具自主开发，完全可控一、公司介绍二、数据治理产品介绍三、相关案例目录CONTENTS数据管理中普遍存在的问题（1）数据表和模型繁多，价值未最大释放系统之间数据变更对应的影响分析困难--历史数据庞大复杂，表关系不清晰-表结构变更、系统改造时，对应造成的影响难于甚至无法评估-已然形成大量数据，系统悠久，找不到接口人，针对其应用困难业务系统之间缺少统一标准数据多样化缺少数据标准，对表字段的命名随意性强，定义混乱-同一英文字段名对应多个中文名，反之也存在着中文的一对多-同一业务元素对应多种数据类型和长度影响分析困难数据质量差数据价值低数据质量差，错误发现不及时-数据质量低下，统计不准确，许多预期需求无法实现、造成决策失误-数据错误的发现不及时-数据处理过程中的问题未及时纠正，导致更多的后续错误缺少标准数据管理中普遍存在的问题（2）-标准管理系统不完善，标准管理软件易用性差，落实效果差-出了问题再补漏，数据管理部门和生产部门相互推脱责任业务系统之间数据资产分散，共享性差-DB、数据模型、应用程序、数据标准、数据质量等信息分散-企业数据资产无法集中管理和展现，共享性差。。管理体系不完善，已有标准落实差-标准管理体系不完善-管理角色分工不清晰数据安全得不到保障-数据权限划分不清-敏感数据得不到监控-账号和权限无法追踪-非正常的访问行为无法捕捉资产共享差安全无保障管理差、落实差数据治理的价值价值高效运营风险管理解决数据质量问题高质量的数据有助于减低IT建设及运维成本，对企业的系统安全稳定运行及其重要严密的数据安全制机，可以降低企业数据风险管理 业务流程和资源配置的创新 优化，可以提高业务管理能力流程 大多数企业中数据治理的各模管控 块都是独立地执行其功能，通过数据治理可以将数据管理各环节打通，实现完整的数据管控流程数据治理能够消除数据的不一

规范和致性，建立规范的数据应用标 共享准，实现数据广泛共享，并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中，发挥数据资产的商业价值通过数据治理，及时发现、解决及监控数据问题，从根本上改善和解决系统的数据问题，保证数据的可用性、数据质量等数据战略数据应用与服务数据管理保障机制促进支撑实现支撑数据战略与规划数据组织与职责数据制度与管理流程分析挖掘业务需求应用系统建设数据架构与模型管理内容管理数据治理框架数据标准管理元数据管理数据质量管理主数据管理数据资产管理数据生命周期数据安全管理数据服务标准服务数据治理以元数据为基础，所有模块并不是串连，每个模块都可以单独或与其他模块组合使用。公司为客户提供解决方案，该方案可在本地或云上使用。元数据数据标准数据质量数据处理数据资产主数据数据交换数据共享数据安全数据生命周期数据治理产品功能图数据治理角色流程图实施过程图调研企业数据问题问题整理归类确定治理的目的和目标获取高层支持制定实施计划（方法）治理委员会（任命成员，分配职责）建立元数据梳理业务系统，理解数据数据质量提升（标准、模型、质量、数据处理）主数据治理数据安全治理数据生命周期治理展示治理成果治理成效评估价值主张：理清数据字典，了解数据来龙去脉特点：丰富的采集适配器、智能识别关系、丰富的元数据分析和检核面向对象：数据治理人员元数据主要功能元模型管理元数据采集元数据查询元数据检查元数据分析变更订阅数据地图采集模板配置表/视图接口excel原始库治理库数据源元数据管理表表

融合 库表按数据类型统计按录入方式统计按更新频率统计按更新方法统计按负责人及负责业务统计血缘分析影响分析全链分析数据地图关系组合关系依赖关系业务属性部门数据类型表名/接口名录入方式更新方法更新频率负责人具体应用……技术属性字段长度字段精度字段类型……元数据数据治理实施步骤建议——元数据元数据信息补充属性维护组件关系依赖关系发布生成定版元数据分析数据地图影响分析血缘分析全链分析元数据采集配置采集源设置采集任务元数据入库审核专人审核通过审核即为最新元数据元数据元数据元数据设计数据标准标准审批发布标准落地映射标准落地评估标准监控标准文档管理价值主张：建立规范的数据标准，消除跨系统的非一致性特点：全过程覆盖主要功能面向对象：数据治理人员、业务人员数据标准数据标准分类24合标数据分类操作、控制、日志、技术参数类数据技术数据侧重技术，不在数据架构中由基础数据经过算法加工后得到派生数据指标数据由算法产生，变化频度大，不在数据架构中由业务系统直接产生的原始业务数据，如：企业基本信息、质量检查不合格信息等业务数据数据架构规划根据概念数据模型确定的信息分类，仅针对基础数据进行分布设计共享性高、使用频率高的字段需入标01监管报送或发文涉及到的业务信息需入标结合数据使用情况，对于关键数据的字段尽量入标数据应用有使用需求的字段需入标与系统人员沟通其系统内重要信息来辅助入标判断考虑到后期标准信息在模型工具上使用需要一定的覆盖度，迭代新增入标字段0203040506数据标准范围确定数据标准基本流程数据标准工作的基本流程数据标准工作主要包括制定、执行、维护三个过程。其中制定过程包括规划、调研和设计，执行过程包括映射和执行。在标准规划阶段，从实际情况出发，结合业界经验，确定数据标准范围，制定实施计划在标准调研阶段，收集国家标准、现行标准、新系统需求标准以及行业通行标准，进行归纳整理在标准设计阶段，进行具体数据标准的编写定义工作，形成数标版本，然后要通过权威部门的评审，达成一致。在实施映射阶段，将确认的数据标准与业务系统（新建系统或原有系统）进行映射，以得知标准与现状的关系。在标准执行阶段，针对实施映射阶段发现的问题进行修正，逐步提高数据质量，逐步使全部数据符合数据标准。随着时间的推移，数据标准也可能有变化和更新。权威部门应该及时进行数据标准更新，使数据标准保持最新。标准规划标准调研标准设计实施映射标准执行维护增强数据标准实施流程——落标策略落标策略强制落标建议落标新建系统必须强制落标业务关键字段、有明确国标行标的系统老旧无法维护的其他特殊情况的建立标准和实际数据转换逻辑系统改造数据标准数据标准主要功能可视化建模模型资源检索ETL过程设计ETL过程流设计数据脱敏调度管理价值主张：人人都是数仓工程师特点：面向数仓、组件丰富、混合处理、易上手面向对象：BI工程师、数据治理人员数据集成31数据工厂银行数据位置数据资产数据客户数据财务数据产品数据针对所有数据域（客户、产品、位置等）进行清洗和匹配所有项目类型（例如，数据迁移、数据同步、数据仓库、数据治理）数据仓库数据迁移测试数据管理和存档分析模型数据同步数据交换数据整合IT

项目数据集成数据集成数据集成34特色的数仓应用组件在数据处理组件的基础上，封装了部分数仓特色组件数据集成支持常用脱敏算法：固定值替换，数据模糊化，数据裁切、分段替换、MD5处理、哈希处理、随机填充、偏移值加密等。35数据集成数据集成设计区与运行区隔离，保障运行环境稳定同时，兼顾开发。发布机制，维持程序版本状态。主要功能质量规则管理检查方案管理质量评估数据整改质量报告质量知识库价值主张：让数据清澈如水特点：零编码、覆盖质量管理全过程面向对象：数据治理人员、业务人员数据质量38源系统业务人员录入不规范，且系统逻辑校核不严谨，导致大量低质量、空值数据。源系统设计有缺陷。跨表或跨系统有冗余字段但没有同步机制；逻辑设计问题导致特定情况下出现错误数据；关联性较强的流程设计缺乏有效衔接。历史数据迁移时操作不规范，导致数据不一致。系统升级改造，导致历史数据错乱。各源系统相同含义数据标准不一。数据增值过程中，每次加工转换产生了新的质量问题。数据质量问题是数据治理和商业智能的头号障碍

数据质量产生原因支持数据中心建设各环节数据质量检查和监控

数据质量-多源监控数据质量流程数据质量持续改进建立数据质量流程和规范，明确质量建设目标明确质量管理组织和职责建立质量规则，分系统进行数据质量规则的定义执行数据质量检查方案、出具数据质检报告数据分类处理：退回源系统数据总线完成数据清洗对处理后的数据进行再次质检，出具数据质量的报告对比处理前后效果，总结改进措施检查数据质量是否合格，分析不合格原因将改进措施落实责任部门，完成改进总结改进方式，准备下一个循环数据质量数据质量43数据质量44评估指标、分值权重系统质量绩效各主体绩效考核数据质量数据质量批准、退回、转办、催办、抄送、流程监控……46数据质量数据质量主要功能建设主数据主数据发布主数据更新主数据监控主数据检索价值主张：构建企业黄金数据特点：多方式识别主数据、多样化的更新策略面向对象：实施工程师、业务人员主数据主数据实施步骤在整个生命周期中持续对主数据进行更新和获取，数据质量螺旋上升识别主数据建立主数据定义主数据更新策略定义主数据获取策略调度配置及执行关联度高多头使用基准数据行业标准关联度高、多头使用基准数据行业标准视图ETL接口查询接口数据回写文件交换配置相应的调度方式周期执行主数据的获取和更新主数据主数据资产编目资产查询资产下载资产监控资产交换资产地图资产分析面向对象：实施工程师、业务人员数据资产价值主张：辅助数据资产盘点，提升数据价值特点：多种编目视图、一体化资源交换、可视化质量监控主要功能数据资产实施步骤资产监控变更监控查询交换监控定义元数据基于元数据管理平台了解数据资产情况，发现不良资产，最大化数据价值资产编目技术角度业务角度资产共享在线查询下载Excel接口访问库表、文件交换资产应用对接BI平台核心催收日志HODS渠道项目COM层产品账户……DWB层交易xxx表……COM层产品xxx表……渠道xx表……项目xx表……DWB层xxx表……技术视图HODS层核心xxx表……催收xxx表……日志经营融合数据Xx表……明细数据xx表……风险融合数据Xx表……明细数据xx表 ……财务融合数据Xx表……明细数据xx表 ……监管融合数据Xx表……明细数据xx表业务视图数据资产管理提供库表交换提供API查询提供文件交换或下载风险管理应用微服务信息平台数据开放……资产查询资产分布

资产交换情况元数据管理数据资产编目2019年4月8日数据资产2019年4月8日数据资产主要功能传输通道设置节点管理文件传输任务管控库表传输任务调度监听调度价值主张：解决不同系统间数据传输问题特点：快速定义传输节点，数据传输状态实时监控面向对象：实施工程师数据交换2019年4月8日数据交换59接口方式文件方式数据库方式数据交换60数据交换主要功能数据归档数据销毁生命周期监控价值主张：管理数据生老病死特点：灵活设计数据归档、销毁策略，保证系统数据存储效率面向对象：实施工程师、业务人员生命周期管理2019年4月8日数据生命周期2019年4月8日数据生命周期主要功能敏感数据监控异常行为监控数据加密管理数据脱敏管理用户权限审计数据库权限管理价值主张：多方位保障数据安全特点：丰富数据安全模式面向对象：实施工程师、业务人员数据安全2019年4月8日数据安全66数据安全2019年4月8日数据安全2019年4月8日数据安全数据治理大屏一、公司介绍二、数据治理产品介绍三、相关案例目录CONTENTS农业发展银行数据治理平台以数据交换平台（DEP）为主要数据源，进行数据治理架构的搭建，并构建全行级数据仓库，实现各数据应用的数据同源、同构，统一数据口径；建立了包括“非现场监管”、“风险”、“信贷”、“利率”、“外汇”在内的5大业务主题。实现1104报表、人行报表等的数据采集、修改、审核、数据存储、ETL管理、数据分发、报表制作、报表生成、报表展现、信息发布、监管数据报送、数据备份及恢复、统一报表门户等功能。中国农业发展银行数据平台共分为五期：一期2009年，综合报表平台建设，实现1104、人行统计大集中、巴三、客户风险等监管报表报送及利率监测、信贷监测等数据分析应用；二期2012年，数据仓库一建设，主要实现公共汇总层及监管报送、客户风险集市、财会核心集市、信贷监测、利率监测等应用集市开发；三期2014年，数据治理平台建设，进行数据治理架构搭建，数据标准制定以及根据FSLDM进行客户化改造，构建当事人、协议、事件、资金、财务、公共代码等主题域；四期2015年，农发行高管驾驶舱建设，针对利率、规模、风险、经营概况等关键指标进行概览及明细分析，并以图表形式展现；五期2016年，基础设施信贷监测项目，从项目全流程管理角度，对基础设施信贷项目进度进行跟踪和监测管理，实现项目精细化管理；数据服务平台建设，形成固定报表展现、可视化分析、即时服务等多层次数据服务体系，并将数据服务资源化和目录化。口行数据治理项目项目现状分析数据质量问题较大，无法满足监管要求。信息披露不及时，不准确。临时性的数据需求难以快速响应，需求管理流程冗长。缺少统一的客户视图，客户信息各系统不一致。缺少历史数据、明细数据的有效支撑，分析模型难以发挥出作用。难以获取准确的考核数据，利润贡献度不准确，精细化管理与考核难以落实。建设成果数据治理需贯穿数据管理的各个过程，通过数据治理平台，进行更加精细化、规范化的管理，从数据源到数据流转，再到数据分析的整个数据生命周期，从系统设计到系统上线，再到系统变更维护的整个系统管理环节，都要进行记录、跟踪、检查、核对。数据质量并非一蹴而就，在建设平台的同时培养业务人员对数据质量的重视也需要一点点的引导，通过绩效考核、培训、激励等手段。广汽租赁数据仓库项目广州汽车集团是国内前5名的汽车行业集团，汽车年产销量超过160万辆。集团下辖广汽本田、广汽丰田、广汽乘用、广汽商贸、广汽汇理等著名品牌和功能企业。广汽租赁公司于2004年成立，2013年取得融资租赁经营许可，2016年3月开始开展汽车消费信贷业务。目前主要使用汉德公司现场建设并且持续改进中的业务系统，另有财务、资金、CRM等系统。数据访问数据存储数理据处数据通道数据治理元数据管理数据标准管理数据质量管理生命周期管理基础平台统一监控移动平台安全管理数据源GIS微博QQ微信文件图片音频视频核心资金征信……准实时数据通道CDC/OGG批量数据通道外部数据通道非结构化数据处理平台企业数据交易网关EDT T+0集市应用风险分析财务分析绩效考核市场营销 监管报送企业实时数据平台（ERDW）实时数据仓库企业历史数据平台（ODS+EDW+DM）历史数据仓库企业归档数据平台（EBDP/HDW）归档数据仓库结构化数据处理平台数据访问报表工具T+1下游应用统一报表平台统一调度实时数仓、数据挖掘（按需实施）补录数据仓库一期、二期 后续移动应用“1个系统”——商业智能数据仓库“2期项目”——一期项目完成基础数仓和基础报表分析平台建设；二期项目完善数仓建设，新增风控集市和调度平台。“3大体系”——咨询体系、实施交付体系、运维体系。“4个平台”——基础数据平台、ETL调度平台、报表平台和数据补录平台。为广汽租赁提供数据治理咨询方案，广汽三期数据治理项目正在规划阶段。中国人寿BI产险数据平台项目特点：用户依靠产品自带Portal功能，支持分公司个性化定制Portal；通过与用户现有认证系统集成，完成身份验证工作，还支持用户认证模式；拥有完善的开发API。数据治理解决方案咨询。探索数据模型建设思路方法深化数据架构建设开展数据质量考核试点完善数据治理保障体系，构建数据治理长效机制全面推进数据标准、数据质量等领域的优化及全面落地执行，逐步实现接近量化管理国泰产院数据管控系统基本情况1、数据管控平台建设，进行数据质量管理提升，重点领域质量提升方案设计，构建数据标准管理平台及数据质量管理平台。2、数据仓库建设。将现有业务系统数据及公司内部其他数据资源进行有效的整合和处理，制定统一的数据标准和规范，结合各业务部门分析需求，形成面向不同分析需求的数据集市，并在数据仓库建设过程中进行数据的清洗和校验。3、报表系统建设。利用成熟的BI产品软件作为应用支撑，实现数据查询、数据统计、数据挖掘以及数据展现等功能。搭建面向用户访问的不同门户，使不同地区、不同层级的用户能快速获取自己需要的信息。建设成果管控平台建设：形成数据治理方法论管理报表建设：6个主题，300张固定报表、动态报表和分析报告。满足全部9个业务部门需求数据仓库建设：4个层次，100张主题表，200个数据处理过程。满足报表需求，预留扩展余地分析体系建设：1组指标字典以及维度字典，涵盖保监标准定义和公司特定需求的专用分析体系金融租赁全面资产监控平台项目内容国内金融租赁行业第一个利用互联网技术实现资产动态监控管理的平台飞机/船舶等重大租赁资产实时监控，防范运营风险，提高

数据质量关键技术“大数据”与“互联网+”相结合数据质量管理和、数据处理、数据资产监控网络爬虫GIS技术，飞机/船舶位置和航迹定位可视化展现技术项目价值利用互联网数据结合内部资产管理数据，提高资产管理能力实时进行资产监控，防范运营风险依托数据分析+数据治理技术改善传统‘拍脑袋式’的承租人能力评价和服务期违约风险评定华为IT智能运营平台项目概述华为IT智能运营平台(eSee)

的底层数据覆盖范围和数据量呈指数级增长，单靠传统关系型数据库已无法满足要求，平台需要一套基于大数据架构的数据库承担底层数据存储计算工作，而PetaBase的出现正好弥补了华为IT运营平台的不足，结合数据质量、数据处理工具，承担了IT智能运营平台(eSee)底层大部分的数据存储以及计算处理工作，处理能力得到客户充分认可。使用工具数据质量数据处理PetaBase数据分析卫计委数据质量管控系统面向国家部委、三十二个省针对系统的数据质量问题进行分析，形成数据质量评估报告，在数据源头加强对数据质量的控制核心功能：质量规则、问题整改、质量报告、数据质量知识库禅城区大数据统筹局数据治理项目项目概述2014年3月，禅城区启动“一门式”改革，吹响了政务大数据改革的号角；2016年7月，禅城区数据统筹局正式挂牌成立，在佛山市禅城区大数据发展决策委员会的指导下，构建“一局、一中心、一公司”的组织体系，推进数统统筹发展的共享、共建、共用，实现“用数据决策、用数据监管、用数据创业”的数据统筹发展运行机制。禅城区大数据统筹局于2018年开展数据治理系统建设工作，通过构建模型、配置规则、人工智能识别等方法对禅城区数据进行数据核查、数据清洗、数据更新及数据修复，并输出数据分析报告，提出改进建议，为禅城区各个部门数据源提供数据标准规范及改进建议，为政府部门、事业单位、企业、市民等数据使用者提供更优质、更高效的数据支持。项目价值以治理自然人库数据为主，重点治理卫计、工商、流管三个部门的数据，为部门及数据应用提供高质量数据支撑。支持自助填表系统、教育无纸化两大应用，通过数据比对功能，返回比对结果，提供错误修改建议，提高填报成功率。山水文园（地产）数据传输报送平台项目概述山水文园集团运营部门每月需要收集各个业务部门的月度资金计划、预算执行情况以及各种excel类统计。随着集团规模的扩大、异地项目的增多，通过excel填报、下发、汇总、统计的方式暴露了许多问题，例如：手工填报质量差，人工汇总质量差效率低，频繁催报效率低，数据字典维护困难、数据分析能力有限等。集团通过数据传输交换平台+i@Report+BI@Report两款产品构建了信息填报统计平台，实现了报表模板的统一下发、异地项目人员在线填报、数据的层层汇总，数据的校验以及数据审批流程，解决了excel填报数据差、模板不统一的问题，提高了数据下发、填报、汇总以及统计的效率，达成了各个部门按权限共享信息的要求。使用工具数据传输交换数据采集数据分析中粮集团税务管理系统项目概述1、建立了专属于税务管理的信息化平台2、统一了财务报表数据报送口径3、提高基层报送数据质量一期项目建设了面向监管的涉税业务应用功能，

如监管报送报表、涉税数据统计分析等二期项目实现了中粮的个性化管理需求，包括：数据质量管理、个性化管理报表和分析报告，以及数据库一体机迁移使用工具数据质量数据采集数据分析信用信息汇集系统项目概述构建以信用信息资源共享为基础的覆盖全社会的信用信息平台整合金融、工商、公安、税务等行业信用信息，实现信用信息全覆盖为建设重点行业信用信息系统，实现守信激励和失信惩戒提供有力的支撑数据全生命周期管理服务：数据调研、数据采集、数据处理、数据仓库、数据应用、信息交换项目价值全面快速的信息收集，适应线上线下不同场景、兼容多种数据格式、自动收集和外部补录；海量数据的整合处理，高并发的用户稳定访问、大数据量的实时响应、空间占用少，安全性好；多角度的信息可视化、数据应用功能快速扩展、面向用户的操作界面，适应复杂的数据分析应用标准规范体系建设行业信用信息目录数据库建表与数据推送数据交换和接口配置异议数据处理数据质量监