数据治理体系建设 投标方案（技术标）

1数据治理体系建设数据治理体系建设投标方案 1.1.对本项目需求的理解 41.1.1.落实大数据环境对数据治理的要求 41.1.2.满足监管机构对数据治理的要求 41.1.3.对项目需求的初步解读 51.2.本项目成功的关键要素 61.3.本项目对全行发展的价值 81.3.1.从业务的角度 81.3.2.从数据管理的角度 91.3.3.从信息科技的角度 9 2.1.企业信息管理框架 2.1.1.企业数据管理解决方案体系综述 2.2.数据治理体系规划方案 2.2.1.数据治理体系规划总体框架 2.2.2.数据治理体系现状分析 2.2.3.数据治理体系设计规划 2 2.3.8.数据标准管理系统业务需求说明 2.4.数据质量管理方案 2.4.2.数据质量与各领域的关系 2.5.1.数据仓库规划 2.5.2.大数据与数据仓库的整合架构规划 2.5.3.实现数据仓库的基础设施架构规划 3.1.实施计划及进度安排 3.2.项目组织与人员构成 3.2.2.项目管理组 3.2.3.技术支持组 3.2.4.项目实施小组 33.3.项目工作产品及最终交付物 3.4.项目风险与应对建议 3.4.1.项目进度风险与规避措施 3.4.2.跨项目组协调风险与规避措施 4.2.培训 4.2.1.培训方式 4.2.2.培训手段 4.2.3.培训计划 5.1.综述 5.2.1.项目范围管理 5.2.2.项目沟通管理 5.2.3.项目进度管理 5.2.4.项目风险管理 5.2.5.项目质量管理 5.2.6.项目问题管理 5.2.7.项目会议管理 5.2.8.项目文档管理 5.2.9.项目变更管理 4随着大数据时代的来临，数据资产已成为银行的重要生产要据整合及风险报告原则”中明确要求全球系统重要性银行必须在可以保证，但在准确性上存在较大差距。为此，中国银监会20115的良好标准，从组织机构及人员、系统保障及数据标准、数据治理制度建设、数据质量监控检查与评价、数据的报送应用和存储，做大数据环境和内外监管机构都对银行的数据组织、数据管控机制、数据标准、数据质量等相关数据管理主题提出了一系列要求。XX认为，数据治理的实质在于“业务先导、管理驱动、技术据治理工作的现状有深入的了解，并可以借此发现全行数据管理的发展重点，为全行数据治理工作奠定坚实的基础。通过数据管理机制的建设，从数据管理组织和制度上为数据治理工作提供管理保障，实现数据治理工作的持久化。借助数据标准化工作，相继统一全行客户、资产、机构、产品、协议、交易、渠道、财务、营销主6中难点描述·业务人员把数据标准编制看做是技术性工作，主观意识是在配合而非主导，并不认为数据标准对业务管理和系统建设有什么直接价值难点描述·数据标准只是梳理和建立当前跨系统数据规范，而未完整考虑各类业务对数据应用的要求，如新资本协议合规、客户细分、产品定价等，导致数据标准对具体应用的支持不足或脱节，各类应用的数据质量得不到有效保障和提升；德勤建议的解决方载·结合德勤数据价值模型，深入宣导数据标准及管理体系对业务的价值，理解数据标准对业务管理和业务分析的作用；德勤建议的解决方载·结合德勤在风险、管会、营销等相关应用的数据模型指导数据标准的建设，更好的反映对业务的支持，呈现数据标准化价值；7奥花点有奥花点有路秒地议的解决方清化，制定全行的数据治理组织架构。在决策层上明确高层领导所承担的职责和工作章程。在管理层上，厘清数据管理部门、业务部门、科技部门在数据管理不同领域和不同层级的责任定位和职责所在，建立数据管理政策和一些难点据逃难点据逃他动建议的解决方意8难点描建难点描建德勤建议的解决方囊9资产建好、管好以支持数据应用从而更好的实现对业务管理和决策。企业数据管理解决方案框架涉及数据治理、数据标准、数据质量、数据架构管理等领域。随着数据相关工作的进一步开展，元数据管理、主数据管理、数据保留与归档、数据隐私与安全等领域的工作可以进一步开展，从而实现数据全生命周期管理能力的逐步提行数据标准体系、数据质量体系的设计，全行各基础主题的编制和指标数据标准的编制及提升、数据标准的落地实施及数据质量问题建设有直接的指导意义，将制定完成的数据标准作为数据需求，为即将建设的系统及原有系统改造升级的数据模型设计提供依据。从考虑对数据质量问题的深入分析，并进而提出业务流程优化、系统改造、技术工具改造的需求，全面引领业务与技术的发展，持续提2.1.企业信息管理框架德勤全业信息管理德勤全业信息管理(EIM)解决方重体系企业数据管理(EDM)元数据管理金业级报告管理信息管控(IG)数抵管事方法论中将数据管理进一步细分为8个管理领域，包括：数据架企业信息管理战略：构建企业信息管理的战略以及实施路径，以提升数据资产的价值；对企业信息管理的蓝图、准备企业级数据仓库：构建企业级的数据仓库，实现企业数据的集中和整合，为商业智能、统计以及经营决策提供可信的ETL:实现跨平台的大数据量的迁移和转换，同时，构势分析预测，同时根据数据分析结果编写业务的发展趋势报结构化搜索：建立结构化数据的搜索引擎和数据交付机制，确保可以在桌面端展现企业结构化数据的搜索结果，并可系列的数据治理政策、流程以及相应的工具，确保数据得到有范，准确识别企业的数据质量问题，并进行有效的解决，同时的数据提供一致的定义，并建立数据标准落地实施的持续机据的总体分布情况，从而为数据的存储、整合、使用、访问以主数据管理：准确识别企业的主数据，并建立主数据管理机制和平台，确保主数据在企业内部的准确性和一致性，为包括在线和离线等多种方式，以满足合规和管理的要求，同时授权访问，建立相应的数据访问策略、检查机制、控制和监控企业内容协作：通过对群件系统(诸如邮件系统、视频应的工具建设，实现对知识的有效管理，以促进企业的绩效提询、跟踪以及管理企业内的电子文档，内容包括工作流管理、上的文本和图像资源，并允许业务部门创建、发布、修改和管企业内的各类记录信息，并提供长期的归档以及自动化检索功能，同时建立归档和保留的策略、披露机制(包括披露范围和应的技术平台，以实现对相应内容的有效管理；同时，确保视企业级报告管理：对企业非结构化数据的存储容量进行电子签名：构建电子签名的技术平台，实现电子签名和法。实施方法进一步分为6个实施阶段，每个阶段具备9类控制要ThaErterpraaindarmutonManaymentEMmathoddatalsDsloitaspodeheingEIMstmegyandmplementsbonsenicenThebom九类控制五大领域sB企业信息管理实施总体方法(EIM)2在EIM实施方法中，针对每个领域在每个阶段定义其工作内容，并对每项工作内容定义其工作任务、工作目标和交付，如“信息治理架构及组织形式"领域，在6个阶段需要开展的工作如下：定义数据治理工作测股计数继治理工作图企业信息管理实施总体方法六大阶段企业数据管理战略数据治理企业数据治理具体领域示意小节已经体现。企业数据管理(EDM)解决方案中，包括的5个维度如下：准管理、变更控制、数据生命周期管理、元数据治理等管理流控制政策、数据标准政策、数据保留与归档政策、数据合规政策、数据所有者政策等数据治理政策，为数据治理各项工作的主数据治理工具、数据架构管理工具、元数据治理工具、工作流与自动化工具、数据同步工具等，为数据治理工作提供工具12访设调研14成热度评信15现流描述17考望与建议践连建敌提容描庄用与服23数据管理制度担果25信息中心取能规路线图31《数操管理政策32我视学理工作式核夯法33数据格准分类体6框年34(我提作连学理办3.5客产，机构。公共代码类数择样准，合约、熟广、贵通预等风验相关时就据标准，后标标准编制有创新能力，成为有创新能力，成为行业领导者能取得持续的效果采用了先进工具12个重要的数据管控领域起步阶段，流程、组织等需建立有基本的能力，能开展相关工作IV.量化管理1.初始阶段V持续优化成熟度模型图表1成熟度模型描述业务能力系统能力数据帮助业务运作基本的报表、且基于试算表的手工作业、依赖于特殊查询信息超载未能反映真实情况事后被动发现问题数据：结构化的内容、静态的集成：无连结、孤立、非集成的解决方案应用系统：孤立模块、依赖特定应用系统基础架构：复杂、关系混乱、特定平台的2信息用来管理业务基本的探索、查询、报表和分析部分的自动化完全不同的工作环境有限制的企业可视度数据：结构化的内容、有组织的集成：有部分的集成、孤立的情况依然存在件的应用系统多种版本的真实情况基础架构：层级式的架构、特定平台的信息为战略资产有脉络的、基于职责的工作环境的导入自动化已提升到一定层级既有的流程和应用系统的增强整合的业务绩效管理唯一版本的真实情况经由分析的、实时性的洞察力数据：基于标准的、结构化的、以及部分非结构化的集成：孤立系统的集成、信息的虚拟化应用系统：基于服务的基础架构：组件式的、SOA逐步浮现、特定平台的4信息促进创新贯通企业内外的有弹性、具适应力的业务环境战略业务创新的促进能力企业绩效和运营的优化战略洞察力数据：无缝连结并且共享的、信息和流程分离、结构化和非结构化信息完全整合集成：信息作为一种随时可用的服务应用系统：流程透过各式服务而集成；有序的业务应用系统基础架构：有随时恢复的能力的SOA、不限于特定技术的信息成为企业核心竞争力基于角色的日常工作环境全然融入工作流、流程、和系统的能力信息激发的流程数据：所有相关的内部及外部信息无缝连结并且共享的、新增的信息很容易加入集成：虚拟化的信增强的业务流程和运营管理前瞻性的视野、具预测性的分析应用系统：动态的应用系统组合基础架构：动态的、可重新配置的、侦测和回应)恒丰银行的数据价值创造领域成熟度得分为2.4分。处在基本管理阶段。同业领先实践得分为3.2分，处在主动管理阶段。恒丰银行得分低于同业领先实践得分。氯围·没有任例数据工作的视划·无法评告现有数据管理有效性的能力·没有能力估算数据价值及数理或本·对数据作为资产的价值没有认识·有些部门开始制定内面的计划·有些部门偶尔对现有估·有些部门已认职判数据带未的价值，并积极应用数据·对于数据成本仅能够对软硬件投入进行分排·可以进行全行极别的数据战略的规划性速行评判·在积极应用数据的基础上，初步量化的评估数据资产价值·运用一套成本分排方式计算数据的成本的结果升经行调整·重视数据管理工作，能够根需评估结果完善数据管理工作·重视数据的效用，克分应用数据资产资产价值，并较为准确的计算数据成本需数据管理的机制·数据应用非常成熟，形成了数据应用的文化·已形成一套将数据作为资产进行管理的方法·已经具备完警流程来测量数据的价值与成本惧丰银行的数据组织与职责领域成熟度得分为2.6分，接近基本管理逻向主动管理阶段。同业领先实践得分为3.6分，处在主动管理阶段。恒丰银行得分低于同业领先实践得分。1初始阶段识·经理会为员工制定·相应的数据治理与世理的沟通计划提供了有效，高效的渠通向整个组织宜传数据治理与管理计划的检值，全员认同数据是内承报数的机构与·依赖个人能力解决·无持续的培训和改接受专业培训·无数据治理与管理的沟通计划，无法·偶尔会临时成立团队来·有部分的培训和经检分·少数部门开始了内部的·存在一些零数的数据治理与管理的沟通计划，但是未统一·设定专岗和专门的部门来解决数据问器力·开始两部门的数据治·不新扩充团队的力量·不仅定期进行培训。·跨部门的数据治理与管理的工作已覆盖了大多数应用成部门恒丰银行的数据制度领域成熟度得分为1.9分，处在接近初始管理阶段。恒丰银行得分低于同业领先实践得分。*费管理概关制相关政策、是求、办法。超制及线题。以及保障数届制度体系的工作机制·对业业的数据费·在数据技露、合待·没有常缓性地。·对部分核心数易使产的较为全面的控制过程。担是没有正式建立管理制量·防范法律和模单风动的通不完整式的制变来文件数用治理与管道工作·对某些数燃动理为管理的制度和程中进行过率视，但是并注有形成制度化·正式编有相关制度重管理部分数前变产的使用式的数前治维与管维制度，面没有理好地贯相·已经制定常漏性地。聚特定制市视教面管理的制量和性学，延没有宽全实施·般为全面的制度(如：数面管理与的理的政量填布，并得到多数员工的制度已正式通布养执理与管建制度，如度有顺好地贯的执行·已给实施考国性地。是持文前市找数面管理的制度和程序政重、美求，办法。险的制重不仅制电。的制度和程序，参于示例准荡地、示例准荡地、·各业务部门以个人理流程和组织，角色·业务部门和1T部门同的沟通协调视弱。·制定企业设的数据标准管理方案·正在制定企业级数据标准·正在制定企业最数测标准管经政策、厘则和指引·正在成立企业级数期标准管理组织·正在建立全业设数需标准内容管理工具·有完整的企业级数需·建立覆盖全行的基础的标准正在制定中·成热完费的数据标准管理制度，相关角作方式及工作方法明·对全行所有数据标的顺利执行·在全行赠利实施，并深入判备业务部门·全生命周期管理，业务部门和技术部门恒本银行的数据标准领域成然度得分为2.4分，处在基本管理阶段。同业领先实践得分为3.3分，处在主动管理阶段。恒丰银行得分低于同业领先实践得分。·个别部门有自己制定的标准管理政策、原则·少数部门建立了部门·少数部门针对部门内的数据标准建立了管理·部门间的标准定义不·数据标准开始在个别部门使用恒丰银行的数据质量领域成熟度得分为2.3分，处在基本管理阶段，同业领先实践得分为3.1分，处在主动管理阶段。恒丰银行得分低于同业领先实践得分。1初始阶度量化管期包基制定数据联量管理的流程体系和描作规范，准确识别企业的数据进行有致的解决，同时持续监控数据质量题程没有评级，我没有系统对乎工输人数提进行自内通·没有集中管理数据质·业业正在考虑数据质正驱功力·部分手工数据有系统自动检查·提少进行数据质量相但管理流程不完整·主要部门已实描数提质量标准·多数手工数据有系统自动检查论数据问题发生的原因·数据质量问题已集中·数据质量标准很完备·数据在上传至关键应·全员参与数据问题原四约讨论·数据质量问期已集中管理，且定期进行审核·输入界面已有严格·全员参与数据问题中国银行业数据治理发展历程第二阶段第二阶段数据标准与数据质量管理第三阶段其他各数据管理领城数据整合、数据应用数接整合方由基本过过D受各种内外因影响(大数据、良好标准、新资本达标),近年来应用(第一阶段)、数据标准与数据质量管理开始(第二阶段),逐步延伸到其他各数据管理领域(数据安全、元数据、数的数据治理(管控)机制还有一段差距，数据治理与管理领域的中国银行业数据治理发展路径及建设策略惧中靠费数据治厘黄照通用身重事惧中靠费数据治厘黄照通用身重事领先实践的数据能力我国典型商业数据治理能力评估我国典型商业数据治理能力评估教偶虚用与重事 础数据管理，数据管理促造业务应用的策略。无论是倾向于数据应用还是选择凸显数据治理的机制建设，总体目标都是要发展数据价值的挖掘能力，最终都是往右上象限迈数据治理项目的实施需要高层支持，这一点在权威方法论但是，国内股份制商业银行目前处于高速发展阶段，高层的数据质量等情况为切入点，通过数据治理体系建设夯实基础。有了扎实的基础，后续数据管理工作才会带来更大的收大多数股份制商业银行的科技力量不是很强，因而需要加受人力物力及高层视角等因素影响，股份制商业银行在数数据治理实施的一个重点是广泛沟通，即数据治理理论中此外，在数据领域科技发展日新月异的时期，出现改变整要求、指导DAS数据应用与服务数据仓库与应用系统建设与DM数据管理与归格管理DG数据治理01数据战略与规划02数据组织与职责03数据管理制度数据应用与服务规划数据需求管理与安全管理与模理数据服务理主数理实现支撑促进支撑>数据治理：规划数据管理的范围与工作路线，对决策支持、风险识别等数据分析方面进行实际应用，同时加强宣传培训、评估数据工作的绩效，指导数据工作持续的改进；通过数据管理和数据应用的组织模式、职责和岗位角色能明确承担数据在各生命周期的管理和服务责任；以数业能力；打通数据管理中业务和科技建设间的协作，实现全面的数据管理能力；构建专业化的数据管理系统与工具用专业能力，有效的支持运营管控和执行的统计分析和运营分析，有效支持高层决策的绩效评估和预测分析；为业数据管理是一项全行性的工作，固此，决策机构应建立行级的最高决策机构，负责重要事项的决策#“数据管理工作是一项需要业务和科技共同参与的工作，管理信息中心作为总体由于数据管理工作覆盖面广，因此拟针了各类角色，并通过数据认贵机制逐步落实到各业务条线和综合管理部门亚数据口理财员命见印见印1習团整候赏企业施的雷定义战略性企业数配治理目标以及数据质量给标，并与企业设胞方向保持ARCcC1RCARCCC1RCARRR1RC1ARC1RR为企业数现力建要员会和经营管理展定义和制定企业数重的理和CCAC1C8力圆域数配油建委员金和经营其建限定义和制定企业教要边理1CCA1CRC1活动1活动2活动3角色1角色2角色3角色4RACARC1ARAR集中式管理模式·组织内专业化分工强，汇报条线清晰；自上而下执行驱动力·其他部门缺乏数据认知与数据管理能力，跨部门的沟通成本2.分散式管理模式联邦式管理模式·数据管理和业务管理更好的融合，根据职责需要设置岗位角管理协调层、执行层的三层数据管理组织架构，具体如下：数据治理委员会数据治理委员会数据治理组数据治理工作小组总分支行相美部门决策层管理协调层部执行层数据治理组织架构建议图角色及职责定义如下：1.数据治理委员会全行数据管理的最高决策机构，负责全行数据战略规划和决策。2.数据治理组号日常任务名称DG02.8R数据管理能力培训DG02.9R数据服务与应用能力培训示刚DG02.10RDG03.3RDG02.7RDM04.6RDM05.2RDM05.3RD05.5RDM05.6RDM06.3RDM06.5RDM07.2RDM07.3RDM07.5RDM07,6R血用务就拼业用建证项用标在用建显质中示例项对公事户建证项实数扬士行院围内他主做持建受应用管度私制征计项目工划比营理及流程营理系标华墨经叶与基地质2.2.5.数据治理制度体系设计.数据治理制度体系框架设计根据数据管理的层次和授权决策次序，数据管理制度框架分为政策、制度、细则三个梯次，该框架标准化地规定数据管理的具体领域、各个数据管理领域内的目标、遵循的行动原则、完成的明确任务、实行的工作方式、采取的一般步骤和具体措施。规则范制定者制度数据管理制度框架结构.数据管理政策及组织工作章程数据管理政策和数据治理组织工作章程以明确的形式来表明的数据治理机制的有效运行规范，明确数据管理的总体目标、工作原则、工作内容以及组织工作章程。数据政策是最高层次的数据管理制度决策，是为指导全行数据治理与管理活动和防范数据风险的基础性文件，是建立和完善数据>规范数据建立、维护与管理方面的职责与工作的制度，为激励方式上，应注意奖惩结合，多设置加分项目，以鼓励工作开评借维度评借维度数据治理机制建设数据质重管理工作数据质量整改情见数据架构管理工作数据治理与管理体核指标流里注意事填考核指释维度考核指标说明机制建设人员设置情况组员，并在部门内设管理工作人员工作联系函的反馈率相关人员须对数据治理办公室的工作联系函等需要配合的工作事项按时进行反馈，包括纸质和OA两种按时反馈的次馈的工作联系函次数55*工作联系函的反馈率制度征求意见稿的反馈率相关人员须对数据治理办公室发出的制度征求意见稿按时进行反馈，包括纸质和按时反馈的次馈的制度征求意见稿次数55*征求意见稿的反馈率会议出席率数据治理工作小组会议中人员的出席情况已单次出席会议的人次/须参加会议的总人次55*会议出席率数据度量规则需求提出更数据质量度量规则需求次量规则需求提出日常提出度量规则中，可以提出数据质量目标计划监测范围外的数据质量度量规提出数据质量数加分项…数据标准管理数据标准执行符合率各部门在新建系统、改造系统时，须执行数据标准的要求并填核表》系统数据与数据标准执行审核表描述的相新建、改造系统次数数据标准落地执行工作方案各部门须按照数据标准落地执行工作方案的时间计划完成相关无故拖延，未按计划时间完成相关落地执55*(1-数据标准落地执行工作方案延迟率)延迟率标准落地工作日常提出数据标准的新增、变更或落地需求各部门在日常工作中，可以提出数据标准目标计划外的新增、变更或落地需求主动提出新增、变更或落地需求条数项求物应效率率率级指标包含4个关键价值：数据治理文化、数据质量、数据安全、关键能力指标说明查看行内重点系统按时提供数据的能力。从提前、准时、延迟、未提供四个状态以及对业务影响、系统个数等方面进行衡量2.3.数据标准管理方案数据质量管理DM05数据标准管理5.1数据标准划5.2数据标准制定、评审与发布5.3数据标准据管理输出数据模型计调整信元数据管理数据架构与模型管理→信息输入/输出数据质量管理主数据管理元数据管理数据应用与服务数据价值创造数据管理组织与职责数据管理制度准息输入数摆在准通整信义及技术定义，统一业务部门及技术部门对于标准管理流程标准管理流程管控管控审批标准管理制度标准管理制度标监管部门员组织结构和职责组织结构和职责分析类指标定义框架分析类指标维度体系分析类指标分类体系产品数据标准协议数据标准交易数据标准客户数据标准财务数据标准公共代码数据标准资产数据标准实施计划标准执行标准检查标准改进标准管理流程●组织设计遵循目标驱动原则：定义组织架构目标而非工作的过程出发。只有达到预期的工作目标，工作过程才是有意义的。完整的工作增加岗位人员的工作积极性和成就感，对员工的绩效评价提供可衡量的依据，由一个岗位完成一项完整的工作减少了交接和重复工作。角色分配，在短期规划中，首要提升快速解决业务难题，降低业务操作复杂度。因此，简明实用的管理流程将是快速开展标准化工作的一项重要手段。管理流程设计需要相关制度的支持：管理流程的执行效果如何取决于相关制度配套是否完善。没有制度性文件支持和约束的流程很难得到彻底的执行。制度性文件一般包括流程说明、工作准则、审批权限、例外情况说明、相关表单等内容。问题解决应在直接参与作业层面进行。建立畅通的沟通渠道，协助当事双方进行沟通和协调。职责数据管理委员会是全行数据标准工作的最高决策机构，负责数据标准管理重大事项的协调与决策；●审批数据标准管理办法、流程和规范；●审批数据标准的发布稿；●定期听取数据标准管理工作的汇报●协调重大争议事项职责数据标准管理专职机构是数据标准工作的总体协调与管理部门，负责组织、推动数据标准的相关工作，具体工作由数据管理团队●负责制定数据标准工作计划及工作方案；●负责制定和维护数据标准定义模板；●负责收集数据标准的新增及变更需求并协调相关部门参与数据标准制定、变更、评审；●负责维护数据标准、发布新版本；●审核IT项目组在系统建设中的数据标准落地范围与落地方案、数据模型建设方案等；●监督各部门对数据标准的执行情况；●定期向决策层汇报重大事项数据标准归口管理部门是数据标准业务标准的权威认定部门，负责本部门管理的信息项业务标准和标准代码的解释和指导职责总行各部是数据标准的需求提出方与执行者，主要职责包括：●负责提出数据标准制定及变更的需求；●参与数据标准的制定；●参与数据标准的变更与评审工作；●负责落实并执行相关数据标准分行是数据标准的需求提出方与执行者；●根据日常运营统计及监管报送的需要通过总行分管条线业务部门向科技发展部提出数据标准需求；●在数据获取阶段按数据标准的管理要求开展工作发文会签1.1-1-11.3-1设计着提出并汇总本部门数据标准画求1.4-1-数据标准的执行会落于业务层面与技术层面。-数据标准执行流程示例如下：楼“#家控否求3.1-1门部各行总构机支分各心中息信<4、数据标准的复审流程><4、数据标准的复审流程>否较大否述管理办法中除了明确数据标准工作的参与组织与流程外，还需要规范整个工作中需要的应用的表单和附件，包括不限于：数据标准需求审批表、数据标准执行表、数据标准模板等。表单示例如 申情都门：【中油人所也部门或队构】所在纠击申情时间需求共员□薪增口实见口应-【请需求的之鉴业养西】【该数格标准寄家的甲细偿况。式对外试明】信息中心数据标难组历康见。通过向业务部门和关键处室负责人征询意见，逐步完善我行数据标准管理工作的细节内容，并获取全行范围的认可。最终制定全数据标准的含义数据标准是一整套数据规范，它是开展数据标准化工作的必要先行和重要基础。Deloitte.3率，降低各系统间集成的复杂度，并为各业务IT数据标准管理工作通过强化数据在业务和技术上的一致性、有效加强业务的规范性、提高IT系统建设的效率、优化全行数据质量等举措，为实现数据资产的价值奠定基础。4行于2010年发行了《金标委秘发45号一关于启动今明两年相关意见通知》(人发201(286)号文);银监会于2011年发布《中当事人(客户、内部机构)。产品、账户、协议和通用代码台，技术标准和元数段产品、团体、地址、账户、总帐、营销活动、梁道、申请、事件、风险、模型和公共代码行内推行标准管理制客户、合约、产品、地址、事件、资源、分类无应用少量公共代码无应用客户、交易、内部机构、产品渠道、风险、KPI指标的开发而落地客户、机构和公共代码应用1.基础类数据标准1.基础类数据标准2.分析类数据标准1.2产品数据标准1.4交易数据标准1.10组织数据标准2.产品数据标准：银行向客户、其他竞争对手和第三方参数据标准事国命花黄首声事国命花黄首声示代满aaam面大来用县文热资金职级构的考型nceRey40国横并虚国肆粗唐物中机构部比界世权国关联粗客户丝2.信息模型-信息项的识别：识别该数据主题所包括的所有信息项(原子级),如客户名称、电话、地址等；-业务属性针对每个信息项进行描述，包括以下内容：-中文名称：信息项中文名称；-数据格式：数据的技术格式及技术长度定义，如10位定长文-有效阈值(可选):可选项，可根据各主题数据标准的特性来定义数据项有效域值的范围，如数据项有效值范围为-是否可空(可选):可选项，可根据各主题数据标准的特性来-缺省值(可选):可选项，可根据各主题数据标准的特性来定声借息大类声借息大类口日日*日1a技44营理信息美联信息a明虹体甘油味性种性stta燃性14默2时姓eeta21L3=0188.月其编图编制元121*科的种解温随练ftat14性望检*使Fs好te3.标准代码-编码规则：代码的编码规则(如：行业编码的编码规则)-代码定义包括以下内容：4.其他内容对公客户对公客户理内对会客户中，对于不使用细权机的代码让身点基本护的家户，身录组担机构代码。对于组航机构代码“XXXXXCXXXX”起两的富产，实要补录或特孟其组担抗构代码。江件号码具配前，富要把组积机构代码线思化：年数住或大些子哥，不含空传。对于最似的州一客户，进行分光人工州有：组红机构章一此，但客户名作不一数；或多户名师一数，似组无就的证件号码州有识制：不再xxxxxxx规沉的组织机构代码，反不满无丝织机构号码税验性视则的号码视为无此的强件号码。·让件号码区能前。需要化证得号码现选化：统一骑使成本着的数事点史写多导。升去讲子码中用有空格。‘51062519112770”高特挑式“5106319112741X”后秀进付落红。证号码后并做中并西水。证号码后并做中并西水。能税为同一种证件类型，因为它们时业对证件号码同为身份证子。·对才枫下是型的客户，点件与重点对象进行补光的人工判前，以精除错证数照点的识制失数：考就法件于码一数，但保件基型人客产名的不一此的多户；多户名称一致，但有政法件是型。有此证得号码不一具的多户。可路合其器了(境为时和客产)或国是(境外对私多产)加提人王供到：‘其她”并产证件高型的对水客产，了过继证件号利断是在依属于各能有批强件真型，我该证件中是石已能被当或基他活证件类像不力“身份证”。“非对身份证”人“户口”,扣证行·无效的身份证专码判面识别：身份证学码长度用15或15住，低不符小身份证于码权验规明：身份证平码长度为15性，做不全部方数手的身份证子码。管理的信息。建议指标分类采用空间分类法(多维分类),例如行长驾联物(行长表现干业)-指标光行长驾联物(行长表现干业)-指标光+a82.分析类指标元数据模型技术属性：实现方式及展现方式业息续计信游标编号指标名称指标常用名无无因子指标无业务说明计算规则∑透支余园维度(不含时间)统计周期精度息指标值属性管理信息其信分类归属部门视角角(一级)二级三级应用范围视角(一级)二级三级财务产品分类视角无分析应用系统映射系统字段名称映射说明数据标准制定工作分为现状调研、原则定义、标准制定三个阶现状调研阶段的目标是通过不同的调研形式，深入的了解当前存在的数据问题及各业务部门对数据标准的认识与期望，并从不同一、从业务层面，通过业务访谈调研，为后续数据标准的准入二、从系统层面，通过系统数据字典的查询、比对，为跨系统三、从经营统计及外部监管层面，通过业务访谈及业务部门提供资料的分析，为数据标准信息项代码的制定提供依据，保证必要四、从管理层面，通过业务访谈及组织职能分析，为后续数据针对各主题的数据标准的业务特色，结合以往同类项目实践经通过对相关业务部门及分行的访谈，了解各主题数据在业务开展中的作用及当前系统支持的情况，从业务层面掌握各主题数据现状，并加强业务部门对数据标准工作内容的理解和认识，利于双方原则1:原则2:化原则3:原则4:客户的定义和分类客户的识别规则客户的核心信息客户核心信客户核心信息类基本信息联系信息财务信息关联信息风险信息评价信息往来信息织数捆探难化工作内容组织数据的定义：组织数据核心信息：产品的定义产品标准的分类√不重复不遗漏√一个主分类标准√同类产品有相似的产品特征/功能/目的，有一定的业务逻√有适当的粒度，能在一定程度上支持快速准确的产品类别分析其他产品贷款支付结算租赁业务产品的核心信息协议协议交易的分类理财产品交易交易交易的核心信息等),又包括如电话信息、电子地址(Email、IP、web地址县/区)、自然地理区域(如珠三角等)、根据银行经营管理地址渠道的定义渠道渠道营销的定义过营销财务的定义核算项目，遵循合规性、清晰性、完整性和互斥性相结合的原则进财务的核心分类>资产的分类资产的核心信息资产的核心信息包括资产通用信息、资产详细信息、抵质押信息称难代码怀难化工作内容术代码，标准代码将在开行的相关业务及信息系统中被强制执行●代码基本信息：包括代码的编号、英文名称、中文名称、●代码定义：确定具体的代码、代码描述及代码的详细业务●业务含义：代码的业务含义，如币种代码是开行业务营运●外部标准：如采用外部标准需标注外部标准的代号及名●编码规则：代码的编码规则(如：行业编码的编码规则);则)●维度分类，维度可按其描述银行业务信息的特征进行分分类是根据事物的特点，按照一定的方法将它们区分归类。分类是认识和区别事物的基本方法，分类以认识事物、区别事物为目的，有其特殊的对象和用途，分类的用途是提供用户一种检索的途指标的检索特点是不同的用户有不同的检索习惯，如通过指标名称、指标编号、指标归口管理部门、计算时相关的指标，指标来源系统等进行检索。在没有系统支持指标检索应用时，就需要结合例如可以从使用用户视角，提供了基础数据标准分类、使用范操作风险风险管理类管理分析类基础数据标准分类客户机构④源元元元元元元元元元元(经济利润BD,标识业务发展主题，取业务发展英文缩写2位英文字母代RM,风险管理主题，取风险管理英文缩写2位英文字母代表。FA,财务分析主题，取财务分析英文缩写2位英文字母代表。CA,客户分析主题，取客户分析英文缩写2位英文字母代表。CS,渠道分析主题，取渠道分析英文缩写2位英文字母代表。SC,监管报送主题，取监管报送英文缩写2位英文字母代表。标时，则表示为指标名称(指标编号)。长度为16位。为小数点后2位。该属性为必选属性，描述指标是否有效的状态，包括“在用”和“废止”,缺省值为“在用”。4.整体IT规划安排全行数据一致性驱动：以重要IT系统(如核心、信贷等)重建全面推动数据标准在各类IT系统中的落地实其次，数据标准落地与执行时，对于各业务领域及IT系统的约原则1:信息项的业务标准、技术标准和代码标准，对所有业务原则2:数据标准所定义的参考数据模型，由于其不涵盖所有的原则3:对于新建或者改造系统，强制要求其执行信息项的业务时(主要指数据仓库),必须遵循信息项的业务标准、技术标准和义完整的数据标准模板，开展关键系统的数据映射与差距分析工个人和企业客户财务信息以及额度与限额字段的数据缺失最为严公司只数据平台数据是_是___为值是射，有保证金无需数是无需数据映射，通过保证无需数是无需数挑映射，盖过保证是__IOSERBEGINDATE来原为信贷系,映时到担是__TIOXEREHDDATE来开为信贷系统，映射到担是___GUARTYPE来源为信贷系统，映射到担无否数据平白无此教据项，需源是0IXAAFCsuE来原为信贷系统，映射到拍是0IKANFCautionarGUARCSTCODZ来原为信贷系统，映射到担是_M是__RIGKTPAINKT来源为信员系是M来源为信贷系无否数据平白无比无比析两个部分，我们对数据差距分析采取的工作方案不只是对数据标准模板的数据项与数据映射结果进行的简单比较，而是基于完整定义的数据标准模板，以及对银行各系统中的相关数据项进行深入的 无法映射或只映射到部分字段数据仓库数据差异数据仓库数据差异：指新协议合规数据项无法从数据仓库中获取，但可从源系统(核心、对公信贷、个贷、资金交易等系统)中直接获取，则认为该数据项存在源系统至数据仓与银行数据仓库和各取数源系统技术人员开展多次访(4)映射逻辑、数据取数和转换规则，以及差异说)排总电有来统的氧满等地建权火数排洁洗/内·参教表半为就拼标等通进行重并分析并分新：以项月开展形式统审,划任体内容)国图从属系统，从主美统入季从国系统，从主退皖入手交易数据标准落地初步范国从国系统，从主统入学资产数措标准落地初步而围内部机构与员工数措标准落地物学顶国从同系统，从主美统入季目组共同对CN系统中信息项和代码要个内容数括标准在CX累段工作步骤先级任等)体内害)析1、确定差异分析的优法级2、确定发异分析模板差异分析模板3、CPX系纳、数播标催差异分析签异分析银告《包含：1.落地数措标准后，与现有数措的差异及分类，每类差异对历史数播的影响2.提出历史数播清洗的初涉需水；3.对标准光善的需求)标准在客户关系管理系统落地的计划-影响性分析(3/5)具修任务体内容)先级任务)响范国培合落过标准范国、蒙异分析踏果、以及X系统吸目组对本系统上下游的分析，得出影玻性分析范围影响性分析报鲁。内容涉内容、受影响果统优先级历史数措如何清洗、是否需要歌造、是否有欧造计划、计划完或时间、工作量项目组开厌系统内影响性分析，确定是否受影味改造.如周改造，需提出改方体报色。目组的影响性分析腊果确定不同系统的优先级形成影响性分析单体报色数据标准落地方案——影响性分析具体执行标准在客户关系管理系统落地的计划-制定具体执行方案(4/5)具体任务先级任务)体内容)实FX系统项目温地合上一步光或的影响性分析报色，形成本系统光或桥准路丝所等改标准落丝专题温完求标准落地所需歌造的执行方亮，并发通数播标准据CN系统及其他灯果统项目温的执行方案，数播标准路地寺题温制定协同方离先级任务)体内容)1CFX系统标准的落地行2.4.数据质量管理方案搭架构图表2数据治理管理体系72分数累质染科题73是升数制质14数际质量规则管理76数累前量管理考核05数据元数排06元数量常理机材主数据管理05数据06元数厘量确图表3数据质量与各领域关系职责委员会是全行数据质量工作的最高决策机构，负责数据质量管理重大事项的协调与决策；●审批数据质量管理办法、流程和规范；●定期听取对数据质量管理工作的汇报数据质量管理专职部门是数据质量工作的总体协调与管理部门，负责组织、推动数据质量的相关工作，具体工作由数据管理团队●收集数据质量问题●针对发现的问题，牵头领导分析数据质量问题发生原因及影响●制定全行数据质量监控核检方案●收集与汇总各部门制定的数据质量检查规则●确定数据质量问题的责任人●编写数据质量评估报告●定期向决策层汇报重大事项总行各业务部门●协助配合数据质量管理人员，将数据质量管理规范推广、落实到本业务线范围●负责对数据质量相关的业务问题进行澄清和汇总●根据本业务部门业务现状，提交数据质量检查规则总行科技●执行或监控日常稽核工作，并将稽核结果提交给相部门关部门●将数据质量检查规则转化为技术实现分行DG¹3.1数据质量问题分析机园因分府DG1.1数据质量基础建立DG1.2数据质量监控DG1.3数据质量分析DG1.4数据质量改进DG1.5数据质量评估数据质量监控检核方案D1.2.2DG1,4.7数据质量主动保证方案设计数据质量主动保证方案实施团队建立数据质量主动保证流程团队建立数数质量主动保证方案设计数据质量主动保证方案实施DG1.1.3数据质量检查规则制定活动发起收集活动负责领域数据质量检查规则门(包括数据录入部门、数据使用部门)根据业务处理规则及业务数据要求，收集某数据领域的数据质量检查规则。例如客户数据主责部门通知客户数据领域的相关部门收集客户信息的数据质量检查规则门通知函提出数据领域数据质量检查规则各业务部门根据业务规则及数据录入与使用的经验，提出数据质量检查规则数据主责部门门门查规则汇总与验证负责领域数据质量检查规则汇总各部门提交的数据质量检查规则交数据质量检查规则，确保各部门质量规门查规则活动则在业务层面的统一汇总和统一数据质量检查规则汇总和统一各数据领域的数据质量检测规则，确保跨领域的数据质量检查规则统一数据治理办公室数据质量检查规则转化数据质量检查规则测规则转换为技术实现护部门查规则关联数据质量检查规则与元数据查规则与元数据进行关联查规则数据质量管理制度的定位与数据标准管理制度类似，是数据质量工作范围、人员、活动、流程等要素的保证，其制定需要明确数据质量管理的工作目的、使用范围、工作原则与规范、组织架构与职责以及数据质量管理的各项活动和管理流程等。在具体建设过程中，可以将数据质量的管理要求流程形成一份制度类文件，结合相数据质量管理制度的建立与发布将会加强全行各级单位和部门对数据质量管理相关工作的了解，明确其在数据质量管理工作中的职责，使得全行上下对于数据质量管理相关工作的重视程度得到极大的提升，能够更加积极的配合数据管理部门开展数据质量管理相关工作。数据质量管理办法在规范银行数据质量工作同时，也将从局、国家统计局、财政部等部门报送的1104非现场监管报表、人维度相关部门考核标准说明1104非现场监管报表、人行大集中报表及其它项制度的执行情况立健全本机构或本部门统计管理制度、应严格落实并执行监管统计制度、合理设置监管统计岗位，配备充足人员等25分基础业务数据报送情况报送数据的及时性、准确性、完整性和真实性等20分系统运行维护情况监管统计系统、及基础数据源系统的运行于维护情况10分基础业务数据、报表的档案管理整资料档案存储管理应保证监管统计数据信息的安全性、连续性等。5分风险资产统计自动化率各部门管辖的数据达到自动系统计量RWA的占比，以及系统更新变更后通知RWA项目组的及时性。20分数据质量差错的整改完成对分行数据质量管理工作的管理、考核工作是否明确并有效落实执行，结合核帐差错率等指标进行考客户风险整改完成率数据质量差错的整改完成20分业务范围根据数据质量管理需求确定需要进行质量管控的数据项所涉及挑选数据质量管理需求中的关键数据范围进行质量管控，挑选关键数据项的原则是选择对实现业务流程，或者计算过程的影响性数据质量管理的应用范围和数据范围确定后，根据系统应用架构和数据流架构的定义，选择管理关键数据项的应用系统作为数据银行常见的情况是同一个业务数据项在多个系统中出现，此时需要选择合适的数据质量控制点，选择合适控制点主要从以下几方量指标的计算方法，即关键数据项和数据质量管理维度的对应关数据质量管理模型中典型维度(DQI)通常为七个管控维度：toMFFU维度名维度说明百分比数据完备性业务需求所需的关键数据项在系统中是否有定义，或者关键数据项是否都采集了数据。例如合同有效日期是否有未填写的数据记录。数据不完整的记录数数据不完整记录数/总记录数所有数据转换环节的不完备数据百分比相乘，换算为分母为百万的统计值数据有效性数据是否符合数据标准中的业务定义。例如在数据项“押物名称”存储了押物所有权人名称。数据无效的记录数数据无效记录数/总记录数所有数据转换环节的无效数据百分比相数据唯一性是否满足一个业务唯一关键数据项值组合仅对应一条记录，例如一个组织机构代码仅有一条客户信息记录同一数据表中关键数据项重复的记录数项重复记录数/总记录数百分比相乘，换算为分母为数据一致性相同数据项在不同系统或同一系统内不同表格记录多次时，多个数据值是否相同的记录数数据时效性是否能够在数据需求定义要求的期限内获得最新的数据，或按要求的更新频率刷新数据值不符合计算要求的记录数数/总记录百分比相乘，数据真实性数据值是否反映了真实的业务情况。例如：企业的年销售总额实际为100万，但系统中记录的是500万数据不真实的记录数数据不真实记录数/数据精确性数据的精确程度是否满足RWA的计算要数据精确性不符合数据精确性不符的求。例如：对欧元的汇率转换需要保留六位小数点，而实际数据仅保留了小数点后计算要求的记录数记录数/总记录数数据质量评估方法主要包括下图中的四个过程。为保证最终的分析结果真实可靠，我们根据第一次数据质量的情况反馈进行了多M1.样本数M1.样本数M2.制定数据M4.测量数数据质量评估工作以定义阶段的产出物一目标数据映射为基础，根据获取的样本数据进行了初步的分析，从中选择了有数据映在数据质量检查中，还需使用统一的数据质量检查规则模板，从而保证数据质量检查过程中标准的一致性。统一的数据质量检查信息项规则编号数据质量检查规则编号。编号采用X-YYYY形式：XXX为银行系统编号；YYYY为该系统内数据质量检查规则的顺序编号，建议以4位编号度量维度大类从数据质量度量维度划分数据质量问题，类别内容主要包括：数据缺失/不完整、数据标准不统一、数据生成不及时、数据准确性不高、数据记录重复等方面度量维度小类在数据质量大类的基础上，对数据质量问题进行细分。数据质量问题小类的内容描述数据质量问题特征数据质量检查规则说明具体数据检查规则描述，例如，针对合同表中客户编号、客户证件类型、证件号码，数据质量维度为业务关键属性组合不唯一，其检查规则为客户编号+证件类型+证件号码去重后，客户编号与证件类型+证件号码是一一对应，不存在一对多或多多对一关系数据标准编号数据质量检查规则所引用的数据标准编号提出业务部门该规则提出/变更的业务部门提出业务人员该规则提出/变更的业务人员员工编号提出日期该规则提出/变更的日期信息项源系统名(中待进行数据质量分析数据源系统的中文名称源系统名(英待进行数据质量分析数据源系统的英文名称数据库表(中待进行数据质量分析数据源物理表的中文名称数据库表(英待进行数据质量分析数据源物理表的英文名称相关字段名(中待进行数据质量分析数据字段的中文名称待进行数据质量分析数据字段的英文名称取值范围待分析字段的取值范围。适用于枚举类型和业务定义中存在有上下限的字段名，例如代码、单笔汇款手续费上限为50元。如果是代码类的数据可以使用请参见“代码”脚本逻辑与业务规则对应的检查逻辑，主要以SQL形式描述根据系统应用架构和数据流架构的定义，选择管理关键数据项银行常见的情况是同一个业务数据项在多个系统中出现，例如激PPPPP激PPPPP客户基本信息在核心账务系统、信贷系统、国结系统、信用卡系统关键数据范围内的数据与每个数据源系统进行数据映射分析，挑选出与关键数据项对应的字段，作为数据质量管理的数据字段范参其中之治写半服中文名煤_货欲编号，求用合用编号识别读笔资款背款中请信息录申语触字号协策息_货款中语信息录好果_M识香____必煤最近速的日__曾经有建的记最的十人近次建的日期__日__9可选客户居住地邮编可选_客户居住地名称必煤人分_W(行为评分)无2热煤人申语评分系坡评懂燃基e图表5数据质量管理字段范围示例选择出的关键数据字段按照系统和表格分组后填入《数据质量解根据客户关键数据项的筛选结果，对其进行数据质量分析同时同随散习占比文问同在组城机构代建数据，问器数条0性朵依照数据质量改进办法，将数据质量的整体改进计划分为3个“数据值为空”和“缺失未填”都属于该数据项的值没有记不准确的数据是指数据记录存在但是数值本身不准确，数据问“不符合业务定义”一般指数据字段之间的逻辑不符合实际的业务含义。对于这类数据，需要业务部门人员和系统技术人员一起根据数据实际业务含义，在系统中设置适当的逻辑校验，防止该类问题的出现。“无意义”指数据项的取值没有实际业务含义。该类数据问题同样需要系统技术人员在系统中设置合适地数据校验逻辑，防止该类问题的再次出现。“业务关键属性组合不唯一”一般是指作为业务唯一标志的数据项出现了重复记录。该类数据问题需要系统技术人员在系统中设置合适地数据校验逻辑，保持数据的唯一性和一致性。“代码取值越界”是指数据字段的取值超过了标准代码的取值范围。这类数据问题中，一部分是数据本身缺失未填，该类问题应该在补充缺失的数据中解决。修正该类的数据问题一方面是需要完善代码更新机制和流程，及时地更新数据标准代码，保证标准代码和实际系统中代码的一致性。对于历史数据的遗留问题，仍需要技术人员对相关数据进行清理。新增系统校验修正错误校验改进数据设计完善数据架构的操作内容(即应该做什么不应该做什么)和操作的先后顺序(即是否有操作规范?操作规范是否合理?操作规范是否被严格执行?数据质量问题发生原因是否与业务流程相关相关的业务流程是否存在相关的业务流程是否正确成立专门的业务流程小组，指派专人负责相关的业务流理系统理系统统债针对发现的业务流程漏洞，制定新的业务流程规范对现在全行公布并推广新的业务流程零售客户零售客户图表6客户行业代码系统分布中小企业中小企业系统数据：ABC银行行业代码、国民经济行业代码、国标国民经济代码……同一名称代码不尽相同核心通用行业代码代码名称通用行业代码评级器评级器国民经济类型代码国民经济代码报表报表图表7客户行业代码第一步试推行新国标行业代码第二步过渡期并行历史数据清洗第三步新国标完全落地+满足内外部统计和监管要求，按照新国标行业代码细化四级：国民经济行业小类比国标行业细化的现行行业数据，转入ABC银行特色行业代码：电力行业、铁路行业、房地产行业1.新国标客户所属行业：在CRM系统中录入2.新国标项目所属行业(贷款投向):信贷系统存量贷款项目分别拆入全流程信贷、中小企业系统录入，其中：3.对数据进行数据一致性核对，使监管报送新旧国标行业数据平稳并具有连贯性4.在系统层面支持(前台功能或后台数据查询):录入完成进度、数据一致性核对结果等方法二：采取Excel下发方式填写F5631机场F5632空中支通管理‘F5590航空公司’:采取国标中定义，可以选用最细粒度结点：F5611航空旅客运输、F5612航空货物运输.管控执行至今，重要数据维护审批执行率一直保持在95%以降至0。数据质量度量规则管理数据质量度量规则管理质量监控数据质量问题处理数据质量管理对象数据平台ODS业务系统源数据库2.5.数据架构规划BI:商业智能(BusinessIntelligence),指数据仓库相关技术DataWarehouse:本世纪80年代中期，"数据仓库之父E.F.Codd于1993年提出的。当时，Codd认为联机事务处理ROLAP:基于Codd的12条准则，各个软件开发厂家见仁见关系型数据库的OLAP称为RelationalOLAP,简称ROLAP。针对ODS层的数据，某些指标的因子进行预√面向于主题的数据√面向于应用的数据DW层存储内容√维度数据分两部分：一部分是集团公共维，由集团统一管理维护；一部份是中集集团个性化维度，数据来源于人工补录。√接口表数据DM层存储内容√共用DW层维度结构。√面向报表展现组织存贮系统表数据(MARS、K3等)具备以下三个特点(参见图1):据估计2000年全球存储了800,000PB(1PB=1024TB)的数据，预计到2020年这一数字将达35ZB(1ZB常快的。据统计，单Twitter每天就会生成超过7TB的数的传感器返回的数据(如气象信息，网络数据侦测信息),各种交易所通过自动报价机产生的自动报价信息图2Hadoop—大数据所依托的主流平台大数据的3“v”特征使得使用传统的技术进行分析的成本过于高昂。而若不挖掘这些信息，则会造成惊人的机会成本的浪费，因为这些尚未被分析的信息的潜力是接近于无限的。为了找到一种方案，以一种相对可以接受的成本对这些信息进行分析，很多组织和研究人员从多个不同的角度进行了试验与尝试，目前在海量数据分析的普及性方面领先的是称为Hadoop的一个开源项目。Foundation的一个顶级Apache项目，用Java编写。您可将Hadoop想像成一个构建于分布式集群文件系统之上的计算环境，专门针对非常大型的数据操作而设计。Hadoop旨在通过一个高度可扩展的分布式批量处理系统(参见图2简单示意),对大型数据集进行扫描以产生其结果。Hadoop的重点并不是速度的响应时间、实时仓库，或更快的事务处理速度；它的重点是从可扩展性和Hadoop带有用Java语言编写的框架，因此运行在Linux生数据仓库，无论是采用通用机(如Oracle、DB2等)还是一体机(如Teradata、Netezza等),都保存的是结构化数据，数据，若使用数据仓库，其成本是企业难以承担的，Hadoop对已经实施了传统数据仓库的企业，可以考虑采用如图3的架构AdhocQus8AralrsisReguestsVachine.SensorgOtherSources.图3如图3所示，未来企业的数据来源既包含传统的结构化数据源也通过传统ETL的方式进入数据仓Hadoop续一步的整合处理。处理的其他非结构化信息(如文件)可以输出到非关系型数据存储平台。对于未来的企业应用来说，可以架构在数据仓库和非关系型数据存储平台之上满足不同的分析所数据仓库的应用架构定义了数据应用架构及功能，但受技术条件的限制，目前主流的基础设施架构有集中式服务器、群集服务器形式，前者进一步细分为通用用服务器及一体机形式。三者在可靠性、价格、维护性方面有颇多差异，我们在规划中将对三种技术实现方式进行对比，结合XX农合的要求提供建议。除了从纯技术角度对比外，根据XX在数据平台建设选型的经验，建议围绕平台整体形成服务能力要求的目标，增加下列四项集成能力、一项中国市场覆盖支持能力等及方面进行全面对比选择：数据平台软硬件产分类细项投产投产数量占比占比占比占比厂商平合a合计ETLETL务器(集器)小型机数犯库集群Teredata/IBM存BR务器(集群)(备)应用E几调度服务器(集群)应用E几调度服务器(集群)WEBWEB服务器一体机集群PCServer群集架构案例：3.项目实施方案根据XXXX数据管控体系建设项目内容，分为5大任务，项目周期为24周，分数据治理体系规划、数据标准、数据质量、数据wigW21.数据治理体系规划1.1数据治理体系诊断1.1.1访谈及调研1.1.2现状诊断分析1.2数据治理体系规划1.2.1数据治理组织体系设计1.2.2数据治理体系规划1.2.3数据标准体系规划报告及确认1.3数据治理制度设计1.3.1管理制度框架定义1.3.2数据标准&质量管理流程设计1.3.3数据标准&质量管理办法编制1.3.4数据标准和质量管理制度宣贯及确认2.3.2关键指标标准设计(40个左右)3.1.1数据质量现状分析(重点系统)3.1.2定义数据质量度量规则项目实施计划3.2.项目组织与人员构成XX建议，本项目可采用XXXX与XX联合工作的方式，同时XX将会和XX共同组建技术支持和实施团队。不仅可以高质、高效作，分享方法体系与工具，协助XXXX提升专业水准，使XXXX项目实施小组计划财务部科接部公司业务部中小企业部…部数据质量&架构小组专家支持组伙人戴耀华先生、总监曾志宏先生与XXXX相关领·对本项目提供专家支持，包括总体方向建议、相关专业知识和项目实施小组由XX中国信息技术咨询服务团队与XX共同组交付物计划交付时间1《数据治理现状评估报第8周2《数据治理体系规划报第16周3《数据标准管理办法》第24周4《数据质量管理办法》第24周5《数据标准分类体系框第6周6《基础数据标准定义》第16周《分析类数据标准定义》第16周8《数据标准差异分析与落地建议》第24周9《数据质量评估方案建议及整改方案》第24周数据仓库架构规划报告第20周4.1.知识转移知识转移是一个长期的过程，在项目建设期间，力争使相关人员能从“不知知识转移是一个长期的过程，在项目建设期间，力争使相关人员能从“不知道”到“知道”,并逐步过渡到“理解”并“会应用”的阶段实践操作成果初效价值理解理解主动完善数据管理内容、持续应用数据管理工具、成果级管理人员员发人员应用数据管理工具、成果技能培训实践试用普及介绍知识转移阶段知道数据管理理解数据管理不知道低