数据质量管理完整版

数据质量管理数据质量管理是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。1234数数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。量管理评估维度由于数据清洗(由于数据清洗(DataCleaning)工具通常简单地被称为数据质量(DataQuality)工具，因此很多人认为数据质量管理，就是修改数据中的错误、是对错误数据和垃圾数据进行清理。这个理解是片面的，其实数据清洗只是数据质量管理中的一步。数据质量管理(DQM)，不仅包分析、数据评估、数据清洗、数据监控、错误预警等内容；针对组织的改善和管理，主要包括改善效果等多个环节。任何改善都是建立在的基础上，知道问题在哪才能实施改进。通常数据质量和管理评估需通过以下几个维度衡量。1数据质量评估维度完整性Completeness：完整性用于度量哪些数据丢失了或者哪些数据不可用。规范性Conformity：规范性用于度量哪些数据未按统一格式存储。一致性Consistency：一致性用于度量哪些数据的值在信息含义上是冲突的。准确性Accuracy：准确性用于哪些数据和信息是不正确的，或者数据是超期的。唯一性Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。关联性Integration：关联性用于哪些关联的数据缺失或者未建立索引。2管理质量评估维度配置管配置管理ConfigManagement：此维度用于数据在其生命周期内的一切资源是否得到了控制和规范，即数据的计划、产生、变更直至消亡的过程中，与数据相关的计划、规范、描述是否收到控制。评估指标包括：评估配置项的细化粒度、评估基线准确度和频度以及变更是否合Training：此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、是否满足岗位需要；受训的知识和技能是否经过审核和确认，受训的内容是否与和价值观一致；培训是否合理完善等；验证和确认Verify&Validation：此维度用于数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证确保工作产品(数据)满足指定的要求、是否通过“确认”保确认”的流程是否完善；监督和监控Monitoring：此维度用于度量产生和使用数据的流程在数据的整个生命周期内三分析影响数据质量的因素影响数据质量的因素主要来源于四方面：信息因素、技术因素、因素和管理因素信息因素：产生这部分数据质量问题的原因主要有：数据描述及理解错误、数据的各种性质(如：数据源规格不统一)得不到保证和变化频度不恰当等。技术因素：主要是指由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。流程因素：是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来。管理因素：是指由于人员素质及方面的原因造成的数据质量问题。如人员、、培训或者奖惩措施不当导致的管理缺失或者管理缺陷。熟悉的人应该知道，六西格玛强调以事实驱动管理。但事实是用数据说话。映射到方法熟悉的人应该知道，六西格玛强调以事实驱动管理。但事实是用数据说话。映射到方法，1.定义和商定问题、时机和目标，以指导整个数据质量管理的工作。2.收集、汇总、分析有关形式和信息环境。设计设计捕获和评估的方案。3.按照数据质量维度对数据质量进行。4.使用各种技术评估劣质数据对产生的影响。5.确定影响数据质量的真实原因，并区分这些原因的影响的数据质量的级别。6.最终确定行动的建议，为数据质量改善制定方案，包括数据级和组织级的。7.建立数据错误预防方案，并改正当前数据问题。8.通过改进组织管理流程，最