提高数据质量的步骤和措施

提高数据质量的步骤和措施提升数据质量的步骤和措施鉴于大部分系统和应用程序持续接收新数据，数据量不断增加，确保数据质量不是一蹴而就的任务。所有企业都应采用循环进行的阶段性流程来管理数据质量，其中包括数据质量评估、规划以及策略的选择和实施。首要步骤是对数据质量进行评估。评估当前的数据质量状况至关重要。这种评估有助于企业准确了解数据的内容、质量和结构。主管参与数据质量评估以及分析在数据检查过程中发现的问题对评估至关重要。在高效的数据质量评估中，所有问题将按照对业务影响的大小顺序列出，从而有助于IT机构节约项目成本。其次，制定数据质量计划。在深入了解企业数据内容和质量之后，下一步是制定计划，修正当前的错误并预防未来错误。有效的计划不仅可以提升当前所有应用程序中的数据质量，还会确保新应用程序从一开始就遵循数据质量规范。第三步是选择并实施数据质量策略。选择改善企业数据质量的策略，要求决策者权衡每个数据质量计划的成本以及策略的影响。目前有两种主要策略类型：一种是提升数据质量的“上游”方法，即在数据输入阶段改善数据质量；另一种是“下游”方法，即从运营系统中提取数据（如数据仓库）来改善数据质量。上游策略涉及研究当前应用程序的逻辑、数据和流程，解决检查过程中发现的异常情况。这种策略可能包括改变应用程序逻辑、加强表验证以及改善与数据输入相关的流程，以确保企业数据的高准确性。此外，上游策略还需要利用应用程序自带的数据质量功能。下游策略则是解决目标应用程序或数据仓库中的数据质量问题。由于数据可随时根据需要进行修改，企业能够通过流程改进（特别是数据转换、名称和地址清洗以及查找验证）来提升数据质量。与上游策略相比，下游策略只是改善目标应用程序或数据仓库的数据质量，但其实施过程更为简单，成本更低。确立数据标准，明确数据定义。通常情况下，独立的应用系统可能有比较模糊或有时比较清晰的数据标准和数据定义。为了确保系统正常运行，这些系统的用户必须就数据标准和数据定义达成一致。然而，这些标准和定义通常与企业其他系统中的标准和定义不一致。因此，需要从整个企业的角度出发，确立统一的数据标准和数据定义，并确保整个企业就此达成共识。这并不容易，因为人们通常会本能地抵制变化，改变数据标准和定义是一项艰巨的任务。为此，除了设立一个高管级别的数据质量管理委员会外，还需指派一个执行能力强的项目负责人，推动相关人员接受新的数据标准和定义。在具体建立新的数据标准和数据定义时，需要仔细权衡，哪些定义和标准是出于企业内部的原因(比如出于方便、习惯等)制订的，哪些定义和标准是因为要有效反映外部的真实世界而制订的。相对而言，前者更容易执行一些。2.建立一个可重复的数据收集、数据修改和数据维护流程。数据管理面临的两个主要挑战是企业本身的复杂性和身份信息不断变化。这两个客观原因的存在意味着企业的数据质量保证行动永远没有结束之日，因此，企业在制订数据质量的保证措施和数据质量指标时，必须保证这些措施和指标能够不断重复。3.在数据转化流程中设立多个性能监控点。数据的质量高低可以根据最终用户的需求来评价，也可以通过与同类数据源的比较来评价，还可以通过与前一阶段的数据质量进行比较来评价。但在制订数据质量的战略时，比较理想的办法还是根据最终用户的需求来进行。不过这里存在一个问题是，等到最终用户拿到数据时再针对数据的问题进行修正已经太迟了。一个有效的数据质量保证办法是在每当数据发生转换后就与前一时期进行比较，从而对数据质量进行评估。如果此前所采用的数据质量改进方法有助于提高最终用户的满意度，那么，这些中间指标的达标也预示着项目的最终成功。4.对流程不断进行改善和优化。我们常常听到有人说，他们制订了很多办法来迅速而且大幅度提升数据的质量，但很少听说最后他们能真正得到满意的结果。其原因就在于数据的质量改进绝非一朝一夕的事情，而是一个持续的过程。正确的办法是通过一个不断改进的流程，持续不断地排除错误、对数据进行整合和标准化，最后达到流程的自动化，从而降低数据质量保证计划的总体开销。实际上，排除错误、数据整合和数据标准化从来就不是一件容易的事情。数据质量管理计划的负责人将配合公司高管组成的数据质量管理委员会来保证这个流程的顺利执行。要注意的是，作为该项目的负责人，不能墨守成规，仅仅因为自己以前一向采用某种方法，就要求别人也必须采用这一方法，特别是当发现这些方法成本高昂的时候，就应该考虑换一种方式了。5.把责任落实到人。通常，我们认为那些与数据的.产生、维护相关的人员是负责任的，但是，很有可能，他们有很多其他的工作要做，因此作为数据质量的负责人光有善良的想法是难以提高数据的质量，很有可能一辈子也达不到目标。对于那些负责数据的产生、数据的合理化以及对数据进行清理和维护的人，应该给他们的活动制订明确的指标，这样他们才能真正理解人们到底希望他们达到什么目标。更重要的，他们还需要针对这些指标细化对他们自己的要求，当然，他们会因为达到或者超过这些指标而得到奖励。其中，一个执行力强的负责人的价值体现出来，他会针对具体