CRM系统数据质量管理方案研究案列管理战略

1、CRM系统数据质量管理方案研究在企业部署CRM系统后，往往希望借助这一系统的商业智能优 势，通过对数据的分析处理，来获取隐含在数据中的更有商业价值的 知识，以此来指导企业开展下一阶段的工作。文章首先分析了当前大 多数企业所面临的数据质量低下的现状，并对造成这一现象的原因加 以分类，然后以笔者曾经参与设计的某企业CRM目为例，从整个项目的生命周期开始，对各个阶段所要解决的问题加以解释，并给出解 决方案。最后，从宏观上给出一套对普遍企业适用的，能够显着提高 数据质量的管理方案。1 CRM系统中数据质量问题分析CRM(Customer Relationship Management) 也称为客户关系

2、管理 系统，其主要功能是通过对大量的客户资料进行深入的分析，来实现 缩短销售周期，降低销售成本，提高客户忠诚度和保有率等商业目 标。然而决定一个 CRM系统成败的关键，往往就是数据质量的优劣。劣质的数据来源不一，通过分析，其原因主要有以下几种： 缺之验证程序。很多系统没有在初期就对用户的输入等过程提 供完整的验证程序，导致误输入等因素对数据质量造成一定影响。 数据格式有效但不正确。往往有些看似有效的数据，但却是错 误的。 系统更新。在原系统发生结构性变化时，如果管理员新增加了 一个字段或下拉值，但是没有及时通知相关的系统工程师，就会导致 一线员工继续使用旧的字段或下拉值去匹配新的信息类型。 系

3、统接口过多。缺乏参照完整性检查。不匹配的规则和定义维度渐变。随着时间的推移而可能发生改变的维度，也在某种 程度上影响着数据质量。由此可见，数据质量受到来自多方面的影响，并且随着公司业务 集成到网站中，并允许客户和经销商直接操作数据，而更加与日俱 增，因此制定一套行之有效的管理方案迫在眉睫。2数据质量管理方案DEMING W.E在其质量管理的十四要点中指出：“质量不能仅依 赖于产品的检验，检验不能创造价值，只能将次品挑出来。”根据实 际工作情况来看，往往当我们检查出脏数据时，它已经大量的存在于 数据库中了，检查的成本高而效益低。要采用事前预防的方法，从一 开始就将质量融入到数据中，以降低脏数据的

4、发生率。在实际项目中，将数据质量的控制在宏观上划分为了三个阶段， 参见表1:表1数据质量管理方案规划由于第三阶段属于数据挖掘范畴，是在建立了准确，完整的数据 库基础上实现的，暂不属于本文讨论的范畴，所以我们重点关注第一 阶段和第二阶段的实施。2.1数据质量规划阶段完整的信息架构在数据质量管理中占据着重要的位置，这个架构 一定是针对业务规则建立的，且能够灵活应对将来可能出现的业务规 则或数据流变更。信息，简要的说就是数据和知识。信息架构的工作在本质上就是 将一些数据转化为我们可以直观的理解的知识，或者将我们获得的知 识转化为数据，一边可以传递，再利用。它应当是兼具两者的设计过 程。大体上应该包含

5、三件工作：架构设计：首先我们要确定系统中信息的单元的大小，并决定 这些单元之间的关系。 组织方式：将这些组件组合成有意义的，具有特色的类别。也 称为逻辑分类。 标记：将上一步得到的分类用一个唯一的标签来命名。设计过程的初期要通过有引导性的客户调研工作理解用户需求， 寻找分类的趋势，完成信息架构UML图的初稿，这里应该进行至少两次的分别从上到下和从下到上的梳理过程。之后就是情景模拟的测试 过程，并且要让用户也参与进来，否则这个测试过程就失去了其本身 的意义。企业的信息化过程中要引入数据质量管理平台，以管理企业 数据流，并成为企业各个子系统数据交互的中心，同时在各个层次上 对数据质量进行监控和管理

6、，以建立统一的企业数据模型，形成企业 统一的视图。信息的安全性管理不但包括我们熟知的密码管理，用户权限分 配，服务器端防火墙的设置等网络安全工作，还应特别注意外部数据 的来源，是否为可信数据，数据质量是否符合系统的标准，此处要对 导入程序做严格的检查，宁肯放弃一部分数据也不能导入潜在的脏数 据或无效数据。2.2数据质量控制阶段设计质量，即我们上面所说的质量规划阶段，其目的是要收集质 量需求并将它们转换为一套标准来执行。接下来的执行过程中，就存 在着数据质量控制的问题。上面一节已经讲过当前常用的评价数据质 量的观察点，在本项目中，宏观上从三个方面来看：可信性、及时 性、可用性。检测数据可信性的一

7、系列规则都是要基于依赖性和现实世界的一 致性的。他们可以用于定义数据的语义约束；区分静态，暂时的，或是动态的约束；并且可以指定属性、原则、关系或是整个数据库。所 有这些类型的约束都是在假设数据的某些性质不依时间的变化而变化 为基础上提出的，以便提供一个稳定的数据集用来与其他数据作对 比。图1描述了测量数据的质量，特别是可信性、及时性、可解释性 和有效性的潜在方法。图1数据质量评估如图1所示，验证生产数据的可信度要制订即包括单变量特征也 包括多变量特征的检查规则。对于某些字段，它有可能同时存在多种 约束条件，这些检查的规则要在数据结构确立后就明确。此外，这里 还应重点考虑的一项工作是重复数据的检

8、查。结合项目中的实际情况来说，重复数据可以归为两类，一类是在 数据库中已经存在重复的记录，所以要将这些冗余的数据清除，或是 归档。另一类是根据业务规则需要清洗，但并不违反数据库的逻辑规 则。如某些呼叫中心规定一个时间段内不能跟同一客户联系超过2次。这就要求数据库操作人员在获取客户名单时，要做2次查重，以满足上述条件。另一个重要因素就是数据流的控制。往往一些企业的CRM系统的数据流的来源和去向较为复杂。任何环节发现了脏数据先不要急于去 做数据清洗，应该顺着数据流去寻找源头，在确定从根本上修复了程 序后再开始数据清洗工作。总的来说，数据质量是一种通过度量和改善数据综合特征从而优 化数据价值的过程，

9、质量标准要客观的附加在主观的方法和建议之 上，从而保证生产数据的质量。由法国等4国研究机构联合立项的研究项目对在元数据层中嵌入质量管理模型已经取得了一定的进展。不 仅如此，关于数据仓库的质量管理问题也在对数据抽取，装载，存储 等关键步骤进行研究。可见，数据质量问题正在受到各行各业广泛的 关注。3小结概括的说，在项目的整个生命周期内，应该有这样一套完整的管 理方案：启动数据质量管理计划。该计划要建立并保持数据定义和业务 规则的一致性，并且只有一个版本，这样还可以节省未来开发新程序 和寻找相关数据的时间。 制定项目计划。这一计划中要清晰的定义适用范围，制定目 标，估算投资回报率，差值分析，预估以及监控实施效果。为了实现 上述的目标，开发团队需要做相应的数据挖掘工作事先评估现状，确 立修复方案并建立方案监测数据的一致性。 再次审视业务流程和数据架构。 评估数据质量。在重新审视信息流和数据结构之后，企业需要 对重点业务区域的数据质量进行全面的评估。目的是找