数据仓库的数据质量

1、（一）数据质量的衡量标准、好处和问题数据质量的好坏是决定一个数据仓库成功的关键，但是需要从那些方面衡 量数据仓库中数据的质量呢？可以从下列方面衡量系统中的数据质量：准确性：存储在系统中的关于一个数据元素的值是这个数据元素的正确值；域完整性：一个属性的数值在合理且预定义的范围之内；数据类型：一个数据属性的值通常是根据这个属性所定义的数据类型来存 储的；一致性：一个数据字段的形式和内容在多个源系统之间是相同的。冗余性：相同的数据在一个系统中不能存储在超过一个地方；完整性：系统中的属性不应该有缺失的值；重复性：完全解决一个系统中记录的重复性的问题；结构明确：在数据项的结构可以分成不同部分的任何地方，

2、这个数据项都 必须包含定义好的结构；数据异常：一个字段必须根据预先定义的目的来使用；清晰：一个数据元素必须有正确的定义，也就是需要一个正确的命名；时效性：用户决定了数据的时效性；有用性：数据仓库中的每一个数据元素必须满足用户的一些需求；符合数据完整性的规则： 源系统中的关系数据库中存储的数据必须符合实 体完整性及参考完整性规则。既然数据质量是成功的关键，那么，提高数据质量有那些好处：对实时信息的分析：高质量的数据提供及时的信息，是为用户创造的一个 重要益处；更好的客户服务：完整而准确的信息能够大大提高客户服务的质量；更多的机会：数据仓库中的高质量数据是一个巨大的市场机会，它给产品 和部门之间的

3、交叉销售打开了机会的大门；减少成本和风险：如果数据质量不好，明显的风险就是战略决策可能会导 致灾难性的后果。提高生产率：用户可以从真个企业的角度来看待数据仓库的信息，而全面 的信息促使流程和真个操作更顺畅，从而提高生长率；可靠的战略决策制定：如果数据仓库的数据是可靠而高质量的，那么基于 这些信息进行的决策就是好的决策。在数据处理过程中，会有那些数据质量问题：字段中的虚假值数据值缺失对字段的非正规使用晦涩的值互相冲突的值违反商业规则主键重用标志不唯一不一致的值不正确的值一个字段多种用途错误的集成（二）数据质量的挑战数据的污染是在数据仓库中处理的，但是数据的污染却是在数据仓库之外 发生，所以我们必

4、须要知道数据有那些污染源：系统转换：系统转换和迁移是数据污染的重要原因；数据老化：复杂的系统集成：源系统种类越繁多，出现污染数据的可能性就越大；拙劣的数据库设计：坚持实体完整性和参考完整性规则可以防止一些数据 污染；数据输入的不完整信息：输入错误：错误的数据输入是数据污染的一个主要来源；国际化/本地化：欺诈：有些数据是故意输入错误的；缺乏相关政策：如果一个公司对数据质量没有明确的相关政策，它的数据 质量就不可能得到保证。数据质量问题产生的影响：根据常规分析方法所作出的错误决定；由于脏”数据或数据不可用失去商业机会；由于错误的数据导致要重新运行数据清洗，造成源系统额外开销；由于数据不符合规则二导

5、致政府机构的惩罚；审查的问题;不必要的冗余数据占用资源；不一致的报表；每次发现并修改数据错误所耗费的时间和精力。（三）数据质量工具现在已经清楚数据质量从那里来，会带来什么问题，做好数据质量管理能 带来那些好处，那么，我们可以采用那些方法和工具来保证数据的质量。数据清洗工具数据错误发现工具用于识别源数据的不准确和不一致；数据修正工具帮助 修改受污染的数据。数据清洗工具的错误发现：方便快捷地识别重复记录；辨认出那些超出合法域值范围地数据项；找到不一致地数据；检查允许值的范围；检测不同来源地数据项地不一致性；允许用户辨认和确定数据质量问题的数量；监控数据质量随时间变化地趋势；面向用户报告分析所用数据地质量；解决关系数据库管理系统数据参考完整性地问题。数据修正工具的数据修正：规范不一致地数据；改善不同数据源中数据地合并过程；对属于同一个家庭地客户记录进行分群和关联；提供数据质量地衡量指标；使允许地数值生效。（四）确保数据质量为保证数据仓库数据地质量，需要对数据进行清洗，有两种清洗方法：一 种是只让干净地数据进入数据仓库；而是在需要地时候清洗。进行数据清洗决策需要解决地基本问题：需要清洗那些数据：需要由用户决定那些数据是重要地必须清洗，IT专家只起辅助作用；在什么地方清洗：怎样清洗数据：这就是怎样使用供