CH第讲重复数据的消除

1、Duplicate Elimination重复数据的消除脏数据形成的原因滥用缩写词数据输入错误数据中的内嵌控制信息不同的惯用语（如：ASAP对“at first chance”)重复记录丢失值拼写变化不同的计量单位过时的编码数据清理的重要性脏数据的普遍存在，使得在大型数据库中维护数据的正确性和一致性成为一个及其困难的任务。垃圾进、垃圾出。数据清理研究现状数据清理常常与数据仓库、数据挖掘和数据集成的研究联系在一起。近年来在数据库研究团体中得到了广泛的关注。主要集中在模式集成问题的研究，如集成框架、中间件系统(mediator systems)、模式冲突解决方案。很少涉及实例层次的研究。数据清理处

2、理内容格式标准化异常数据清除错误纠正重复数据的清除重复数据清除概念模型数据清理有效性的度量标准返回率（Recall）定义：重复数据被正确识别的百分率例子：假定有7个记录A1,A2,A3,B1,B2,B3,C1,其中A1,A2,A3和B1,B2,B3分别是记录A和B的不同表示。如果清理过程识别出A1，A2，C1和B1，B2，那么Recall值为4/6*100%=66.7%False-Positive Error定义：错误地作为重复数据的记录的百分比。False-Positive Error=精确度(Precision)Precision=100%-False-Positive Error数据清理

3、过程存在的问题和困难不确定性和风险性很难确定两个不完全相同的记录是否表示同一个实体，即使它们非常相近。结果的确认很难找出真正的重复记录数，这样有效性的度量很难得到。数据库相关清理算法的性能跟数据库密切相关。现存的数据清理方法脏数据的预处理排序邻居方法优先排队算法多次遍历数据清理方法增量数据清理采用领域知识进行清理领域无关的数据清理采用数据库管理系统的集成数据清理扩展SQL进行数据清理过程方便用户的使用存在优化问题脏数据的预处理先于数据清理过程使数据更加规范化和一致，获得更好的结果包含外部参考文件，如缩写标准表。排序邻居方法(Sorted neighborhood method,SNM)SNM方

4、法包括三个步骤创建关键字：依赖于领域知识中的错误模型。排序数据合并SNM方法的缺点结果与所采取的关键字密切相关。“Window size”问题优先排队算法将各个记录根据相似性程度归入不同的队列中减少了比较的次数照样存在“Window size”问题多次遍历数据清理方法每次排序选用不同的关键字减少错过重复数据的机会选择关键字比较简单可以采用传递闭包（transitive closure)将相似记录合并成一个组增加false-positive error基于知识的方法进行重复数据的消除三个阶段预处理阶段数据类型检查数据格式规范化不一致的缩写处理阶段将预处理后的数据通过专家系统引擎和一系列的规则进行处理。人工检验和确认阶段处理规则无法处理的重复记录规则的分类重复识别规则(Duplicate identification)：指定两个两个记录为相似记录的条件。合并/清除规则（Merge/purge） ：指定对两个重复记录如何进行处理。更新规则(Update rules)：在特殊情况下更新数据的方法。警报规则（Alert rules）:当一个特定的事件发生时发出警报。原因分析会的建议措施建议措施中每项活动预防缺陷信息必须管理和控制*基于知识方法的好处应用商业规则进