审计数据预处理概述课件

第5章审计数据预处理5-1第5章5-1本章学习目标理解审计数据预处理的重要性理解数据质量、审计数据质量问题；掌握审计数据预处理的意义以及审计数据预处理的内容结合应用实例熟悉审计数据预处理的基本方法理解审计数据预处理阶段数据验证的重要性、熟悉审计数据预处理阶段数据验证的内容和方法了解其它一些数据预处理方法2本章学习目标理解审计数据预处理的重要性2概述审计数据预处理理论分析审计数据预处理应用实例审计数据预处理阶段的数据验证其它数据预处理方法介绍本章主要内容3概述本章主要内容3数据质量单数据源数据质量问题多数据源集成时数据质量问题审计数据质量实例

审计数据预处理的意义审计数据预处理的内容审计数据预处理理论分析4数据质量审计数据预处理理论分析4什么是数据质量呢？数据质量问题并不仅仅是指数据错误。有的文献把数据质量定义为数据的一致性（consistency）、正确性（correctness）、完整性（completeness）和最小性（minimality）这4个指标在信息系统中得到满足的程度，有的文献则把“适合使用”作为衡量数据质量的初步标准。数据质量5什么是数据质量呢？数据质量5准确性（Accuracy）准确性是指数据源中实际数据值与假定正确数据值的一致程度；完整性（Completeness）完整性是指数据源中需要数值的字段中无值缺失的程度；一致性（Consistency）一致性是指数据源中数据对一组约束的满足程度；唯一性（Uniqueness）唯一性是指数据源中记录以及编码是否唯一；适时性（Timeliness）适时性是指在所要求的或指定的时间提供一个或多个数据项的程度；有效性（Validity）有效性是指维护的数据足够严格以满足分类准则的接受要求。数据质量的评价指标6准确性（Accuracy）数据质量的评价指标6重复的数据不完整的数据不正确的数据无法理解的数据值不一致的数据可能存在的数据质量问题7重复的数据可能存在的数据质量问题7数据质量问题分类8数据质量问题分类8单数据源数据质量问题9单数据源数据质量问题9单数据源数据质量问题10单数据源数据质量问题10当多个数据源集成时，发生在单数据源中的这些问题会更加严重。这是因为每个数据源都是为了特定应用，单独开发、部署和维护的，这就很大程度上导致数据管理系统、数据模型、模式设计和实际数据的不同。每个数据源都可能含有脏数据，多数据源中的数据可能会出现不同表示、重复、冲突等现象。在模式级，模式设计的主要问题是命名冲突和结构冲突。命名冲突主要表现为不同的对象可能使用同一个命名，而同一对象可能使用不同的命名；结构冲突存在很多种不同的情况，一般是指在不同数据源中同一对象有不同表示，如不同的组成结构、不同的数据类型、不同的完整性约束等。多数据源集成时数据质量问题11当多个数据源集成时，发生在单数据源中的这些问题会更加严重。这除了模式级的冲突，很多冲突仅出现在实例级上，即数据冲突。由于不同数据源中数据的表示可能会不同，单数据源中的所有问题都可能会出现，比如重复的记录、冲突的记录等。此外，在整个数据源中，尽管有时不同的数据源中有相同的字段名和类型，仍可能存在不同的数值表示，如对性别的描述，一个数据源中可能用“0/1”来描述，另一个数据源中可能会用“F/M”来描述，或者对一些数值的不同表示，如一个数据源中度量单位制可能用美元，另一个数据源中可能会用欧元。此外，不同数据源中的信息可能表示在不同的聚集级别上，如一个数据源中信息可能指的是每种产品的销售量，而另一个数据源中信息可能指的是每组产品的销售量。多数据源集成时数据质量问题12除了模式级的冲突，很多冲突仅出现在实例级上，即数据冲突。由于审计数据质量实例----不完整数据13审计数据质量实例----不完整数据13审计数据质量实例----不完整数据14审计数据质量实例----不完整数据14审计数据质量实例----不一致的数据15审计数据质量实例----不一致的数据15审计数据质量实例----不正确的数据16审计数据质量实例----不正确的数据16审计数据质量实例----重复的数据17审计数据质量实例----重复的数据17为下一步的审计数据分析提供准备帮助发现隐含的审计线索降低审计风险审计数据预处理的意义18为下一步的审计数据分析提供准备审计数据预处理的意义18数据转换数据清理审计数据预处理的内容19数据转换审计数据预处理的内容19数据预处理的内容20数据预处理的内容20数据预处理应用实例----采用Access名称转换

21数据预处理应用实例----采用Access名称转换21数据预处理应用实例----采用Access空值处理

22数据预处理应用实例----采用Access空值处理22数据预处理应用实例----采用AO借助生成数据中间表23数据预处理应用实例----采用AO借助生成数据中间表23数据预处理应用实例----采用AO采用AO中的常规数据整理功能24数据预处理应用实例----采用AO采用AO中的常规数据整理功审计数据预处理阶段数据验证的重要性在审计数据预处理过程中，审计人员会将原始电子数据中表名、字段名、记录值代码以及表表关联的经济含义明确标识出来，这需要进行大量的查询、替换修改、插入数据、删除数据等操作；另外，要对电子数据进行修改错误值、替换空值、消除冗余数据、保证数据值落入定义域等数据操作，以提高数据质量，为下一步的审计数据分析做好准备。在审计数据预处理过程中可能存在以下问题：（1）目标数据模式设计不合理。（2）审计数据预处理方法不当。（3）审计数据预处理工具使用不合适。（4）审计数据预处理过程不规范，没有日志记录。根据以上分析，每一步预处理工作都有可能影响到数据的完整性和正确性，所以在这一阶段进行数据验证也是很必要的。25审计数据预处理阶段数据验证的重要性在审计数据预处理过程中，确信数据预处理的目标实现确认数据预处理工作没有损害数据的完整性、正确性审计数据预处理阶段数据验证的内容和方法审计数据验证的主要内容

审计数据验证的方法

在审计数据预处理阶段，审计人员可以根据实际情况，采用核对总金额、保持借贷平衡、勾稽关系、审计抽样等数据验证方法来完成审计数据验证。26确信数据预处理的目标实现审计数据预处理阶段数据验证的内容和方不完整数据的清理相似重复记录的清理其它数据预处理方法介绍27不完整数据的清理其它数据预处理方法介绍27为什么要对被审计数据进行审计数据预处理？什么是数据质量？常见审计数据质量问题有哪些？

思考题28为什么要对被审计数据进行审计数据预处理？思考题28相关参考书29相关参考书29相关参考书30相关参考书30第5章审计数据预处理5-31第5章5-1本章学习目标理解审计数据预处理的重要性理解数据质量、审计数据质量问题；掌握审计数据预处理的意义以及审计数据预处理的内容结合应用实例熟悉审计数据预处理的基本方法理解审计数据预处理阶段数据验证的重要性、熟悉审计数据预处理阶段数据验证的内容和方法了解其它一些数据预处理方法32本章学习目标理解审计数据预处理的重要性2概述审计数据预处理理论分析审计数据预处理应用实例审计数据预处理阶段的数据验证其它数据预处理方法介绍本章主要内容33概述本章主要内容3数据质量单数据源数据质量问题多数据源集成时数据质量问题审计数据质量实例

审计数据预处理的意义审计数据预处理的内容审计数据预处理理论分析34数据质量审计数据预处理理论分析4什么是数据质量呢？数据质量问题并不仅仅是指数据错误。有的文献把数据质量定义为数据的一致性（consistency）、正确性（correctness）、完整性（completeness）和最小性（minimality）这4个指标在信息系统中得到满足的程度，有的文献则把“适合使用”作为衡量数据质量的初步标准。数据质量35什么是数据质量呢？数据质量5准确性（Accuracy）准确性是指数据源中实际数据值与假定正确数据值的一致程度；完整性（Completeness）完整性是指数据源中需要数值的字段中无值缺失的程度；一致性（Consistency）一致性是指数据源中数据对一组约束的满足程度；唯一性（Uniqueness）唯一性是指数据源中记录以及编码是否唯一；适时性（Timeliness）适时性是指在所要求的或指定的时间提供一个或多个数据项的程度；有效性（Validity）有效性是指维护的数据足够严格以满足分类准则的接受要求。数据质量的评价指标36准确性（Accuracy）数据质量的评价指标6重复的数据不完整的数据不正确的数据无法理解的数据值不一致的数据可能存在的数据质量问题37重复的数据可能存在的数据质量问题7数据质量问题分类38数据质量问题分类8单数据源数据质量问题39单数据源数据质量问题9单数据源数据质量问题40单数据源数据质量问题10当多个数据源集成时，发生在单数据源中的这些问题会更加严重。这是因为每个数据源都是为了特定应用，单独开发、部署和维护的，这就很大程度上导致数据管理系统、数据模型、模式设计和实际数据的不同。每个数据源都可能含有脏数据，多数据源中的数据可能会出现不同表示、重复、冲突等现象。在模式级，模式设计的主要问题是命名冲突和结构冲突。命名冲突主要表现为不同的对象可能使用同一个命名，而同一对象可能使用不同的命名；结构冲突存在很多种不同的情况，一般是指在不同数据源中同一对象有不同表示，如不同的组成结构、不同的数据类型、不同的完整性约束等。多数据源集成时数据质量问题41当多个数据源集成时，发生在单数据源中的这些问题会更加严重。这除了模式级的冲突，很多冲突仅出现在实例级上，即数据冲突。由于不同数据源中数据的表示可能会不同，单数据源中的所有问题都可能会出现，比如重复的记录、冲突的记录等。此外，在整个数据源中，尽管有时不同的数据源中有相同的字段名和类型，仍可能存在不同的数值表示，如对性别的描述，一个数据源中可能用“0/1”来描述，另一个数据源中可能会用“F/M”来描述，或者对一些数值的不同表示，如一个数据源中度量单位制可能用美元，另一个数据源中可能会用欧元。此外，不同数据源中的信息可能表示在不同的聚集级别上，如一个数据源中信息可能指的是每种产品的销售量，而另一个数据源中信息可能指的是每组产品的销售量。多数据源集成时数据质量问题42除了模式级的冲突，很多冲突仅出现在实例级上，即数据冲突。由于审计数据质量实例----不完整数据43审计数据质量实例----不完整数据13审计数据质量实例----不完整数据44审计数据质量实例----不完整数据14审计数据质量实例----不一致的数据45审计数据质量实例----不一致的数据15审计数据质量实例----不正确的数据46审计数据质量实例----不正确的数据16审计数据质量实例----重复的数据47审计数据质量实例----重复的数据17为下一步的审计数据分析提供准备帮助发现隐含的审计线索降低审计风险审计数据预处理的意义48为下一步的审计数据分析提供准备审计数据预处理的意义18数据转换数据清理审计数据预处理的内容49数据转换审计数据预处理的内容19数据预处理的内容50数据预处理的内容20数据预处理应用实例----采用Access名称转换

51数据预处理应用实例----采用Access名称转换21数据预处理应用实例----采用Access空值处理

52数据预处理应用实例----采用Access空值处理22数据预处理应用实例----采用AO借助生成数据中间表53数据预处理应用实例----采用AO借助生成数据中间表23数据预处理应用实例----采用AO采用AO中的常规数据整理功能54数据预处理应用实例----采用AO采用AO中的常规数据整理功审计数据预处理阶段数据验证的重要性在审计数据预处理过程中，审计人员会将原始电子数据中表名、字段名、记录值代码以及表表关联的经济含义明确标识出来，这需要进行大量的查询、替换修改、插入数据、删除数据等操作；另外，要对电子数据进行修改错误值、替换空值、消除冗余数据、保证数据值落入定义域等数据操作，以提高数据质量，为下一步的审计数据分析做好准备。在审计数据预处理过程中可能存在以下问题：（1）目标数据模式设计不合理。（2）审计数据预处理方法不当。（3）审计数据预处理工具使用不合适。（4）审计数据预处理过程不规范，没有日志记录。根据以上分析，每一步预处理工作都有可能影响到数据的完整性和正确性，所以在这一阶段进行数据验证也是很必要的。55审计数据预处理阶段数据验证的重要性在审计数据预处理过程中，确信数据预处理的目标实现确认数据预处理工作没有损害数据的完整性、正确性审计数据预处理阶段数据验证的内容和方法审计数