基于数据挖掘技术的实时联网审计研究

1、    基于数据挖掘技术的实时联网审计研究    甘露 张斌 王灵 摘要本文介绍了目前应用较为广泛的数据挖掘方法，阐述了建立基于数据挖掘技术实时联网审计系统的相关概念及建设开发的必要性、可行性，并对联网审计系统在实务中的应用进行延伸性探讨，为构建集中统一、全面覆盖、权威高效的审计监督体系提供助力，为企业健康稳定发展提供坚实保障。关键词数据挖掘    实时联网审计    綜合管理平台一、基于数据挖掘技术的实时联网审计（一）数据挖掘技术概述现有的数据挖掘技术有很多种，并且数据挖掘技术还有很大的创新空间，以下对目前应用较

2、广且易于理解的数据挖掘技术作简要介绍。1.离群点挖掘。即指找出其行为很不同于预期对象的过程，离群点的类型主要包括：全局离群点、情境离群点、条件离群点、集体离群点四大类。离群点数据挖掘的难点在于区分正常对象和离群点的有效建模、离群点检测过程中的噪声处理等。审计中，利用离群点挖掘不仅能使有疑点的数据主动“暴露”出来，还能帮助审计人员在此过程中发现有别于常规业务的“特殊处理”流程，提高审计的精准性。2.孤立点挖掘。孤立点是指小规模集中并且孤立于总体的数据，它可能是度量单位错误或系统运行错误产生的，也可能是固有数据发生变异导致的。目前基于统计的孤立点数据挖掘技术有四种，分别是基于距离的方法、基于密度的

3、方法、基于偏离度的方法、基于聚类的方法。在利用孤立点检测验证数据时，应注意并不是所有的孤立点都属于错误数据，因此需进一步验证孤立点产生过程的合理性，因为在信息系统运行过程中不可避免地会产生异于常规模式的正常数据点;在分析过程中还需结合被审计单位的实际情况综合考虑，对疑点进行进一步识别，减少误判。3.时空序列挖掘。即专门研究时空序列类数据的一种分析技术。时空序列数据不仅能描述位置对象存在的空间特征，而且能有效记录对象随时间的演变状态。在理想状态下，该类型的数据大多呈现出时间维度上的连续性，但需认识到在审计项目实施过程中，被审计单位的数据很可能是存在一定间断的时空序列数据，因为信息系统数据的产生归

4、根结底源于人的某项具体操作，只要涉及人的个体行为，其产生就具有随机性。从审计监督的角度，需充分考虑序列数据产生的间断性，把重点放在总结数据演变规律上来。4.聚类分析。是与分类分析相对应的概念，分类分析可以看作是按某种标准给数据对象贴上“标签”，再根据“标签”来区分归类。聚类分析是指事先没有“标签”，而通过某种成因分析找出数据之间存在聚集性原因的过程。常见的聚类分析方法有：动态聚类法、运筹聚类法、k-均值聚类算法、k-中心点聚类算法等。对同一数据库采用不同的聚类分析方法可能会产生不同的聚类结果，具体采用何种聚类分析方法要综合审计目的进行优化选择。5.关联规则。作为数据挖掘技术中较为简单实用的一种

5、，关联规则一般用来描述事物中的同一实例同时出现的规律，即通过量化的数字描述事件a的出现对于事件b的出现有多大影响。关联规则数据挖掘主要包括两个阶段：第一阶段是从数据库中找出所有的高频项目组;第二阶段是通过这些高频项目组中的关联规则挖掘出数据集合之间有意义的关联关系。在实时联网审计系统中运用关联规则来进行数据挖掘，可以实现跨信息系统、跨业务领域的数据比对，提高审计预警模型的准确性。6.分类和预测。是目前数据挖掘技术中应用较为广泛的一种，它不仅可对已形成的数据进行分析，还可依据分析结果对尚未发生的行为进行预测。使用时，可先将样本数据分成几个不同类别，在数据与类别间建立对应关系，接着利用预测来建立两

6、种及两种以上变量间相互依赖程度的函数模型。审计应用时，可先将数据导入分类分析中，利用基础分类器建立某种训练模型。但此过程可能会发现分类后的数据所呈现出的规则具有一定的随机性，不便于后续的汇总统计;不同类型的分类器相对系统整体而言都只能代表其中的一个方面，不能很好地进行融合。对此，需再建立一个后分类的综合模型，对基础分类器产生的结果进行进一步的归集综合，降低重复工作量，提高数据挖掘结果的可理解性与可参考价值。（二）实时联网审计实时联网审计的核心是实现数据产生、数据共享、数据审计三项工作的同步推进。首先需要解决的难点是如何从一定数量级的原始数据中挑选出有效用的审计线索。在海量的原始数据中，要保证所

7、挑选出的数据信息具有进一步分析的价值，可从中总结归纳出一定规律。但实际情况是，审计人员所获取的数据中不可避免地混杂着无效、不规则的信息，因此不得不将大量的前期调研时间耗费在对数据的清洗及规范化处理上。对此，仅对审计人员的个人工作耐心及工作效率提出要求并不能从根本上解决问题，而应在创新审计工作模式上投入更多精力，开拓思路重新审视审计所选用的数据分析方法能否满足实际需要，力争将审计人员从大量的简单重复性工作中解放出来。从单一的数据存储、数据分析到大数据挖掘的广泛应用，每个数据所包含的信息点越来越复杂，在大数据环境下审计人员不仅要精通简单的数据分析方法，还应勇于尝试数据挖掘等新技术。目前，大部分被审

8、计单位的财务信息系统已具备数据在线生成、同步查询等功能，并支持具有一定权限的用户进行实时数据分析。在外部数据环境逐渐优化的过程中，审计人员可将目前以结果为导向的审计思维模式升级为以过程为导向。该模式要求审计人员具备同时处理审计工作与总结项目结果的能力，不同于在审计项目结束后形成一定的审计结果的传统审计工作流程。在该模式下，审计结果应伴随审计工作同步产生并能及时进行汇总报告。这也是建设基于数据挖掘技术实时联网审计的动力，它不仅能提高审计人员对数据预处理的效率，而且能有效缩小分析结果的误差。但建设基于数据挖掘技术的实时联网审计也面临一系列困难：首先，体现在验证数据的有效性上，对于系统产生的原始数据

9、应如何取舍，才能在保证在真实性的基础上压缩提取数量;其次，体现在数据在线传输的安全性方面，实时联网审计系统应独立设置运行平台，并且将其镶嵌在已成熟的财务平台中，才能既保持独立性又保证数据共享的安全性;最后，实时联网审计时如何实现以数据穿透来验证业务流程的合理性及信息系统的可靠性。此外，随着数据挖掘技术在审计工作中的逐渐渗透，实时联网审计系统的工作重点也会发生相应变化，应设计一个平台，使审计自动化、集成测试工具、协同审计模式被审计人员接受、掌握，最终实现全范围推广。从数据挖掘技术及实时联网审计系统自身特性来看，它本质上是由多个组件构建的一个规模化、数据化的审计系统，如果要实现它的广泛应用，还是要

10、从优化操作流程、健全系统功能、提高分析结果可用性等多个方面入手。从中国社会经济发展的总体趋势来看，基于数据挖掘技术的实时联网审计如果能日渐完善，那么审计在社会经济体系中的监督、免疫功能就能得到更全面的发挥。二、基于数据挖掘技术实时联网审计的必要性和可行性（一）必要性在实时联网审计工作模式下，系统中所能采集到的被审计单位各种类型、格式的原始数据是实时联网审计架构的基础，海量数据流是现代审计工作需要攻克的难点。这些数据流中不仅包括被审计单位财务方面的数据，还携带着大量业务流方面的信息点，甚至被审计单位以往时间段的经济活动信息也囊括其中。目前常用于审计中的数据分析方法有：用excel表格编制简单的数

11、据处理公式、用access数据库对数据进行分组筛选、用sql语句在多个数据库中进行查询对比分析。以上数据分析手段确实为审计工作的开展提供便利，但在数据量呈现指数型递增的环境下继续使用会越来越受限。同时，会计电算化的发展使被审计单位的经济舞弊手段越来越隐蔽，很多不正常的经济数据淹没在大量的日常数据中难以辨别。以上传统的数据分析方法可归类为验证型分析，有着简单易掌握的优势，但也存在无法查找数据背后隐蔽关联的劣势。与此对比，近十年逐渐兴起的数据挖掘技术则可归类为预测型分析，其主要功能是挖掘数据之间的隐性关联和其蕴含的隐性信息点，为审计工作提供新的思路并能减少信息筛查的遗漏。（二）可行性实时联网审计系

12、统建设的起点并不低，它对中小型企业不具有广泛的适用性，单位的经济规模及信息系统完善程度都会对它的开发设计产生影响，因此原则上须满足以下三个基本条件：一是一定数量级的数据储备。推广实时联网审计工作，需要实时采集被审计单位所有的线上数据，在此基础上建立一个或多个大型数据库。首先要求被审计单位现阶段所启用的信息系统是能涵盖其绝大多数主营业务流程的，大量相关数据产生于信息系统的日常运行，能够形成被审计单位的数据仓库（dw），在数据仓库中详细记录被审计单位的经济活动及领导层的决策行为，为日后进行实时联网审计提供基础数据支撑。二是数据间存在潜在的关联性。实时联网审计所依赖的数据仓库，要求其中的数据相互之间

13、应存在潜在关联，不能完全独立。审计中，对于产生于同一部门数据间的关联性易于发现;跨部门、跨信息系统数据间的关联性则较为隐蔽，利用普通的数据分析手段往往难以发现。三是符合投入产出比的经济性要求。数据挖掘技术从产生到发展至今，在信息系统开发及大数据分析领域的应用已较为成熟，因其对思路创新的极大包容性且操作的易复制性，促使众多企业投入大量人力物力进行个性化研发，市面上也不断涌现出各种类型的数据挖掘软件。在建设基于数据挖掘技术的实时联网审计系统时，可充分借助目前的数据挖掘软件开发的基础，将其部分功能结合工作实际进行个性化拓展，用以处理被审计单位的数据，并与启动相关审计程序进行联动。但需对系统建设投入成

14、本与系统运行产生的效果进行综合与理性的评价。一般来说，对于集团化、专业化、地域分散、监管成本较高的大型企业，较适合开发此系统。三、实时联网审计中数据挖掘流程设计传统审计工作模式转换为实时联网审计后，被审计单位的财务舞弊手段相应会变得更加隐匿，这时仅通过单次数据挖掘处理或仅关注单一信息系统所产生的數据，已很难发现有价值的审计线索，所以需为实时联网审计系统设计一个闭合循环的数据处理流程，如图1所示。首先从被审计单位的数据仓库中提取所需的数据，对采集到的原始数据进行预处理，此步骤主要涉及的操作有：将原始数据的格式转换为统一可分析状态、清洗出数据中的无效杂音、对数据进行提炼缩小样本数据量级等;其次选取

15、适当的算法对经过预处理的数据进行深入挖掘，找出隐藏在数据背后的关键信息点;再次对本次数据挖掘的结果进行归纳总结，锁定部分审计疑点;最后带着审计疑点对被审计单位数据仓库中的数据进行有选择性的提取。经过多次数据挖掘、筛选的循环，将审计疑点排除或落实为审计发现问题。四、基于数据挖掘技术实时联网审计系统设计将基于数据挖掘的实时联网审计管理系统，设计为以一个平台为基础、三个功能中心相互协作的多维、多线程综合管理系统，其中“一个平台”代表审计综合管理平台，“三个功能中心”分别为审计决策监督中心、实时联网审计中心、审计数据管理中心。一个平台，即搭建一个技术领先、反应迅速、扩展性强的综合管理平台，在此基础上支

16、持三个功能中心的日常运行。审计决策监督中心，如图2所示，主要功能是保证各级领导对审计工作整体运行情况的掌控，为决策指挥提供便捷的服务，具体包括宏观分析专题、上级交办任务管理、现场沟通管理、提案管理等。该功能中心的建设可配合优化集团公司审计机构的顶层设计，进行统一建设管理。该功能中心搭建完成后可以实现对不同层级审计机关、不同业务类型科室、不同审计组甚至某一特定审计人员的扁平化指挥管理，实现横向、纵向的审计资源调度。实时联网审计中心，如图3所示，主要功能是为审计工作实施提供数据挖掘及结果汇总支持，具体包括审计模型构建、跨业务综合审计、审计工作三线程、实时联网审计疑点处理、sql查询编辑器等多项功能

17、，它可以实现与审计决策监督中心的随时联动，也可以在其中增设法律法规、制度政策查询及历史审计项目查询等功能;还可以通过对被审计单位数据的自动预警、深入分析、动态监测、项目审计分析、无项目审计之功能实现对被审计单位的实时全面监督，为审计人员提供及时、高效的审计作业环境;同时，还可提供固化模型、自定义模型、分析结果记录、审计数据跟踪等功能，满足不同层级审计人员的需求。审计数据管理中心，如图4所示，主要功能是实时采集被审计单位产生的各类型数据，再对其进行加工转换、存储、管理，具体包括前置统一数据采集、数据采集过程监控、数据采集转换、信息资源目录服务等多种功能，该功能中心可实现对数据从采集、清洗、转化、

18、储存、共享的全生命周期管理。审计数据管理中心同步在线采集到被审计单位原始的财务、业务数据，进行一定的加工预处理形成基础数据。首先实时联网审计中心对基础数据进行主题构建，选择符合分析目的的模型，进行数据挖掘，形成数据分析结论;其次根据相关结论进行审计预警和实时审计，帮助审计工作人员锁定审计疑点。在进行实时联网审计的过程中，如果审计疑点显示被审计单位有重大违法违纪行为，系统支持直接将线索同步移交给相关职能监督部门。审计决策监督中心在日常运行中针对已确定的审计疑点，根据其重要性进行分层级汇总，经过决策向实时联网审计中心发出疑点核查指令，实时联网审计中心落实取证并将审计疑点明确为审计问题后，向被审计单位发出监督整改建议指令，对于信息系统偶发的重要性较低的错误，在审计综合管理平台中支持被审计单位进行即查即改。审计综合管理平台，作为将三大功能中心链接起来的总体架构及运行基础，其运行逻辑设计如图5所示。综上所述，依靠快速发展的数据挖掘技术，将审计综合管理平台及三个功能中心作为建设重点，加快审计工作模式转型升级步伐，能够从本质上提高审计工作信息化水平。“一个平台、三个功能中心”的逻辑设计方案，有助于推动审计管理规范化、审计工作流程化，将审计需求