浅谈应用Benford法则和Apriori算法对海量数据的审计

浅谈应用Benford法则和Apriori算法对海量数据的审计

［摘要］随着信息时代的飞速发展，被审计单位财务和业务数据量爆炸式增长，审计技术必须不断发展和创新以适应信息时代审计的新要求。本文在这一背景下，对审计技术的创新作了探索性的研究，主要通过Benford法则和Apriori算法的关联数据挖掘的技术手段在审计中的应用，探讨了如何在被审计单位海量数据中进行挖掘分析，从而发现有业务意义的强规则，通过这些强规则解释数位发生偏离的原因，从而快速发现审计疑点。

［关键词］Benford法则；Apriori算法；关联规则；审计数据分析

１技术简介

１．１Ｂｅｎｆｏｒｄ法则简介

１．Ｂｅｎｆｏｒｄ法则［１］的定义

１９３８年，通用电气公司物理学家ＦｒａｎｋＢｅｎｆｏｒｄ收集了大量的数据集合后发现，人们处理较低数字开头的数值的频率较大。

２Ｂｅｎｆｏｒｄ法则的Ｂｅｎｆｏｒｄ分布

Ｂｅｎｆｏｒｄ分布属于第二代分布，描述了数据总体的客观分布规律，数据总体由其他分布中的抽样数据组成的分布。

２００４年ＵｔａｈＳｔａｔｅＵｎｉｖｅｒｓｉｔｙ的ＣｉｎｄｙＤｕｒｔｓｃｈｉ的研究［２］表明：

数字出现概率的期望值的标准偏差为：

Ｚ＝／Si

分布概率的Z统计量为：

P0：实际的数据出现比率；Pe：根据Ｂｅｎｆｏｒｄ法则的预期出现比率；Si：某个数字的标准偏差；n：目标数据集的记录数。

３Ｂｅｎｆｏｒｄ分布中的数字频率上下限

数字频率的上限：

数字频率的下限：

４Ｂｅｎｆｏｒｄ法则的应用范围

可以针对海量数据进行挖掘分析，数据规模越大，分析结果越精确。

会计舞弊调查［３－５］、审计［６－８］、税收监管［９］、金融分析和反洗钱［１０］。

１．２Ａｐｒｉｏｒｉ算法简介

Ａｐｒｉｏｒｉ算法［１１］是一种对布尔关联规则频繁项集进行挖掘的算法。Ａｐｒｉｏｒｉ算法使用一种逐层搜索的迭代方法，即使用ｋ－项集用于探索－项集，其中ｋ＝１，２，３，…，ｎ，n∈N，直到最终无法找到频繁－项集，从而确定最终的频繁ｋ－项集。

２应用Ｂｅｎｆｏｒｄ法则和Ａｐｒｉｏｒｉ算法对海量数据的审计分析

Ｂｅｎｆｏｒｄ法则和Ａｐｒｉｏｒｉ算法的联合数据挖掘在审计中的应用主要围绕为以下两个核心步骤展开：

２．１应用Ｂｅｎｆｏｒｄ法则发现审计疑点

判断数据的来源是否符合Ｂｅｎｆｏｒｄ法则的应用范围。

对总体数据的一、二位有效数字进行Ｂｅｎｆｏｒｄ法则的符合性测试，初步发现对数据进行深入钻取的线索。

对标准分布频率和实际分布频率进行比较，分析频率偏差，确定合理的钻取重点。

根据分析结果和实际需要，进行更多位数字的进一步数据钻取和分析，直至发现目标数据。

钻取过程如图１所示。

２．２应用Ａｐｒｉｏｒｉ算法分析审计疑点

采集通过Ｂｅｎｆｏｒｄ法则分析后输出的疑点数据集。

整理疑点数据集以建立事务集，即Ａｐｒｉｏｒｉ算法要求输入的数据集合。

扫描事务集产生候选数据集合，并依据最小支持度筛选出频繁项集。

频繁项集进行自关联，迭代第三、第四步，确定最终的频繁项集。

依据最小置信度从频繁项集产生强规则。

对强规则进行人工审计业务分析。

３应用案例

３．１应用Ｂｅｎｆｏｒｄ法则对审计疑点的发现过程

３．１．１确定审计数据和目标字段

分析某企业的凭证数据，从其记账凭证表ａｃｃｖｏｕｃｈ摘取字段结构如表１所示：

３．１．２数据导入

将相应的目标数据表导入审计人员使用的数据库。

３．１．３总体频率计算

３．１．３．１数位的选取

以凭证Ｔ２０００００１和Ｔ２０００００２为例解释数位选取方式，如我们选取凭证编号Ｔ２０００００１的金额栏１０００元的第一、二位数值为”１０”，作为该笔记录的第一、二位数；我们选取凭证编号为Ｔ２０００００２的借方金额栏３０２９元的第一、二位数值为”３０”，作为该笔记录的第一、二位数，如表２所示：

３．１．３．２数位分析

对记账凭证表ａｃｃｖｏｕｃｈ中的借方金额字段前两位进行分析，第一、二数值为１０的凭证纪录有５４０笔，全部记录有１０１４９笔，因此第一、二位数为”１０”频率为５．３％。部分结果如图２所示。

３．１．４分析频率偏差

根据Ｂｅｎｆｏｒｄ分布的数字频率上限、数字频率下限和分布概率Z统计量的公式计算得到图２所示数据。

分析图２数据可以得出：

第一、二位数为”１０”的实际频率为５．３％，高于Ｂｅｎｆｏｒｄ法则的理论上限４．５３％，计算其Ｚ统计量的值，Ｚ值为５．８４４４，也大于１．９６，因此我们初步判定存在错误、潜在舞弊行为或者人为的偏差。

第一、二位数为”１１”的实际频率为３．２５％，低于Ｂｅｎｆｏｒｄ法则的理论下限３．４％，虽然Ｚ值为３．０３８也大于１．９６，但可能是由于数位为”１０”超过Ｂｅｎｆｏｒｄ法则的理论频率过大从而导致其频率偏低，因此应该属于无异常。

３．２应用Ａｐｒｉｏｒｉ算法对审计疑点的关联规则挖掘

３．２．１获取并整理疑点数据

为了进一步明晰数据间的关系，观察数据的规律性，对疑点数据通过关联查询筛选出来，形成审计中间表，部分数据如表３所示。

３．２．２运用Ａｐｒｉｏｒｉ算法探索关联规则

步骤一：以表3中的第１列、第３列、第４列和第５列数据建立事务集Ｄ，由Ｄ建立候选１－项集Ｃ１，部分数据如表４所示。

步骤二：假设最小支持记录数为１００，将支持度不足的项去掉，得到频繁１－项集Ｌ１，如表５所示。

步骤三：循环步骤一和步骤二，得到最终的频繁３－项集Ｌ３，如表６所示。

步骤四：根据最终的频繁３－项集L3和设置的最小置信度１００％得出表７所示的强规则。

步骤五：由业务审计人员确定强规则的业务价值，进行人工排查后，确定编号为１的强规则为有意义的规则。