小白学数据12、关联分析算法篇apriori

1、早些时候写过关于购物篮分析的文章，其中提到了 C5.0 和 Apriori 算法，没有仔细说说这算法的含义，昨天写了一下关联分析的理论部分，今天说说关联分析算法之一的 Apriori 算法，很多时候大家都说，数据分析师的是会用就可以了，不必纠结于那些长篇累牍的理论，其实我觉得还是有点必要的，你未必要去设计算法，但是如果你掌握和熟知一个算法，这对于你如何驾驭和使用这个算法是很有帮助的，此外每个算法都有使用的局限性，比如空间和时间复杂度，使用条件约束。最典型的就是难道一份原始数据，然后经过数据处理要进用的数据必须是事实表的方式，这样的算法特点必须建立在对于算法的了解把握层次上。其名字是因为算法基于

2、先验知识(prior knowledge).根据前一次找到的频繁生成本次的频繁项。Apriori 是关联分析中的算法。Apriori 算法的特点只能处理分类变量，无法处理数值型变量；数据可以是交易数据格式（事务表），或者是事实表方式（表格数据）；算法在于关联规则产生的效率而设计的。正如之前所提到的 希望置信度和支持度要满足的阈值范围才算是有效的规则，实际过程中往往会大量的数据，如果只是简单的搜索，会出现很多的规则，相当大的一部分是无效的规则，效率很低，那么 Apriori 就是通过产生频繁项集，然后再依据频繁项集产生规则，进而效率。以上所说的代表了 Apriori 算法的两个步骤：产生频繁项集

3、和依据频繁项集产生规则。那么频繁项集？频繁项集就是对包含项目 A 的项目集 C，其支持度大于等于指定的支持度，则 C（A）为频繁项集，包含一个项目的频繁项集称为频繁 1-项集，即 L1。为什么确定频繁项集？刚才说了，必须支持度大于指定的支持度，这也就是说能够确定后面生成的规则是在普遍代表性上的项目集生成的，因为支持度本身的高低就代表了关联分析结果是否具有普遍性。怎么寻找频繁项集？Apriori 的Apriori 算法行算法模拟分析，但是此时你会出现一个问题，我需要处理哪些数据，如何处理？而这就需要你对你所使用的算法必须熟悉，比如能够操作的数据格式，类型。比如 GRI 算法要求使这里不再讲述，直

4、接说一个例子大家就都明白了。例子来源于Fast Algorithms for MiningAssotion RulesApriori 寻找频繁项集的过程是一个不断迭代的过程，每次都是两个步骤，产生候选集Ck（可能成为频繁项集的项目组合）；基于候选集 Ck 计算支持度，确定 Lk。Apriori 的寻找策略就是从包含少量的项目开始逐渐向多个项目的项目集搜索。数据如下：合形式如右边的图所示。那么基于候选集 C1，得到频繁项集 L1，如下图所示，在此表格中4的支持度为 1，而设定的支持度为 2。支持度大于或者等于指定的支持度的最小阈值就成为 L1 了，这里4没有成为 L1 的一员。因此，认定包含 4

5、 的其他项集都不可能是频繁项集，后续就不再对其进行判断了。此时看到 L1 是符合最低支持度的标准的，那么下一次迭代依据 L1 产生 C2（4就不再被考虑了），此时的候选集如右图所示 C2（依据 L1*L1 的组合方式）确立。C2 的每个集合得到的支持度对应在原始数据组合的计数，如下图左所示。看到，数据库的数据格式，会员 100 了 1 3 4 三种商品，那么对应的集后的迭代中，如果出现1 2 1 5的组合形式将不被考虑。候选集 L4，即停止。如果用一句化解释上述的过程，就是不断通过 Lk 的自身连接，形成候选集，然后在进行剪枝，除掉无用的部分。根据频繁项集产生简单关联规则Apriori 的关联规则是在频繁项集基础上产生的，进而这可以保证这些规则的支持到指定的水平，具有普遍性和令人信服的水平。以上就是 Apriori 的算法基本原理，留了两个例子，可以加深理解。例子 1：如上图，由 L2 得到候选集 C3，那么这次迭代中的1 2 3 1 3 5哪去了？如刚才所言，1 2 1