【大数据分析技术系列】之电商数据挖掘关联算法

1、CPDA项目数据分析师www.chinacpd4.coinCPDA项目数据分析师【大数据分析技术系列】之电商数据挖掘关联算法概述关联算法的两个概念2.关联规则的发现过程可分为两步:第一步是迭代识别所有的频繁项目集（FrequentltemsetS,要求频繁项目集的支持度不低于用户设定的最低值第二步是从频繁项目集中构造置信度不低于用户设定的最低值的规则，产生关联规则关联规则数据挖掘阶段 案例4.概念层次的数据挖掘支持度的设置策略同层关联规则可以采用两种支持度策略:统一的最小支持度递减的最小支持度项目数据分析师www.chinap CPDA概述所谓关联，反映的是一个事件和其他事件之间依赖或关联的知

2、识。当我们查 找英文文献的时候，可以发现有两个英文词都能形容关联的含义。第一个是相关性releva nee，第二个是关联性association ，两者都可以用来描述事件之间的 关联程度。其中前者主要用在互联网的内容和文档上，比如搜索引擎算法中文档之间的关联性，我们采用的词是 releva nee ；而后者往往用在实际的事物之上， 比如电子商务网站上的商品之间的关联度我们是用association 来表示的，而关联规则是用association rules来表示的。如果两项或多项属性之间存在关联，那么其中一项的属性值就可以依据其他 属性值进行预测。简单地来说，关联规则可以用这样的方式来表示：L

3、 B,其中A被称为前提或者左部（LHS，而B被称为结果或者右部（RHS。如果我们要描 述关于尿布和啤酒的关联规则（买尿布的人也会买啤酒），那么我们可以这样表 示：买尿布f买啤酒。关联算法的两个概念在关联算法中很重要的一个概念是支持度（Support），也就是数据集中包含某几个特定项的概率。比如在1000次的商品交易中同时出现了啤酒和尿布的次数是50 次,那么此关联的支持度为5%和关联算法很相关的另一个概念是置信度（Confidence ），也就是在数据集 中已经出现A时，B发生的概率，置信度的计算公式是：A与B同时出现的概率 /A出现的概率。数据关联是数据库中存在的一类重要的可被发现的知识。若

4、两个或多个变量 的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因 果关联等。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，或者即使知道也是不确定的，因此关联分析生成的规则带有 置信度。关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。它在数据挖掘中是一个重要的课题，最近几年已被业界所广泛研究。关联规则挖掘的一个典型例子是购物篮分析。关联规则研究有助于发现交易 数据库中不同商品（项）之间的联系，找出顾客购买行为模式，如购买了某一商 品对购买其他商品的影响。分析结果可以应用于商品货架布局、 货存安排以及根 据购买模式对用户进行分类。关联规

5、则的发现过程可分为两步：第一步是迭代识别所有的频繁项目集(Frequent Itemsets),要求频繁项目 集的支持度不低于用户设定的最低值；第二步是从频繁项目集中构造置信度不低于用户设定的最低值的规则，产 生关联规则。识别或发现所有频繁项目集是关联规则发现算法的核心，也是计算量最大的部分。支持度和置信度两个阈值是描述关联规则的两个最重要的概念。 一项目组出 现的频率称为支持度，反映关联规则在数据库中的重要性。而置信度衡量关联规 则的可信程度。如果某条规则同时满足最小支持度( min-support )和最小置信 度(min-confidenee )，则称它为强关联规则。关联规则数据挖掘阶段

6、第一阶段必须从原始资料集合中，找出所有高频项目组(Large Itemsets )。 高频的意思是指某一项目组出现的频率相对于所有记录而言， 必须达到某一水平。 以一个包含A与B两个项目的2-itemset为例，我们可以求得包含A,B项目组 的支持度，若支持度大于等于所设定的最小支持度( Minimum Support)门槛值 时，则A,B称为高频项目组。一个满足最小支持度的 k-itemset，则称为高频 k-项目组(Frequent k-itemset )，一般表示为 Large k 或 Frequent k。算法并 从Large k的项目组中再试图产生长度超过 k的项目集Large k+

7、1，直到无法再 找到更长的高频项目组为止。关联规则挖掘的第二阶段是要产生关联规则。从高频项目组产生关联规则， 是利用前一步骤的高频k-项目组来产生规则，在最小可信度(Minimum Con fide nee )的条件门槛下，若一规则所求得的可信度满足最小可信度，则称此规则为关联规则。例如：经由高频k-项目组A,B所产生的规则，若其可信度大于等于最小可 信度，则称A,B为关联规则。就“啤酒+尿布”这个案例而言，使用关联规则挖掘技术，对交易资料库中 的记录进行资料挖掘，首先必须要设定最小支持度与最小可信度两个门槛值，在此假设最小支持度 min-support=5% 且最小可信度 min-confi

8、dence=65%。因此符 合需求的关联规则将必须同时满足以上两个条件。若经过挖掘所找到的关联规则 尿布，啤酒满足下列条件，将可接受尿布，啤酒的关联规则。用公式可以 描述为：Support (尿布，啤酒)5% and Con fide nee (尿布，啤酒)65%其中，Support (尿布，啤酒)5%T此应用范例中的意义为：在所有的交项目数据分析师Vtfww.chinacpdA.comCPDA易记录资料中，至少有 5%勺交易呈现尿布与啤酒这两项商品被同时购买的交易 行为。Con fide nee （尿布，啤酒）65魔此应用范例中的意义为：在所有包含 尿布的交易记录资料中，至少有 65%勺交易

9、会同时购买啤酒。因此，今后若有某消费者出现购买尿布的行为， 我们将可推荐该消费者同时 购买啤酒。这个商品推荐的行为则是根据尿布，啤酒关联规则而定，因为就过 去的交易记录而言，支持了 “大部分购买尿布的交易，会同时购买啤酒”的消费 行为。从上面的介绍还可以看出，关联规则挖掘通常比较适用于记录中的指标取离 散值的情况。如果原始数据库中的指标值是取连续的数据， 则在关联规则挖掘之前应该进 行适当的数据离散化（实际上就是将某个区间的值对应于某个值），数据的离散化是数据挖掘前的重要环节，离散化的过程是否合理将直接影响关联规则的挖掘 结果。案例从一家公司的销售记录中我们找到以下 8条消费记录，并以3作为最

10、小支持 度，也就是说出现频率在3次以下的记录是被我们所忽略的。所有满足最小支持度3的1项频集如下，其中的支持度是指该产品在整个数据集中出现的次数。比如牛奶出现了 5次，而冰淇淋出现了 3次。递归执行，所有满足最小支持度3的2项频集如下，这其中出现最多的频集是牛奶，面包和面包，果酱，各自出现了 4次。再次递归执行，所有满足最小支持度 3的3项频集只剩下一条:那么牛奶，果酱，面包就是我们要的满足最小支持度3的3项频集，也就是说牛奶、果酱和面包这三个商品是最经常被一起购买的。概念层次的数据挖掘在研究挖掘关联规则的过程中，许多学者发现在实际应用中，对于很多应用 来说，由于数据分布的分散性，数据比较少，

11、所以很难在数据最细节的层次上发 现一些强关联规则。要想在原始的概念层次上发现强的(strong )和有意义的(i nteresti ng )关联规则是比较困难的，因为好多项集往往没有足够的支持数。当我们引入概念层次后，就可以在较高的层次上进行挖掘。虽然较高层次上 得出的规则可能是更普通的信息，但是对于一个用户来说是普通的信息， 对于另 一个用户却未必如此。所以数据挖掘应该提供这样一种在多个层次上进行挖掘的 功能。项目数据分析师CPDA概念层次在要挖掘的数据库中经常是存在的，比如在一个超市中会存在这样的概念层次：蒙牛牌牛奶是牛奶，伊利牌牛奶是牛奶，王子牌饼干是饼干，康师 傅牌饼干是饼干等。如果我

12、们只是在数据基本层发掘关系，蒙牛牌牛奶，王子牌饼干 , 蒙牛 牌牛奶，康师傅牌饼干，伊利牌牛奶，王子牌饼干 ,伊利牌牛奶，康师傅牌 饼干都不符合最小支持度。不过如果我们上升一个层级，会发现牛奶，饼干 的关联规则是有一定支持度的。我们称高层次的项是低层次项的父亲层次（pare nt ），这种概念层次关系通 常用一个 DAG（ directed acyclic graph ，有向无环图）来表示。所谓有向无环 图是指，任意一条边有方向，且不存在环路的图。这样我们就可以在较高的概念 层次上发现关联规则。支持度的设置策略根据规则中涉及的层次和多层关联的规则，我们可以把关联规则分为同层关 联规则和层间关联规则。多层关联规则的挖掘基本上可以沿用“支持度一置信度” 的框架。不过，在支持度设置的问题上有一些要考虑的东西。同层关联规则可以采用两种支持度策略：统一的最小支持度。对于不同的层次，都使用同一个最小支持度。这样对于cpn a* «目数据分析师丄丄丿f 用户和算法实现来说都比较容易，但是弊端也是显而易见的。递减的最小支持度。每个层次都有不同的最小支持度，较低层次的最小支持 度相对较小。同时还可以利用上层挖掘得到的信息进行一些过滤的工作。