9、spark 关联分析spark关联分析实现

1、FP-Growth 模式发掘原理与spark实践演讲人：时间：提纲FPGrowth算法原理FPGrowth推荐实例FPGrowth 简介模式挖掘也叫关联规则，其实就是从大量的数据中挖掘出比较有用的数据，挖掘频繁项。比如说超市有大量的购物数据，从而可以根据用户的购物数据找到哪些商品关联性比较大。也可以进行用户推荐。关联规则算法发展到现在一共有三个算法：FP-Tree算法、Apriori算法、Eclat算法，其中FP-Tree是一种不产生候选模式而采用频繁模式增长的方法挖掘频繁模式的算法；此算法只扫描两次，第一次扫描数据是得到频繁项集，第二次扫描是利用支持度过滤掉非频繁项，同时生成FP树。然后后面

2、的模式挖掘就是在这棵树上进行。此算法与Apriori算法最大不同的有两点：不产生候选集，只遍历两次数据，大大提升了效率。FPGrowth处理流程关联规则：用于表示数据内隐含的关联性，一般用X表示先决条件，Y表示关联结果。数据整理清洗，清除异常数据，整理为购物篮形式支持度(Support)：所有项集中X,Y出现的可能性。例如，1000个顾客中，200个买了面包，则面包的支持度= 200 / 1000 = 20%，如果同时买面包与豆浆的人有150，则规则 面包,豆浆 的支持度= 150 / 1000 = 15%扫描数据，获取FP-Tree利用FP-Tree计算各个规则的支持度，置信度，并用于推荐商

3、品置信度(Confidence)：先决条件X发生的条件下，关联结果Y发生的概率。上面例子， 当一个买了面包的人，面包,豆浆 的置信度= 15% / 20% = 75%提纲FPGrowth算法原理FPGrowth推荐实例FPGrowth 推荐实例系统准备：centos6.8、Spark 2.3.1、Pyrhon3.X，导入pyspark,pandas数据准备：使用Groceries购物篮数据，该数据集是某个杂货店一个月真实的交易记录，共有9835条消费记录，169个商品。建模目的：通过FPGrowth 发掘关联规则，在给定支持度与置信度水平下，为客户推荐商铺。实例：启动spark，读取数据imp

4、ort pandas as pdfrom pyspark import SparkContext,SQLContext# 构建spark连接,注意这里自定义spark序列化conf = SparkConf().setAppName(laboratory_spark_ml_NaiveBayes).setMaster(yran).set(spark.serializer,org.apache.sp ark.serializer.JavaSerializer)sc = SparkContext().getOrCreate() sqlContext = SQLContext(sc)# 读取数据df_G

5、roceries = sc.textFile(u”文件路径/Groceries.txt).map(lambda x: str(x).split(&).map(lambda x: x0, x1.split(,)# 本地数据转换为RDDdf_Groceries_rdd = sqlContext.createDataFrame(df_Groceries).toDF(index, items)实例：源数据展示# 展示数据df_Groceries_rdd.show(20, False)实例：模型训练# FPGrowth模型属于mllib模块,数据格式为RDD # 模型训练from pyspark.mll

6、ib.fpm import FPGrowth# 训练频繁集,参数minSupport(生成规则大于指定支持度的频繁集) # 本例指定支持度=0.04rdd = df_Groceries.map(lambda x: x1)model = FPGrowth.train(rdd, minSupport=0.04)# 获取结果,显示部分频繁集sorted(model.freqItemsets().collect()0:2实例：推荐前数据处理# 产品推荐# 获取商品组合支持度,并转换成字典freqItems = model.freqItemsets().map(lambda x: set(x.items

7、), x.freq).collect() freqItems_df = pd.DataFrame(freqItems)freqItems_df.index = freqItems_df0.map(lambda x: ,.join(list(x) freqItems_dict = freqItems_df1.to_dict()# 计算所有频繁集置信度list_items = model.freqItemsets().collect()实例：推荐函数以及推荐应用def Confidence(x=, min_conf=0.1):re = set()for z in freqItems: conf = 0Set_and = set(z0) & set(x)if (len(Set_and) 0) & (len(Set_and) 0): Dfreq = freqItems_df1,.join(list(Set_and)conf = z1 * 1.0 / Dfreqif (conf min_conf): Set_to = z0 - set(x) if (len(Set_to) 0):re = re | Set_toreturn ,.join(list(re)# 推荐，要求置信度 0.1freqItems_conf = sqlContext.