营销数据分析 教案 李永发 第5章基于关联规则的购物篮分析教案

第5章基于关联规则的购物篮分析教学内容一、问题的提出二、关联分析三、购物篮分析案例示范教学要求【知识目标】了解购物篮分析；理解关联规则的概念及原理；掌握关联规则算法的应用。【技能目标】学会对天猫超市的购物篮进行分析。教学重点基于关联规则的购物篮分析教学难点关联分析模型的构建；关联分析结果与零售策略建议。教学方法讲授法、案例法、任务驱动法、演示法课时数6课时教学内容问题的提出一、购物篮分析购物篮分析是零售企业或商家通过对顾客个人数据、顾客的交易数据和顾客购物篮中的商品数据进行综合分析，发现消费者购买规律的活动。自购物篮分析被提出以来，已经被零售企业广泛应用于商品陈列、交叉销售、捆绑销售、个性化商品推荐优化等常态化的日常经营决策中。它的应用大大增强了顾客的购买体验，提高了消费者的客单价，降低了顾客购物成本，减少了零售企业的经营风险，提高了零售企业的营销决策效率和经营绩效。问题设计如何充分挖掘天猫超市“留量”顾客的价值呢？根据零售理论，企业的销售额=流量ⅹ转化率ⅹ客单价。其中，流量指光顾线上或线下零售平台或商店的人数；转化率是指所有光顾零售平台或商店的消费者中发生实际购买行为的人数占所有光顾人数的百分比；客单价则是指零售商的每个消费者的平均交易额。由此可知，在消费者流量已饱和的情况下，天猫超市可以通过提高转化率和客单价来提升销售业绩。但需要注意的是，由于影响网络零售企业转化率的因素众多，涉及商品价格、网店零售环境、线上零售商的实力与声誉，所售商品的声誉、消费者的购买情境、网络零售商的客群特征、售后服务政策、竞争环境等多个方面。若要通过改善上述各影响因素着手提高天猫超市的转化率，不仅所需耗费的时间久，花费也相对较高。因此，要在短时间内提高天猫超市的销售额，充分挖掘天猫超市现有顾客的价值，提升客单价将是相对省时且有效的方法。问题解决思路一般而言，在特定时间段内，零售企业的品牌美誉度、商品陈列、商品推荐、产品的品牌声誉和价格、促期政策以及交叉销售等因素都会影响消费者的客单价。经过跟专家的讨论和对天猫超市经营数据的了解，为了获得更稳定的销售增长，运营部主管根据市场经理提交的消费者购买数据分析报告，认为可以通过优化关联商品购买推荐，改进商品捆绑销售和交叉销售建议来提升客单价。因此，天猫超市可以根据顾客消费数据分析商品之间潜在的联系，预测顾客可能会购买的其他商品，并据此调整和优化该超市的零售策略。关联分析关联分析步骤与关联强度关联规则是关联分析在大数据中发现事物之间相关性的结果。数据分析人员需要先根据最小支持度找出数据库中所有的频繁项集，然后根据最小置信度和频繁项集挖掘出事物之间背后隐藏的关联规则。其中，频繁项集是经常出现在一起的产品、物品、服务或属性的集合，呈现了某些事物之间的共现关系。与普通共现关系不同的是，关联规则更凸显事物或属性之间的相互依赖关系和条件先验关系，即它除了展现组内某些事物或属性之间的共现外，还提示了事物或属性之间明显的相关关系和因果关系的存在。换句话说，关联关系的共现关系更强，且大部分可以依据日常经验和已有理论的逻辑进行阐释。关联规则的强度不是有数据分析人员或管理人员主观认定的，而是有客观量化的指标可以衡量的。具体来说，主要包括三个指标：一是支持度，指项集的频繁程度，即含有特定项集的项目占所有项目的百分比；二是置信度，即项集Y在包含项集X的事物中出现的频繁程度；三是提升度，在含有项集X的条件下同时含有项集Y的概率与仅含有项集Y的概率比。频繁项集指的是满足最小支持度阈值（minsup，MinimumSupport）的所有项集。二、关联分析的核心算法Apriori算法由Agrawal等提出的Apriori算法是利用频繁集性质的先验知识，通过逐层搜索的不断迭代，即将k-项集（包含k项的项集）用于找到数据集中的所有频繁项目集。换言之，Apriori算法的目的就是要找到最大的K-项频繁集。Apriori算法有这样一个性质，即若一个项集是频繁的，那么它的所有子集一定是频繁的；相反，若一个项集是非频繁的，那么它的所有子集一定也是非频繁的。为了提高频繁项目集生成的效率，减少项目集的组合和扫描数据库的次数，该算法利用了上述性质。即如果发现某项集是非频繁的，即可将整个包含该超集的子图剪枝。Apriori算法的具体步骤如下：扫描数据库，生成候选1-项集和频繁1-项集；从2-项集开始循环，由频繁（k-1）-项集生成频繁k-项集；频繁（k-1）-项集两两组合，判定是否可以连接，若能，则连接生成k-项集；检测k项集中的每个项集子集是否频繁，舍掉不是频繁项集的子集；再次扫描数据库，计算前一步中过滤后的k-项集支持度，舍弃支持度小于阈值的项集，生成频繁k-项集。当当前k-项集中只有一个项集时，循环结束。FP-growth算法虽然Aprori算法利用频繁集的两个特性可以过滤很多无关的集合，但是这种算法的局限性也非常突出：一方面，Aprori算法可能会产生很多候选项集；另一方面，Apriori算法是一个候选消除算法，在每一次消除时都需要扫描所有数据记录，因此对I/O负载具有较高的要求。从其操作过程来看，Aprori算法的数据挖掘效率是低下的。这意味着Aprori算法无法应用于有海量数据记录的大数据分析。基于此，Han等人在2000年提出了频繁模式增长（Frequent-PatternGrowth，简称FP-growth）的算法。近年来，Fp-Growth算法已经被广泛应用于挖掘频繁项集，其原理是：先把经扫描数据库找出频繁项集后的数据集存储压缩在一个叫FP-tree（频繁模式树）的数据结构里，然后再将上述数据库分割成一些条件数据库，并找出频繁项集。与Aprori算法相比，FP-growth算法在使用过程中只需要扫描两次数据库，因此它在处理大数据集上的效率要明显高于Apriori算法。关联分析在营销中的应用商业零售行业该促销哪些商品？对哪些商品进行捆绑销售？如何进行交叉销售？为消费者推荐何种商品？在零售行业，不论是网络零售商还是线下实体零售商，为了增加销售量和获取更多的利润，常常面临上述一系列问题。对于实体零售店，还面临商品该如何陈列的问题。关联分析可以帮助零售企业对消费者的购物篮数据进行挖掘，发现顾客购买一个商品时购买另一个商品的概率，明确消费者购买商品之间的关联，从而为商家进行科学、合理的商品陈列规划、交叉销售、捆绑销售、商品推荐和促销活动优化提供有效的决策依据。金融行业如零售行业一样，金融行业也是关联分析应用的一个重要场景。证券公司常常会用关联分析为投资活动决策提供依据；银行通过关联规则分析消费者的信用卡使用情况，以实时监控消费者信用卡的恶意透支行为；保险公司通过对投保人购买行为的关联分析，发现投保人购买的关联保险险种。除了上述行业以外，电信、科研、教育和医疗领域也是关联分析被广泛使用的场景。竞争数据分析中最关键的因素是获取信息的质量和类型，这也决定了分析的广度和深度。数据获取方式有数据采买、数据爬取、外部资讯或内部情报。购物篮分析案例示范探索数据源本案例数据包含的信息共有7985条数据。将现有天猫超市的7985条消费记录数据导入“关系数据源”。数据处理根据探索数据源时分析得出的结果，对源数据进行去除重复值的操作。由于原始数据是一个商品一条记录，在做购物篮分析时，需要对一个客户所购买的所有商品进行关联规则挖掘，因此需要进行聚合处理。将“BuyerName”字段作为分组依据，对同一个消费者所购买的“ProductName”字段进行汇总与计数。关联规则挖掘进行关联规则挖掘训练。将“Collect_list_ProductName”字段设置为特征列用于挖掘频繁项集，然后依据订单中所包含的物品种类数量是否大于1的原则，将数据源分成两部分，分两次拖拽行选择到画布区。商品种类数量大于1意味着购买商品数量在两种或以上，可以从这些数据中去挖掘频繁项集；等于1意味着该订单只购买了一种商品，将其用于后续的预测数据。添加FP-growth算法用于训练训练集数据，并且将最小支持度和最小置信度设置为0.1，同时引入测试数据集进行预测。零售策略建议通过关联分析结果可以看出，烟灰缸和菜板、油壶和菜板、保温壶和菜板、红酒开瓶器和菜板等组合同时购买的概率最高，提升度都大于1，都是正相关的，是能够提高购买概率的组合。也就是说，购买了烟灰缸、油壶、保温壶和红酒开瓶器的顾客有超过50%的概率会购买菜板。因此，为了提高天猫超市的客单价，可以制定以下策略：（1）将烟灰缸和菜板、油壶和菜板、保温壶和菜板、红酒开