第3章数据挖掘

1、第第3 3章章 数据挖掘与数据挖掘与CRMCRM目录目录3.1 3.1 数据挖掘数据挖掘 3.23.2数据挖掘在数据挖掘在CRMCRM中的应用中的应用学习目标学习目标p理论目标：理论目标： 学习和把握数据挖掘的含义、作用和内容，数据挖掘的典型算法，数据挖学习和把握数据挖掘的含义、作用和内容，数据挖掘的典型算法，数据挖掘的一般步骤等陈述性知识；能用所学理论知识指导掘的一般步骤等陈述性知识；能用所学理论知识指导“数据挖掘数据挖掘”的相关认知的相关认知活动。活动。p实务目标实务目标： 学习和把握数据挖掘的一般步骤、典型算法、数据挖掘的模型以及学习和把握数据挖掘的一般步骤、典型算法、数据挖掘的模型以及

2、“业务业务链接链接”等程序性知识；能用所学实务知识规范等程序性知识；能用所学实务知识规范“数据挖掘数据挖掘”的相关技能活动。的相关技能活动。学习目标学习目标p案例目标：案例目标： 能运用所学能运用所学“数据挖掘数据挖掘”的理论与实务知识研究相关案例，培养和提高学生的理论与实务知识研究相关案例，培养和提高学生在特定业务情境中分析问题与决策设计的能力；能结合在特定业务情境中分析问题与决策设计的能力；能结合“数据挖掘数据挖掘”教学内容，教学内容，依照依照“职业道德与营销伦理职业道德与营销伦理”的行业规范或标准，分析企业行为的善恶，强化学的行业规范或标准，分析企业行为的善恶，强化学生的职业道德素质。生

3、的职业道德素质。p实训目标：实训目标： 引导学生参加引导学生参加“数据挖掘数据挖掘”业务胜任力的实践训练。在了解和把握本实训业务胜任力的实践训练。在了解和把握本实训所及所及“能力与道德领域能力与道德领域”相关相关“技能点技能点”的的“规范与标准规范与标准”基础上，通过切实体基础上，通过切实体验验“数据挖掘数据挖掘”各实训任务的完成、系列技能操作的实施、各实训任务的完成、系列技能操作的实施、企业数据挖掘企业数据挖掘运作实训报告运作实训报告的准备与撰写等有质量、有效率的活动，培养其的准备与撰写等有质量、有效率的活动，培养其“数据挖掘数据挖掘”的的专业能力，强化其专业能力，强化其“信息处理信息处理”

4、、“解决问题解决问题”和和“革新创新革新创新”等职业核心能力，等职业核心能力，并通过并通过“顺从级顺从级”践行践行“职业观念职业观念”、“职业态度职业态度”、“职业作风职业作风”和和“职业守职业守则则”等行为规范，促进其健全职业人格的塑造。等行为规范，促进其健全职业人格的塑造。 引例：贝尔大西洋公司的数据挖掘应用引例：贝尔大西洋公司的数据挖掘应用p贝尔大西洋公司是美国最大的电话公司之一，它的电话业务覆盖美国贝尔大西洋公司是美国最大的电话公司之一，它的电话业务覆盖美国14个州，拥有商个州，拥有商业、住家电话帐户近亿个。业、住家电话帐户近亿个。p在电话公司，追缴拖欠话费是一件很头疼的事情，不及时追

5、缴会给公司带来很大损失，在电话公司，追缴拖欠话费是一件很头疼的事情，不及时追缴会给公司带来很大损失，但如果每个人都进行追缴又带来很大的成本。但如果每个人都进行追缴又带来很大的成本。p为此，贝尔大西洋公司建立了数据挖掘系统，帮助他们进行话费追缴决策。为此，贝尔大西洋公司建立了数据挖掘系统，帮助他们进行话费追缴决策。p第一步，将所有客户分为不同的类型，并建立不同的追缴欠费模型。系统根据数据分第一步，将所有客户分为不同的类型，并建立不同的追缴欠费模型。系统根据数据分析，将公司客户分为析，将公司客户分为8种类型，并一共建立了种类型，并一共建立了40个追缴话费模型。个追缴话费模型。p第二步，计算各种客户

6、拖欠话费的概率，包括从一个月未缴话费到两个月未缴的可能第二步，计算各种客户拖欠话费的概率，包括从一个月未缴话费到两个月未缴的可能性，从三个月未缴话费到变成坏债客户的可能性，从坏债客户到变成死债客户的可能性。性，从三个月未缴话费到变成坏债客户的可能性，从坏债客户到变成死债客户的可能性。p第三步，提出追缴策略线索，哪些客户应进行追缴，哪些客户可以暂时不追缴；在追第三步，提出追缴策略线索，哪些客户应进行追缴，哪些客户可以暂时不追缴；在追缴的客户中，哪些应该采取高强度追缴，哪些客户只需要采取低强度追缴等。缴的客户中，哪些应该采取高强度追缴，哪些客户只需要采取低强度追缴等。p在美国的电话公司中，追缴花费

7、可采用信件和电话两种形式，电话追缴的强度大，效在美国的电话公司中，追缴花费可采用信件和电话两种形式，电话追缴的强度大，效果好，但成本要比信件高得多。一般情况下，通过信件追缴话费的成本约果好，但成本要比信件高得多。一般情况下，通过信件追缴话费的成本约1美元，而电美元，而电话追缴的成本约在话追缴的成本约在30美元左右。美元左右。 p过去，电话公司在决定追缴策略时带有很大的盲目性，支付了大量的追缴成本，但追过去，电话公司在决定追缴策略时带有很大的盲目性，支付了大量的追缴成本，但追缴的效果并不好，甚至还得罪了一些有价值的客户，造成客户资源的流失。缴的效果并不好，甚至还得罪了一些有价值的客户，造成客户资

8、源的流失。p采用了数据挖掘技术后，这一问题的到了较好的解决。数据挖掘帮助公司采用了数据挖掘技术后，这一问题的到了较好的解决。数据挖掘帮助公司了解客户的行为模式，以此来决定所应采取的话费追缴模式。同时根据一个了解客户的行为模式，以此来决定所应采取的话费追缴模式。同时根据一个好客户能给公司带来的利润，和他拖欠话费给公司带来的损失进行比较，决好客户能给公司带来的利润，和他拖欠话费给公司带来的损失进行比较，决定是否要进行话费的追缴、何时进行话费追缴以及已何种方式进行话费追缴。定是否要进行话费的追缴、何时进行话费追缴以及已何种方式进行话费追缴。p数据挖掘系统帮助贝尔大西洋公司减少了大量的话费追缴成本，同

9、时也留数据挖掘系统帮助贝尔大西洋公司减少了大量的话费追缴成本，同时也留住大量的有价值的老客户。住大量的有价值的老客户。3.1.13.1.1数据挖掘的定义和内涵数据挖掘的定义和内涵从技术的角度来说，数据挖掘（从技术的角度来说，数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识们事先不知道的、但又是潜在有用的信息和知识的过程。的过程。3.1 3.1 数据挖掘数据挖掘3.1.1数据挖掘的定义和内涵数据挖掘的定

10、义和内涵从商业的角度来说，数据挖掘是一种新的商业信从商业的角度来说，数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。处理，从中提取辅助商业决策的关键性数据。3.1 3.1 数据挖掘数据挖掘1)1)关联分析关联分析2)2)序列模式分析序列模式分析3)3)分类分析分类分析4)4)聚类分析聚类分析3.1.2 3.1.2 数据挖掘的方法数据挖掘的方法1)1)关联分析关联分析关联分析是挖掘表面看似独立的事件间的关联分析是挖

11、掘表面看似独立的事件间的相互关系。例如相互关系。例如“90%的顾客在一次购买活的顾客在一次购买活动中购买商品动中购买商品A的同时购买商品的同时购买商品B”之类的知之类的知识。识。 【业务链接业务链接31】尿布和啤酒尿布和啤酒v全球最大的零售商沃尔玛（全球最大的零售商沃尔玛（Walmart）通过对顾）通过对顾客购物的数据分析后发现，很多周末购买尿布的顾客购物的数据分析后发现，很多周末购买尿布的顾客也同时购买啤酒。经过深入研究后发现，美国家客也同时购买啤酒。经过深入研究后发现，美国家庭买尿布的多是爸爸。爸爸们下班后要到超市买尿庭买尿布的多是爸爸。爸爸们下班后要到超市买尿布，同时要布，同时要“顺手牵

12、羊顺手牵羊”带走啤酒，好在周末看棒带走啤酒，好在周末看棒球赛的同时过把酒瘾。后来沃尔玛就把尿布和啤酒球赛的同时过把酒瘾。后来沃尔玛就把尿布和啤酒摆放得很近，从而双双促进了尿布和啤酒的销量。摆放得很近，从而双双促进了尿布和啤酒的销量。这个经典的这个经典的“尿布和啤酒尿布和啤酒”的故事被公认是商业领的故事被公认是商业领域数据挖掘的诞生。这里就是利用关联分析这种方域数据挖掘的诞生。这里就是利用关联分析这种方法，发现两种商品之间有很高的相关系数，引起重法，发现两种商品之间有很高的相关系数，引起重视，然后深入分析后才找出内在原因的。视，然后深入分析后才找出内在原因的。 2)2)序列模式分析序列模式分析

13、它与关联分析相似，其目的也是为了控它与关联分析相似，其目的也是为了控制挖掘出的数据间的联系。但序列模式分析制挖掘出的数据间的联系。但序列模式分析的侧重点在于分析数据间的前后（因果）关的侧重点在于分析数据间的前后（因果）关系。可以通过分析客户在购买系。可以通过分析客户在购买A A商品后，必定商品后，必定（或大部分情况下）随着购买（或大部分情况下）随着购买B B商品，来发现商品，来发现客户潜在的购买模式。例如，一个顾客在买客户潜在的购买模式。例如，一个顾客在买了电脑之后，就很有可能购买打印机、扫描了电脑之后，就很有可能购买打印机、扫描仪等配件。仪等配件。3)3)分类分析分类分析 分类分析就是通过分

14、析样本客户数据库中的数据，分类分析就是通过分析样本客户数据库中的数据，为每个类别作出准确的描述或建立分析模型或挖掘为每个类别作出准确的描述或建立分析模型或挖掘出分类规则，然后用这个分类规则对其它客户的记出分类规则，然后用这个分类规则对其它客户的记录进行分类。录进行分类。 比如，信用卡公司根据顾客的信用记录，把持比如，信用卡公司根据顾客的信用记录，把持卡人分成不同等级，并把等级标记赋与数据库中的卡人分成不同等级，并把等级标记赋与数据库中的每个记录。对于每一等级，找出它们共同点，比如：每个记录。对于每一等级，找出它们共同点，比如：“年收入在年收入在10万元以上，年龄在万元以上，年龄在4050岁之间

15、的外岁之间的外企白领企白领”总体上信用记录最高。有了这样的挖掘结总体上信用记录最高。有了这样的挖掘结果，客户服务部门就知道一个新的客户的潜在价值，果，客户服务部门就知道一个新的客户的潜在价值，在客户服务投入上就心中有底。在客户服务投入上就心中有底。 4)4)聚类分析聚类分析 这是分类的逆向方法。聚类把没有分类的记录，这是分类的逆向方法。聚类把没有分类的记录，在不知道应分成几类的情况下，按照数据内在的差在不知道应分成几类的情况下，按照数据内在的差异性大小，合理地划分成几类，并确定每个记录所异性大小，合理地划分成几类，并确定每个记录所属类别。它采用的分类规则是按统计学的聚类分析属类别。它采用的分类

16、规则是按统计学的聚类分析方法决定的。比如，面对数据库中方法决定的。比如，面对数据库中“消费额消费额”、“购买频率购买频率”、“收入水平收入水平”等多个评价指标，没等多个评价指标，没有办法按照一个指标去分类，就可以通过聚类按照有办法按照一个指标去分类，就可以通过聚类按照数据间的自然联系把分散的记录数据间的自然联系把分散的记录“聚聚”成几成几“堆堆”，然后再对每堆进行深入分析。然后再对每堆进行深入分析。3.1.33.1.3数据挖掘的经典算法数据挖掘的经典算法1) 1) 神经网络神经网络 2)2)决策树算法决策树算法1) 1) 神经网络神经网络 神经网络被称为有学习能力的商业智神经网络被称为有学习能

17、力的商业智能系统，是企业客户关系管理的一项重能系统，是企业客户关系管理的一项重要支持工具。它具有和人类大脑相似的要支持工具。它具有和人类大脑相似的功能，经过对神经网络系统进行一段时功能，经过对神经网络系统进行一段时间的训练以后，该系统可以在没有人干间的训练以后，该系统可以在没有人干预的情况下进行模拟识别，解决特定领预的情况下进行模拟识别，解决特定领域中的问题。域中的问题。2)2)决策树算法决策树算法 决策树提供了一种展示类似在什么决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法。条件下会得到什么值这类规则的方法。比如，在贷款申请中，要对申请的风险比如，在贷款申请中，要对申请的风险

18、大小做出判断，图大小做出判断，图5-25-2是为了解决这个问是为了解决这个问题而建立的一棵决策树，从中我们可以题而建立的一棵决策树，从中我们可以看到决策树的基本组成部分：决策节点、看到决策树的基本组成部分：决策节点、分支和叶子。分支和叶子。收入40000否是工作时间5高负债是否低风险高风险是否高风险低风险图5-2一颗简单的决策树 【业务链接【业务链接32】贷款决策贷款决策v负责借贷的银行官员利用上面这棵决策树负责借贷的银行官员利用上面这棵决策树来决定支持哪些贷款和拒绝哪些贷款，那么来决定支持哪些贷款和拒绝哪些贷款，那么他就可以用贷款申请表来运行这棵决策树，他就可以用贷款申请表来运行这棵决策树，

19、用决策树来判断风险的大小。用决策树来判断风险的大小。“年收入年收入￥40,00”和和“高负债高负债”的用户被认为是的用户被认为是“高高风险风险”，同时，同时“收入收入5年年”的申请，则被认为的申请，则被认为“低风险低风险”而建而建议贷款给他议贷款给他/她。她。3.1.3.1.4 4数据挖掘的基本步骤数据挖掘的基本步骤1 1）定义商业问题）定义商业问题2 2）建立数据挖掘库）建立数据挖掘库（1 1）数据收集；）数据收集；（2 2）数据描述；）数据描述；（3 3）选择；）选择；（4 4）数据质量评估和数据清理；）数据质量评估和数据清理；（5 5）合并与整合；）合并与整合；（6 6）构建元数据；）构

20、建元数据；（7 7）加载数据挖掘库；）加载数据挖掘库；（8 8）维护数据挖掘库。）维护数据挖掘库。3.1.3.1.4 4数据挖掘的基本步骤数据挖掘的基本步骤3 3）分析数据）分析数据4 4）准备数据）准备数据（1 1）选择变量）选择变量（2 2）选择记录）选择记录（3 3）创建新变量）创建新变量（4 4）转换变量）转换变量5 5）建立模型）建立模型3.1.3.1.4 4数据挖掘的基本步骤数据挖掘的基本步骤6 6）评价和解释）评价和解释（1 1）模型的准确性）模型的准确性（2 2）模型的可理解性）模型的可理解性（3 3）模型的性能）模型的性能7 7） 实施实施3.2.1 3.2.1 数据挖掘在数

21、据挖掘在CRMCRM中的应用中的应用1）客户群体分类分析）客户群体分类分析2）客户识别和保留分析）客户识别和保留分析（1）在）在CRM中，首先应识别潜在客户，然后将他们转化为中，首先应识别潜在客户，然后将他们转化为客户。客户。（2）在客户保留中的应用）在客户保留中的应用3）对客户忠诚度进行分析）对客户忠诚度进行分析4）客户盈利能力分析）客户盈利能力分析5）交叉销售和增量销售）交叉销售和增量销售3.23.2数据挖掘在数据挖掘在CRMCRM中的应用中的应用【业务链接【业务链接33】美林证券公司的商业智能应用美林证券公司的商业智能应用v美林证券是世界知名的证券公司，它拥有上百万的客户，美林证券是世界

22、知名的证券公司，它拥有上百万的客户，并受托为这些客户管理并受托为这些客户管理1.3万亿美元的资产。万亿美元的资产。v随着业务的不断扩大，美林公司的经营目标开始由单纯的随着业务的不断扩大，美林公司的经营目标开始由单纯的交易代理，转向为客户提供全面的财务规划和理财服务。交易代理，转向为客户提供全面的财务规划和理财服务。v每一个客户都有与其他客户不同的生活背景和投资策略，每一个客户都有与其他客户不同的生活背景和投资策略，因此美林公司为他提供的必须是一种个性化的服务。这就要因此美林公司为他提供的必须是一种个性化的服务。这就要求公司必须更多地了解客户，并在此基础上管理与客户的关求公司必须更多地了解客户，

23、并在此基础上管理与客户的关系。系。v1996年，美林公司提出了利用商业智能进行客户关系管理年，美林公司提出了利用商业智能进行客户关系管理的计划。在这之前，美林公司积累了大量的重要客户的数据，的计划。在这之前，美林公司积累了大量的重要客户的数据，这些数据储存在分布在不同地点的这些数据储存在分布在不同地点的25个计算机系统中。商业个计算机系统中。商业智能系统要将这些客户信息集成在一个单一的计算机环境，智能系统要将这些客户信息集成在一个单一的计算机环境，并通过数据分析和数据挖掘，为公司客户关系管理提供支持。并通过数据分析和数据挖掘，为公司客户关系管理提供支持。 v商业智能系统首先可以帮助公司找出最重

24、要的客户群，并商业智能系统首先可以帮助公司找出最重要的客户群，并发现他们的购买行为方式。商业智能还能够帮助公司检验、发现他们的购买行为方式。商业智能还能够帮助公司检验、评估目前重点客户群的确定是否恰当，并为重点客户群的调评估目前重点客户群的确定是否恰当，并为重点客户群的调整提供依据。整提供依据。v商业智能系统另一个重要的功能就是为公司寻找产品及服商业智能系统另一个重要的功能就是为公司寻找产品及服务上需要改进和完善之处，发现客户的潜在需求，并据此开务上需要改进和完善之处，发现客户的潜在需求，并据此开发出适应客户需求的新产品。发出适应客户需求的新产品。v商业智能系统的一个重要作用就是为美林公司商业

25、智能系统的一个重要作用就是为美林公司1.3万理财顾万理财顾问提供支持，使他们能够更好地为每一个客户提供恰如其分问提供支持，使他们能够更好地为每一个客户提供恰如其分的服务。通过客户买盘数据与客户档案资料的对比分析，理的服务。通过客户买盘数据与客户档案资料的对比分析，理财顾问可以将美林的产品和服务进行不同的组合和匹配，提财顾问可以将美林的产品和服务进行不同的组合和匹配，提供几乎无限种类的各种不同组合来满足每一位投资者的个性供几乎无限种类的各种不同组合来满足每一位投资者的个性化需求。同时公司能够检测到每一种产品和服务组合的利润化需求。同时公司能够检测到每一种产品和服务组合的利润率，评价客户关系管理对公司经营的影响。率，评价客户关系管理对公司经营的影响。v商业智能系统还为公司商业智能系统还为公司10