统计推断方法project-代成雷-21435068VIP

客户回复预测与效益最大化（浙江大学数学科学学院代成雷学号：21435068）1.问题描述这个案例中，数据来自于KDDCup1998的竞赛。附件给出了大约481个变量，每个变量9万多条记录。问题描述如下：通过给出的数据集，来估计一个直邮的回复量，以便获得最大的捐款额。为了提高募捐效率，我们使用数据挖掘技术来优化客户的选择。基于预测得分对客户进行排名，使得捐款的数额最大化。提供的附件学习数据集：cupxiaobeilrn.csv包含95412条记录，481个字段。验证数据集cupxiaobeival.csv包含96367条记录，479个字段。每一个记录都包含一个CONTROLN字段作为唯一的标识符。学习集中有两个目标变量：TARGET_B和TARGET_D.TARGET_B是一个二进制变量，表示TARGET_D有捐款时，该条记录是否对邮件做了回复。2数据的处理和分析2.1目标变量的分析和变量筛选通过简单的统计，我们发现TARGET_B邮件回复情况，其中回复的比例约为5.1%。从中发现大多数是没有捐赠行为的，这些样本我们称之为负样本。图1邮件回复情况接下来，我们查看捐款数额大于0的记录，分析其捐款数额（单位是美元），绘制条形图，从中发现大部分客户的捐款数额不超过25美元，但都是5的倍数。图2捐款数额盒图和条形图基于以上的分析，使用函数cut()将变量TARGET_D分解，并生成一个新的变量TARGET_D2。其中right=F表示区间为左闭右开。有些变量需要删除，因为没有可变信息。经过检查和考虑后，预测模型主要的变量分为：人口统计信息（捐赠者第一次捐款日期，最初邮件列表，是否参加俱乐部，捐款额度，经济情况等），历史信息（皇家空军的地位，推广历史的汇总，捐赠历史的汇总），ID和目标，其他信息，如最近/频繁/捐赠额度等。2.2数据探索一般，数据探索需要分析3个步骤。第一是单变量分布，了解是否是缺失和离群点。第二查看因变量与自变量的关系，用于特征分析。第三是查看预测变量之间的关系，以便去除冗余。首先，查看数值型变量分布情况。从下面的盒图可以看到，有小部分的值与大部分的HIT值远远分开，这些值全是240或241.因为无法判断是否是离群点需要删除，我们采用重构数据的方法，利用中位数进行替换。图3HIT的盒图我们需要查看捐赠者年龄分布情况。发现年龄在30-60岁的人群平均捐款金额比其他年龄高，这个不足为奇。同时捐赠者在不同年龄上有差异，结果如下，其中J代表共同账户。图4捐赠者在不同性别分组的分布情况可以使用函数cor()查看目标变量与其他数值型变量的相关系数。由于数据众多，这里不展示。对于分类变量，我们使用卡方检验来查看变量之间的关联，如下：图5分类变量的马赛克图经过以上的分析，我们将原有的变量精简到29个。下面采用决策树进行分析。3决策树的创建和建模 主要使用R中party包创建一棵决策树。其中的一些参数MinSplit,MinBucket,MaxSurrogate,MaxDepth用来控制决策树的训练，初始值分别为1000,400,4,10。对于数据集，我们将70%进行训练，30%进行测试，随机选择数据集，并重复进行分析和测试9次，从中将训练出来的决策树进行对比。主要调用的程序如下：myCtree<-ctree(TARGET_D.,data=trainData,controls=ctree_control(minsplit=MinSplit,minbucket=MinBucket,Maxsurrogate=MaxSurrogate,Maxdepth=MaxDepth))将每次运行结果进行保存，下面是运行出来的决策树：图6决策树经过9次运行结果发现，第7次结果较好。在决策树模型中，按照预测的客户捐款数额的降序对其进行排序。我们发现，每一个通过接触的客户的平均卷额数额在图表左侧比较多，随着接触客户增多，每一个客户平均捐款减少，因此，建立的预测模型能有效从客户排名中获得捐款最多的客户。图79次运行平均结果4决策树的选取和评价 我们使用不同的参数来测试生成的决策树，每一组设置运行9次得到的平均结果进行保存。参数有4个类型，parameters<-c("200-50-4-10","1000-400-4-6","1000-400-4-8","1000-400-4-10")图8不同参数设置最后使用验证数据集进行评价。对于预测捐款数额大于0.68（联系成本）的客户，将向其发送邮件已便筹集捐款，评估标准是总的捐款数额扣除所有的邮件成本。需要注意的是，样本集的格式必须保持一致，需要评分的数据准备好了以后，就是对这些数据进行预测。图9验证结果从上图可以看到，预测得到的捐款总额是11996美元。和真实结比较接近。5讨论和总结 我们发现，由于捐款客户所占的百分比只有5%，而大多数客户是没有捐款的，通过平衡正负样本可以来平衡数据。其次，我们可以将问题分解，第一阶段是预测捐款的可能性，第二是预测有条件的捐款数额，可以得到一个无条件的捐款数额。第三，将多种