银行客户分类问题

1、西北大学研究生数学建模竞赛承诺书我们仔细阅读了西北大学研究生数学建模竞赛的竞赛规则与赛场纪律。我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮 件、网上咨询等）与队外的任何人研究、讨论与赛题有关的问题。我们知道，抄袭别人的成果是违反竞赛规则的，如果引用别人的成果或其他 公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正 文引用处和参考文献中明确列出。我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。如有违反 竞赛规则的行为，我们将受到严肃处理。我们参赛的题目是（从A、B、C、D中选择一项填写）：B参赛队编号为：1069732所属院系（请填写完整的全

2、名）：数学学院参赛队员（打印并签名）：1.日期：2015 年5月 4 日评阅编号（由校组委会评阅前进行编号）：西北大学研究生数学建模竞赛编号专用页评阅编号（由校组委会评阅前进行编号）:评奖结果:银行信贷业务问题摘要随着经济的快速发展，银行越来越重视客户的分类，对于银行来说，一个新 客户的到来，银行应该针对该客户的信息，判断客户可能的类别，然后采用针对 性较强的销售策略，以获得最高的效益。本文就是一个典型的银行客户分类问题，第一问我们运用支持向量机模型把 银行客户分成有贷款和无贷款的，把附件bankl中的数据作为训练集，将其中的 客户资料进行量化，构造出分类函数y = f (x) = sgn(g

3、(x) = sgn(wx + b)，把数据 带进去当y = 1时此客户为有贷款的，当y = -1时此客户是无贷款的，运用支持向 量机计算出参数巧和b，再从附件bank-full中随机抽取10%的数据作为检测集进 行检验得到准确率为97.1688%。第二问我们构造决策树模型对有贷款和无贷款的客户进行细分，我们把附件 bankl中数据分为有贷款和无贷款的，分别建立决策树。我们只选取年龄、工作、 婚姻状况、教育程度、信贷违约、年平均余额这六个属性，把是否信贷违约看做 分类标识，先对数据进行量化分类，再分别算出它们的信息增益，根据算出的信 息增益值的大小，对属性进行排序确定叶节点画出决策树，把决策树的

4、每一个从 根到叶节点的路径作为一个分类，由此我们把有贷款的无贷款的都细分为六类。第三问分为两小问来解答：(1)判断此客户是否可能购买贷款产品，我们任 意给出一个客户资料，把客户资料量化后代入第一问中的模型得出y = 1，因此 我们判断此客户有可能购买贷款产品。(2)建议其购买哪种贷款产品，我们再把 客户资料代入第二问中的模型判断出此客户属于有贷款中的第二类，由每类客户 的购买建议，我们推荐他购买短期的担保贷款。关键词：分类问题 支持向量机 决策树 信息增益一、问题的重述近年来以来，我国经济获得了快速增长，银行的信贷资本在其中发挥了极其 重要的作用，银行信贷业务的发展是当前扩大我国国内需求与促进

5、经济增长的重 要途径之一。银行信贷业务是银行最基本、最重要的资产业务，通过发放银行贷 款收回本金和利息，扣除成本后获得利润。一般来说，银行信贷业务是银行赢利 的重要手段，所以很多银行都推出了很多新的业务来满足更多人士的贷款需求。 从银行信贷业务的分类来说，可以分为法人信贷业务、个人信贷业务。其中法人 信贷业务包括项目贷款、流动资金贷款、小企业贷款、房地产企业贷款等；个人 信贷业务包括个人住房贷款、个人消费贷款、个人经营贷款等。银行信贷业务同时也是风险性较大的一种业务。按照贷款期限来说，银行信 贷业务分为短期贷款，即一年以内；中期贷款，即一年以上五年以下；长期贷款， 五年以上等三种类型。按保障条

6、件来分，银行信贷业务可以分为信用贷款、担保 贷款和票据贴现等三个类别。某银行为了对客户提供更好的信贷服务，对信用卡客户进行了详细的分析和 调查。调查主题是对某种家庭和个人背景的用户成为银行信贷的潜在客户的可能 性进行分析与判断。请考虑以下问题：（1）建立能够描述有贷款和无贷款的客户的基本背景数据模型；（2）对有贷款和无贷款的客户群进行细分建模；（3）给定一个客户的背景，判断其是否可能购买贷款产品，如果可能的话建 议其购买哪种贷款产品。二、问题的分析本题是一个比较典型的分类问题。问题一是建立能够描述有贷款和无贷款的客户的基本背景数据模型。对于这 个问题，我们要先建立一个二分类模型，把有贷款和无贷

7、款的客户资料分开，在 这里我们用支持向量机来解决这个二分类问题，建立一个基于支持向量机的银行 客户分类模型，由于不能确定它是否是线性可分的，而线性可分是线性不可分的 一种特殊情况，因此我们把它看做是线性不可分的来处理，即把它看做是非线性 的来处理。用附件bankl中的数据作成的训练集来求解模型，再从bank-full中随 机选取10%的数据作为检测集来验证模型是否合理。问题二是在问题一的基础上对有贷款和无贷款的客户再进行细分建模，这不 在是一个二分类问题，而是一个多分类问题，因此我们在此问中采取决策树模型， 先根据信息增益分别对有贷款和无贷款的客户资料做出决策树，在对决策树进行 调整，得到一个

8、合理的决策树，将每一个决策树的路径作为一个分类，从而达到 对有贷款和无贷款的客户群进行细分的目的。问题三是给定一个客户的背景，判断其是否可能购买贷款产品，如果可能的 话建议其购买哪种贷款产品。在这一问中我们把它分成两小问来处理：（1）给定 一个客户的背景，判断其是否可能购买贷款产品，给定一个客户资料把它带入第 一问建立的模型中得出它是否会购买贷款。（2）我们先把第二问中得到的有贷款 的客户细分类进行贷款产品的配对，再把此客户的背景资料带入第二问建立的模 型中看他是出于哪一类的，给出相应的产品推荐。三、符号的说明T :附件bankl中的数据作成的训练集，x :由年龄、工作、婚姻状况、教育程度、信

9、贷违约、年平均余额6个属性组成的向量，y：分类标记，T :原训练集T转化为Hilbert空间H中的新训练集，元:由x映射到Hilbert空间H中的向量，g(x): Hilbert空间H中超平面，气：样本点，f (x):分类函数，5,:样本点D =(x,y)到超平面g(X)的间隔，。:：样本点到超平面的距离，即几何间隔，& :松弛变量，C；惩罚参数，人：拉格朗日乘子，S：分类后的训练集，I(七,s2，.,七)：样本分类所需的期望信息，E(A): A的信息熵，Gain(A): A的信息增益。四、模型假设1、本模型只考虑年龄、工作、婚姻状况、受教育程度、信贷违约、年平均余额， 不考虑其他因素。2、只

10、要有房贷或个人贷款中的一样，我们就认为他是有贷款的。3、不考虑经济波动对本数据的影响。4、不考虑属性间的相互影响。五、模型的建立与求解5.1问题一5.1.1模型的建立本问题采用支持向量机1来进行二分类，由于这个二分类问题究竟是否是 线性可分的尚不能定论，因此不能简单的认为它是线性可分的而作简单化处理， 而线性可分是线性不可分的一种特殊情况，故在得出结论前，我们把它看做是线 性不可分的来处理，即非线性的情况。我们解决线性不可分问题的基本思路一一向高维空间转化，使其变得线性可 分。因此我们先把低维的线性不可分的情况转化为高维线性可分的情况，再来建 立线性可分的支持向量机模型67。我们把附件bank

11、l中的数据作为训练集，则训练集T为 TOC o 1-5 h z T = (x , j ), (x , j ),., (x , j )c(x x Y)m， 1122m m其中x 二(年龄，工作，婚姻状况，教育程度，信贷违约,年平均余额)e x = R6, x称为 输入空间，输入空间中的每一个点x由6个属性特征组成，j e Y = -1,1，j为iii分类标记，i = 1,2.m，m为训练集的数据的个数。我们在解决非线性的情况时引入从输入空间X到另一个高维的Hilbert空间H的变化x 中，将原输入空间X的训练集T = (x , j ), (x , j ),., (x , j )e(X x Y)m

12、 1122m m转化为Hilbert空间H中的新的训练集T = (x, j ),(x , j ),.,(x , j )=(顿x), j ),(顿x ), j ),.,(顿x ), j )，1122m m1122m m它在Hilbert空间H中线性可分。下面我们在Hilbert空间H中建立线性可分的支持向量机模型4。我们的目的是要找到一个超平面g(x) = wx + b，能把数据分到超平面的两边，其中w是一个向量，b是一个实数,构造分类函数j = f (x) = sgn( g (x)，将任意一个模式x带进去即可得到分类。下面我们只需要求得参数w和b，满足当 j =1 时，wx + b 1 ；当j

13、 =-1时， wx + b 1，将w i i名 i名 (刊称为几何间隔。其中。是样本集合到分类面的几何间隔，这是样本点到超平面的距离，而误差次数 1,i = 1,2,.m我们将原训练集成射到更高维的训练集时，样本点D.有可能以下三种情况: 各样本点分类正确。落在分离段内，且正确分类即满足不等式0 j (wx + b) 1。 错误分类，即满足不等式j (wx + b) 0，将上述三种情况归为同一约束条件，j (wx + b) 1 & ,第一种对应&=0,第二种对应0 & ：1,变量&称为松弛变量。则原来的优化问题就变成了 :min J(w) = |w|2 + C&=1s.t y (wx + b)

14、 1& i = 12. m,& 0i = 12.m，其中C0为惩罚参数是一个常量，C决定了你有多重视离群点带来的损失,C定的 值越大，对目标函数的损失也越大。可以给每一个离群点都使用不同的C，这时 就意味着你对每个样本的重视程度都不一样。这就变成了凸规划问题，引入拉格朗日函数表示为L( w b &人,四)=1 w| |2 + C & 沮 y( wx + b) 1 + & 一日&， TOC o 1-5 h z 2ii i iii ii = 1i = 1i = 1对应的KKT条件为dLm _i=1 =。n w =二人:yx,i=1=0 n 工人 y = 0沥i ii=1ar.灵=0 n C-七-

15、= 0人y (wx + b)一1 + & = 0i i ii嘻=0R 0& 0i = 1,2. m将上述的条件带入拉格朗日函数成为wolfe双重优化任务得max出1 尤习采 yyjXX ):2: j i j i j-:=1:=1 j=1s.t 0X C尤人 y = 0i = 12.mi ii = 1求此优化问题即可求得人，由此可得出w = *人yx，i=i=1因此原来的g (力变为g (x) = wx + b = jw x + b = ：: 人 y x x : + b = 人 y :： x x + b， :.：: i 在这里我们选取径向基函数做为核函数K(%)=(甲3)=(xx )则wolfe

16、双重优化任务就成为max（E 1 饵 yyK （x , x ）入 i 2i j i j i ji=1i=1 j=1s.t 0X. Cm 人 y = 0, i = 1,2,., m , i i i=1 由此生成的分类函数为y = f （x） = sgn（g （x） = sgn（m 人 yK （x , x ） + b）i i i ji=15.1.2模型的求解本文仅选用6个属性值进行确定，各属性值的取值范围定义如下： 年龄（age）： 1、2、3,（1代表30岁以下，2代表30-50岁，3代表50岁以上）； 工作（job）： 1、2、3，（1代表管理级别，2代表非管理级别，3代表无业）； 婚姻状况（

17、marital）： 1、2、3（1代表单身，2代表已婚，3代表离异）； 教育程度（educatior）： 0、1、2、3（0代表未知，1代表初级，2代表中级，3 代表高级）； 信贷违约吗（defalt）： 0、1（0代表否，1代表是）；年平均余额（balance）： 0，1，2, 3（0代表0欧元以下，1代表0-2000，2代表 2000-4000，3 代表 4000 以上）；贷款：-1、1（-1代表无贷款，1代表有贷款）； 下面我们用svm来求解模型89。（1）把bank_full.csv和bank1.xls数据做个预处理，然后分别转化成 bank_full.txt和bank_test.xl

18、s，要查看预处理过的数据，请查看附件1。（2）编写MATLAB代码，第一步导入bank_full.csv数据，数据是4520条记录， 并且把值赋值给train_label和train_inst变量，如赋值完成后的图见附录中的 图8、图9。第二步是训练全部数据，采用高斯核函数，松弛变量是2,训练结果如下描 述：*optimization finished, #iter = 65321nu = 0.720202 obj = -19998.737978, rho = -0.373139 nSV = 43018, nBSV = 16696 Total nSV = 43018*得到train_model

19、结构，如下图所示：Fil train_model 1x1 structField ,Parameters nr_classFil train_model 1x1 structField ,Parameters nr_classMaxLabel svjndicesProbB nSV sv_coef SVsValueMinO；2j3;2;O0224304043040-0.3731-0.37.1；1-143040 x1 doublo126005;170351703543040 x1 doublo-143040 x7 sparse d.43040-0.37.45211260051图 1： train_

20、model 结构图第三步是用MATLAB导入测试样本，样本数据是4521条记录，并且把值赋值 给test_label和test_inst变量，如赋值完成后的图见附录中的图10、图11：第四步是给样本进行测试，测试值精确度能够达到97.1688%，即Accuracy = 97.1688% (4393/4521) (classification)运行结果如下所示：顿试样本，精漏度能达到多少p r e di ct_l ab elj accuracjj dec_va.liies = svmp r edi ct (t c st _ 1 ab h lj t cE_inst 5 t rain_n.odel)

21、;Accuracy = 97. 16S8W (4393/4521) (classificatiDn)图2：样本测试结果精确度图结果：accuracy，是一个3维的向量，从上到下分别是：分类准率(分类 问题中用到的参数指标)；平均平方误差(MSE (mean squared error)(回归 问题中用到的参数指标)；平方相关系数(r2 (squared correlation coefficient)(回归问题中用到的参数指标)。图 3： accuracy 图图 4： dec_values 图predict_label是训练集预测得到的label向量，结果如下图所示:图 5： predict_

22、label 图5.2问题二5.2.1模型的建立在本问题中我们采用决策树2来对有贷款和无贷款的客户群进行细分，决 策树着眼于从一组无次序、无规则的事物中推理出决策树表示形式的分类规则， 它采用自顶向下的递归方式，在决策树的内部节点进行属性的比较，并根据不同 的属性判断从该节点向下的分支，在决策树的叶节点得到结论。所以从根到到叶 节点就对应着一条合理规则。运用决策树分类的基本思想是以信息熵为度量构造一颗熵值下降最快的树， 到叶子节点处的熵值为零，此时每个叶节点中的属性都属于同一类。在这里我们 要构造两个多叉树分别将有贷款和无贷款的客户进行细分。在这个问题中S是一个训练集，训练集中有s个样本，我们把

23、S中的数据分 为n个类标识，定义n个不同的类G,i 1,2.n，设s.是类C.中的样本数，那么 任意一个样本属于类C的概率是s /S，对一个给定的样本分类所需的期望信息 由下式得出： . .歹 s S TOC o 1-5 h z HYPERLINK l bookmark81 o Current Document I （S , S ,., S ）= 一乙 T log -i 1 2 nS 2 si=1一个有V个值的属性aq ,a ,.,a 可以将S分成V个子集s ,S ,.,S ，其中12 v12 vS包含S中属性A上的值为a的样本，假设S包含类。的s个样本，则A的熵 jjji ij为E（A） =

24、 S1 j + % + + j（s，,s ）S1 j njj=1则A上该划分的获得的信息增益为Gain（A）=I（S., S ） - E（A）信息增益越大，熵下降的越多，我们测试每一个属性的信息增益，选择信息增益 值最大的属性作为叶节点，依次往下递推进行。但我们在以下几种情况的时候要 停止对数据集的分裂：（1）该节点包含的数据太少不足以分裂；（2）继续分裂数据集对树生成的目标没有贡献，即对熵的下降没有贡献；（3）树的深度过大不宜再分。5.2.2模型的求解我们先来对有贷款的客户进行细分，此问中我们也仅选取年龄、工作、婚姻 状况、受教育程度、信贷违约、年平均余额这6个属性，我们将是否信贷违约作 为

25、标识类建立一个二叉树，先对训练集T中有贷款的客户数据进行处理，将各个 属性按照以下规则分类： 年龄（age）： 1、2、3,（1代表30岁以下，2代表30-50岁，3代表50岁以上）； 工作（job）： 1、2、3，（1代表管理级别，2代表非管理级别，3代表无业）； 婚姻状况（marital）： 1、2（1代表单身，2代表已婚）（将离婚归为单身一类）； 教育程度（educatior）： 0、1、2、3（0代表未知，1代表初级，2代表中级，3 代表高级）； 年平均余额（balance）: 1，2，3（1代表2000以下，2代表2000-4000，3代表 4000以上）； 将处理过的客户数据带入上

26、述模型中求得信息熵和信息增益，由此得到下表：表1：有贷款的客户数据处理、序号 特征、0123总人数信息熵信息增益年龄305209344628441.0900.355工作1002168915328441.2040.625婚姻1046179828441.2850.382教育程度88425159573628443.3920.013年余额235225723528441.4470.822我们根据所得的信息增益来编排决策树中属性的顺序，对树进行调整减去贡 献小的分支，得到最终的树如下图所示:图6：有贷款的决策树年余额#得到最终的树如下图所示:图6：有贷款的决策树年余额#第一类：年余额小于2000欧元的管理

27、层；第二类：年余额小于2000欧元的非管理层；第三类：年余额小于2000欧元的无业人员；第四类：年余额在2000-4000欧元的已婚人士；第五类：年余额在2000-4000欧元的单身人士；第六类：年余额在4000以上的客户。下面我们来对无贷款的客户资料来建立决策树，此问中我们也仅选取年龄、 工作、婚姻状况、受教育程度、信贷违约、年平均余额这6个属性，我们将是否 信贷违约作为标识类建立一个二叉树，先对训练集T中无贷款的客户数据进行处 理，将客户数据按照上述有贷款的分类规则进行分类，分类后将数据带入所建立 的模型中求得信息熵和信息增益，与有贷款的客户信息处理方式一样，由此得到 下表：表2：无贷款的

28、客户数据处理序号 特征、0123总人数信息熵信息增益年龄176101948116761.2950.221工作62872232616761.5140.005婚姻67799916761.3150.510教育程度9825371161416761.7060.001年余额128119719816761.5340.712我们根据所得的信息增益来编排决策树中属性的顺序，对树进行调整减去贡 献小的分支，得到最终的树如下图所示：图7：无图7：无贷款的决策树由上图我们把每一个从根到叶节点的路径作为一个分类，这样我们就把无贷 款的客户细分为六类：第一类：年余额小于2000欧元的单身；第二类：年余额小于2000欧元的

29、已婚；第三类：年余额在2000-4000欧元30岁以下；第四类：年余额在2000-4000欧元30-50岁；第五类：年余额在2000-4000欧元50岁以上；第六类：年余额在4000以上的客户。5.3问题三这一问中我们把它分成两小问来处理：（1）给定一个客户的背景，判断其是 否可能购买贷款产品。（2）建议客户购买哪种贷款产品。我们先把客户资料带入第一问构建的模型中判断他是否能购买贷款产品。我 们任意取一个客户资料如：年龄：33,工作：非管理层，婚姻状况：已婚，教育 程度：高程度，信贷违约：否，年余额：1400。我们把这组资料按模型一的规则量化为x = （2,2,2,3,0,1），将它带入模型一

30、的 分类函数y = f （x） = sgn（g（x）中，经计算的y = 1，故由可知此客户有可能购买贷 款产品，这样我们第一小问就解决了。下面我们来解决第二小问，我们将客户资料带人第二问的有贷款的客户的决 策树中很容易看出他是属于第二类客户。按保障条件来分，银行信贷业务可以分为信用贷款、担保贷款和票据贴现等三个 类别，而这三种类别按安全性排序为担保贷款票据贴现用贷款，按收益排序为 票据贴现担保贷款信用贷款。由此我们对第二问中的六种客户分别建议购买不同种类的贷款产品，具体建 议如下：第一类客户：短期的、票据贴现，第二类客户：短期的、担保贷款，第三类客户：短期的、信用贷款，第四类客户：中期的、担保

31、贷款，第五类客户：中期的、票据贴现， 第六类客户：长期的、票据贴现。根据上述的建议，我们可以建议此客户购买短期的担保贷款。六、模型的优缺点分析与改进6.1模型的优缺点模型的优点（1）建立的支持向量机有成熟的理论基础，有相应的软件支持，可信度高。（2）建立的决策树阶段明显，便于理解，可以清晰的显示哪些字段比较重 要。（3）决策树列出了决策问题的全部可行方案和可能出现的各种自然状态，以 及各可行方法在各种不同状态下的期望值。模型的缺点（1）我们的模型只适用于银行信贷业务问题。（2）模型假设比较理想化，与实际情况存在较大的差距。（3）模型考虑的元素较少，在处理问题时可能存在一些误差。6.2模型的改进

32、算法的改进：要提高测试样本的准确率，对于本文来说，也就是要给有贷款和无贷款进行准确的分类，那么我们可以做5方面的改进：1、提高学习数据量本，也就是学习样本越多越好，之前我们学习样本是4000 多条，结果给测试样本进行测试，准确率能够达到67.6926%多，现在给的学习 样本有45211条，学习增加了时间，但是准确率高达97.1688%，通过这个我们 要增加学习样本数据。2、本文采用高斯核函数，由于时间问题，我们只针对高斯核函数，应该要 给其他核函数进行测试，看看哪个分类准确率高，核函数也是我们要改进的地方。3、松弛变量取值会影响到向量W的范数，参考大量的文献，我们要达到分 类的效果，也就要使向

33、量W的范数值取最小，并且要满足约束条件，二本文松弛 变量取值是2,如果想得到更好的分类准确率，可以自己手动调试松弛变量。4、特征属性取值范围尽量大，比如我们之前年余额，低于0欧元用0表示， 高于0欧元低于2000欧元用1表示，高于2000欧元低于4000欧元用2表示， 高于4000欧元用3表示，这很明显会使得有贷款和无贷款分类变得不准确，后 来我们对年龄不细分，就按人家调查的直接对特征取值。5、本文特征属性不多，有六个特征属性，我们要达到有贷款和无贷款的分 类准确率，我们要更多的特征属性。参考文献元昌安，邓松，李文敬，刘海涛，数学挖掘原理与SPSS Clementine应用宝 典 ， HYPERLINK /view/8b26aad676eeaeaad1f330e5.html /view/8b26aad676eeaeaad1f330e5.html ， 2015.4.28；Dark_Scope,决策树-从原理到实现， HYPERLINK /dark_scope/article/details/13168827%ef%bc%8c /dark_scope/article/details/13168827， 2015.4.29；姜启源，谢金星，叶俊，数学模型（第四版），北京：高等教育出版社， 2014；Chakarin Vajiramedhin. Featur