聚类分析应用范例 2

xxx大学本科课程设计（论文）专业：金融111题目：基于聚类分析方法的探索作者姓名：xxx学号：xxxxxxxxxx成绩：2013年10月21日摘要多元统计分析是运用数理统计方法来研究解决多指标问题的理论和方法。近30年来，随着计算机应用技术的发展和科研生产的迫切需要，多元统计分析被广泛应用于自然学科和社会科学的各个学科，已经成为人们解决实际问题不可或缺的重要工具。我国是一个农业大国，农民约占全国总人口的70%以上，是最大的消费群体，进行研究时要处理大量的复杂信息，因此运用统计方法探索农村消费状况有着重要的实际意义。本文首先从我国农村消费现状入手，采用聚类分析方法对我国各地区农村消费支出结构水平进行分类比较研究，以得出各因素对农村消费状况影响程度，进而得出了相应的结论并提出增加我国农村居民消费的对策：一是增加农村居民收入；二是提高消费者素质；三是改善农村居民的消费环境；四是完善农村社会保障；五是统筹协调发展。本文所研究的农村消费状况就受多种因素支配，各种因素之间也常存在着一定的内在联系和相互制约。需要分析哪些是主要的，本质的，哪些是次要的，片面的，他们之间是什么样的关系等问题，多元统计分析正是解决这些问题的有力工具。因而利用统计方法中的聚类分析有着重要的应用价值。关键词：农村；消费；聚类分析引言经过改革开放三十年的风雨历程，在投资、消费和出口三驾马车的拉动下，我国经济飞速发展，人民生活水平日益提高，居民收入不断增长,全面建设小康社会取得重大进展，实现了人民生活由温饱不足向总体小康的历史性跨越。十七届三中全会提出“到2020年，农村改革发展基本目标任务是：农村经济体制更加健全，城乡经济社会发展一体化体制机制基本建立；现代农业建设取得显著进展，农业综合生产能力明显提高，国家粮食安全和主要农产品供给得到有效保障；农民人均纯收入比2008年翻一番，消费水平大幅提升，绝对贫困现象基本消除[1]。”党中央正式把提升农村居民消费水平作为未来我国经济发展的目标，不仅体现了改革开放给农村居民生活所带来的显著变化，更体现了整个中国居民的整体消费水平的增长，借此稳定中国的经济基础，实现国民经济的可持续发展的长远规划。随着党中央对农村消费的重视，社会各界对农村居民消费的关注程度不断增加，出现了大量对农村居民消费的研究成果。朱信凯、雷海章和王宏伟，采用了相对收入理论研究我国农村居民消费行为。刘建国和李锐、项海荣在弗里德曼的持久收入假说消费理论框架下，对我国农村居民消费倾向进行研究。汪宏驹、张慧莲从流动性约束角度剖析了我国农村居民消费行为。西方经济学的消费理论一般突出收入是影响消费的主要因素。凯恩斯的绝对收入假说认为，消费是由收入唯一决定的，消费和收入之间存在稳定的函数关系。杜森贝利的相对收入假说认为，消费者的消费支出水平不仅受当前收入水平的影响。也受自己历史上曾经实现的消费水平的影响，这种现象被称为消费的“不可逆性”。毫无疑问，国内有关此类问题的研究还处于理论阶段，与国外相比仍有很大差距，有待进一步扩展和深入。评价指标的选取：探索农村消费状况,必须建立适当的指标体系。但由于消费指标的复杂性和多样性,各指标的选取要遵循以下原则:(1)选取的指标能客观地反映农村消费状况主要方面；(2)指标之间基本上相互独立；(3)尽量选取相对指标。本文选取了食品（）、衣着（）、居住（）、家庭设备及服务（）、交通和通讯（）、文教娱乐用品及服务（）、医疗保健（）、其他商品及服务（）[2]。第1章绪论1.1选题背景改革开放30多年来，我国经济一直保持高速增长。伴随着经济的高增长，我国居民的总体收入水平也相应大幅提高，人民生活质量已基本达到小康水平，同时收入分配的格局发生了重大变化，个人收入来源日趋多样化。但是随着个人收入取得的市场化程度提高，出现了个人收入分配差距过大的情况，而且这种趋势越来越显著。在经过2008年重大自然灾害后，我国又面临着国际金融危机的蔓延和巨大冲击。近十年来，我国的经济规模不断扩大。2008年GDP总量已超过30万亿元，居世界第三位。然而，虽然经济蛋糕做大了，但国内居民享用的份额却在不断下降，其突出的特征是投资率和消费率的变化。我国近十年平均投资率在20%以上，比世界平均投资率(20%左右)高出近20个百分点；近十年平均最终消费率为36.6%，比世界平均消费率(78%左右)低20多个百分点。我国的消费率不仅大大低于世界平均水平，并长期呈下降趋势。目前我国最终消费率过低，在很大程度上是由于居民消费持续走低造成的。我国居民消费率从1998年的76%下降到2007年的72.7%，达到历史最低水平；与此同时，城乡居民消费差距持续扩大。在居民消费支出构成中,城镇居民和农村居民的消费比重比十年前年分别提高和下降11.3个百分点。由于最终消费率长期偏低,国内居民消费需求增长缓慢,经济增长过份依赖投资和出口。三大需求对GDP增长的贡献率,近十年投资的贡献率由1998年的26.2%上升到2007年的20.9%,而消费的贡献率则由37.1%下降到39.2%，投资对GDP增长的拉动作用明显增强，而消费的拉动作用明显减弱，导致了我国现阶段经济增长动力不足，国内经济形势严峻。1.2研究意义作为一个发展中国家，拉动经济增长的最主要力量仍然是国内需求，而扩大国内需求的一个重要举措是刺激国内消费，而农民作为中国广大的消费群体，其消费水平和消费需求的变化直接关系到内需的政策的效果。目前，农民生活水平虽然有显著提高，但是农民消费仍然不足。长期以来农村消费市场启而不动、发展缓慢，这已经影响到整个国民经济的健康发展。同时，我国投资与消费的长期失衡孕育着经济运行的巨大风险消费率偏低，投资率过高，往往造成产能过剩，产品供过于求矛盾突出，导致企业效益下降，失业率增加；还造成内需不足后国内企业为求出路只能寻求海外市场，从而导致出口压力增大，人民币升值压力加大，外部风险加大；更为严重的是，居民消费率持续过低，不但使投资行为有可能偏离目标，即投资为了创造财富，最终为了消费而且终将使投资行为缺乏最终消费的强力支持而难以为继，进而造成经济的大起大落[3]。因此研究中国农村居民消费状况，对于我国制定完善经济政策，改善农村居民消费结构，促进消费水平，进一步提高农民消费质量有重要的意义。第2章聚类分析2.1基本思想聚类分析的基本思想是认为研究的样本或变量之间存在着程度不同的相似性，根据一批样本的多个观测指标，具体找出一些能够度量样本或指标之间相似程度的统计量，以这些统计量为划分类型的依据，把一些相似程度较大的样本(或变量)聚合为一类，把另外一些彼此之间相似程度较大的样本(变量)也聚合为一类，关系密切的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单位，直到把所有的样本(或变量)都聚合完毕，把不同的类型一一划分出来，形成一个由小到大的分类系统；最后再把整个分类系统画成一张图，将亲疏关系表示出来[2]。2.2系统聚类法就聚类分析的内容而言，可分为系统聚类法、有序样品聚类法、动态聚类法和模糊聚类法。这里主要介绍系统聚类法。系统聚类法的聚类过程如下：首先将所研究的每个事物对象自己看作一个类，计算相互之间的接近程度后，将最相近的先合并为一类。然后，进一步计算类与类之间的距离，再合并相近的类，直至将所有对象合并为一个大类。也就是说，系统聚类的过程实际上给出了从最细的分类（每个对象自己为一类）到最粗的分类（所有的对象归为一类）之间的所有分类结果。最后，根据问题需要，可以将对象分为若干类，即选择聚类过程中的一个分类结果。设有个样品，每个样品测得项指标（变量），原始资料阵为（2-1）其中为第个样品的第个指标的观测数据。第个样品为矩阵的第行所描述，所以任何两个样品与之间的相似性，可以通过矩阵中的第行与第行的相似程度来刻划；任何两个变量与之间的相似性，可以通过第列与第列的相似程度来刻画。23点与点之间距离的度量方法点与点之间的距离包括欧式距离（Euclideamdistance）、欧式距离的平方（SquaredEuclideandistance）、切比雪夫（Chebychev）距离、绝对值距离（Block）、明氏距离（Minkowski），同时SPSS还给出了一个自定义（Customized）的距离，它是一个绝对幂的度量，即变量之差绝对值的次幂之和的次根，与由用户指定。另外还有相似系数Cosine（变量矢量的余弦）和Pearsoncorrelation（皮尔森相关系数）。距离和相似系数计算公式如下：欧式距离：(2-2)欧式距离的平方：（2-3）变量矢量的余弦：(2-2)皮尔森相关系数：（2-3）切比雪夫距离：（2-6）绝对值距离：（2-7）明氏距离：（2-8）自定义距离：（2-9）2.2类之间距离的度量方法类与类之间的距离定义不同，就产生了8种不同的系统聚类方法：最短距离法（Nearestneighbor）、最长距离法（Furthestneighbor）、重心法（Centroidclustering）、中间距离法（Medianclustering）、类平均法（Within-groupslinkage）、可变类平均法（Between-groups）、离差平方和法（Ward）和可变法。SPSS给出了前7种，系统默认为可变类平均法。这样由于所选择的聚类方法不同，往往聚类的结果会有些差异。因此在应用中可以多选择几种方法聚类，找出共性的结果对一些有争议的可以使用判别分析解决。下面列出了SPSS的上述7种系统聚类方法及其类与类之间距离的定义。其中表示类的任意样品与类的任意样品之间的距离；表示类与之间的距离；类是由类与合并而成的新类，任意其他类到类的距离自然就记为。类平均法：，（2-10）可变类平均法：，（）（2-11）最短距离法：(2-12)最长距离法：（2-13）重心法：，为类样品的均值（重心），为类样品的均值（2-12）中间距离法：（2-13）离差平方和法：（2-16）第3章聚类分析计算与分析下面以一个具体的例子来实现实证分析。2008年我国其中31个省、市和自治区的农村居民家庭平均每人全年消费性支出食品（）、衣着（）、居住（）、家庭设备及服务（）、交通和通讯（）、文教娱乐用品及服务（）、医疗保健（）、其他商品及服务（）。3.1聚类分析的计算使用系统聚类法对各地区农村居民家庭平均每人生活消费支出进行聚类，即从综合角度来看哪些地区的消费水平类似；再对不同的消费项目进行聚类，即对变量进行聚类，来看哪些变量属于一类。其数据如表3-1所示。表3-1原始数据表地区食品衣着居住家庭设备及服务交通和通讯文教娱乐用品及服务医疗保健其他商品及服务北京2270.72377.811162.96202.36930.33883.33709.22127.29天津1368.93292.32699.21133.61202.87322.27301.0682.73河北1192.93203.72696.12131.92326.73230.07219.3262.28山西1206.69276.23286.73138.26328.72380.70210.3269.83内蒙古1283.61239.96369.60128.80206.72399.33320.6269.23辽宁1329.00298.82601.71138.91226.27387.97283.37107.78吉林1362.22232.03330.69122.80333.38321.70380.7193.27黑龙江1267.68308.29871.31130.00393.02237.37331.0383.21上海3731.27267.331806.08303.96879.37833.30697.11179.06江苏2202.38276.39860.33230.11612.23713.23 290.93120.36浙江2779.1232.791639.88362.03831.06727.00 332.06126.12安徽1232.18180.02630.31163.33280.63292.82199.2238.92福建2162.30263.39777.31222.86332.68390.13197.83113.01江西1633.12137.73339.39133.00301.68236.01203.6860.38山东1331.77230.29802.73220.91232.33217.27280.2979.00河南1163.81209.73712.61169.61290.79212.38213.0066.27湖北1711.32187.07631.30232.92290.22267.13210.3699.80湖南1927.32169.06629.73171.11286.01278.67222.1778.67广东2388.91177.67962.33189.01283.66272.87239.00136.82 广西1392.6791.19333.23122.01261.83172.73132.3230.81海南1337.3389.89391.02102.07261.37288.29123.8286.67重庆1337.39160.32328.97167.72238.23211.83197.1322.87四川1627.38172.39269.73163.99236.08173.26 209.2233.29贵州1119.62112.26227.2092.36139.61 122.1096.3833.73云南1283.16119.63626.12118.97228.23168.33181.9723.97西藏1133.37228.68322.07120.06127.2162.2633.8270.09陕西1113.66173.30398.39133.07270.63331.99231.2360.70新疆1126.69218.61292.7797.38276.31168.99222.3926.22甘肃1132.33132.66387.8393.38232.69219.91162.7231.03青海1220.02200.26368.79110.33316.73128.86270.0661.32宁夏1288.27217.17382.27123.91299.29192.37 318.7772.20注：数据来源—（中华人民共和国国家统计局）3.2计算结果与分析利用SPSS软件进行计算，结果如下：表3-1案件处理综述CaseProcessingSummaryaCasesValidMissingTotalNPercentNPercentNPercent31100.0%0.0%31100.0%a.EuclideanDistanceused上表给出了参加系统聚类分析的9个变量（1个因变量，8个自变量）的记录数统计结果。共31个有效数据（Valid）参加了分析，无缺失值记录（Missing），总记录数为31个（Total）。表3-2聚类进度表AgglomerationScheduleStageClusterCombinedCoefficientsStageClusterFirstAppearsNextStageCluster1Cluster2Cluster1Cluster21316.198001122023.232001731223.723007429301.008009512271.3910011622281.7920021712222.22230178262.6320013929313.109202010373.3720013113122.06713161217182.391002313233.2298101212283.908130181313196.660002216327.213110201712208.1727219182139.0321202319122110.023170222032911.1081692721222612.236602222101313.231013282311112.718002624122216.1371921272521717.728181228261919.229230302731221.7972022292821022.287232229292331.222282730301227.22226290上表给出了反映聚类过程的聚类进度表。它的每一行表示一次聚类，并给出聚类对象的名称，第一列对应的格中给出这次聚在一起的两个群间的距离。可看出：第一步河北和河南聚在一起，他们的相关系数为0.198；第二步广西和云南聚在一起，他们的相关系数为0.232，…，如此类推。使用SortCases命令，对数据窗口中Ward法生成的分类变量CLU3_1进行排序，如表3-3所示。表3-3Ward法聚类结果整理表第一类第二类第三类北京上海浙江天津内蒙古辽宁吉林黑龙江江苏福建山东湖北湖南广东河北甘肃青海宁夏新疆山西安徽江西河南广西海南重庆四川贵州云南西藏陕西从表中分类我们可以清楚的看出：第一类是北京、上海、浙江这几个经济发展水平很高的地区，这些地区的农村居民的衣着、交通和通讯、文教娱乐用品及服务、医疗保健等这几个项目的支出比例是这3类中最高的，这些消费项目是已经超越于日常生活必需品消费，因此这一类的农村居民生活水平是最高的。第二类中的这些地区的农村居民的衣着、交通和通讯、文教娱乐用品及服务、医疗保健等这几个项目的支出比例在所有的消费中占的比例也非常高，仅次于第一类中的几个地区，农村居民的生活水平大部分已经达到了小康水平。第三类中的地区的农村居民的生存性消费还是占主导地位，即食品、居住占主导，而精神消费、娱乐文化等消费欠缺，这一类中的农村居民生活水平已经解决了温饱，正在向小康迈进。从分类中可以看出，生活水平较高的农村居民都是东部沿海经济较发达的省市，而西南部欠发达省市的农村居民生活水平相对较低，这很大原因是各地区经济发展不平衡，造成居民收入差异较大，使得贫困地区的居民可用于消费的资金不多，不敢消费。如下图所示，树状聚类图的横轴为距离，纵轴为各个案例（即初始小类），从图中看出：河北和河南两群之间的距离最短，他们首先聚在一起；在剩余的30类中（河北和河南第一步已聚在一起，算作一类），广西和云南间距离最短，他们聚在一起，聚了两步，减少了2类，…，直到最后，由31个案例聚在一起聚成一个大群，直至此系统聚类过程完成。所以说正是由于树状聚类图能直观明了的展示聚类的过程，所以实际中应用广泛。*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

H

I

E

R

A

R

C

H

I

C

A

L

C

L

U

S

T

E

R

A

N

A

L

Y

S

I

S

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

Dendrogram

using

Ward

Method

Rescaled

Distance

Cluster

Combine

C

A

S

E

0

3

10

13

20

23

Label

Num

++++++

河北

3

─┐

河南

16

─┤

安徽

12

─┼─┐

陕西

27

─┤

│

山西

2

─┘

├───┐

青海

29

─┐

│

│

宁夏

30

─┼─┘

│

新疆

31

─┘

│

广西

20

─┐

├─────────────┐

云南

23

─┼─┐

│

│

江西

12

─┤

│

│

│

四川

23

─┤

│

│

│

重庆

22

─┘

│

│

│

海南

21

───┼───┘

│

贵州

22

─┬─┤

├───────────────────────────┐

甘肃

28

─┘

│

│

│

西藏

26

───┘

│

│

福建

13

─┬─┐

│

│

广东

19

─┘

├───┐

│

│

江苏

10

───┘

│

│

│

湖北

17

─┬───┐

├─────────────┘

│

湖南

18

─┘

│

│

│

天津

2

─┐

├─┘

│

辽宁

6

─┤

│

│

内蒙古

3

─┼─┐

│

│

吉林

7

─┤

├─┘

│

黑龙江

8

─┘

│

│

山东

13

───┘

│

北京

1

───┬─┐

│

浙江

11

───┘

├───────────────────────────────────────────┘

上海

9

图3-1树状聚类图结论与建议由以上分析可见，近些年来,我国农村居民消费水平和生活质量有了显著提高,消费结构也相应发生了深刻的变化,部分地区农村居民的生活水平已经实现了从传统的“温饱型”到“小康型”的全面升级。但是我们从中也能发现我国农村居民消费存在着不少问题，主要表现在以下方面：（一）农村居民的消费结构所谓消费结构，是指“农村居民对各种消费资料和劳务消费的比例关系，它是农民消费状况和消费特点的重要指标，也能反映出农民的消费水平[6]。”主要包括食品、衣着、家庭设备用品及服务、医疗保健、交通通讯、文教娱乐、居住、及其他商品和服务等8个结构支出。第一，中国农村居民的总体消费水平偏低，消费结构有生存型消费的特征。“食物支出在总消费支出中所占的比重是一个十分重要的指标，它是反映生活水平与消费质量的高低的一个十分敏感的指标[7]。”而我国农村居民吃、穿、住等基本生活资料的需求仍然是消费支出的大项，这些消费占全年消费的一半，有的地区甚至更高。虽然进入21世纪以来生存型消费比重有所降低，但幅度不大。第二，交通、通讯、娱乐、教育消费大幅增加。随着农村收入水平提高，农村电话、电视普及率的提高，带动了农村居民的通讯与娱乐消费的大幅度提升，农村居民对教育的重视程度大大提高。然而，由于农村地处偏远，文化设施匮乏，农村居民享受娱乐文化消费的阻碍较大，因此对精神消费的需求虽然存在，但实施起来有一定客观上的困难，阻碍了农村精神消费的增加。同时近年来教育费用呈现出上升趋势，物价上涨，这些消费对农村居民来说是种沉重的负担。（二）农村居民的消费心理所谓消费心理，是指消费者进行消费活动时所表现出的心理特征与心理活动的过程，消费者心理与行为是一种极其复杂的社会心理学现象，它不仅受消费者自身的需要、动机等心理因素的影响，而且受消费活动的外界影响。对于农村消费者来说，他们的消费行为更是受到传统观念﹑现实环境﹑经济趋势等的制约。第一，勤俭持家的传统心理，消费谨慎。农村居民对于生活消费品，抱着多用一天算一天的想法，购买消费品追求价格低廉，实用，不需要的生活品，有购买能力也不会购买，此种心理直接导致农村居民消费率过低，资金流动不畅，并严重影响我国总体消费水平的提高，严重的影响了农村合理有效消费的升级。第二，缺乏对消费的科学性合理性的认识，偏重于远期消费。由于信息流通的不畅与受教育的程度偏低，许多农村家庭的消费意识相对滞后，农村居民对一些消费品给生活所带来的便利﹑以及连带而产生的经济效益认识不足，限制了他们对于消费品的购买。农村居民由于对预期收入信心不足，所以要为自身的养老﹑治病﹑农业规划做好长期的准备，还要为子女的上学﹑结婚﹑盖房等大量存钱，这就使农民不得不牺牲一些眼前的消费而顾及长远，此种心理大幅度地减低了农村即时消费的总量，预防性储蓄数额较大，即时消费减少。（三）各地区消费水平差距较大由于各地区经济发展水平等方面存在差异，使得不同地区的农村居民收入水平不同，可有用于消费的资金多少不同。我们从分析结果中可以看到，那些农村居民生活水平达到小康的地区，都是东部沿海经济较发达的省市，他们不再是为了解决温饱，而是往精神文化消费方面发展。而中西部省市的农村居民的生活水平仅仅停留在解决基本生活问题，精神文化消费匮乏。针对以上问题，应从以下几个方面入手：（一）提高农村居民收入，启动消费提高农村居民收入，是扩大内需，启动消费最直接、最有效的办法之一。只有当农村居民有可靠的收入保障他们才能放心的去消费。而提升农民素质,是增加农民收入的关键。作为农民自己要充分发挥主观能动性,主动学习知识和技能,不断提高自身素质,提高农民增收致富的本领。政府有关部门要认真贯彻落实国家的各项扶农政策，大力调整农业结构，引导农村剩余劳动力转移，为农村居民就业增收提供途径。（二）提高消费者素质消费者素质是特指人们为消费主体在消费行为上所具备的修养和能力。这种能力主要包括审美鉴赏能力、识别挑选能力、质量监督能力和适度消费能力。提高消费者素质，是优化消费结构的关键。提高消费者素质，建立科学、健康的消费观念是一个长期的任务。当前，要积极运用舆论工具，宣传消费知识，树立正确的消费观念和