统计软件R作业-adult、babiesI数据

《数据分析与统计软件》作业姓名：杨烨军学号：2010110148

——adult、babiesI数据统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第1页!

部分

adult数据统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第2页!22.4：组合方法：adaboost、bagging、随机森林分析2.1、2.2、2.3：rpart分析2.5：最近邻方法分析2.6：人工神经网络分析2.8：关联规则分析2.7：支持向量机分析1数据简介目录统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第3页!变量描述序号变量名序号变量名1class:分类（>50K,<=50K）9relationship:关系（妻子、丈夫等）2age:年龄（连续变量）10race:种族（白人、黑人等）3workclass:工作类别（私人、不工作等）11sex:性别（女、男）4fnlwgt:（连续性变量）12capital.gain:财产收益（连续变量）5education:教育（学士、硕士、博士等）13capital.loss:财产损失（连续变量）6education.num:教育年限（连续变量）14hours.per.week:每周工作时间（连续变量）7marital.status:婚姻状况（未婚、已婚配偶为军人、已婚配偶为平民等）15native.country:国籍（美国、柬埔寨、英国等）8occupation:职业（技术支持、销售等）统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第4页!2.1分类树rpart分析:程序library(rpart);w=read.table("e:/adult.txt",header=TRUE,sep=",");wt=read.table("e:/adulttest.txt",header=TRUE,sep=",");summary(w);summary(wt);(b=rpart(class~.,w));b;plot(b,uniform=T,branch=1,margin=0.1,cex=0.9);text(b,cex=0.85);table(predict(b,w,type="class"),w[["class"]]);table(predict(b,wt,type="class"),wt[["class"]])统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第5页!2.1分类树rpart分析：输出结果训练集w分类结果真实<=50K>50K预测<=50K234733816>50K12474025误判率：0.155493测试集wt分类结果

真实

<=50K>50K预测<=50K118051901>50K6301945误判率：0.155457统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第6页!2.2分类树rpart分析：程序（变量筛选1）考虑到education（教育）与education.num（教育年限）相关性较大，只采用education.num（教育年限）。summary(w);(b1=rpart(class~age+workclass+education.num+marital.status+occupation+race+sex+capital.gain+capital.loss+hours.per.week+native.country,w));b1;plot(b1);text(b1,use.n=T)table(predict(b1,w,type="class"),w[["class"]]);table(predict(b1,wt,type="class"),wt[["class"]])统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第7页!训练集w分类结果真实<=50K>50K预测<=50K234433807>50K12774034误判率：0.156138测试集wt分类结果

真实

<=50K>50K预测<=50K118021893>50K6331953误判率：0.155150

测试集误判率略有降低，变量不筛选时误判率为0.1554572.2分类树rpart分析：结果（变量筛选1）统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第8页!n=32561node),split,n,loss,yval,(yprob)*denotesterminalnode1)root325617841<=50K(0.759190440.24080956)2)marital.status=Divorced,Married-spouse-absent,Never-married,Separated,Widowed175621139<=50K(0.935144060.06485594)*3)marital.status=Married-AF-spouse,Married-civ-spouse149996702<=50K(0.553170210.44682979)6)education.num<12.5105263484<=50K(0.669010070.33098993)*7)education.num>=12.544731255>50K(0.280572320.71942768)*婚姻状况：离婚、配偶失踪、分居等婚姻状况：已婚有配偶受教育年限不考虑财产收益与损耗情况下，收入类别与婚姻状况、受教育年限关系较强。2.3分类树rpart分析：结果（变量筛选2）统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第9页!library(adabag);b4=adaboost.M1(class~.,data=w,mfinal=15,maxdepth=5)b4.pred<-predict.boosting(b4,newdata=w);b4.pred[-1]b5.pred<-predict.boosting(b4,newdata=wt);b5.pred[-1]barplot(b4$importance)b4$importance训练集：ObservedClassPredictedClass<=50K>50K<=50K238513904>50K8693937$error[1]0.1465864测试集：ObservedClassPredictedClass<=50K.>50K.<=50K.124353846$error[1]0.2362263测试集中全部判断为<=50K。2.4组合方法之adaboost分析统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第10页!library(mlbench);b6=adaboost.M1(class~.,data=w,mfinal=25,maxdepth=5)b6.pred<-predict.boosting(b6,newdata=w);b6.pred[-1]b7.pred<-predict.boosting(b6,newdata=wt);b7.pred[-1]barplot(b6$importance)b6$importance训练集：ObservedClassPredictedClass<=50K>50K<=50K234653366>50K12554475$error[1]0.1419182测试集：ObservedClassPredictedClass<=50K.>50K.<=50K.124353846$error[1]0.2362263测试集中仍全部判断为<=50K。mfinal增加至25训练集误判率有所下降，相差不大2.4组合方法之adaboost分析统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第11页!b8=bagging(class~.,data=w,mfinal=25,maxdepth=5)b8.pred=predict.bagging(b8,newdata=w);b8.pred[-1]b9.pred=predict.bagging(b8,newdata=wt);b9.pred[-1]barplot(b8$importance)b8$importanceCompanyLogo训练集：ObservedClassPredictedClass<=50K>50K<=50K234733816>50K12474025$error[1]0.1554928测试集：ObservedClassPredictedClass<=50K.>50K.<=50K.124353846$error[1]0.2362263测试集中仍全部判断为<=50K。与adaboost方法相比，训练集误判率有所上升2.4组合方法之bagging分析统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第12页!>b10=randomForest(class~.,data=w,importance=TRUE)错误于randomForest.default(m,y,...):Cannothandlecategoricalpredictorswithmorethan32categories.randomForest不能处理32个分类以上的名义变量的预测，native.country（国籍）变量有41个类别，剔除native.country。>b10=randomForest(class~age+workclass+fnlwgt+education+education.num+marital.status+occupation+relationship+race,data=w,importance=TRUE)#剔除native.country错误:无法分配大小为248.4Mb的矢量此外:警告信息：1:Inas.vector(data):Reachedtotalallocationof1023Mb:seehelp(memory.size)…由于训练集观测较多，计32561个观测，处理量较大，无法处理。2.4组合方法之随机森林分析：程序统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第13页!par(mfrow=c(1,2));for(iin1:2)barplot(t(importance(b11))[i,],s=0.7)2.4组合方法之随机森林分析：输出结果统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第14页!2.5最近邻方法分析：结果测试集wt分类结果（1/10）

真实

<=50K>50K预测<=50K122246>50K28278误判率：0.201474由分类结果可以看出，误判率为0.201474，与前面不平衡数据的组合分析相比，分类效果好。统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第15页!2.6人工神经网络分析：结果size训练集w误判率测试集wt误判率20.240810.2362330.240290.2351840.240750.2361050.240350.2354360.186480.1910270.197570.1969280.195540.1940390.195880.19471隐藏层节点数由2至9的训练集w、测试集wt的误判率见左下表。节点数为10时由于toomany(1123)weights，无法处理。可以看出，节点数为6时，训练集w、测试集wt的误判率均最小。节点数为6，训练集w分类结果

真实

<=50K>50K预测<=50K220372683>50K33894452误判率：0.186481节点数为6，测试集wt分类结果

真实

<=50K>50K预测<=50K110381397>50K17132133误判率：0.191020统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第16页!2.7支持向量机分析：结果训练集w分类结果

真实

<=50K>50K预测<=50K232993307>50K14214534误判率：0.145204测试集wt分类结果

真实

<=50K>50K预测<=50K117141662>50K7212184误判率：0.146367训练集、测试集误判率均有所下降，但区别不大统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第17页!rules=apriori(ww,parameter=list(support=0.01,confidence=0.6));inspect(rules[1:10]);x=subset(rules,subset=rhs%in%"class=>50K"&lift>1.2);inspect(SORT(x,by="lift")[1:5]);x=subset(rules,subset=rhs%in%"class=<=50K"&lift>1.2);inspect(SORT(x,by="lift")[1:5])2.8关联规则分析：程序统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第18页!lhsrhssupportconfidencelift1{education=11th,hours.per.week=Part-time}=>{class=<=50K}0.0114247111.3171932{age=Young,hours.per.week=Part-time}=>{class=<=50K}0.0573078211.3171933{education=11th,education.num=low,hours.per.week=Part-time}=>{class=<=50K}0.0114247111.3171934{education=11th,hours.per.week=Part-time,native.country=United-States}=>{class=<=50K}0.0107490611.3171935{education=11th,capital.gain=None,hours.per.week=Part-time}=>{class=<=50K}0.0111483111.317193受教育11年的业余工作的人，年收入一般会低于5万业余工作年轻人，一般会低于5万学历较低的业余工作者，一般会低于5万受教育11年、业余工作、美国籍，一般会低于5万受教育11年、无财产收益的业余工作者，一般会低于5万收入较低者的特征：无稳定工作、学历较低、无财产收益2.8关联规则分析：结果统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第19页!

第二部分

babiesI数据统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第20页!2.方差分析baby=read.table("e:/babiesI.txt",header=TRUE,sep=",")summary(baby)aov1<-aov(bwt~as.factor(smoke),baby)summary(aov1)DfSumSqMeanSqFvaluePr(>F)as.factor(smoke)22391111955.538.109<2.2e-16***Residuals1233386811313.7---Signif.codes:0‘***’0.001‘**’0.01‘*’0.05‘.’0.1‘’1p值远小于0.01应拒绝原假设，即认为母亲是否吸烟与婴儿出生时体重有显著的相关关系。统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第21页!Coefficients:EstimateStd.ErrortvaluePr(>|t|)(Intercept)123.04720.6502189.237<2e-16***as.factor(smoke)1-8.93771.0349-8.636<2e-16***as.factor(smoke)93.65285.63860.6480.517---Signif.codes:0‘***’0.001‘**’0.01‘*’0.05‘.’0.1‘’1Residualstandarderror:17.71on1233degreesoffreedomMultipleR-squared:0.05822,AdjustedR-squared:0.05669F-statistic:38.11on2and1233DF,p-value:<2.2e-163.回归分析：输出结果R-squared=0.05822，较小；F-statistic:38.11,较大，伴随p值小于0.05，说明两变量间的关系较强。截距项系数为123.0472，且0.1%显著性水平下显著；as.factor(smoke)1项系数为-8.9377，且0.1%显著性水平下显著；as.factor(smoke)9项系数不显著。引入两个虚拟变量统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第22页!4.列联表分析：程序baby[["bwt"]]<-ordered(cut(baby[["bwt"]],c(0,88.18,141.10,180)),labels=c("low",“middle","high"));#88.18盎司约合2500克，低于2500克为低体重，正常体重是2500-4000克baby[["smoke"]]<-ordered(cut(baby[["smoke"]],c(-1,0,1,9)),labels=c("no","yes","unkown"));y1=xtabs(~bwt+smoke,data=baby)library(MASS);biplot(corresp(y1,nf=2))chisq.test(y1)统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第23页!考虑到smoke=9表示不知道是否吸烟，故这里删去10个smoke=9的观测，以考察母亲是否吸烟对婴儿出生体重的影响，还有1226个观测。baby=read.table("e:/babiesI.txt",header=TRUE,sep=",")aa=baby[baby[,2]!=9,]#剔除smoke=9的样本，新的数据框为aa;nrow(aa);summary(aa);lm2<-lm(bwt~as.factor(smoke),aa);summary(lm2);hist(lm2$residuals);qqnorm(lm2$residuals);qqline(lm2$residuals)shapiro.test(lm2$residuals)5.回归分析：程序（剔除smoke=9的样本）统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第24页!5.回归分析：残差检验（剔除smoke=9的样本）>shapiro.test(lm2$residuals)Shapiro-Wilknormalitytestdata:lm2$residualsW=0.9944,p-value=0.0001463残差直方图和QQ图显示残差大致呈正态分布，但shapiro检验显示残差不是正态分布。统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第25页!>chisq.test(y2)Pearson'sChi-squaredtestdata:y2X-squared=21.8115,df=2,p-value=1.835e-056.列联表分析：结果（剔除smoke=9的样本）chisq检验显示母亲是否吸烟与婴儿出生体重有较强的相关关系，对应分析图显示母亲吸烟的婴儿出生体重相对“不吸烟”情况而言要轻。统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第26页!1.数据简介数据来自于1994年人口普查数据，经过年龄>16、AGI>100、AFNLWGT>1和每周工作时间>0等条件筛选。共有48842个观测，其中：训练集32561个观测，测试集16281个观测。15个变量，其中：6个连续性变量，9个名义变量。资料来源：/ml/datasets/Adult任务：预测人们收入是否超过5万/年。统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第27页!数据概览ageworkclassfnlwgteducationeducation.nummarital.status139State-gov77516Bachelors13Never-married250Self-emp-not-inc83311Bachelors13Married-civ-spouse338Private215646HS-grad9Divorced453Private23472111th7Married-civ-spouse528Private338409Bachelors13Married-civ-spouseoccupationrelationshipracesexcapital.gaincapital.loss1Adm-clericalNot-in-familyWhiteMale217402Exec-managerialHusbandWhiteMale003Handlers-cleanersNot-in-familyWhiteMale004Handlers-cleanersHusbandBlackMale005Prof-specialtyWifeBlackFemale00hours.per.weeknative.countryclass140United-States<=50K213United-States<=50K340United-States<=50K440United-States<=50K540Cuba<=50K统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第28页!2.1分类树rpart分析：输出结果n=32561node),split,n,loss,yval,(yprob)*denotesterminalnode1)root325617841<=50K(0.759190440.24080956)2)relationship=Not-in-family,Other-relative,Own-child,Unmarried178001178<=50K(0.933820220.06617978)4)capital.gain<7073.517482872<=50K(0.950120120.04987988)*5)capital.gain>=7073.531812>50K(0.037735850.96226415)*3)relationship=Husband,Wife147616663<=50K(0.548607820.45139218)6)education=10th,11th,12th,1st-4th,5th-6th,7th-8th,9th,Assoc-acdm,Assoc-voc,HS-grad,Preschool,Some-college103293456<=50K(0.665408070.33459193)12)capital.gain<5095.598072944<=50K(0.699806260.30019374)*13)capital.gain>=5095.552210>50K(0.019157090.98084291)*7)education=Bachelors,Doctorate,Masters,Prof-school44321225>50K(0.276398920.72360108)*关系：未婚、自己为孩子、不在家庭、其他关系：丈夫、妻子学历较高学历较低财产收益大于5096财产收益大于7074财产收益小于7074财产收益小于5096统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第29页!2.1分类树rpart分析：结论可见：年工资收入是否超过5万，与个人在家庭中担任的角色、所受教育和财产收益有关。个人如果是家庭的丈夫或者妻子，收入相对较高；所受教育越高，收入相对较高；财产收益越高，收入相对较高。判断一个人年收入是否超过5万，可从关系、教育、财产收益三个变量表现来决定。统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第30页!2.2分类树rpart分析：输出（变量筛选1）n=32561node),split,n,loss,yval,(yprob)*denotesterminalnode1)root325617841<=50K(0.759190440.24080956)2)marital.status=Divorced,Married-spouse-absent,Never-married,Separated,Widowed175621139<=50K(0.935144060.06485594)4)capital.gain<7139.517252840<=50K(0.951309990.04869001)*5)capital.gain>=7139.531011>50K(0.035483870.96451613)*3)marital.status=Married-AF-spouse,Married-civ-spouse149996702<=50K(0.553170210.44682979)6)education.num<12.5105263484<=50K(0.669010070.33098993)12)capital.gain<5095.599982967<=50K(0.703240650.29675935)*13)capital.gain>=5095.552811>50K(0.020833330.97916667)*7)education.num>=12.544731255>50K(0.280572320.71942768)*婚姻状况：离婚、配偶失踪、丧偶等婚姻状况：已婚有配偶学历较高学历较低可见：年工资收入是否超过5万，与婚姻状况、所受教育和财产收益有关。统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第31页!再考虑到capital.gain、capital.loss本身与收入类别紧密相关，为挖掘其余变量与收入类别的关系，这里分析中不包括capital.gain与capital.loss变量。(b2=rpart(class~age+workclass+education.num+marital.status+occupation+race+sex+hours.per.week+native.country,w));b2;plot(b2);text(b2,use.n=T)table(predict(b2,w,type="class"),w[["class"]]);table(predict(b2,wt,type="class"),wt[["class"]])2.3分类树rpart分析：程序（变量筛选2）统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第32页!训练集w分类结果

真实

<=50K>50K预测<=50K234654623>50K12553218误判率：0.180523测试集wt分类结果

真实

<=50K>50K预测<=50K118112273>50K6241573误判率：0.177937与前面分析相比，训练集、测试集误判率均有所上升，因为这里少了财产收益和损失的信息。2.3分类树rpart分析：结果（变量筛选2）统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第33页!>b4$importanceageworkclassfnlwgteducationeducation.num11.7647060.0000000.00000015.2941181.176471marital.statusoccupationrelationshipracesex7.05882412.9411769.4117650.0000000.000000capital.gaincapital.losshours.per.weeknative.country24.7058829.4117658.2352940.000000重要性较强的变量有：capital.gaineducationoccupationage2.4组合方法之adaboost分析统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第34页!>b6$importanceageworkclassfnlwgteducationeducation.num10.66666670.00000000.000000012.66666672.0000000marital.statusoccupationrelationshipracesex6.666666712.66666679.33333330.00000000.0000000capital.gaincapital.losshours.per.weeknative.country26.000000010.00000009.33333330.6666667重要性较强的变量有：capital.gainoccupationeducationagecapital.loss2.4组合方法之adaboost分析统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第35页!>b8$importanceageworkclassfnlwgteducationeducation.num0.0000000.0000000.00000018.5185193.703704marital.statusoccupationrelationshipracesex0.0000003.70370423.1481480.0000000.000000capital.gaincapital.losshours.per.weeknative.country49.0740741.8518520.0000000.000000重要性较强的变量与前面有所差异：capital.gain

relationshipeducationoccupationeducation.numcapital.loss2.4组合方法之bagging分析统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第36页!考虑从w中抽取1/3为训练集，则可运行。m=nrow(w);m;set.seed(1);samp=sample(1:m,floor(m/3));b11=randomForest(class~age+workclass+fnlwgt+education+education.num+marital.status+occupation+relationship+race,data=w[samp,],importance=TRUE)table(predict(b11,w,type="class"),w[["class"]])table(predict(b11,wt,type="class"),wt[["class"]])w分类结果

真实

<=50K>50K预测<=50K231612524>50K15595317误判率：0.125395wt分类结果

真实

<=50K>50K预测<=50K113381682>50K10972164误判率：0.1706902.4组合方法之随机森林分析：程序统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第37页!2.5最近邻方法分析：程序训练集w有32561个观测，测试集wt有16281个观测，观测较多R软件较难处理。这里分别取训练集w和测试集wt的1/10进行处理。library(kknn);w=read.table("e:/adult.txt",header=TRUE,sep=",");wt=read.table("e:/adulttest.txt",header=TRUE,sep=",");n=nrow(w);set.seed(1);test=sample(1:n,n/10)n1=nrow(wt);set.seed(2);test1=sample(1:n1,n1/10)a=kknn(class~.,w[test,],wt[test1,])table(wt[test1,]$class,a$fit)统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第38页!2.6人工神经网络分析：程序library(nnet);library(mlbench);w=read.table("e:/adult.txt",header=TRUE,sep=",");wt=read.table("e:/adulttest.txt",header=TRUE,sep=",");w.nn1=nnet(class~.,data=w,size=2,rang=0.1,decay=5e-4,maxit=1000)table(w$class,predict(w.nn1,w,type="class"))table(wt$class,predict(w.nn1,wt,type="class"))统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第39页!2.7支持向量机分析：程序library(mlbench);library(e1071);w=read.table("e:/adult.txt",header=TRUE,sep=",");wt=read.table("e:/adulttest.txt",header=TRUE,sep=",");ww=rbind(w,wt);summary(ww)model<-svm(class~.,data=ww[1:32561,],kernal="sigmoid")pred.train<-fitted(model)(r1=table(pred.train,ww$class[1:32561]))pred.test<-predict(model,ww[32562:48842,-15])(r2=table(pred.test,ww$class[32562:48842]))统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第40页!library(arules);w=read.table("e:/adult.txt",header=TRUE,sep=",");summary(w);w[["fnlwgt"]]<-NULL;w[["age"]]<-ordered(cut(w[["age"]],c(15,25,45,65,100)),labels=c("Young","Middle-aged“,"Senior","Old"));#把年龄数据变换成分类数据w[["education.num"]]<-ordered(cut(w[["education.num"]],c(0,9,13,16)),labels=c("low","Middle","up"));w[["hours.per.week"]]<-ordered(cut(w[["hours.per.week"]],c(0,25,40,60,168)),labels=c("Part-time","Full-time","Over-time","Workaholic"));w[["capital.gain"]]<-ordered(cut(w[["capital.gain"]],c(-Inf,0,median(w[["capital.gain"]][w[["capital.gain"]]>0]),Inf)),labels=c("None","Low","High"));w[["capital.loss"]]<-ordered(cut(w[["capital.loss"]],c(-Inf,0,median(w[["capital.loss"]][w[["capital.loss"]]>0]),Inf)),labels=c("none","low","high"));ww<-as(w,“transactions”);#转换成交易型数据2.8关联规则分析：程序统计软件R作业——adult、babiesI数据共50页，您现在浏览的是第41页!lhsrhssupportconfidencelift1{age=Middle-aged,marital.status=Married-civ-spouse,capital.gain=High,native.country=United-States}=>{class=>50K}0.010871901.00000004.1526592{age=Middle-aged,sex=Male,capital.gain=High,native.country=United-States}=>{class=>50K}0.012376770.99752484.1423803{age=Middle-aged,marital.status=Married-civ-spouse,capital.gain=High}=>{class=>50K}0.011762540.99739584.1418454{age=Middle-aged,marital.status=Married-civ-spouse,capital.gain=High,capital.loss=none}=>{class=>50K}0.011762540.99739584.1418455{workclass=Private,relationship=Husband,race=White,capital.gain=High}=>{class=>50K}0.011701110.99738224.141788中年、结婚配偶为平民、财产收益高的美国籍人，年收入一般会超过5万中年、财产收