CART和梯度提升机模型对比研究-基于静脉移植血管病(SVGD)数据

学术汇报CART和梯度提升机模型对比研究—基于静脉移植血管病(SVGD)数据01目录CONTENT研究背景研究方法模型的评价与对比020403模型的构建Part

1研究背景SVGD数据简介

研究背景……静脉移植血管病（saphenousveingraftdisease，SVGD）定义：CHD患者在冠状动脉旁路移植术后(CoronaryArteryBypassGrafting，CABG)后由于移植血管病变引起患者缺血症状复发的疾病。晚期SVGD诊断标准为：CABG术后(≥1年)经冠脉造影检查，移植血管出现显著的狭窄（狭窄程度≥50%）Part

2研究方法数据分析思路数据分析思路全数据训练集测试集CARTGBMPart

3模型的构建CART模型构建GBM模型构建举个简单的例子根据上网特征预测年龄，假设有甲、乙、丙及丁四个人，其年龄分别为14、16、24及26岁。CART模型GBM模型上网时长>1h20（14,16,24,26）15（14,16）25（24,26）14（14）16（16）24（24）26（26）购物金额≤1K购物金额>1K上网时长≤1h晚上上网全天上网甲=0，丙=020（14,16,24,26）15（14,16）25（24,26）0（-1,1,-1,1）-1（-1,-1）1（1,1）购物金额≤1K购物金额>1K经常上百度提问经常在百度回答第一棵树的残差乙=0，丁=0第二棵树的残差模型的构建

CART模型

CART模型

CART模型

CART模型

CART模型梯度提升机(GBM)模型提出基本术语算法简介

GBM模型

偏导数梯度导数方向导数GBM基本术语GBM模型

GBM模型GBM模型GBM算法正则化及交叉验证控制迭代次数设置收缩参数gbm1<-gbm(SVGD~`桥龄(年)`+心脏病类型+`隐静脉桥(支)`+`左室舒张期径长(mm)`+`左室射血分数(%)`+`原位病变血管(支)`+`VLDL(mmol/L)`+`LP(a)(mmol/L)`+`Hcy(μmol/L)`,data=SVGD,distribution=“bernoulli”,n.trees=300,interaction.depth=2,shrinkage=0.05,cv.folds=10,keep.data=TRUE,,n.minobsinnode=30)best.iter<-gbm.perf(gbm1,method="cv")GBM结果关于截断点选择的说明：梯度提升模型会给出每个个体发生SVGD预测概率值，为了与CART决策树一致，将GBM概率预测值的截断点设为0.5，以便在同一截断水平上比较二者的分类效果。GBM模型

GBM模型Part

4模型的评价与比较模型的评价：单一指标、复合指标模型的比较：NRI、IDI模型的评价与比较1、单一指标准确率（accuracy）灵敏度(sensitivity)特异度(specificity)阳性预测值(positivepredictionvalue)阴性预测值(negativepredictionvalue)2、复合指标ROC曲线下面积(areaundercurve)几何均值(G-mean)F1得分(F1score)3、NRI净重分类提升指数（netreclassificationimprovement）4、IDI整合判别提升指数(integrateddiscriminationimprovement)评价指标意义计算公式准确率（ACC）分类正确的比例ACC=(TP+TN)/(TP+TN+FP+FN)灵敏度（SE）模型对正类的分类准确率SE=TP/(TP+FN)特异度（SP）模型对正类的分类准确率SP=TN/(FP+TN)阳性预测值（PPV）被正确分类的正类占所有预测为正类的样本的比例PPV=TP/(TP+FP)阴性预测值（NPV）被正确分类的负类占所有预测为负类的样本的比例NPV=TN/(TN+FN)模型的评价评价指标意义计算公式ROC曲线下面积（AUC）ROC曲线下面积，反映指标区分能力software几何均值（G-mean）SE和SP的几何平均,只有当两者都较高时，G-mean才会较高F1得分（F1score）召回率和精度的调和均值1.单一指标2.综合指标评价指标训练集测试集CARTGBMCARTGBMACC0.785(0.745,0.823)0.838(0.801,0.876)0.703(0.637,0.769)0.825(0.765,0.879)SE0.914(0.880,0.944)0.962(0.935,0.984)0.819(0.752,0.883)0.909(0.849,0.962)SP0.492(0.410,0.576)0.564(0.467,0.657)0.400(0.306,0.575)0.659(0.524,0.781)PPV0.803(0.760,0.845)0.830(0.785,0.873)0.770(0.698,0.841)0.830(0.785,0.873)NPV0.718(0.620,0.809)0.871(0.787,0.944)0.513(0.370,0.655)0.871(0.787,0.944)AUC0.767(0.719,0.814)0.906(0.875,0.935)0.708(0.627,0.784)0.890(0.834,0.936)G-mean0.670(0.612,0.727)0.736(0.669,0.798)0.597(0.495,0.689)0.736(0.669,0.798)F1-score0.855(0.825,0.885)0.891(0.863,0.919)0.793(0.739,0.845)