SAS学习系列26.-Logistic回归

26.Logistic回归〔一〕Logistic回归一、原理二元或多元线性回归的因变量都是连续型变量，假设因变量是分类变量〔例如：患病与不患病；不重要、重要、非常重要〕，就需要用Logistic回归。Logistic回归分析可以从统计意义上估计出在其它自变量固定不变的情况下，每个自变量对因变量取某个值的概率的数值影响大小。Logistic回归模型有“条件〞与“非条件〞之分，前者适用于配对病例对照资料的分析，后者适用于队列研究或非配对的病例-对照研究成组资料的分析。对于二分类因变量，y=1表示事件发生；y=0表示事件不发生。事件发生的条件概率P{y=1|xi}与xi之间是非线性关系，通常是单调的，即随着xi的增加/减少，P{y=1|xi}也增加/减少。Logistic函数F(x)=11+e该函数值域在(0,1)之间，x趋于-∞时，F(x)趋于0；x趋于+∞时，F(x)趋于1.正好适合描述概率P{y=1|xi}.例如，某因素x导致患病与否：x在某一水平段内变化时，对患病概率的影响较大；而在x较低或较高时对患病概率影响都不大。记事件发生的条件概率P{y=1|xi}=pi，那么pi=11+记事件不发生的条件概率为1-pi=那么在条件xi下，事件发生概率与事件不发生概率之比为pi1称为事件的发生比，简记为odds.对odds取自然对数得到ln上式左边〔对数发生比〕记为Logit(y),称为y的Logit变换。可见变换之后的Logit(y)就可以用线性回归，计算出回归系数α和β值。假设分类因变量y与多个自变量xi有关，那么变换后Logit(y)可由多元线性回归：或二、回归参数的解释1.三个名词发生比〔odds〕=事件发生频数事件未发生频数=例如，事件发生概率为0.6，不发生概率为0.4，那么发生比为1.5〔发生比>1，表示事件更可能发生〕。发生比率〔OR〕=odds1odds2=p即主对角线乘积/副对角线乘积，也称为交叉积比率，优势比。例如，说明：大于1〔小于1〕的发生比率，说明事件发生的可能性会提高〔降低〕，或自变量对事件概率有正〔负〕的作用；发生比率为1表示变量对事件概率无作用。相对风险〔RR〕=p1p用来进行两组概率之间的比拟。当p1=p2时，相对风险为1，说明两组在事件发生方面没有差异。2.连续型自变量回归参数的解释截距α：基准发生比的对数，即当Logistic回归模型中没有任何自变量时〔除常量外，所有自变量都取0值〕所产生的发生比。由于理解发生比，比理解对数发生比更容易，故将Logistic回归模型改写为：odds=p1-p=假设βk>0〔βk<0〕，那么eβk>1〔eβk<1〕,即xk每增加一个单位值时发生比会相应增加〔减少〕；假设βk=0，那么eβkeβk反映了自变量xk增加一个单位时发生比所变化的倍数，即(xk+1)时的发生比与原发生比【(xk)时】之比。自变量x(注：由于βk是自变量xk的偏系数估计，故eβk称为调整发生比率〔AOR〕的估计。实际中，往往更关心的不是自变量变化1个单位，而是变化一段水平b-a个单位，例如年龄每增加AOR=e3.二分类自变量回归参数的解释二分类变量，例如性别，取值可以用0或1编码，也称为标志变量或虚拟变量。假设xk为取值0或1的二分类变量，那么有两式作差得可见βk就是在控制其它变量条件下，xk=1与xk=0的对数发生比的差；也即是发生比率的对数，即调整发生比率的估计可表示为AOR=e注意，发生比率是p1/(1-p1)4.多分类变量的处理与回归参数的解释当分类自变量多于两个类别时，需要建立一组虚拟变量来代表类型的归属性质。假设一个分类变量包括m个类别，那么可以产生m个相应的虚拟变量，但建模需要的虚拟变量的数目为m-1.省略的那个类别作为参照类。例如，年龄是有序变量，按年龄段分为四个类别：x<40，40≤x<50，50≤x<60,x≥60.设置3个虚拟变量Age1表示40≤x<50〔属于该年龄段那么Age1=1，否那么Age1=0〕；Age2表示50≤x<60〔属于该年龄段那么Age2=1，否那么Age2=0〕；Age3表示x≥60〔属于该年龄段那么Age3=1，否那么Age3=0〕；另一个不指定虚拟变量的x<40作为参照类〔Age1，Age2，Age3都为0；哪一类作为参照类是随意的，取决于偏好或解释的方便〕。那么模型为同二分类变量时一样，β1代表40≤x<50与参照类〔Age0:x<40〕在因变量上的差异，故β1=ln(odds)Age1vsAge0且40≤x<50对x<40的发生比率为eβ注：〔1〕名义变量直接就是分类变量；连续变量也可以改为分类变量，例如考试成绩按分数段分为高、中、低三档。〔2〕另外，也可采用效应变量编码，三种取值：-1,0(参照类),1.〔3〕用SAS中CLASS语句指定分类变量，可以自动进行效应编码，作为一组变量纳入模型，并对每一类别单独做显著性检验。5.用概率解释自变量的作用(1)对事件发生概率的偏作用，可用Logit函数求该自变量的偏导数来刻画：其中p为事件发生概率。对于二元Logistic回归，p=0.5时，斜率最陡，此时x=-α/β,称为中位有效水平。(2)利用得到的Logistic回归方程，可以预测概率：有预测概率就可以计算某自变量值发生离散变化时，预测概率的离散变化：三、标准化系数通常在线性回归模型中的连续型自变量是以不同尺度度量的，这就使得某自变量中一个单位的变化并不等价于另一自变量上一个单位的变化。因此，要使用标准化系数〔使得因变量的作用具有可比性〕。标准化系数表示自变量的一个标准差的变化所导致的因变量上以其标准差为单位度量的变化。有两种标准化的方法：〔1〕先回归再标准化；〔2〕先标准化x，y再回归；注：对于分类变量，例如性别、民族等，变量的标准化是没有意义的。但其尺度标准要一致，比方0,1,2,3都变成1,2,3,4.四、偏相关偏相关，用来刻画在控制其他变量下，某自变量对Logistic回归的奉献〔依赖于其它变量〕。偏相关系数计算公式如下：其中，d.f.为自由度，分母为-2倍的截距模型〔只有截距〕的对数似然值。五、回归参数的估计Logistic回归参数的估计通常采用最大似然法，其根本思想是先建立似然函数与对数似然函数，再通过使对数似然函数最大求解相应的参数值，所得到的估计值称为参数的最大似然估计值。假设有N个案例构成的总体，Y1,…,YN.从中随机抽取n个案例作为样本，观测值标注为y1,…,yn.设pi=P(yi=1|xi)为给定xi的条件下得到结果yi=1的条件概率，而在同样条件下得到结果为yi=0的条件概率为P(yi=0|xi)=1-pi.于是，得到一个观测值的概率为其中，yi=1或yi=0.当yi=1时，P(yi)=pi=P(yi=1|xi).由于各项观测相互独立，故它们的联合分布可表示为各边际分布的乘积：称为n个观测的似然函数。对于Logistic回归，.根据最大似然原理，估计参数α和β使得似然函数L(θ)最大，令称为对数似然函数，也即让ln[L(θ)]最大。令采用牛顿迭代法解出α和β的估计值。六、假设检验1.似然比检验H0：β1=β2=…=βp=0统计量服从自由度为变量个数该变量〔从L0到L1〕的卡方分布。假设P值<0.05,那么拒绝原假设。2.比分检验以未包含某个或几个变量的模型为根底，保存模型中参数的估计值，并假设新增加的参数为零，计算似然函数的一价偏导数〔也称“有效比分〞〕及信息距阵，两者相乘便得比分检验的统计量S.样本量较大时，S近似服从自由度为待检验因素个数的分布。3.Wald检验即广义的T检验，统计量为其中为的标准误。H0：βk=0为真时，Z为标准正态分布，W服从自由度为1的渐近分布。βk的95%置信区间估计为：.发生比率的1-α置信区间为：.注：上述三种方法中，似然比检验最可靠，比分检验一般与它相一致，但两者均要求较大的计算量；而Wald检验未考虑各因素间的综合作用，在因素间有共线性时结果不如其它两者可靠。为计算方便，通常向前选取变量用似然比或比分检验，而向后剔除变量常用Wald检验。七、模型的评价——拟合优度检验检查模型估计与实际数据的符合情况。检验统计量：1.剩余差D;2.皮尔逊χ2假设统计量的P值＞0.05，那么认为模型拟合较好。〔二〕PROCLOGISTIC过程步根本语法：PROCLOGISTICdata=数据集<可选项>;CLASS分类变量;FREQ频数变量;<WEIGHT权重变量;><EFFECT效应名=效应类型(变量列表</可选项>);>MODEL因变量<(变量选项)>=自变量列表</可选项>;<EXACT变量列表;><CONTRAST’label’分类变量名线性组合系数表;><ODDSRATIO<’label’>variable</options>;><OUTPUTOUT=输出数据集</可选项>;><ROC<’label’><变量></可选项>;><SCOREOUT=输出数据集<可选项>;><TEST系数关系式;>注：CLASS,EFFECT语句必须在MODEL语句之前；CONTRAST,EXACT,ROC语句必须在MODEL语句之后。说明：〔1〕输入数据集可选项DESCENDING——指定因变量按降序排序〔“y=1〞放前面〕；ORDER=——指定因变量的排序顺序；PLOT——绘图选项；〔2〕EFFECT语句用原变量数据创立某种效应设计矩阵做比照用，例如LAG效应等。〔3〕CLASS语句对分类变量进行0-1化处理，变成虚拟变量；〔4〕MODEL语句是必不可少的，用来指定因变量和自变量。可以用可选项指定“y=1〞，例如：modelremiss(event='1')=cellsmearinfilliblasttemp;可选项：selection=stepwise/forward/backwardsle或sls——指定变量进入或剔除出模型的显著水平；Aggregate和scale=n|p|d计算偏差和pearson卡方拟和优度统计量，n表示对离差参数不进行校正；p规定离差参数的估计为pearson卡方统计量除以自由度；d规定离差参数的估计为偏差除以自由度；alpha=——设置置信限；cl/clparm=WALD——估计所有参数/WALD参数的置信区间；plrl——对自变量估计比数比的置信区间；influence——做回归诊断；RSQUARE——输出拟合的调整的R2；EFFECTPLOT——输出模型拟合统计量；〔5〕ESTIMATE语句——用来估计效应变量的线性组合的值；〔6〕EXACT语句用其它变量的充分统计量对变量的充分统计量做精确检验；〔7〕CONTRAST语句用来检验均值的线性组合关系的原假设。有三个根本参数，一是标签，二是分类变量名，三是效应均值线性组合的系数表〔系数的次序是匹配分类变量按字母数字次序的水平值〕。例如：contrast'USvsNON-U.S.'brand11-2;检验H0：β1+β2-2β3=0〔8〕ROC语句——绘制ROC曲线；〔9〕SCORE语句——输出假设干结果到数据集。〔10〕TEST语句对系数关系式做检验，例如：〔ai为自变量名〕test1:testintercept+.5*a2=0;test2:testintercept+.5*a2;test3:testa1=a2=a3;test4:testa1=a2,a2=a3;例1不同治疗方法对某病疗效的影响研究：用Logistic回归模型P{effect=1|treat}=eα+βtreatLogit(p)=ln(p1-p)=代码：dataeffects;inputtreateffectcount;cards;1116104821402020;proclogisticdata=effectsDESCENDING;freqcount;modeleffect=treat;/*或者用modeleffect(event='1')=treat;前面就可以不用DESCENDING选项了*/run;运行结果及说明：响应概况有序

值effect总频数11562068建模的概率为effect=1。模型收敛状态满足收敛准那么(GCONV=1E-8)。模型拟合统计量准那么仅截距截距和协变量AIC172.737152.361SC175.558158.001-2L170.737148.361检验全局零假设:BETA=0检验卡方自由度Pr

>

卡方似然比22.37681<.0001评分21.70871<.0001Wald20.27621<.0001假设检验H0：β1=…=βk=0.似然比检验的卡方值=-2lnL0–(-2lnLk)=170.737–148.361=22.3768.自由度为1-0=1〔只有截距0个变量，到1个变量〕，P值<0.0001<α=0.05.故拒绝H0.最大似然估计值分析参数自由度估计值标准

误差Wald卡方Pr

>

卡方Intercept1-2.89040.639020.4594<.0001treat11.79180.397920.2762<.0001回归方程为：Logit(p)=-2.8904+1.7918*treat优比估计值效应点估计值95%Wald

置信限treat6.0002.75113.087发生比率〔OR〕=6.000.预测概率和观测响应的关联一致局部所占百分比50.4SomersD0.420不一致局部所占百分比8.4Gamma0.714结值百分比41.2Tau-a0.210对3808c0.710例2研究性别、疾病的严重程度对疾病疗效的影响，得数据如下：拟合回归方程为Logit(p)=α+β1Sex+β2Degree.代码：dataeffects2;inputsexdegreeeffectcount@@;cards;00121000601190109101810010111411011;run;proclogisticdata=effects2DESCENDING;freqcount;modeleffect=sexdegree/scale=noneaggregate;*模型的拟合优度检验;outputout=predictpred=prob;*output语句设置输出结果,这里结果存在predict数据中，预测值为prob;run;procprintdata=predict;run;*考虑两个自变量的交互作用;proclogisticdata=effects2DESCENDING;freqcount;modeleffect=sexdegreesex*degree;run;运行结果：响应概况有序

值effect总频数11422036建模的概率为effect=1。模型收敛状态满足收敛准那么(GCONV=1E-8)。偏差和Pearson拟合优度统计量准那么值自由度值/自由度Pr

>

卡方偏差0.214110.21410.6436Pearson0.215510.21550.6425剩余差D和Pearson拟合优度检验的P值分别为0.6436和0.6425都远大于0.05，故拟合结果较好可以接受。唯一轮廓数:4模型拟合统计量准那么仅截距截距和协变量AIC109.669101.900SC112.026108.970-2L107.66995.900检验全局零假设:BETA=0检验卡方自由度Pr

>

卡方似然比11.769420.0028评分11.241020.0036Wald10.064420.0065假设检验H0：β1=…=βk=0.似然比检验的P值=0.0028<α=0.05.故拒绝H0.最大似然估计值分析参数自由度估计值标准

误差Wald卡方Pr

>

卡方Intercept11.15680.40368.21670.0042sex1-1.27700.49806.57500.0103degree1-1.05450.49804.48440.0342拟合回归方程为：Logit(p)=1.1568-1.2770*Sex–1.0545*Degree优比估计值效应点估计值95%Wald

置信限sex0.2790.1050.740degree0.3480.1310.924优势比〔OR〕:男性〔Sex=1〕治愈与未治愈的比值为：p1/(1-p1)=exp(1.1568-1.2770*1–1.0545*Degree)女性〔Sex=0〕治愈与未治愈的比值为：p0/(1-p0)=exp(1.1568-1.2770*0–1.0545*Degree)两个比值的比即优势比为：OR=[p1/(1-p1)]/[p0/(1-p0)]=eβ1=e预测概率和观测响应的关联一致局部所占百分比60.0SomersD0.419不一致局部所占百分比18.1Gamma0.536结值百分比21.9Tau-a0.211对1512c0.709Obssexdegreeeffectcount_LEVEL_prob10012110.760752000610.760753011910.525554010910.525555101810.4699961001010.469997111410.2360181101110.23601输出预测概率。最大似然估计值分析参数自由度估计值标准

误差Wald卡方Pr

>

卡方Intercept11.25280.46297.32390.0068sex1-1.47590.66284.95870.0260degree1-1.25280.66073.59540.0579sex*degree10.46431.00120.21510.6428Sex*Degree的卡方检验P值=0.6428远大于其它参数的P值，故不用考虑该交互作用的影响。例3多分类自变量的虚拟变量处理〔CLASS语句将会自动完成自变量的“虚拟变量化〞处理过程，因变量不需要用CLASS语句处理〕，以及比照检验〔CONTRAST语句〕。代码：datauti;inputdiagnosis:$13.treatment$response$count@@;datalines;complicatedAcured78complicatedAnot28complicatedBcured101complicatedBnot11complicatedCcured68complicatedCnot46uncomplicatedAcured40uncomplicatedAnot5uncomplicatedBcured54uncomplicatedBnot5uncomplicatedCcured34uncomplicatedCnot6;run;odsselectFitStatistics;proclogisticdata=uti;freqcount;classdiagnosistreatment/param=ref;modelresponse=diagnosis|treatment;run;odsselectFitStatisticsGoodnessOfFitTypeIIIOddsRatios;proclogisticdata=uti;freqcount;classdiagnosistreatment;modelresponse=diagnosistreatment/scale=noneaggregate;run;*clodds：计算似然比的置信区间clparm:计算参数的置信区间;odsselectClparmPLCloddsPL;proclogisticdata=uti;freqcount;classdiagnosistreatment;modelresponse=diagnosistreatment/scale=noneaggregateclodds=plclparm=pl;run;*contrast:定制假设检验的方式，变量需要是矩阵形式;odsselectContrastTestContrastEstimate;proclogisticdata=uti;freqcount;classdiagnosistreatment/param=ref;modelresponse=diagnosistreatment;contrast'BversusA'treatment-11/estimate=exp;contrast'A'treatment10;contrast'jointtest'treatment10,treatment01;run;运行结果及说明：〔局部〕偏差和Pearson拟合优度统计量准那么值自由度值/自由度Pr

>

卡方偏差2.514721.25730.2844Pearson2.757421.37870.25193型效应分析效应自由度Wald卡方Pr

>

卡方diagnosis110.28850.0013treatment224.6219<.0001优比估计值效应点估计值95%Wald

置信限diagnosisuncomplicated-complicated0.3820.2120.688treatmentC-A1.7951.0693.011treatmentC-B4.7622.5648.847参数估计和剖面似然置信区间参数

估计值95%置信限Intercept

1.65281.36211.9751diagnosiscomplicated-0.4808-0.7897-0.1987treatmentA-0.1304-0.46180.2052treatmentB0.84560.47561.2523优比估计和剖面似然置信区间效应单位估计值95%置信限diagnosisuncomplicated-complicated1.00000.3820.2060.672treatmentC-A1.00001.7951.0743.031treatmentC-B1.00004.7622.6159.085比照检验结果比照自由度Wald卡方Pr

>

卡方BversusA18.69190.0032A14.90200.0268jointtest224.6219<.0001比照估计和逐行检验结果比照类型行估计值标准

误差Alpha置信限Wald卡方Pr

>

卡方BversusAEXP12.65390.87860.051.38705.07788.69190.0032例4自变量连续有序变量〔例如，年龄〕的Logistic回归。代码：datacoronary;inputsexecgageca@@;datalines;002801042101460114500034010441014811145100380104500149011451004111046001490114610044010480015201148100451105000153111571004601052101541115710047010521015501159100500105400157111601005101055002461116310051010591024801235000530105910257112371005511132002601124310059011370103001247100601113811034012481013211138110361124900133011421103811258101350114301039012591013901143110420126010140011441;run;*selection用于选择逐步回归方法,包括forward,backward,stepwiseinclude:设定每个拟合模型中包含model语句中列的因子的个数.units:可以设置自变量每次变化10个单位，计算的调整的发生比率AOR;proclogisticdata=coronarydescending;modelca=sexecgageecg*ecgage*agesex*ecgsex*ageecg*age/selection=forwardinclude=3detailslackfit;run;proclogisticdescending;modelca=sexecgage;unitsage=10;run;运行结果及说明〔局部〕：最大似然估计值分析参数自由度估计值标准

误差Wald卡方Pr

>

卡方Intercept1-5.64181.80619.75720.0018sex11.35640.54646.16160.0131ecg10.87320.38435.16190.0231age10.09290.03517.00030.0081经过筛选之后的3个自变量及截距的估计，回归方程略。优比估计值效应点估计值95%Wald

置信限sex3.8821.33011.330ecg2.3951.1275.086age1.0971.0241.175残差卡方检验卡方自由度Pr

>

卡方2.327750.8022对条目合格的效应分析效应自由度评分卡方Pr

>

卡方ecg*ecg10.37660.5394age*age10.77120.3798sex*ecg10.03520.8513sex*age10.02900.8647ecg*age10.88250.3475上述5个自变量的卡方检验P值>α=0.05，故不必参加回归方程。Hosmer和Lemeshow检验的分区组总计ca=1ca=0观测值期望值观测值期望值1821.0266.982811.8076.203832.5955.414833.4254.585844.0743.936965.3833.627945.9753.038875.9912.019876.9811.0210443.7700.23Hosmer和Lemeshow拟合优度检验卡方自由度Pr

>

卡方4.776680.7812优比效应单位估计值age10.00002.531自变量年龄按10岁为单位变化，得到的调整优势比为：AOR=2.531.例5回归诊断。代码：datauti2;inputdiagnosis:$13.treatment$responsetrials;datalines;complicatedA78106complicatedB101112complicatedC68114uncomplicatedA4045uncomplicatedB5459uncomplicatedC3440;*INFLUENCE诊断;proclogisticdata=uti2;classdiagnosistreatment/param=ref;modelresponse/trials=diagnosistreatment/influence;run;proclogisticdata=uti2;classdiagnosistreatment/param=ref;modelresponse/trials=diagnosis/scale=noneaggregate=(treatmentdiagnosis)influenceiplots;run;运行结果及说明〔略〕例6精确检验。代码：dataliver;inputtime$group$status$count@@;datalines;earlyantidotesevere6earlyantidotenot12earlycontrolsevere6earlycontrolnot2delayedantidotesevere3delayedantidotenot4delayedcontrolsevere3delayedcontrolnot0lateantidotesevere5lateantidotenot1latecontrolsevere6latecontrolnot0;*estimate=both,表示对第一个exact语句中指定的变量进行精确点估计.joint,表示对第二个exact中time、group进行联合检验;proclogisticdescending;freqcount;classtime(ref='early')group(ref='control')/param=ref;modelstatus=timegroup/scale=noneaggregateclparm=wald;exact'Model1'intercepttimegroup/estimate=both;exact'JointTest'timegroup/joint;run;运行结果〔局部〕：最大似然估计值分析参数

自由度估计值标准

误差Wald卡方Pr

>

卡方Intercept

11.41320.79703.14390.0762timedelayed10.70240.83440.70870.3999timelate12.55331.16674.78930.0286groupantidote1-2.21700.87996.34800.0118优比估计值效应点估计值95%Wald

置信限timeearly-delayed2.0190.39310.359timeearly-late12.8491.305126.471groupcontrol-antidote0.1090.0190.611参数估计和Wald置信区间参数

估计值95%置信限Intercept

1.4132-0.14892.9754timedelayed0.7024-0.93302.3378timelate2.55330.26664.8400groupantidote-2.2170-3.9417-0.4924例7绘制ROC曲线。ROC曲线是根据一系列不同的二分类方式〔分界值或决定阈〕，以真阳性率〔灵敏度〕为纵坐标，假阳性率〔1-特异度〕为横坐标绘制的曲线。1.ROC曲线能很容易地查出任意界限值时的对疾病的识别能力。2.选择最正确的诊断界限值。ROC曲线越靠近左上角,试验的准确性就越高。最靠近左上角的ROC曲线的点是错误最少的最好阈值，其假阳性和假阴性的总数最少。3.两种或两种以上不同诊断试验对疾病识别能力的比拟。在对同一种疾病的两种或两种以上诊断方法进行比拟时，可将各试验的ROC曲线绘制到同一坐标中，以直观地鉴别优劣，靠近左上角的ROC曲线所代表的受试者工作最准确。亦可通过分别计算各个试验的ROC曲线下的面积(AUC)进行比拟，哪一种试验的AUC最大，那么哪一种试验的诊断价值最正确。代码：dataData1;inputdiseasenage;datalines;0142502035019457185561265171775;odsgraphicson;proclogisticdata=Data1plots(only)=roc(id=obs);modeldisease/n=age/scale=noneclparm=waldclodds=plrsquare;unitsage=10;effectplot;run;odsgraphicsoff;运行结果〔局部〕：偏差和Pearson拟合优度统计量准那么值自由度值/自由度Pr

>

卡方偏差7.775641.94390.1002Pearson6.602041.65050.1585最大似然估计值分析参数自由度估计值标准

误差Wald卡方Pr

>

卡方Intercept1-12.50162.555523.9317<.0001age10.20660.042823.3475<.0001参数估计和Wald置信区间参数估计值95%置信限Intercept-12.5016-17.5104-7.4929age0.20660.12280.2904优比估计和剖面似然置信区间效应单位估计值95%置信限age10.00007.8923.88121.406例8多分类Logistic回归，也称广义Logistic回归〔因变量是多分类有序变量〕。代码：dataschool;lengthProgram$9;inputSchoolProgram$Style$Count@@;datalines;1regularself101regularteam171regularclass261afternoonself51afternoonteam121afternoonclass502regularself212regularteam172regularclass262afternoonself162afternoonteam122afternoonclass363regularself153regularteam153regularclass163afternoonself123afternoonte