版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
两个独立样本比较的非参数检验多个独立样本比较的非参数检验配对样本比较的非参数检验随机区组设计多个样本比较的非参数检验诊断试验ROC曲线分析基于秩次的非参数检验当前第1页\共有151页\编于星期三\21点非参数检验又称为任意分布检验,这类方法并不依赖总体分布的具体形式,应用时可以不考虑研究变量为何种分布以及分布是否已知,进行的不是参数之间的检验,故称非参数检验。当前第2页\共有151页\编于星期三\21点基本特点:与分布无关基本方法:χ2
检验基于秩(等级,rank)的方法基于特定参照点(如中位数)的方法
……当前第3页\共有151页\编于星期三\21点非参数检验的优点:①适用范围广②受限条件少。参数检验对总体分布等有特别限定,而非参数检验的假定条件少,也不受总体分布的限制,更适合一般的情况。③具有稳健性。参数检验是建立在严格的假设条件基础之上的,一旦不符合假设条件,其推断的正确性将受到怀疑;而非参数检验都是带有最弱的假定,所受的限制很少,稳健性好。当前第4页\共有151页\编于星期三\21点①对符合用参数检验的资料,如用非参数检验,会丢失部分信息。
②虽然非参数检验计算简便,但有些问题的计算仍显繁冗。非参数检验的缺点:当前第5页\共有151页\编于星期三\21点已知总体分布类型,对未知参数进行统计推断依赖于特定分布类型,比较的是参数
参数检验(parametrictest)
非参数检验(nonparametrictest)对总体的分布类型不作严格要求不受分布类型的影响,比较的是总体分布位置
优点:方法简便、易学易用,易于推广使用、应用范围广;可用于参数检验难以处理的资料(如等级资料,或含数值“>50mg”等)缺点:方法比较粗糙,对于符合参数检验条件者,采用非参数检验会损失部分信息,其检验效能较低;样本含量较大时,两者结论常相同当前第6页\共有151页\编于星期三\21点应用非参数检验的情况1.不满足正态和方差齐性条件的小样本资料;2.总体分布类型不明的小样本资料;3.一端或两端是不确定数值(如<0.002、>65等)的资料(必选);4.单向(双向)有序列联表资料;5.各种资料的初步分析。当前第7页\共有151页\编于星期三\21点方法的起点--排队与秩次统计描述中排秩思想的成功应用
百分位数、中位数排队的优点
广泛适用于多种分布排队的结果
将原始数据的比较转化为秩次的比较当前第8页\共有151页\编于星期三\21点秩次(rank)——将数值变量值从小到大,或等级变量值从弱到强所排列的序号。例1
11只大鼠存活天数:存活天数4,10,7,50,3,15,2,9,13,>60,>60例2
9名肺炎病人的治疗结果:疗效治愈治愈死亡无效治愈有效治愈有效无效秩次
3649281571011
10.510.5平均秩次
2.52.597.52.55.52.55.57.5秩次
129735468当前第9页\共有151页\编于星期三\21点SPSS中的菜单位置当前第10页\共有151页\编于星期三\21点两个独立样本比较的非参数检验多个独立样本比较的非参数检验配对样本比较的非参数检验随机区组设计多个样本比较的非参数检验诊断试验ROC曲线分析基于秩次的非参数检验当前第11页\共有151页\编于星期三\21点1.建立检验假设,确定检验水准(α)
H0:两总体分布相同
H1:两总体分布不同
α=0.05。2.编秩
按数值由小到大排列,若有相同数据,取平均秩。分析步骤:
当前第12页\共有151页\编于星期三\21点基本思想两样本来自同一总体任一组秩和不应太大或太小假定:两组样本的总体分布形状相同
T与平均秩和应相差不大3.计算秩和,确定检验统计量秩和T值当前第13页\共有151页\编于星期三\21点当n1>10或(n2-n1)>10时,则可采用正态近似法求u(Z)值来确定P值,其公式如下:
4.确定P值和作出推断结论当n1<=10或(n2-n1)<=10时,查表P值
当前第14页\共有151页\编于星期三\21点若相同秩次较多,应作校正计算当前第15页\共有151页\编于星期三\21点【例1】某实验室观察缺氧条件下大鼠与小鼠的生存,以生存日数作为观察指标。试检验两组生存日数有无差别?序号123456789101112大鼠10121515161718202390以上小鼠2345678910111213当前第16页\共有151页\编于星期三\21点当前第17页\共有151页\编于星期三\21点T=170>146,P<0.05T在界值范围内P>α
T在界值范围外P<α
T与界值相等P=α当前第18页\共有151页\编于星期三\21点SPSS软件操作第一步:建立变量。当前第19页\共有151页\编于星期三\21点第二步:输入原始数据当前第20页\共有151页\编于星期三\21点第三步:非参数检验(1)当前第21页\共有151页\编于星期三\21点第三步:非参数检验(2)当前第22页\共有151页\编于星期三\21点第四步:结果解读(1)结果解读:例数、均数、标准差、中位数、四分位间距等。标准差较大当前第23页\共有151页\编于星期三\21点第四步:结果解读(2)结果解读:Z=3.630,P=0.000当前第24页\共有151页\编于星期三\21点【例2】20名正常人和32名铅作业工人尿铅定性检查结果如表。问铅作业工人尿铅是否高于正常人?结果-++++++++++正常人182000铅作业工人810734当前第25页\共有151页\编于星期三\21点当前第26页\共有151页\编于星期三\21点当前第27页\共有151页\编于星期三\21点U检验:Zc=U,与1.96,2.58比较当前第28页\共有151页\编于星期三\21点SPSS软件操作第一步:建立变量。当前第29页\共有151页\编于星期三\21点第二步:输入原始数据当前第30页\共有151页\编于星期三\21点第三步:加权个案当前第31页\共有151页\编于星期三\21点第四步:非参数检验当前第32页\共有151页\编于星期三\21点第五步:结果解读结果解读:Z=4.503,P=0.000当前第33页\共有151页\编于星期三\21点两个独立样本比较的非参数检验多个独立样本比较的非参数检验配对样本比较的非参数检验随机区组设计多个样本比较的非参数检验诊断试验ROC曲线分析基于秩次的非参数检验当前第34页\共有151页\编于星期三\21点完全随机设计多个样本比较的秩和检验由Kraskal和Wallis在Wilcoxon秩和检验基础上扩展而来,又称K-W检验或H检验。当前第35页\共有151页\编于星期三\21点1.建立检验假设,确定检验水准(α)
H0:k个总体分布相同;
H1:k个总体分布不同或不全相同;
α=0.05。2.混合编秩
将各组数据混合,由小到大编秩。遇有原始数据相同时,若相同数据在同一组内,则仍按顺序编秩;若相同数据在不同组,则取它们的平均秩次。
分析步骤:当前第36页\共有151页\编于星期三\21点3.求秩和并计算检验统计量H
将各组秩次分别相加,求出各组的秩和Ri。检验统计量值H可按下式计算:
式中,Ri为各组的秩和,ni为各组样本含量,N为总样本含量。分析步骤:当前第37页\共有151页\编于星期三\21点当各组相同秩次较多时,可对H值进行校正,按下式求值。分析步骤:tj相同秩次的数量当前第38页\共有151页\编于星期三\21点4.确定P值和作出推断结论
当组数K=3,每组样本含量ni≤5时,可查附表(H界值表)得到P值。
若k>3或ni>5时,H值的分布近似于自由度为k-1的χ2分布,此时可查χ2界值表得到P值。
最后按P值作出推断结论。分析步骤:当前第39页\共有151页\编于星期三\21点【例3】比较小白鼠接种三种不同菌型伤寒杆菌9D、11C和DSC1后存活日数,结果见表。问小白鼠接种三种不同菌型伤寒杆菌的存活日数有无差别?序号12345678910119D222344457711C55666781012DSC135666779101111当前第40页\共有151页\编于星期三\21点当前第41页\共有151页\编于星期三\21点P=1-CDF.CHISQ(9.97,2)当前第42页\共有151页\编于星期三\21点SPSS软件操作第一步:建立变量。当前第43页\共有151页\编于星期三\21点第二步:输入原始数据当前第44页\共有151页\编于星期三\21点第三步:非参数检验当前第45页\共有151页\编于星期三\21点第四步:结果解读结果解读:x2=9.940,P=0.007当前第46页\共有151页\编于星期三\21点【例4】四种疾病患者痰液内嗜酸性白细胞的检查结果见表。问四种疾病患者痰液内的嗜酸性白细胞有无差别?白细胞-++++++支气扩张0296肺水肿3552肺癌5732病毒性呼吸道感染3530当前第47页\共有151页\编于星期三\21点当前第48页\共有151页\编于星期三\21点P=1-CDF.CHISQ(15.52,3)当前第49页\共有151页\编于星期三\21点SPSS软件操作第一步:建立变量。当前第50页\共有151页\编于星期三\21点第二步:输入原始数据当前第51页\共有151页\编于星期三\21点第三步:加权个案当前第52页\共有151页\编于星期三\21点第四步:非参数检验当前第53页\共有151页\编于星期三\21点第五步:结果解读结果解读:x2=15.506,P=0.001当前第54页\共有151页\编于星期三\21点【例5】某临床药理基地观察5组接受不同治疗的妇科病人,结果见表。问5组疗效有无差别?疗效对照组中药A组中药B组中药C组西药组合计I211900040II44413052III006113148IV023154262V000217798当前第55页\共有151页\编于星期三\21点当前第56页\共有151页\编于星期三\21点P=1-CDF.CHISQ(195.50,4)当前第57页\共有151页\编于星期三\21点SPSS软件操作第一步:建立变量。当前第58页\共有151页\编于星期三\21点第二步:输入原始数据当前第59页\共有151页\编于星期三\21点第三步:加权个案当前第60页\共有151页\编于星期三\21点第四步:非参数检验当前第61页\共有151页\编于星期三\21点第五步:结果解读结果解读:x2=195.504,P=0.000当前第62页\共有151页\编于星期三\21点两个独立样本比较的非参数检验多个独立样本比较的非参数检验配对样本比较的非参数检验随机区组设计多个样本比较的非参数检验诊断试验ROC曲线分析基于秩次的非参数检验当前第63页\共有151页\编于星期三\21点配对设计差值比较的符号秩和检验由Wilcoxon1945年提出,又称Wilcoxon符号秩和检验,常用于检验差值的总体中位数是否等于零。当前第64页\共有151页\编于星期三\21点(1)建立检验假设,确定检验水准
Ho:差值总体中位数Md=0
H1:差值总体中位数Md≠0
α=0.05分析步骤:(2)编秩:求差值编秩方法:依差值的绝对值从小到大编秩。编秩时注意两点:遇差值为0者,舍去不计,n相应减少
差值的绝对值相等,符号不同者应取平均秩次编秩后,按差值的正负给秩次冠上符号。当前第65页\共有151页\编于星期三\21点(3)求差值为正或负的秩和
差值为正的秩和以T+表示
差值为负的秩和以T-表示。
T++T-=n(n+1)/2
T=min(T+,T-)
(4)确定P值和作出推断结论:
当n≤50时,查T界值表
T在界值范围内P>α
T在界值范围外P<α
T与界值相等P=α分析步骤:当前第66页\共有151页\编于星期三\21点
当n>50,可采用正态近似法,计算u值。正态近似法当前第67页\共有151页\编于星期三\21点若相同秩次较多,应作校正计算。
Z或
式中,tj为第j(j=1,2,…)个相同差值的个数。
正态近似法当前第68页\共有151页\编于星期三\21点【例6】对10名患者分别用甲法与乙法,测得血汞值。问两种方法的结果有无差别?当前第69页\共有151页\编于星期三\21点n=10-1=9当前第70页\共有151页\编于星期三\21点T=min(26.5,18.5)=18.5n=9p>0.05当前第71页\共有151页\编于星期三\21点SPSS软件操作第一步:建立变量。当前第72页\共有151页\编于星期三\21点第二步:输入原始数据当前第73页\共有151页\编于星期三\21点第三步:非参数检验(1)当前第74页\共有151页\编于星期三\21点第三步:非参数检验(2)当前第75页\共有151页\编于星期三\21点第四步:结果解读(1)结果解读:例数、均数、标准差、中位数、四分位间距等。标准差较大当前第76页\共有151页\编于星期三\21点第四步:结果解读(2)结果解读:Z=0.474,P=0.635当前第77页\共有151页\编于星期三\21点【例7】对12份血清分别用原方法(检测时间20分钟)和新方法(检测时间10分钟)测谷-丙转氨酶,结果见表。问两法所得结果有无差别?序号123456789101112原法6014219580242220190251983823695新法76152243822402202053824344190100当前第78页\共有151页\编于星期三\21点当前第79页\共有151页\编于星期三\21点T=MIN(54.5,11.5)=11.5n=11P>0.05当前第80页\共有151页\编于星期三\21点SPSS软件操作第一步:建立变量。当前第81页\共有151页\编于星期三\21点第二步:输入原始数据当前第82页\共有151页\编于星期三\21点第三步:非参数检验(1)当前第83页\共有151页\编于星期三\21点第三步:非参数检验(2)当前第84页\共有151页\编于星期三\21点第四步:结果解读(1)结果解读:例数、均数、标准差、中位数、四分位间距等。标准差较大当前第85页\共有151页\编于星期三\21点第四步:结果解读(2)结果解读:Z=1.913,P=0.056当前第86页\共有151页\编于星期三\21点两个独立样本比较的非参数检验多个独立样本比较的非参数检验配对样本比较的非参数检验随机区组设计多个样本比较的非参数检验诊断试验ROC曲线分析基于秩次的非参数检验当前第87页\共有151页\编于星期三\21点随机区组设计资料比较,如果观察结果不满足方差分析条件,可用Friedman检验(Friedmantest)。当前第88页\共有151页\编于星期三\21点1.建立检验假设和确定检验水准2.编秩:先在每一配伍组内将数据从小到大编秩,如有相同数据,取平均秩次;再求各处理组秩和Ri,i=1,2,...,g。分析步骤当前第89页\共有151页\编于星期三\21点3.计算检验统计量M值(1)查表法(n≤15,g≤15):M=Σ(Rj-R)2(R=Σ
Rj/g)==》M界值表基于χ2分布近似法得到χ2值查有关的χ2界值表(2)χ2分布近似法分析步骤:自由度为(g-1)
当前第90页\共有151页\编于星期三\21点当各区组间出现相同秩次时,需进行校正校正公式为b为区组个数,k为处理组个数4.确定P值和作出推断结论当前第91页\共有151页\编于星期三\21点【例8】8名受试对象在相同实验条件下分别接受4种不同频率声音的刺激,他们的反应率(%)资料见表。问4种频率声音刺激的反应率是否有差别?当前第92页\共有151页\编于星期三\21点当前第93页\共有151页\编于星期三\21点SPSS软件操作第一步:建立变量。当前第94页\共有151页\编于星期三\21点第二步:输入原始数据当前第95页\共有151页\编于星期三\21点第三步:非参数检验(1)当前第96页\共有151页\编于星期三\21点第三步:非参数检验(2)当前第97页\共有151页\编于星期三\21点第四步:结果解读(1)结果解读:例数、均数、标准差、中位数、四分位间距等。当前第98页\共有151页\编于星期三\21点第四步:结果解读(2)结果解读:x2=15.152,P=0.002当前第99页\共有151页\编于星期三\21点一个讨论案例【例9】某中医医院采用中西医结合方法治疗228例不同病情的脑卒中患者,疗效情况如下表。当前第100页\共有151页\编于星期三\21点SPSS软件操作第一步:建立变量。当前第101页\共有151页\编于星期三\21点第二步:输入原始数据当前第102页\共有151页\编于星期三\21点第三步:加权个案当前第103页\共有151页\编于星期三\21点1、不同病情的脑卒中患者,疗效有无差别?当前第104页\共有151页\编于星期三\21点第三步:秩和检验当前第105页\共有151页\编于星期三\21点第四步:结果解读结果解读:x2=24.319,P=0.000当前第106页\共有151页\编于星期三\21点2、脑卒中患者病情与疗效有无相关?当前第107页\共有151页\编于星期三\21点第三步:等级相关分析当前第108页\共有151页\编于星期三\21点第四步:结果解读结果解读:rs=0.311,P=0.000当前第109页\共有151页\编于星期三\21点3、脑卒中患者病情与疗效变化趋势如何?当前第110页\共有151页\编于星期三\21点第三步:线性趋势检验(1)当前第111页\共有151页\编于星期三\21点第三步:线性趋势检验(2)当前第112页\共有151页\编于星期三\21点输出4种卡方检验结果:
1、pearson卡方
2、卡方值的校正值
3、似然比卡方,一般用于对数线性模型。
4、fisher的精确检验线性趋势检验当前第113页\共有151页\编于星期三\21点第四步:结果解读结果解读:x2=21.797,P=0.000当前第114页\共有151页\编于星期三\21点线性趋势检验计量资料——线性回归等级有序资料——线性趋势检验基本原则:将x2值进行分解,将总变异分为线性回归分量和偏离线性回归分量。总变异线性回归分量当前第115页\共有151页\编于星期三\21点两个独立样本比较的非参数检验多个独立样本比较的非参数检验配对样本比较的非参数检验随机区组设计多个样本比较的非参数检验诊断试验ROC曲线分析基于秩次的非参数检验当前第116页\共有151页\编于星期三\21点诊断试验的概念评价某种疾病诊断方法的临床试验。诊断试验的用途诊断疾病筛选无症状的病人判断疾病的严重程度估计疾病临床过程及预后估计对治疗的反应判断治疗效果当前第117页\共有151页\编于星期三\21点金标准目标人群病人非病人待评价诊断方法评价指标
诊断试验原理+-+-当前第118页\共有151页\编于星期三\21点确定金标准当前医学界公认的诊断某疾病最可靠、准确度最高的诊断方法。常用的金标准包括病理学诊断(活检、尸检)外科手术或诊断性操作特殊的影像学诊断权威机构颁布的综合诊断标准当前第119页\共有151页\编于星期三\21点选择研究对象要求:代表性好、盲法试验组经金标准确诊为某疾病的患者,具有反应该疾病的全部特征,如病情、病程、症状体征、并发症、治疗或未治疗等。对照组经金标准证实未患该疾病的患者(可患其它疾病)或正常人。当前第120页\共有151页\编于星期三\21点诊断试验结果表诊断试验金标准合计有病(D+)无病(D-)阳性(T+)aba+b阴性(T-)cdc+d合计a+cb+da+b+c+d当前第121页\共有151页\编于星期三\21点诊断试验的评价指标基本指标灵敏度、特异度、误诊率、漏诊率预测值阳性预测值、阴性预测值综合评价指标正确率、约登指数、优势比、似然比阳性似然比、阴性似然比当前第122页\共有151页\编于星期三\21点灵敏度(Sensitivity,Se)计算公式:Se=a/(a+c)又称真阳性率将实际有病的人正确判断为患者的能力漏诊率(omissiondiagnostic,)计算公式:
=c/(a+c)又称假阴性率将实际有病的人错误判断为非患者的比例高灵敏度试验的适用范围漏诊可能造成严重后果排除某病的其他诊断筛检无症状病人而且该病发病率较低当前第123页\共有151页\编于星期三\21点特异度(Specificity,Sp)计算公式:Sp=d/(b+d)又称真阴性率将实际无病的人正确判断为非患者的能力误诊率(mistakediagnosticrate,)计算公式:
=b/(b+d)又称假阳性率将实际无病的人错误判断为患者的比例高特异度试验的适用范围假阳性会使病人受到严重危害确诊某病当前第124页\共有151页\编于星期三\21点灵敏度和特异度的关系都是反映诊断试验准确性的最基本指标提高一方面水平,会降低另一方面水平一般选择敏感度和特异度都较高的试验作为诊断依据根据研究目的,调整灵敏度和特异度来确定临界值以产生漏诊和误诊之和最小时的数据确定临界值当前第125页\共有151页\编于星期三\21点ROC曲线评价方法受试者工作特征曲线(ReceiverOperatorCharacteristiccurve,简称ROC曲线)表示一个特定的诊断方法对区别特定的患者组与非患者组样本的检测性能。表示不同诊断水平的真阳性率对假阳性率的函数关系。当前第126页\共有151页\编于星期三\21点受试者工作特征曲线
receiveroperatingcharacteristiccurve,ROC
1
0.8
0.6
0.40.2
00.20.40.60.81完全无价值的诊断试验其ROC曲线与机会线重合,而ROC曲线越偏离机会线,ROC曲线下面积就越大,则诊断试验的真实性也就越好。当前第127页\共有151页\编于星期三\21点ROC曲线评价方法以灵敏度和假阳性率为两个轴的取值作的图性;通常用于测定值为连续或等级数据;常用于确定最佳临界值,也可用于比较两种和两种以上诊断试验的诊断价值。以试验灵敏度为y轴,以假阳性率为x轴,由不同决策界值产生图中各个点,采用线段连接图中所有的点,绘制而成的线图。图中反映了随着灵敏度的增加,假阳性率也随之增加。当前第128页\共有151页\编于星期三\21点ROC曲线的特点综合了灵敏度和特异度两个指标;不受患病率的影响;考虑了所有可能的诊断临界值的影响;全面客观地评价诊断试验的准确性;描述了诊断试验区分事件发生与不发生的固有能力。当前第129页\共有151页\编于星期三\21点ROC曲线下的面积AreaUnderCurve,简称AUC以点(0,0)、(1,0)、(0、1)和(1,1)围成的面积做为1或100%。ROC曲线和X轴围成的面积占总面积的百分比作为曲线面积的估计值。ROC曲线下面积的取值在0~1之间。当前第130页\共有151页\编于星期三\21点曲线越接近左上角,面积越接近1,说明试验的准确度越高;越接近对角线,越接近0.5,则说明试验的准确度越差;一般认为:面积在0.5~0.7之间时诊断价值较低,在0.7~0.9之间时诊断价值中等,在0.9以上时诊断价值较高。ROC曲线下的面积当前第131页\共有151页\编于星期三\21点最佳诊断界值的确定ROC曲线上最靠近左上角的点所对应的灵敏度和特异度都是较大的,该点为ROC曲线的正切线与曲线相交的点,常以此点所对应的诊断界值作为最佳诊断界值。灵敏度+特异度最大的点就是最佳诊断界值。通过解拟合ROC曲线的方程寻找该点。当前第132页\共有151页\编于星期三\21点A.理想的正常人群与糖尿病病人血糖水平分布B.现实的正常人群与糖尿病病人血糖水平分布当前第133页\共有151页\编于星期三\21点采用不同血糖阳性界值所致假阳性和假阴性当前第134页\共有151页\编于星期三\21点病人与非病人某项诊断指标数值分布示意图
当前第135页\共有151页\编于星期三\21点ROC分析ROC分析主要做三件事:计算ROC曲线下面积及其95%CI
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 三年级英语上册 第12讲unit6Happybirthday【1】(学生版无答案)(人教PEP)
- 金融机构合规风险评估制度
- 科学实验室作业安全制度
- 旅游行业导游外出工作审批制度
- 充电站场地租赁及投资协议
- 建筑工程河沙采购合同
- 企业内训项目合作协议书
- 高危孕产妇健康教育制度
- 酒店客房清洁疫情防控制度
- 软件资格考试软件过程能力评估师(基础知识、应用技术)合卷(中级)试卷与参考答案(2025年)
- 2024年青骄第二课堂高中生禁毒知识竞赛题库及答案(108题)
- (2021更新)国家开放大学电大《课程与教学论》形考任务4试题及答案
- 单门门禁一体机操作流程
- 施工现场安全知识答题试卷-附答案版4页
- 肠套叠实用教案
- 学校总务处行事历
- 胜利油田钻完井液技术现状及发展趋势钻井院
- 通信工程勘察设计费取费标准[整理版]
- 墩身外观质量缺陷与防治
- 溆浦一中高效课堂6+1教学模式实施方案
- 静设备安装工程质量验收要求
评论
0/150
提交评论