第十九章临床流行病学课件_第1页
第十九章临床流行病学课件_第2页
第十九章临床流行病学课件_第3页
第十九章临床流行病学课件_第4页
第十九章临床流行病学课件_第5页
已阅读5页,还剩161页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第十九章临床流行病学《预防医学》第十九章临床流行病学《预防医学》1第一节诊断试验设计与评价第一节诊断试验设计与评价2诊断试验定义诊断试验(DiagnosticTest)应用实验、仪器设备等手段对疾病进行诊断,把病人与可疑有病但实际无病的人区别开来,以便对确诊的病人给予相应的治疗的一切检测方法。诊断试验定义诊断试验(DiagnosticTest)3一、诊断试验研究设计(一)选择研究对象(二)估计样本含量(三)确定金标准一、诊断试验研究设计(一)选择研究对象4一、诊断试验研究设计(一)选择研究对象病例组应当包括该病的各种临床类型;对照组应选自未患该病的其他病例,并且应包括易与该病相混淆的其他疾病病人;病例组、对照组均应是同期进入研究的连续样本或者是按比例抽样样本,而不能由研究者随意选择。一、诊断试验研究设计(一)选择研究对象5一、诊断试验研究设计N——样本含量Uα——正态分布中累积概率为α/2时的u值δ——容许误差,一般取值范围是0.05~0.10P——为灵敏度或特异度,一般以灵敏度估计病例组样本量,以特异度估计对照组样本量适用条件:p值介于20%~80%当预期的灵敏度或特异度小于20%或大于80%时,资料呈偏态分布,应将率进行平方根反正弦转换。(二)估计样本含量一、诊断试验研究设计N——样本含量当预期的灵敏度或特6一、诊断试验研究设计常见类型有病理学诊断(包括组织活检和尸体解剖)

外科手术探查

特殊影像学检查临床综合诊断长期随访所获得的肯定诊断

(三)确定金标准金标准是指当前被医学界公认的诊断疾病最客观、可靠的诊断方法。一、诊断试验研究设计常见类型有(三)确定金标准7二、诊断试验的评价内容与指标(一)真实性(二)可靠性(三)预测值(四)受试者工作特性曲线二、诊断试验的评价内容与指标(一)真实性8(一)真实性诊断试验测量值与实际值的符合程度(1)灵敏度(sensitivity)(2)特异度(specificity)(3)误诊率(falsepositiveproportion)(4)漏诊率(falsenegativeproportion)(5)正确指数(Youden’sindex)二、诊断试验的评价内容与指标(一)真实性二、诊断试验的评价内容与指标9二、诊断试验的评价内容与指标1.灵敏度(Sensitivity):实际有病而按该诊断标准被正确地判为有病的比例,即真阳性数占病人数的百分比。

(一)真实性灵敏度=a+ca×100%二、诊断试验的评价内容与指标1.灵敏度(Sensitivi10二、诊断试验的评价内容与指标2.特异度(Specificity):实际无病而按该诊断标准被正确地判为无病的比例,即真阴性数占非病人数的百分比。

特异度=b+dd×100%(一)真实性二、诊断试验的评价内容与指标2.特异度(Specificit11二、诊断试验的评价内容与指标3.漏诊率(FalseNegativeProportion):在病人中被错判为非病人的比例,即假阴性数占病人数的百分比。

漏诊率=a+c

c×100%=1-灵敏度

(一)真实性二、诊断试验的评价内容与指标3.漏诊率(FalseNe12二、诊断试验的评价内容与指标4.误诊率(FalsePositiveProportion):在无病者中被错判为有病的比例,即假阳性数占非病人数的百分比。

误诊率=b+db×100%=1-特异度(一)真实性二、诊断试验的评价内容与指标4.误诊率(FalsePos13二、诊断试验的评价内容与指标(一)真实性5.正确指数(Youden’sIndex)诊断方法发现真正病人与非病人的总能力。该指数越大,诊断价值也越大。

正确指数=(灵敏度+特异度)-1=1-(误诊率+漏诊率)二、诊断试验的评价内容与指标(一)真实性14二、诊断试验的评价内容与指标真实性影响因素诊断标准联合试验金标准选择二、诊断试验的评价内容与指标真实性影响因素诊断标准15例题以收缩压160mmHg为诊断标准,检查10000人发现阳性病人25人,阴性(<160mmHg)病人25人,阳性非病人995人,阴性非病人8955人。试评价其真实性。例题以收缩压160mmHg为诊断标准,检查1016二、诊断试验的评价内容与指标(二)可靠性可靠性(reliability)是指在相同条件下进行重复试验,其结果稳定或一致的程度,又称为可重复性、稳定性、精确度、一致性、恒定性等。二、诊断试验的评价内容与指标(二)可靠性17二、诊断试验的评价内容与指标(二)可靠性计数资料采用Kappa检验,计算Kappa值

计量资料采用方差分析,计算个体内相关系数等级资料采用Kendall相关分析,计算Kendall相关系数

二、诊断试验的评价内容与指标(二)可靠性18可靠性影响因素试验对象个体生物学变异观察者试验方法或仪器本身的变异二、诊断试验的评价内容与指标可靠性影响因素二、诊断试验的评价内容与指标19二、诊断试验的评价内容与指标阳性预测值=a+ba×100%阳性预测值(positivepredictivevalue):真阳性数占阳性数的百分比。它说明被试人如为阳性时患该病的可能性有多大。(三)预测值二、诊断试验的评价内容与指标阳性预测值=a+ba×100%阳20二、诊断试验的评价内容与指标阴性预测值=c+dd×100%阴性预测值(negativepredictivevalue):真阴性数占阴性数的百分比。它说明被试人如为阴性时未患该病的可能性有多大。(三)预测值二、诊断试验的评价内容与指标阴性预测值=c+dd×100%阴21二、诊断试验的评价内容与指标预测值影响因素预测值受试验方法的灵敏度、特异度以及疾病患病率的影响当患病率一定时随着灵敏度升高,特异度下降,阳性预测值下降,阴性预测值上升随着特异度升高,灵敏度下降,阳性预测值上升,阴性预测值下降

当灵敏度、特异度一定时随着患病率的升高,阳性预测值升高,阴性预测值下降随着患病率的下降,阴性预测值升高,阳性预测值下降

二、诊断试验的评价内容与指标预测值影响因素22二、诊断试验的评价内容与指标(四)受试者工作特性曲线受试者工作特性曲线(receiveroperatorcharacteristic,ROC),是以灵敏度为纵坐标,误诊率为横坐标绘制所得的曲线。它表示灵敏度与特异度之间的相互关系。ROC曲线常被用来决定最佳临界点,还可以用来比较两种或两种以上诊断试验的诊断价值,从而帮助医生选择最佳诊断试验。二、诊断试验的评价内容与指标(四)受试者工作特性曲线23204060801001—

特异度(%)诊断糖尿病中血糖测定的ROC曲线灵敏度(%)箭头所指可定为最佳临界点。二、诊断试验的评价内容与指标(四)受试者工作特性曲线204060824三、诊断指标及其标准的确定方法(一)诊断指标

在进行诊断时,应尽可能选择客观指标客观指标能用客观仪器测定,很少依赖诊断者及被诊断者的主观感觉来判断半主观指标

根据诊断者的主观感知判断主观指标完全根据被诊断者的主观感觉来判断三、诊断指标及其标准的确定方法(一)诊断指标在进行诊断25三、诊断指标及其标准的确定方法(二)确定诊断标准1.原则(1)鉴别诊断试验的繁简程度

(2)漏诊后果的严重性

(3)隔一定间隔期后再一次检查的可能性

(4)该病的患病率高低

一旦确定了标准,就必须严格执行,不允许随意更改三、诊断指标及其标准的确定方法(二)确定诊断标准26三、诊断指标及其标准的确定方法(二)确定诊断标准2.方法(1)平均值加减标准差法:正态分布或转换后为正态分布资料(2)百分位数法:①数值呈偏态分布;②数据分布特征不详。(3)异常与疾病相联系绘制ROC曲线,正确指数最大时的测量值作为截断值。三、诊断指标及其标准的确定方法(二)确定诊断标准27四、提高诊断质量的方法尽量选用客观指标。选择正确而合适的指标,对计量指标则应考虑合适的分界值,使其有尽可能高的灵敏度和特异度。对指标的测量,要把方法及可能影响结果的步骤及条件都进行标准化。联合试验。四、提高诊断质量的方法尽量选用客观指标。28联合试验(1)并联试验

定义:同时做几项诊断试验,其中有任何一项阳性,即可作为疾病存在的证据。作用:提高了诊断试验的灵敏度,可以减少漏诊率,但却增加了误诊率。使用的场合必须迅速作出诊断;目前尚无一种灵敏度很高的诊断试验;虽有高灵敏度的试验,但费用昂贵、安全性差;漏掉一个病人时后果严重。联合试验(1)并联试验29联合试验(2)串联试验定义:依次进行的几项试验,是否做下一个试验要根据上一个试验结果来决定,如果结果阳性,则继续下一个试验,否则终止试验。只有所有的均为阳性,才能作为疾病存在的证据。作用:提高了诊断试验的特异度,可以减少误诊率,但却增加了漏诊率使用场合不必迅速作出诊断;目前针对该病的几种诊断方法特异度均不太高;必须做某些昂贵或不安全的试验;当误诊一例带来可能导致严重后果。联合试验(2)串联试验30(一)是否与金标准进行同步独立盲法比较待评价诊断试验或指标应与金标准同步盲法(独立)测量与判断。检查文章的作者是否对每一位被研究对象在进行所考核的诊断试验时,都采用了合适的金标准,并独立判定结果。五、诊断试验研究的评价标准(一)是否与金标准进行同步独立盲法比较五、诊断试验研究的评价31(二)研究对象的来源与构成情况是否清楚研究对象来自哪类哪级医院,其验前概率(患病率)有多大。病例组是否包括该病的各种不同临床类型病人。对照组是否包括了确实无该病的其他病例,并且应包括易与该病相混淆的其他疾病病人。病例组、对照组是否属于同期进入研究的连续样本或者是按比例抽样样本,而不是由研究者随意选择。五、诊断试验研究的评价标准(二)研究对象的来源与构成情况是否清楚五、诊断试验研究的评价32五、诊断试验研究的评价标准(三)样本含量是否足够公式计算:诊断试验的样本含量取决于对试验灵敏度、特异度和容许误差的要求。经验数据:病例组、对照组一般分别不得低于100例,特殊情况下每组也至少30例以上。五、诊断试验研究的评价标准(三)样本含量是否足够33(四)对正常值的定义是否正确、合理对正常值的定义直接影响诊断试验的灵敏度、特异度等指标和新诊断实验本身的真实性及其应用价值,正常值的方法和诊断阈值的确定是否合理和可靠。五、诊断试验研究的评价标准(四)对正常值的定义是否正确、合理五、诊断试验研究的评价标准34(五)诊断试验评价指标的应用是否合理是否采用真实性(灵敏度、特异度、误诊率、漏诊率、正确指数)、预测值(阳性、阴性预测值)等评价指标全面正确地评价诊断试验。

五、诊断试验研究的评价标准(五)诊断试验评价指标的应用是否合理五、诊断试验研究的评价标35五、诊断试验研究的评价标准(六)诊断试验的可靠性高低是否严格控制试验条件和观察者变异范围,并应详细报道是否根据数据类型分别采用正确的统计学方法与指标进行可靠性评价,是否以同样的试验对不同的病例进行了检测并获得真实性相同的结果。

五、诊断试验研究的评价标准(六)诊断试验的可靠性高低36(七)是否检测联合试验中单项试验的贡献率联合诊断试验是否对每一个试验的灵敏度和特异度等重要指标都进行全面评价,并为读者提供了解及应用这些试验的客观依据。五、诊断试验研究的评价标准(七)是否检测联合试验中单项试验的贡献率五、诊断试验研究的评37(八)是否详细介绍具体方法与注意事项是否详细介绍诊断试验的操作步骤、仪器设备、试剂、试验条件、注意事项等,利于他人重复或应用。五、诊断试验研究的评价标准(八)是否详细介绍具体方法与注意事项五、诊断试验研究的评价标38五、诊断试验研究的评价标准(九)是否进行效用分析与适用性分析诊断试验的实用价值是否予以描述,是否对新的诊断试验有效性、有无不良反应、可能带来的社会经济效益、安全性、病人接受程度等作出实事求是的评价。五、诊断试验研究的评价标准(九)是否进行效用分析与适用性分析39第二节临床试验第二节临床试验40一、临床试验的概念、意义与特性(一)概念临床试验(clinicaltrial)以特定人群(病人或健康志愿者)为研究对象,随机分为实验组与对照组,实验组给予新药或新疗法,对照组给予标准(经典)疗法或安慰剂或不给予任何措施,追踪并比较实验组与对照组的结果而确定某项治疗或预防措施的效果与毒副作用的一种前瞻性研究。多中心临床试验(multicenterclinicaltrial)由多位研究者按同一试验方案在不同地点和单位同时进行的临床试验。各中心同期开始与结束试验。多中心试验由一位主要研究者总负责,并作为临床试验各中心间的研究协调者。(二)意义对已有治疗或新的治疗方法或方案的疗效应进行全面评价一、临床试验的概念、意义与特性(一)概念41一、临床试验的概念、意义与特性(三)临床试验的特性临床试验是实验性而非观察性的研究,实验组施加干预措施。临床试验拥有严格的平行对照。临床试验是一种前瞻性研究,即随访追踪一段时间后方能得到结局资料。临床试验研究对象是随机分组的。临床试验应特别注意受试者的安全性和依从性。一、临床试验的概念、意义与特性(三)临床试验的特性42二、临床试验设计的基本要素(一)处理因素

处理因素的性质和强度

根据专业知识、临床经验、目的要求等方面考虑处理因素,干预措施以外的其他因素(非处理因素)各组间应均衡可比。处理因素的反应性和特异性处理因素的效应要能够客观而迅速地反应出来,而且这种反应是该处理因素所特有的。处理因素的标准化临床试验中,处理因素实施标准都应统一标准(标准化)并保持不变。二、临床试验设计的基本要素(一)处理因素43二、临床试验设计的基本要素(二)研究对象

注意:根据研究目的要求确定同质人群,样本是在同质总体中选取的,应有诊断标准、纳入标准、排除标准研究对象对处理因素的反应性好

合作性和安全性样本的数量二、临床试验设计的基本要素(二)研究对象44二、临床试验设计的基本要素1.效应指标类型(1)客观指标尽量采用客观指标

(2)主观指标一般应谨慎选用

按指标性质还可分为(1)定量指标(2)定性指标计数指标(3)半定量等级指标(三)试验效应二、临床试验设计的基本要素1.效应指标类型按指标性质还可45二、临床试验设计的基本要素2.效应指标的选择原则客观性:以定量指标为主,定性指标也应尽量用客观方法记录特异性:尽可能选用特异性高的指标灵敏性:尽量选用新的敏感指标稳定性:稳定性好,能在不同时间、地点被不同操作者重复证实结局性:尽可能选用结局性指标,少用中间性指标(三)试验效应二、临床试验设计的基本要素2.效应指标的选择原则(三)试验效46三、临床试验设计的基本原则(一)设置对照

意义:排除非研究因素和疾病自然病程的干扰;鉴定处理因素的作用和效果;确定治疗措施的不良反应与安全性。

原则:①一致性原则;②对等原则。种类:随机同期对照(randomizedconcurrentcontrol)空白对照安慰剂对照(placebocontrol)交叉设计(crossoverdesign)自身对照(before-afterstudy)非随机同期对照(non-randomizedconcurrentcontrol)历史性对照(historicalcontrol)

三、临床试验设计的基本原则(一)设置对照47三、临床试验设计的基本原则(二)随机分组遵循随机化原则将研究对象随机分配到实验组或对照组,要求每个个体进入各组的机会均等,不随主观意愿分组。意义:最大限度地保证均衡性提高各组间的可比性种类(1)简单随机分组(simplerandomization)

(2)区组随机分组(blockrandomization)

(3)分层随机分组(stratifiedrandomization)三、临床试验设计的基本原则(二)随机分组48三、临床试验设计的基本原则(三)盲法原则

意义:有效地减少或消除由于研究者和研究对象主观因素所产生的观察性偏倚种类:单盲双盲三盲三、临床试验设计的基本原则(三)盲法原则49三、临床试验设计的基本原则(四)重复原则

指样本含量的大小或重复实验次数的多少。实验前必须估计适当的样本含量,以便得出有意义的结论。估计样本含量事先要确定以下4个条件预实验了解效应指标的一些信息;实验组和对照组之间预实验估计或专业上有意义差值d;第Ⅰ类错误的概率,通常α取0.05或0.01;第Ⅱ类错误的概率,通常β取0.10或0.20。三、临床试验设计的基本原则(四)重复原则50(一)伦理问题四、临床试验研究需要注意的问题自愿参加,知情同意,自由退出对参加者无害匿名和保密普遍性道德行为准则

(一)伦理问题四、临床试验研究需要注意的问题自愿参加,知情同51(二)分配方案的隐藏含义:分组人员不知道患者的具体情况

作用:保证患者有均等的机会被分入对照组和试验组四、临床试验研究需要注意的问题(二)分配方案的隐藏四、临床试验研究需要注意的问52(三)安慰剂问题

1.不用于急、重或有较重器质性病变的病人

2.为确定药物本身是否有肯定的治疗作用,宜选择安慰剂对照

3.安慰剂在以主观指标判定疗效时其对结果的影响特别显著四、临床试验研究需要注意的问题(三)安慰剂问题四、临床试验研究需要注意的问题53(四)剔除、退出和失访病例及其处理

剔除病例不能进入疗效分析,但在不良事件分析中仍应包括在内

意向治疗(ITT)分析退出研究病例

完成治疗(perprotocol,PP)分析

失访病例尽可能与受试者联系,询问理由,记录最后一次服药时间,完成所能完成的评估项。{四、临床试验研究需要注意的问题(四)剔除、退出和失访病例及其处理{四、临床试验研究需要注54(五)临床试验的结果不能只凭显著性检验首先要看结果是否有临床意义,没有临床意义的微小差别,即使有显著性意义,也不说明疗效优越。只有疗效的差异具有临床意义,同时具有显著性时,才能推广应用。四、临床试验研究需要注意的问题(五)临床试验的结果不能只凭显著性检验四、临床试验研究需要55(六)效果与实际有效

一种疗法在合作者中取得较好效果,并不等于该疗法在人群中推广时也能取得同样的结果。

四、临床试验研究需要注意的问题(六)效果与实际有效四、临床试验研究需要注意的问题56(七)向均数回归在临床上一些极端的临床症状或体征有向正常回归的现象,称为向均数回归(regressiontothemean),这是临床上经常见到的一种现象。如血压水平处于特别高的病人中有5%的人即使不治疗,过一段时间再测量血压时也可能会降低一些。四、临床试验研究需要注意的问题(七)向均数回归四、临床试验研究需要注意的问题57(八)霍桑效应(Hawthorneeffect)与一般的治疗观察相比,在新的治疗措施的临床疗效考核中,受试对象将受到许多特别关注,而他本身也对试用新药满怀希望,病人可能会因此而更多地向研究人员报告好的结果,而实际上药物本身的疗效并没有那么好。四、临床试验研究需要注意的问题(八)霍桑效应(Hawthorneeffect)四、临58(九)新药与新疗法的评价必须基于基础研究、临床研究与流行病学研究的相互结合

充分的基础研究及动物实验资料临床试验资料罕见或长潜伏期的副反应临床和流行病学监测资料四、临床试验研究需要注意的问题(九)新药与新疗法的评价必须基于基础研究、临床研究与流行病学59(一)研究对象是否有严格的诊断标准、纳入标准和排除标准研究对象要有明确统一的诊断标准;研究对象要有严格的纳入和排除标准。一般情况下,老人、儿童、妊娠期妇女等特殊人群要除外,以免因这些特殊人群的特殊生理病理因素对疗效产生影响。五、临床试验研究的评价(一)研究对象是否有严格的诊断标准、纳入标准和排除标准五、60(二)是否详细介绍研究对象的情况是否介绍研究对象来自哪类哪级医院;实验组、对照组中疾病的类型、症状、体征、年龄、性别等重要临床特征是否作了详细说明。五、临床试验研究的评价(二)是否详细介绍研究对象的情况五、临床试验研究的评价61五、临床试验研究的评价(三)样本含量是否足够实验前必须要合理地估算样本含量根据设计方案的不同选择适当的样本含量公式五、临床试验研究的评价(三)样本含量是否足够62(四)疗效判定指标的客观性、真实性与可靠性如何是否以客观方法记录为主;疗效判定指标特异度高低;疗效判定指标灵敏度高低;疗效判定指标可靠性好坏;疗效判定指标是否为终点指标。五、临床试验研究的评价(四)疗效判定指标的客观性、真实性与可靠性如何五、临床试验研63五、临床试验研究的评价(五)临床观察是否采用盲法是否采用盲法观察排除可能的信息偏倚是否详细介绍实施的具体办法五、临床试验研究的评价(五)临床观察是否采用盲法64五、临床试验研究的评价(六)结果是否来自同期随机对照试验研究的设计方案不是RCT;

对照组与实验组可比性如何;研究设计时,是否采用了限制、配对的方法来选择和分配研究对象;资料分析时,是否采用分层和标准化方法来保证实验组与对照组间均衡可比。五、临床试验研究的评价(六)结果是否来自同期随机对照试验65五、临床试验研究的评价(七)下结论时是否包括全部研究对象

对病人流失情况是否有所说明;流失的人数是否超过观察总数的10%;不依从的人数是否超过观察总人数的20%;

数据统计分析时,对被剔除者、自动退出者、缺乏依从性者,以及治疗中发生组间交叉者是否作了适当处理。五、临床试验研究的评价(七)下结论时是否包括全部研究对象66五、临床试验研究的评价(八)是否报道了临床上全部有关结果

如实报告临床疗效如实报告用药后的不良反应五、临床试验研究的评价(八)是否报道了临床上全部有关结果如实67五、临床试验研究的评价(九)是否同时考虑临床意义与统计学意义有统计学意义不一定有临床意义有临床意义不一定有统计学意义要将疗效的统计学意义和临床意义联系起来五、临床试验研究的评价(九)是否同时考虑临床意义与统计学意义68(十)是否介绍了防治措施的实用性有无详细介绍药物的剂型、剂量、用法、适应症、禁忌证哪些情况下应增减剂量或终止治疗及是否需要维持剂量等剂量、给药途径和疗程是否与已知的药代动力学知识相一致研究所使用的防治措施是否具有安全、简便、易行、经济及能否为病人所接受五、临床试验研究的评价(十)是否介绍了防治措施的实用性五、临床试验研究的评价69第三节循证医学概述第三节循证医学概述70一、循证医学概述(一)定义循证医学(Evidence-basedMedicine,EBM)是指在疾病的诊治过程中,将个人的临床专业知识、经验与现有的最佳研究证据、病人的选择结合起来进行综合考虑,为每个病人作出最佳医疗决策。(二)核心思想最佳研究证据与医师的临床实践和病人价值观三者的完美结合。一、循证医学概述(一)定义71一、循证医学概述(三)主要观点过去的医学实践也是基于证据的,但这个证据不是循证医学所特指的“现有最佳证据”经验也是证据,但他们是不可靠的、低质量的证据循证医学是一种有组织、有计划的集体行为在应用证据时,要考虑病人的特殊性,并根据自己的临床经验,综合考虑各种因素,作出最合适的临床决策当高质量的研究证据不存在时,前人或个人的实践经验是最好的证据一、循证医学概述(三)主要观点72一、循证医学概述(四)基本原则系统、全面地查寻研究证据并应用临床流行病学的原则和方法严格评价文献的质量应用最佳证据进行医疗决策

一、循证医学概述(四)基本原则73二、循证医学的实施步骤(一)问题的提出临床表现:如何正确获得和解决从病史及体检中得到的发现;病因:如何确定疾病的原因;鉴别诊断:当考虑到病人临床病变的可能原因时,如何根据发生的可能性、严重性和可治疗性进行排序;诊断试验:为了肯定或排除某一诊断,在考虑诊断试验真实性、可靠性、可接受性、费用、安全性的基础上,如何选择诊断试验并解释其结果;预后:如何估计病人可能产生的临床过程以及可能产生的并发症;治疗:如何为病人选择利远大于弊的治疗手段,从效果及费用来决定是否值得采用;预防:如何通过确定和改变危险因素来降低疾病发生的机会,如何通过筛检早期诊断该病。二、循证医学的实施步骤(一)问题的提出74二、循证医学的实施步骤(二)证据的收集根据问题确定有关“关键词”从各种证据来源中找出与拟弄清的临床问题关系密切的资料二、循证医学的实施步骤(二)证据的收集75二、循证医学的实施步骤(三)证据的评价二、循证医学的实施步骤(三)证据的评价76二、循证医学的实施步骤(四)决策的确定自己的病人是否与研究证据中纳入的病人有很大的差异以至于研究结果不能使用研究中的干预措施可行性如何该干预措施对病人是否利大于弊考虑病人的价值观及其对疗效的期望二、循证医学的实施步骤(四)决策的确定77二、循证医学的实施步骤(五)实效的验证评价以上四步的效率和效果,以便在下一次实施中加以改进二、循证医学的实施步骤(五)实效的验证78三、系统评价(一)系统评价的定义系统评价(systematicreview,SR)系统评价是指针对一种疾病或某一诊疗措施全面收集所有相关临床研究并逐个进行严格评价和分析,必要时进行定量合成的统计学处理,再得出综合结论的过程。亦称综合分析或系统综述。Cochrane系统评价(Cochranesystematicreview,CSR)Cochrane系统评价是Cochrane协作网协作者在Cochrane协作网统一工作手册、Cochrane评价组编辑部指导和帮助下完成并发表在Cochrane图书馆(TheCochraneLibrary光盘和因特网上)的系统评价。三、系统评价(一)系统评价的定义79三、系统评价(二)系统评价的意义通过结果综合结论更真实、可靠;使用者能更快、更准确、更方便地了解最新医疗措施,指导临床实践,提高医疗质量;为制定临床工作指南和临床决策的依据。三、系统评价(二)系统评价的意义80三、系统评价(三)系统评价与叙述性综述的异同点三、系统评价(三)系统评价与叙述性综述的异同点81三、系统评价(四)系统评价的步骤与方法(1)提出并形成系统评价的问题(2)制订系统评价研究方案(3)制定检索策略查找研究文献(4)对纳入的研究文献进行质量评价(5)收集资料(6)分析资料、形成结果(7)解释结果(8)系统评价的改进与更新三、系统评价(四)系统评价的步骤与方法82三、系统评价(五)系统评价报告的评价标准是否来自随机对照试验系统评价的“方法学”部分,是否描述了检索和评价临床研究质量的方法不同研究的结果是否一致系统评价结果的临床意义自己的病人是否与系统评价中的研究对象有较大差异系统评价中的干预措施在自己的医院是否可行自己的病人从治疗中获得的利弊如何对于治疗的疗效和不良反应,自己的病人的价值观和选择如何(许能锋)三、系统评价(五)系统评价报告的评价标准(许能锋)83第十九章临床流行病学《预防医学》第十九章临床流行病学《预防医学》84第一节诊断试验设计与评价第一节诊断试验设计与评价85诊断试验定义诊断试验(DiagnosticTest)应用实验、仪器设备等手段对疾病进行诊断,把病人与可疑有病但实际无病的人区别开来,以便对确诊的病人给予相应的治疗的一切检测方法。诊断试验定义诊断试验(DiagnosticTest)86一、诊断试验研究设计(一)选择研究对象(二)估计样本含量(三)确定金标准一、诊断试验研究设计(一)选择研究对象87一、诊断试验研究设计(一)选择研究对象病例组应当包括该病的各种临床类型;对照组应选自未患该病的其他病例,并且应包括易与该病相混淆的其他疾病病人;病例组、对照组均应是同期进入研究的连续样本或者是按比例抽样样本,而不能由研究者随意选择。一、诊断试验研究设计(一)选择研究对象88一、诊断试验研究设计N——样本含量Uα——正态分布中累积概率为α/2时的u值δ——容许误差,一般取值范围是0.05~0.10P——为灵敏度或特异度,一般以灵敏度估计病例组样本量,以特异度估计对照组样本量适用条件:p值介于20%~80%当预期的灵敏度或特异度小于20%或大于80%时,资料呈偏态分布,应将率进行平方根反正弦转换。(二)估计样本含量一、诊断试验研究设计N——样本含量当预期的灵敏度或特89一、诊断试验研究设计常见类型有病理学诊断(包括组织活检和尸体解剖)

外科手术探查

特殊影像学检查临床综合诊断长期随访所获得的肯定诊断

(三)确定金标准金标准是指当前被医学界公认的诊断疾病最客观、可靠的诊断方法。一、诊断试验研究设计常见类型有(三)确定金标准90二、诊断试验的评价内容与指标(一)真实性(二)可靠性(三)预测值(四)受试者工作特性曲线二、诊断试验的评价内容与指标(一)真实性91(一)真实性诊断试验测量值与实际值的符合程度(1)灵敏度(sensitivity)(2)特异度(specificity)(3)误诊率(falsepositiveproportion)(4)漏诊率(falsenegativeproportion)(5)正确指数(Youden’sindex)二、诊断试验的评价内容与指标(一)真实性二、诊断试验的评价内容与指标92二、诊断试验的评价内容与指标1.灵敏度(Sensitivity):实际有病而按该诊断标准被正确地判为有病的比例,即真阳性数占病人数的百分比。

(一)真实性灵敏度=a+ca×100%二、诊断试验的评价内容与指标1.灵敏度(Sensitivi93二、诊断试验的评价内容与指标2.特异度(Specificity):实际无病而按该诊断标准被正确地判为无病的比例,即真阴性数占非病人数的百分比。

特异度=b+dd×100%(一)真实性二、诊断试验的评价内容与指标2.特异度(Specificit94二、诊断试验的评价内容与指标3.漏诊率(FalseNegativeProportion):在病人中被错判为非病人的比例,即假阴性数占病人数的百分比。

漏诊率=a+c

c×100%=1-灵敏度

(一)真实性二、诊断试验的评价内容与指标3.漏诊率(FalseNe95二、诊断试验的评价内容与指标4.误诊率(FalsePositiveProportion):在无病者中被错判为有病的比例,即假阳性数占非病人数的百分比。

误诊率=b+db×100%=1-特异度(一)真实性二、诊断试验的评价内容与指标4.误诊率(FalsePos96二、诊断试验的评价内容与指标(一)真实性5.正确指数(Youden’sIndex)诊断方法发现真正病人与非病人的总能力。该指数越大,诊断价值也越大。

正确指数=(灵敏度+特异度)-1=1-(误诊率+漏诊率)二、诊断试验的评价内容与指标(一)真实性97二、诊断试验的评价内容与指标真实性影响因素诊断标准联合试验金标准选择二、诊断试验的评价内容与指标真实性影响因素诊断标准98例题以收缩压160mmHg为诊断标准,检查10000人发现阳性病人25人,阴性(<160mmHg)病人25人,阳性非病人995人,阴性非病人8955人。试评价其真实性。例题以收缩压160mmHg为诊断标准,检查1099二、诊断试验的评价内容与指标(二)可靠性可靠性(reliability)是指在相同条件下进行重复试验,其结果稳定或一致的程度,又称为可重复性、稳定性、精确度、一致性、恒定性等。二、诊断试验的评价内容与指标(二)可靠性100二、诊断试验的评价内容与指标(二)可靠性计数资料采用Kappa检验,计算Kappa值

计量资料采用方差分析,计算个体内相关系数等级资料采用Kendall相关分析,计算Kendall相关系数

二、诊断试验的评价内容与指标(二)可靠性101可靠性影响因素试验对象个体生物学变异观察者试验方法或仪器本身的变异二、诊断试验的评价内容与指标可靠性影响因素二、诊断试验的评价内容与指标102二、诊断试验的评价内容与指标阳性预测值=a+ba×100%阳性预测值(positivepredictivevalue):真阳性数占阳性数的百分比。它说明被试人如为阳性时患该病的可能性有多大。(三)预测值二、诊断试验的评价内容与指标阳性预测值=a+ba×100%阳103二、诊断试验的评价内容与指标阴性预测值=c+dd×100%阴性预测值(negativepredictivevalue):真阴性数占阴性数的百分比。它说明被试人如为阴性时未患该病的可能性有多大。(三)预测值二、诊断试验的评价内容与指标阴性预测值=c+dd×100%阴104二、诊断试验的评价内容与指标预测值影响因素预测值受试验方法的灵敏度、特异度以及疾病患病率的影响当患病率一定时随着灵敏度升高,特异度下降,阳性预测值下降,阴性预测值上升随着特异度升高,灵敏度下降,阳性预测值上升,阴性预测值下降

当灵敏度、特异度一定时随着患病率的升高,阳性预测值升高,阴性预测值下降随着患病率的下降,阴性预测值升高,阳性预测值下降

二、诊断试验的评价内容与指标预测值影响因素105二、诊断试验的评价内容与指标(四)受试者工作特性曲线受试者工作特性曲线(receiveroperatorcharacteristic,ROC),是以灵敏度为纵坐标,误诊率为横坐标绘制所得的曲线。它表示灵敏度与特异度之间的相互关系。ROC曲线常被用来决定最佳临界点,还可以用来比较两种或两种以上诊断试验的诊断价值,从而帮助医生选择最佳诊断试验。二、诊断试验的评价内容与指标(四)受试者工作特性曲线106204060801001—

特异度(%)诊断糖尿病中血糖测定的ROC曲线灵敏度(%)箭头所指可定为最佳临界点。二、诊断试验的评价内容与指标(四)受试者工作特性曲线2040608107三、诊断指标及其标准的确定方法(一)诊断指标

在进行诊断时,应尽可能选择客观指标客观指标能用客观仪器测定,很少依赖诊断者及被诊断者的主观感觉来判断半主观指标

根据诊断者的主观感知判断主观指标完全根据被诊断者的主观感觉来判断三、诊断指标及其标准的确定方法(一)诊断指标在进行诊断108三、诊断指标及其标准的确定方法(二)确定诊断标准1.原则(1)鉴别诊断试验的繁简程度

(2)漏诊后果的严重性

(3)隔一定间隔期后再一次检查的可能性

(4)该病的患病率高低

一旦确定了标准,就必须严格执行,不允许随意更改三、诊断指标及其标准的确定方法(二)确定诊断标准109三、诊断指标及其标准的确定方法(二)确定诊断标准2.方法(1)平均值加减标准差法:正态分布或转换后为正态分布资料(2)百分位数法:①数值呈偏态分布;②数据分布特征不详。(3)异常与疾病相联系绘制ROC曲线,正确指数最大时的测量值作为截断值。三、诊断指标及其标准的确定方法(二)确定诊断标准110四、提高诊断质量的方法尽量选用客观指标。选择正确而合适的指标,对计量指标则应考虑合适的分界值,使其有尽可能高的灵敏度和特异度。对指标的测量,要把方法及可能影响结果的步骤及条件都进行标准化。联合试验。四、提高诊断质量的方法尽量选用客观指标。111联合试验(1)并联试验

定义:同时做几项诊断试验,其中有任何一项阳性,即可作为疾病存在的证据。作用:提高了诊断试验的灵敏度,可以减少漏诊率,但却增加了误诊率。使用的场合必须迅速作出诊断;目前尚无一种灵敏度很高的诊断试验;虽有高灵敏度的试验,但费用昂贵、安全性差;漏掉一个病人时后果严重。联合试验(1)并联试验112联合试验(2)串联试验定义:依次进行的几项试验,是否做下一个试验要根据上一个试验结果来决定,如果结果阳性,则继续下一个试验,否则终止试验。只有所有的均为阳性,才能作为疾病存在的证据。作用:提高了诊断试验的特异度,可以减少误诊率,但却增加了漏诊率使用场合不必迅速作出诊断;目前针对该病的几种诊断方法特异度均不太高;必须做某些昂贵或不安全的试验;当误诊一例带来可能导致严重后果。联合试验(2)串联试验113(一)是否与金标准进行同步独立盲法比较待评价诊断试验或指标应与金标准同步盲法(独立)测量与判断。检查文章的作者是否对每一位被研究对象在进行所考核的诊断试验时,都采用了合适的金标准,并独立判定结果。五、诊断试验研究的评价标准(一)是否与金标准进行同步独立盲法比较五、诊断试验研究的评价114(二)研究对象的来源与构成情况是否清楚研究对象来自哪类哪级医院,其验前概率(患病率)有多大。病例组是否包括该病的各种不同临床类型病人。对照组是否包括了确实无该病的其他病例,并且应包括易与该病相混淆的其他疾病病人。病例组、对照组是否属于同期进入研究的连续样本或者是按比例抽样样本,而不是由研究者随意选择。五、诊断试验研究的评价标准(二)研究对象的来源与构成情况是否清楚五、诊断试验研究的评价115五、诊断试验研究的评价标准(三)样本含量是否足够公式计算:诊断试验的样本含量取决于对试验灵敏度、特异度和容许误差的要求。经验数据:病例组、对照组一般分别不得低于100例,特殊情况下每组也至少30例以上。五、诊断试验研究的评价标准(三)样本含量是否足够116(四)对正常值的定义是否正确、合理对正常值的定义直接影响诊断试验的灵敏度、特异度等指标和新诊断实验本身的真实性及其应用价值,正常值的方法和诊断阈值的确定是否合理和可靠。五、诊断试验研究的评价标准(四)对正常值的定义是否正确、合理五、诊断试验研究的评价标准117(五)诊断试验评价指标的应用是否合理是否采用真实性(灵敏度、特异度、误诊率、漏诊率、正确指数)、预测值(阳性、阴性预测值)等评价指标全面正确地评价诊断试验。

五、诊断试验研究的评价标准(五)诊断试验评价指标的应用是否合理五、诊断试验研究的评价标118五、诊断试验研究的评价标准(六)诊断试验的可靠性高低是否严格控制试验条件和观察者变异范围,并应详细报道是否根据数据类型分别采用正确的统计学方法与指标进行可靠性评价,是否以同样的试验对不同的病例进行了检测并获得真实性相同的结果。

五、诊断试验研究的评价标准(六)诊断试验的可靠性高低119(七)是否检测联合试验中单项试验的贡献率联合诊断试验是否对每一个试验的灵敏度和特异度等重要指标都进行全面评价,并为读者提供了解及应用这些试验的客观依据。五、诊断试验研究的评价标准(七)是否检测联合试验中单项试验的贡献率五、诊断试验研究的评120(八)是否详细介绍具体方法与注意事项是否详细介绍诊断试验的操作步骤、仪器设备、试剂、试验条件、注意事项等,利于他人重复或应用。五、诊断试验研究的评价标准(八)是否详细介绍具体方法与注意事项五、诊断试验研究的评价标121五、诊断试验研究的评价标准(九)是否进行效用分析与适用性分析诊断试验的实用价值是否予以描述,是否对新的诊断试验有效性、有无不良反应、可能带来的社会经济效益、安全性、病人接受程度等作出实事求是的评价。五、诊断试验研究的评价标准(九)是否进行效用分析与适用性分析122第二节临床试验第二节临床试验123一、临床试验的概念、意义与特性(一)概念临床试验(clinicaltrial)以特定人群(病人或健康志愿者)为研究对象,随机分为实验组与对照组,实验组给予新药或新疗法,对照组给予标准(经典)疗法或安慰剂或不给予任何措施,追踪并比较实验组与对照组的结果而确定某项治疗或预防措施的效果与毒副作用的一种前瞻性研究。多中心临床试验(multicenterclinicaltrial)由多位研究者按同一试验方案在不同地点和单位同时进行的临床试验。各中心同期开始与结束试验。多中心试验由一位主要研究者总负责,并作为临床试验各中心间的研究协调者。(二)意义对已有治疗或新的治疗方法或方案的疗效应进行全面评价一、临床试验的概念、意义与特性(一)概念124一、临床试验的概念、意义与特性(三)临床试验的特性临床试验是实验性而非观察性的研究,实验组施加干预措施。临床试验拥有严格的平行对照。临床试验是一种前瞻性研究,即随访追踪一段时间后方能得到结局资料。临床试验研究对象是随机分组的。临床试验应特别注意受试者的安全性和依从性。一、临床试验的概念、意义与特性(三)临床试验的特性125二、临床试验设计的基本要素(一)处理因素

处理因素的性质和强度

根据专业知识、临床经验、目的要求等方面考虑处理因素,干预措施以外的其他因素(非处理因素)各组间应均衡可比。处理因素的反应性和特异性处理因素的效应要能够客观而迅速地反应出来,而且这种反应是该处理因素所特有的。处理因素的标准化临床试验中,处理因素实施标准都应统一标准(标准化)并保持不变。二、临床试验设计的基本要素(一)处理因素126二、临床试验设计的基本要素(二)研究对象

注意:根据研究目的要求确定同质人群,样本是在同质总体中选取的,应有诊断标准、纳入标准、排除标准研究对象对处理因素的反应性好

合作性和安全性样本的数量二、临床试验设计的基本要素(二)研究对象127二、临床试验设计的基本要素1.效应指标类型(1)客观指标尽量采用客观指标

(2)主观指标一般应谨慎选用

按指标性质还可分为(1)定量指标(2)定性指标计数指标(3)半定量等级指标(三)试验效应二、临床试验设计的基本要素1.效应指标类型按指标性质还可128二、临床试验设计的基本要素2.效应指标的选择原则客观性:以定量指标为主,定性指标也应尽量用客观方法记录特异性:尽可能选用特异性高的指标灵敏性:尽量选用新的敏感指标稳定性:稳定性好,能在不同时间、地点被不同操作者重复证实结局性:尽可能选用结局性指标,少用中间性指标(三)试验效应二、临床试验设计的基本要素2.效应指标的选择原则(三)试验效129三、临床试验设计的基本原则(一)设置对照

意义:排除非研究因素和疾病自然病程的干扰;鉴定处理因素的作用和效果;确定治疗措施的不良反应与安全性。

原则:①一致性原则;②对等原则。种类:随机同期对照(randomizedconcurrentcontrol)空白对照安慰剂对照(placebocontrol)交叉设计(crossoverdesign)自身对照(before-afterstudy)非随机同期对照(non-randomizedconcurrentcontrol)历史性对照(historicalcontrol)

三、临床试验设计的基本原则(一)设置对照130三、临床试验设计的基本原则(二)随机分组遵循随机化原则将研究对象随机分配到实验组或对照组,要求每个个体进入各组的机会均等,不随主观意愿分组。意义:最大限度地保证均衡性提高各组间的可比性种类(1)简单随机分组(simplerandomization)

(2)区组随机分组(blockrandomization)

(3)分层随机分组(stratifiedrandomization)三、临床试验设计的基本原则(二)随机分组131三、临床试验设计的基本原则(三)盲法原则

意义:有效地减少或消除由于研究者和研究对象主观因素所产生的观察性偏倚种类:单盲双盲三盲三、临床试验设计的基本原则(三)盲法原则132三、临床试验设计的基本原则(四)重复原则

指样本含量的大小或重复实验次数的多少。实验前必须估计适当的样本含量,以便得出有意义的结论。估计样本含量事先要确定以下4个条件预实验了解效应指标的一些信息;实验组和对照组之间预实验估计或专业上有意义差值d;第Ⅰ类错误的概率,通常α取0.05或0.01;第Ⅱ类错误的概率,通常β取0.10或0.20。三、临床试验设计的基本原则(四)重复原则133(一)伦理问题四、临床试验研究需要注意的问题自愿参加,知情同意,自由退出对参加者无害匿名和保密普遍性道德行为准则

(一)伦理问题四、临床试验研究需要注意的问题自愿参加,知情同134(二)分配方案的隐藏含义:分组人员不知道患者的具体情况

作用:保证患者有均等的机会被分入对照组和试验组四、临床试验研究需要注意的问题(二)分配方案的隐藏四、临床试验研究需要注意的问135(三)安慰剂问题

1.不用于急、重或有较重器质性病变的病人

2.为确定药物本身是否有肯定的治疗作用,宜选择安慰剂对照

3.安慰剂在以主观指标判定疗效时其对结果的影响特别显著四、临床试验研究需要注意的问题(三)安慰剂问题四、临床试验研究需要注意的问题136(四)剔除、退出和失访病例及其处理

剔除病例不能进入疗效分析,但在不良事件分析中仍应包括在内

意向治疗(ITT)分析退出研究病例

完成治疗(perprotocol,PP)分析

失访病例尽可能与受试者联系,询问理由,记录最后一次服药时间,完成所能完成的评估项。{四、临床试验研究需要注意的问题(四)剔除、退出和失访病例及其处理{四、临床试验研究需要注137(五)临床试验的结果不能只凭显著性检验首先要看结果是否有临床意义,没有临床意义的微小差别,即使有显著性意义,也不说明疗效优越。只有疗效的差异具有临床意义,同时具有显著性时,才能推广应用。四、临床试验研究需要注意的问题(五)临床试验的结果不能只凭显著性检验四、临床试验研究需要138(六)效果与实际有效

一种疗法在合作者中取得较好效果,并不等于该疗法在人群中推广时也能取得同样的结果。

四、临床试验研究需要注意的问题(六)效果与实际有效四、临床试验研究需要注意的问题139(七)向均数回归在临床上一些极端的临床症状或体征有向正常回归的现象,称为向均数回归(regressiontothemean),这是临床上经常见到的一种现象。如血压水平处于特别高的病人中有5%的人即使不治疗,过一段时间再测量血压时也可能会降低一些。四、临床试验研究需要注意的问题(七)向均数回归四、临床试验研究需要注意的问题140(八)霍桑效应(Hawthorneeffect)与一般的治疗观察相比,在新的治疗措施的临床疗效考核中,受试对象将受到许多特别关注,而他本身也对试用新药满怀希望,病人可能会因此而更多地向研究人员报告好的结果,而实际上药物本身的疗效并没有那么好。四、临床试验研究需要注意的问题(八)霍桑效应(Hawthorneeffect)四、临141(九)新药与新疗法的评价必须基于基础研究、临床研究与流行病学研究的相互结合

充分的基础研究及动物实验资料临床试验资料罕见或长潜伏期的副反应临床和流行病学监测资料四、临床试验研究需要注意的问题(九)新药与新疗法的评价必须基于基础研究、临床研究与流行病学142(一)研究对象是否有严格的诊断标准、纳入标准和排除标准研究对象要有明确统一的诊断标准;研究对象要有严格的纳入和排除标准。一般情况下,老人、儿童、妊娠期妇女等特殊人群要除外,以免因这些特殊人群的特殊生理病理因素对疗效产生影响。五、临床试验研究的评价(一)研究对象是否有严格的诊断标准、纳入标准和排除标准五、143(二)是否详细介绍研究对象的情况是否介绍研究对象来自哪类哪级医院;实验组、对照组中疾病的类型、症状、体征、年龄、性别等重要临床特征是否作了详细说明。五、临床试验研究的评价(二)是否详细介绍研究对象的情况五、临床试验研究的评价144五、临床试验研究的评价(三)样本含量是否足够实验前必须要合理地估算样本含量根据设计方案的不同选择适当的样本含量公式五、临床试验研究的评价(三)样本含量是否足够145(四)疗效判定指标的客观性、真实性与可靠性如何是否以客观方法记录为主;疗效判定指标特异度高低;疗效判定指标灵敏度高低;疗效判定指标可靠性好坏;疗效判定指标是否为终点指标。五、临床试验研究的评价(四)疗效判定指标的客观性、真实性与可靠性如何五、临床试验研146五、临床试验研究的评价(五)临床观察是否采用盲法是否采用盲法观察排除可能的信息偏倚是否详细介绍实施的具体办法五、临床试验研究的评价(五)临床观察是否采用盲法147五、临床试验研究的评价(六)结果是否来自同期随机对照试验研究的设计方案不是RCT;

对照组与实验组可比性如何;研究设计时,是否采用了限制、配对的方法来选择和分配研究对象;资料分析时,是否采用分层和标准化方法来保证实验组与对照组间均衡可比。五、临床试验研究的评价(六)结果是否来自同期随机对照试验148五、临床试验研究的评价(七)下结论时是否包括全部研究对象

对病人流失情况是否有所说明;流失的人数是否超过观察总数的10%;不依从的人数是否超过观察总人数的20%;

数据统计分析时,对被剔除者、自动退

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论