版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
小胖说统计之一:认识a,6
要了解生物统计在临床试验中的应用,首先需从认识a,B开始,就是这两个不起眼的
符号贯穿了临床试验生物统计的始终。a和(3的定义是比较拗口的,特别是对于那些没学过
统计的人来说,这两个东西是怎么也搞不明白具体是怎么回事。虽然比较拗口,但咱还得在
这里重复一下a和B的科学定义:a又称第I类错误或显著性水平,指拒绝了实际上成立的
HO,B又称第H类错误,指不拒绝实际上不成立的H0。对应B的还有一个概念叫power,国
内翻译为把握度,它等于1—B,指拒绝实际上不成立的H0的概率。
说得通俗一点,临床试验中你会犯俩错误,一种错误就是两种药本来没啥区别,却说
成您的药优于人家的药,这就是a;另一种错误就是你的药的确优于人家的药,却说成两
种药没啥区别,这就是那1一。呢,就是咱的优秀药物被发现的概率啊。
不知道,上边的解释,您听明白了吗?如果听明白了,小胖要问您了,谁应该最关心
a啊,那又谁应该最关心B啊?
最关心a的当然是我们伟大的SFDA以及诸如FDA之类的药品审批机构啊,为啥?他们
当然不希望一种药明明和别的药没啥区别,却被药厂说成疗效更好,换言之,他们可不希
望审批无效的药物进入市场。所以啊,它们要限定这种错误发生的概率,也就是我们的a
了,一般情况下,a被限定为0.05。
最关心B的当然是我们的药厂了,为啥?为钱,哈哈!药厂当然不希望明明他的药优
于别人的药,却被说成两种药没啥区别吧,所以它们希望降低这种错误发生的概率,也就
是降低B了。换言之,他希望提高把握度(1—6),使自己的药能有更高的概率作出来优
于别的药物,从而进入市场,赚取钞票。。。一般情况下,B应小于0.2,甚至0.1,对应
的把握度为80%或90%。
当然药厂降低B,也就是提高把握度,会提高你试验成功的概率,但这也同时意味着
同等条件下样本量的增加,样本量的增加就意味着money的增加,这些都是矛盾的,没办
法,谁让这世界本来就是一个矛盾的世界呢,你只好去权衡利弊,找个平衡点呗。。。
今天就到这里吧,休息,休息。。。
小胖说统计之二:怎样认识Non—positive试验
在上一博认识完a和B后,我们继续深入探讨一下Pooo
在很多情况下,我们会经常遇到临床试验的结果是Non—positivie(P>0.05),此时你会怎
么解释呢?有的同学比较干脆,看到p〉0.05,就立马认为两种药无差别,更有甚者,如果对
照组是安慰剂的话,那这个药就被判定为无效,彻底over了。当然这些同学未免有点武断了,
其实大多数情况下,这是由于under-powered造成的,下边小胖就给大家举个例子看看吧。。。
咱保护人家的知识产权,先说明这个例子的referencnce为:ArchPediatrAdolescMed.
2006:160(11):1126-1129,仅供咱参考学习之用。
试验是这样的:
本试验比较DuctTape和placebo治疗小学儿童人乳头瘤病毒(疣)的疗效,主要疗效指标
是6周后的wartresolution,最后的试验结果是DuctTape组16%,placebo组6%,p=
0.12o
看到这个结果,你会得出啥结论?别,咱先别急,先看看它的最初的样本含量和把握度设计
的叙述:
根据以往综述,placebo治疗10周后约有30%的wartresolution。假设双测检验0.05显
著水平,每组需要39例病人才能有80%的把握检验出DuctTape和placebo组wart
resolution?。%的的差异。考虑到失访,最终入组100例(每组50例)。
看完这个叙述,你应该会发现点东西了吧,对!研究者过高地估计了placebo的wart
resolution,同时也过高地估计了两组之间的差别。研究者那个后悔啊,肠子都悔青了,后
来经过反省,他发现了俩估计上的问题:
(1)人家以前的综述,是说10周后的wartresolution是30%,本试验主要指标是6周后
的wartresolution,当然这个率应该低一些;
(2)与placebo30%的差别,也太过于自信了吧,人家临床上觉得你的药有15%的提高就有
临床意义了,你把标准提得这么高,不是自找麻烦吗。
根据试验结果,我们可以推算出本试验的把握度只有26%,这么低的把握度就怪不得没做出
啥来了。。。
这样吧,小胖替研究者重新设计一下,咱假设plcebo组30%wartresolution不变,把两组
差异降为15%,这样算出来,每组做175例,总共350例。
假设同样的wartresolution结果,DuctTape组16%,placebo组6%,你猜咋得?把握度
大于80%,P<0.05了!!!咱的DuctTape有救了!!!
说了这么半天,大家可能也闹胡涂了,算了,记住以下儿点吧,随便锻炼一下英文,权当这
次没白来看小胖的blogo
1.Non-positiveONLYnotconclusive
2.NotbeabletodetectadifferencedoesNOTmeanthereisnodifference
3.ThepredominantreasonofNon-positivetrialsismostlyuunder-powered,
ratherthanineffectivenessofthetesttherapy
小胖说统计之三:优效、等效和非劣效试验(一)
小胖在论坛上转悠了一阵子了,发现有很多同学对优效、等效和非劣效试验都做过一些讨论,
小胖不才,在这里再给大家解释一下,权当班门弄斧,如有偏颇,大家尽管拍砖,就算小胖
来找残吧,所谓小胖不入地狱,谁入地狱,小胖开博开讲了。。。
先从优效性试验开讲吧。顾名思义,优效性试验的目的是显示试验药物的疗效优于对照药。
优效性检验的第一步往往是对两组进行统计学检验,看看有没有显著性差异。当两组有显著
性差异后,下一步就得判断两组之间的差异是否有临床意义。这里小胖需要强调的是,统计
学显著性差异并不意味着差异有临床意义。举个极端的例子,只要样本量足够大,10000甚
至100000,哪怕是0.01的差异都能有统计学意义,但这个0.01的差异当然在临床上是不会
被认可的。考虑到这一点,当计算优效性试验的样本量时,你假设的两组差异必须在临床上
是有意义的。
关于优效性试验还有一个大家常碰到的问题是,究竟是单侧检验还是双侧检验呢?其实这个
问题统计学界本身存在着争议,至于具体争议,小胖就不在此赘述了,小胖想让大家知道的
是,现在通常优效性试验取的都是双侧0.05显著水平。
至于具体的统计检验,可通过双侧0.05显著水平或双侧95%可信区间两种方法来实现,当
然了优效性试验要求p<0.05,或两组疗效(治疗一对照)之差的95%可信区间的下限大于0o
今天小胖就罗唆到此,下次继续。。。休息。。。
小胖说统计之四:优效、等效和非劣效试验(二)
在上篇博客中,小胖给大家简单地介绍了一下优效性试验,不知大家明白一点没有,如大家
有何问题,尽可拍砖。。。
今天继续讲一下等效/非劣效试验,首先小胖问大家一个问题,为啥要做等效/非劣效试验?
其实说起来很简单,现在开发出一种疗效确实优于现有标准治疗的药那有那么容易啊,那你
就要得从别的方面考虑了,就是首先保证你的药不差于人家的药的基础上,在别的方面有优
势啊,不然人家为什么批准你上市。那这些别的方面的优势是啥呢?
(1)你的药便宜,这个就不用多说了
(2)你的药副作用少,考察一个药可不只是疗效,现在安全性也越来越重要了
(3)你的药服用方式方便,例如,你的是口服,人家的是静脉;你的每周一次,人家的每
周三次,等等
(4)你的药的依从性好,这个和服用方式也有较大的关系,当然也包括剂量疗程等方面的
考虑
(5)你的药能更好地改善生活质量,这年头病人生活质量改善是越来越时髦了
还有别的很多很多,反正你必须找一个让人家审评机构认可的理由,不然谁批准你啊!
关于这个非劣效检验的问题,小胖不得不先在这里发一下牢骚,可能大家也知道现在国内临
床试验的现状,这几年还好,以前大家做临床试验基本上就是找个对照药,每组做个100例,
两者一比较,如果p<0.05,求之不得,如果P>0.05,ok!说俺的药和人家的药没啥区别,SFDA
也就稀里糊涂地批了。现在吗,进步了,SFDA也学习人家,开始在试验设计和统计上有要求
了,但在缺乏原创的中国,优效试验(当然安慰剂排除)是没啥把握的,只好非劣效试验了,
但非劣效试验的样本量大家是知道的,一般情况下是优效试验的4倍以上,但咱的药厂就算
是外资药厂,动不动就几百个病人的试验,在这个还是销售市场驱动的中国市场,何以承受!
所以现在很多药厂频频打擦边球,SFDA呢,我也不知道他怎么办的,不好评述,反正不敢恭
维OOO
小胖这几年做下来的感觉,一句话SFDA和FDA的差距比中国和美国经济的差距还大,不过也
没办法,人家FDA多少年了,你SFDA才几年啊,况且你SFDA面对的是仿制药横行的中国,
其实冷静下来想,最适合的就是最好的,也许这是最适合中国国情的,况且它也在不断进步
中,对比这儿年的变化,小胖也应该为他鼓掌。。。
跑题了,跑题了,二,。。
下次小胖一定言归正传,好了,下次继续。。。
小胖说统计之五:优效、等效和非劣效试验(三)
上篇博客中,小胖发了一通牢骚,还望众弟兄见谅,今天小胖给大家谈一下等效性试验。
首先等效性试验的目的是显示试验药物的等同于对照药,这里大家要注意了,你的药要和人
家的药疗效相同,既不能优于人家,也不能差于人家哦。
等效性试验主要在生物等效性研究中使用,在中国还真不少用。为啥,咱仿制药多哦,和人
家原创药怎么也得做个生物等效吧。但是在生物等效性试验不可行的情况下,需做临床等效,
比如说一些吸入的或局部给药的药物。
生物等效性试验一般比较药代动力学参数的90%可信区间,而临床等效呢,一般是95%可信
区间。
等效性检验采用双侧可信区间,当可信区间完全落在等效界值之内,则推断为等效。至于界
值咋确定,这个关键的问题小胖下次重点白话一下。。。
今儿,周末了,少写点,小胖要早点休息了。。祝大家周末愉快!
小胖说统计之六:优效、等效和非劣效试验(四)
经过一个周末的休息调整,小胖开博继续,今天着重给大家讨论一下非劣效试验界值的选择
问题。
首先看看非劣效试验的目的,显示试验药物的疗效在临床上不劣于阳性对照药,说白了就是
证明您的药不差于人家的药。要做非劣效试验有两点特别重要,啥呢?
一是选择对照药,当然你选择的对照组必须是广泛应用的,已被证实疗效的标准用药,特别
强调的是对照药以前必须在过往的优效性临床试验中证实疗效,这点不难理解,你选择了和
安慰剂差不多的药做对照,还说自己的药非劣于它,这不找死吗。
二是确定非劣效界值,这是重中之重。咋确定呢?小胖在这必须严正指出,非劣效界值的确
定取决于临床实践,必须由临床医生作出,统计师只是在统计理论上加以考虑,那种把非劣
效界值确定一股脑全部抛给统计师的做法是相当错误的,也是极端不负责任的,从这个角度,
什么SFDA规定的必须在15%还有什么20%或者其他数字之内的说法都是极不科学的。其实非
劣效界值的确定,小胖总结了三原则:
1.必须基于临床判断和统计理论的结合,上边已说,不再赘述
2.必须小于对照药和安慰剂之间疗效的差异,很好理解,比如对照药和安慰剂之间应答率
差异总共才10%,你整个非劣效界值15%,那你的药还有啥疗效,还成了负疗效不成。。。
3.不能高于最小的临床有意义的差异值,比较拗口,啥意思呢,举个例子,比如临床上认
为治疗某种疾病,在应答率方面如果有超过10%的差异就算有临床意义了,那么我们确定的
非劣效界值就不能高于10%。这也很好理解,你确定的界值如果大于这个值,比如15%了,
就算你作出来差个14%,虽说满足了非劣效界值的要求,但在临床上你差个14%,从临床上
判断这个差别就是有临床意义的差别,就很难被临床接受。
非劣效界值的确定是个很复杂的工作,没有一个统一具体的定量的规定,都是casebycase
的,不能搞一刀切。作为提高国内临床试验质量的主体,研究者包括临床医生必须明确自己
在其中的主导作用,而不是--味地推诿给sponsor,推诿给统计师,讲到这里,我们不得不
承认我们的研究者在临床试验的道路上还有不少路要走。。。
关于非劣效界值的确定,EMEA有一个专门的guideline,
www.emea.europa.eu/pdfs/human/ewp/215899en.pdf;FDA的guideline好像也会在不久以
后颁布,其研究也在不断完善中。。。
小胖说统计之七:优效、等效和非劣效试验(五)
上次博客中,小胖着重给大家介绍了一下非劣效界值的选择,今天继续讲一下非劣效试验的
其他方面的东西。
怎么证实非劣效呢,很简单,根据非劣效界值D,非劣效性检验通常采用单侧95%可信区间,
如果两组疗效差值的95%可信区间的下限大于一D,则推断为非劣效。比如你在研究设计中
确定非劣效界值为5%,那么你的药减去人家的药的差值的95%可信区间的下限如果大于
-5%,0K!恭喜!侬的要过关了!
在这里我们要坚决讨伐一下以前国内的某些临床试验,有些人对两组的疗效进行比较,发现
P>0.05,就说他的药非劣于或等于人家的药,这种推断是十分错误的。
讲了非劣效了,有人会问小胖了,有没有可能本来你设计成非劣效试验,结果作出来是优效
的了。当然有这种情况,咱们可以在证实了非劣效的基础上再寻求优效啊,呵呵,没办法,
人总得往高处走啊,要真能证实了优效,那不是意外之馅饼,何乐而不为呢。那具体上怎么
实现呢?首先,你必须在方案中说明,比如说俺这个试验设计为非劣效试验或优效性试验,
啥意思呢,就是说首先证实非劣效,然后在非劣效的基础上,满足什么条件,就推断为优效,
诸如此般的说法,至于啥条件呢,就是两组疗效差异的95%可信区间的下限不仅大于一D,
还大于Oo方案中一旦规定好了,就相当于咱这是事先规定的,不是事后诸葛亮,ok,下一
步就根据你的95%可信区间下限来判断了。
在这里小胖又得罗索一下,也是俺多年悟出来的真理啊,临床试验统计的第一原则是什么,
小胖告诉你,是计划,英文叫planned,就是你所有的统计方法都必须在方案中或统计分析
计划书中事先规定好,不能等到数据分析时,来这个,来那个,这种adhoc分析都是不对
的,统计学上有个专业术语,你这样就会产生bias,而我们所要做的就是要减少bias。
还有人会问小胖,我们能不能先设计个优效试验,如果优效试验不满足的话,再证实非劣效,
小胖说的是可以,和从非劣效到优效的转换一样,你必须在方案中说明,特别是对非劣效界
值确定的说明。
以上就是小胖所讲的优效和非劣效之间的转换,小胖看到过比较多的从非劣效到优效的转换,
但从优效到非劣效的转换很少,当然这与许多因素有关,在此不再详述。
关于优效和非劣效之间的转换,EMEA也有个专门的guideline:
www.emea.europa.eu/pdfs/human/ewp/048299en.pdf,有兴趣的同学可以阅读一下,受益匪
浅哦。
小胖说统计之八:如何从统计角度来review研究方案(一)
一个临床试验研究方案的撰写,离不开统计,那么对于一个完整的研究方案,从统计角度它
应该包括什么内容,或者一个统计师应从那些方面来review呢,小胖从今天开始陆续在此小
谈一下,个人愚见,仅供参考。
1.必须有具体明确的研究目的。这点勿容置疑,如果你连研究目的和用来证实研究目的的
终点指标都没搞清楚,你就别做了,准备洗洗睡吧。。。研究目的是啥?研究目的就是你做这
个试验想要回答的问题。设立正确的研究目的是临床试验最关键的一部分。研究目的一旦确
定,它就直接决定着你的临床试验设计、数据的收集、数据的分析乃至最后的结论的确立和
解释,因此研究目的可谓整个临床试验的基石。当我们review我们临床试验的研究目的时,
首先要问自己两个问题:
(1)这个研究目的是否合理和切合实际?很简单咱不能做不切实际的幻想。。
(2)这个研究目的可否可以被证实,就是说根据我们的研究方案能否回答我们的研究目的。
研究目的应该尽量具体化,而不是仅仅说确立某某药的疗效和安全性。研究目的不宜过多,
如果研究目的不止一个,那么应对研究目的进行排序。
2.必须有清楚的终点指标(endpoints)。一般会有主要终点和次要终点。主要终点是临床
试验最重要的指标,能最确切地反应药物的疗效或安全性。通常情况下,主要终点只有一个,
这也是最理想的状态,当然在一些疾病的临床试验中,需要同时从两个方面对疗效进行评估,
这时会出现co-primaryendpoints。如果存在多个主要终点时,就要考虑控制I类错误。所
以小胖建议大家在设计临床试验时,尽量选择单一的主要终点,比较易于设计、分析和解释。
主要终点也是样本量计算的依据,这一点很重要哦。还有一点小胖要提醒大家的是,在选择
主要终点时,尽量选择客观性指标。如果选择一些生活质量评分诸如此类的主观性指标,很
容易在研究者评分或受试者评分时产生较大的偏倚,小胖就曾看到过双盲安慰剂对照的临床
试验因为把所谓的受试者评分作为主要终点,结果因为产生较大的偏倚而导致失败的例子,
因此说实话,特别是在国内,这种主观性的评分还是不要作为主要终点为好,来自研究者、
受试者以及各方面的偏倚会很多。。。关于次要终点,就强调两点,一是必须与试验目的相关,
二是数目不要太多。
好了,今天先讲这两点,下次待续。“
小胖说统计之九:如何从统计角度来review研究方案(二)
接上篇博文,继续从统计角度review研究方案:
3.终点指标的定义和测量方法。在研究方案中必须加以详细描述,特别注意一些关键的时间
点的定义,比如基线和终点时间等。这对以后的统计分析至关重要。这里需要强调的是在一
些肿瘤临床试验中,终点指标的定义比如应答的定义等。测量方法比如MMR等的描述必须详
细准确。
4.符合入选/排除标准的研究人群。小胖在这里简单说两句。你可以首先简单问自己两个问
题,一是你选择的人群的疾病是不是太轻度以至于无法检测出差异,二是你选择的人群的疾
病是不是太严重以至于无法检测出差异。另外,小胖需要说的是,一些标准可以在入选标准
中出现,也可以在排除标准中出现,而不用在入选/排除标准中同时出现。现在很多方案,明
明在入选标准中已经说明了,非要在排除标准中再不厌其烦地反着说一遍。比如你在入选标
准里规定了18—75岁的受试者,结果你还要在排除标准里写上年龄<18或>75的受试者。不
是说不对,但小胖认为这样不大专业。。。
5.入组和随机化分配方法。方案中应详细说明受试者入组和随机化分配方法。随机化方法主
要有简单随机化、区组随机化和分层随机化。现在我们的多中心试验大部分采取的是以中心
为分层因素的中心区组随机化。至于具体的随机化方法,小胖将在以后的博文中设立专题介
绍,这里不再赘述。
好了,周末了,外边还下雨,今天就讲这三点,下次继续。。。
小胖说统计之十:如何从统计角度来review研究方案(三)
6.根据研究目的确定样本量。样本量的计算也许是统计师遇到的最常见的问题之一,关于样
本量的确定,小胖会在以后单独讨论。在这里小胖先给大家讲儿点。一样本量的计算通常应
根据主要指标;二是你需要提供给统计师最重要的东西是difference,也就是两组之间的差
异(非劣效试验为非劣效界值);三是样本量的计算的关键和难处在于effectsize的估计,
这是一个广泛阅读文献和临床实践的过程,当然最难的工作不属于统计师,统计师的工作就
是计算,这个吗,简单,有公式,有软件。。。
7.合适的临床试验设计。不好意思,这一项应排在第三位,小胖遗漏了。在review研究设
计时,可首先问自己一个问题,就是这个试验设计能不能回答你的研究目的?这是最重要的。
啥临床试验设计类型那,有平行设计、交叉设计、析因设计以及现在hot的成组序贯设计等。
当然大家接触的最多的是平行设计。当然在比较类型上还有优效、等效和非劣效。这里的临
床试验设计包括很多方面,review啥呢,其实把研究方案中的studyflowchart看好了,
就基本差不多/ooO
8.数据收集。很简单,这是建立database和进行统计分析的基础,无须多言
9.盲底保存和揭盲的方法。这个进局限于盲态试验,这个我相信每个公司都有自己的SOP,
具体小胖以后将做介绍。
侍续OOOOO
小胖说统计之十一:如何从统计角度来review研究方案(四)
10.中期分析及数据监查的办法。中期分析在肿瘤试验中比较常见,但因涉及到一类错误的
调整、独立数据核查机构等较为复杂的问题,在国内临床试验中较为少见。小胖以前一直在
强调的一点,就是plan,这一点在中期分析上尤为重要。对中期分析的具体操作方法和统计
处理方法必须在研究方案中事先规定,而不能在试验开始后,随便进行到一段时间后,就来
个分析,还美其名曰中期分析。。。
11.样本量的核查以及变更。这一点较为少见,主要适用于adaptivedesign,就是根据中
期分析的结果进行样本量的调整。。
12.统计学假设(Hypothesis)。就是你统计检验要检验的东西,这个必须与你的研究目的
相对应。
13.多重性问题。主要包括多个主要变量和多个处理组间的比较,在统计学方法上会涉及到
一类错误的调整以及对power的影响。
14.对失访、缺失以及方案违背的处理
15.对各种类型数据的统计分析方法,具体说是连续型数据,分类型数据,时间事件数据等。。。
16.数据管理和统计分析使用的系统和软件,无非是clintrial,OC,SAS等等。。。
好了,以上儿篇文章简单介绍了16项review内容,在以后的博文中,小胖将陆续针对这里
边的项目进行专题详细的讨论。。o
小胖说统计之十二:HowmanysubjectsdoIneed?(一)
HowmanysubjectsdoIneed?这是个问题,是一个临床试验中最常见的问题。在回答此间
题前,咱先看看如果咱的临床试验没有足够的样本量会造成啥后果。
大家在临床试验中最常见的就是试验结果无法下结论,明明作出来一个35%,一个20%,相
差15%,很明显咱的药很好,可p值却怎么也不小于0.05,咋办,白做了呗,冤啊!这个还
好,要是由于机遇(playofchance)的原因,甚至你的药看起来比人家的药差就玩完了,
这可不是吓唬你哦,这种风险可是存在的。其实说到底,最严重的后果是啥,当然是浪费钱
了,作了半天,啥都没做出来,甚至还整了个相反的结果,费人费钱费力啊。。。
明白了这个问题的重要性,那谁来回答这个问题呢,研究者和统计师!在这里研究者的知识
和假设起着关键作用,而统计师只是进行技术性的计算作用。
那小胖问大家样本量计算难吗?
难!
研究者难!研究者为了确定那儿个effectsize参数值,需要阅读大量文献,需要长期临床
实践,这可真是一个艰难决策的过程。这个难可以理解为科学决策的难!
Sponsor难!样本量的大小直接决定着budget的大小!每个sponsor总想最少的钱办最大的
事,可风险呢,怎么平衡呢,难啊!
不难!
统计师不难!咱不怕,等他们决定好了,咱就是动动手,简陋的,有计算器,高级的,有软
件。。。PASS、nQuery、EAST等样本量计算软件的出现,让咱的工作更简单了,咱不就是填填
参数吗。。。
小胖说统计之十三:HowmanysubjectsdoIneed?(二)
关于样本量的计算,可以分为两类:
1.Precesion-based
2.Power-based
那怎么来选择呢?
让小胖来简单介绍一个判断的过程,在判断前,你可以首先问自己一个问题,即你的研究问
题是否涉及到了特定的比较,比如治疗组和安慰剂的比较,治疗组和阳性对照组的比较等?
如果你的回答是yes,那么你就应该选择power-based即根据研究假设和把握度等来计算样
本量;如果你的回答是No,那么你就可以选择precison—based,根据估计的精确度来计算
样本量。这里还有一种关于比较的特殊情况,即在研究中涉及到了两组间的比较,但研究关
心的问题是估计两组之间的差异有多大,那么还应选择precision—basedo
啥为precesion-based?
通俗地讲,比如你想知道你的药治疗哮喘的应答率情况,你不能让所有的哮喘病人都吃你的
药吧,所以你就要从所有的哮喘病人中选择一定数量的哮喘病人来做临床试验,通过这一部
分人的应答率来估计整个哮喘病人的应答率。此时,所有的哮喘病人就是一个总体,所有哮
喘病人的应答率就是总体率,而你选择的那一定数量的哮喘病人就是一个样本,那他们的应
答率就是样本率。因此,我们做的就是利用样本率来估计总体率,当然通过样本率来估计总
体率总会有精确不精确的问题,这时我们就需要对这个精确度(precesion)有个要求,而这
个又通过95%可信区间来实现,比如说咱要求咱估计出来的率的95%可信区间在真值的十一
5%范围内,你也可以这样简单地理解,就是你临床试验作出来的应答率和整个哮喘人群的应
答率的差异不会超过H—5%o此时5%就是这个precesion。很显然precesion越小,你估
计的越精确,当然需要的样本量越多。你也可以反过来想想,当你抽取的样本量越大,即做
的受试者越多时,你估计出来的结果就越接近总体的真实值啊。。。
小胖说统计之十四:HowmanysubjectsdoIneed?(三)
今天小胖通过例子给大家介绍一下precision-based样本量计算。
precision—based样本量计算最常见于一些单组的观察研究,下边是一个简单的例子:
假设你想做一个A药治疗XX疾病的单组观察试验,主要疗效指标是应答率,那怎么计算样本
量呢?
我们先看公式吧
n=z21-a/2*P*(l-P)/d2
那我们继续看里边的参数的意义:
z21-a/2这一般是固定的即a=0.05,此时这个值为1.962
P为你估计的应答率,即你估计的A药治疗XX疾病的应答率
d为precesion,即精确度,即与总体率相差不大于Hd
其实这时你需要确定的是P和d,如果你实在无法估计p,可以用0.5来代替,为什么呢?
大家可以看一下公式,P*(『P)在p=0.5时最大,此时n也最大,即最保守,所以你不知道
P的情况下,可以用0.5来代替,此时n最大,这也是最保守的估计。
这样我们需要确定的最关键的是d值。
下边是关于样本量的英文叙述,供大家参考:
AsamplesizeofapproximatelyXXsubjectswillallowanestimate(using95%
confidencelimits)tobewithinXXoftheresponserate.
AnapproximatetotalsamplesizeofXXpatientswillprovideaprecisionofXXfor
95%confidenceintervalfortheresponserate.
至于中文,比较拗口,仅供参考,大家可以有更好的说法。。。
大约需要XX例受试者以95%可信区间可使应答率在真值的XX范围内。
小胖说统计之十五:HowmanysubjectsdoIneed?(四)
今天小胖给大家简单介绍一下最常见的power—basedsamplesizecalculation,不外乎两
种最常见的情况,一是连续性变量的比较和分类变量的比较。
1.连续性变量:
假如你想比较治疗组与对照组某个变量的均值,那么每组需要的样本量是:
N=f(a,P)*2*S2/82
f(a,B):根据a和B计算所得,最常用的为:
当a=0.05,6=0.2时,f(a,B)=7.9
当a=0.05,B=0.1时,f(a,B)=10.5
6为你认为的有意义的两组最小能检测出的差异值,通常根据文献以及临床实践来确定
S为标准差,需要根据以前的研究来确定
血压的例子:
假设标准差为20mmHg,有90%的把握度在0.05显著水平上能检验出治疗组和对照组lOmmHg
的差异,则需要的样本量为每组:
N=f(a,p)*2*S2/62=10.5*2*202/102=84
以下是关于这类样本量计算的描述,供大家写方案时参考:
英文:
Thetotaltargetsamplesizewillbe…subjects(•••subjectspertreatment).With
thissamplesize,adifferenceof••,between(activearm)and(controlarm)in(primary
endpoint)canbedetectedwith(X)%powerassumingastandarddeviationof…and
significancelevelof….
中文:
假设标准差为xx,则需xx例受试者(每组xx)有90%的把握度在xx显著水平上检验出治
疗组和对照组xx的差异。
当然在最后的样本量确定时,还要考虑一定的失访率。。。
总结一下,在这个两均数比较的样本量的计算中,你需要知道的什么?
标准差和差异!Remember!
小胖说统计之十六:ICHE9临床试验的统计学指导原则解析(一)
ICHE9Statisticalprinciplesforclinicaltrials(临床试验的统计学指导原则)可
谓生物统计师的bible,目的在于协调欧洲、日本和美国在进行药品上市申请的临床试验时
所应用的统计学方法的指导原则。虽说中国是协调三方之外的国家,SFDA还为此另外制定了
自己的《化学药物和生物制品临床试验的生物统计学技术指导原则》,但其内容基本还是照抄
翻译了ICHE9的内容。
首先,我们先看一下ICHE9的内容概况:
1.引言
2.整个临床试验的基本考虑
3.试验设计中的基本考虑
4.试验进行中的基本考虑
5.数据分析
6.安全性与耐受性评价
7.研究报告
小胖将结合自己的拙解,对ICHE9涉及的一些内容陆续进行一番探讨,认识难免不足,主要
抛砖引玉,供大家一起讨论。。。
p.s.ICHE9Statisticalprinciplesforclinicaltrials下载
小胖说统计之十八:ICHE9临床试验的统计学指导原则解析(三)
ConfirmatoryTrial(验证性试验)和ExploratoryTrial(探索性试验)
对整个临床试验的角度考虑,我们通常可以把临床试验分为ConfirmatoryTrial(验证性试
验)和ExploratoryTrial(探索性试验)两种类型。
什么是验证性试验呢?简单地讲,验证性试验就是检验假设(hypothesis-testing)的试验,
是一种事先提出假设,并对其进行检验的有对照组的试验。可以提供疗效和安全性方面的确
定的证据。我们进行的验证性试验包括所有的III期试验、大多数IV期试验以及一些晚期的
II期试验。当然对于验证性试验,我们接触最多的便是IH期注册试验。其中验证性试验最
核心的部分就是假设(Hypothesis),而对于它必须做到:
1.假设必须直接根据试验的主要目的确定
2.假设必须在试验前事先确定
3.假设必须在试验完成后进行检验
与之对应的探索性试验,对数据作一些探索分析,可能会做一些假设检验,但这些假设不需
要是事先确定的,而是根据数据的特点而定的,因此不能作为证实疗效的正式依据。虽然说
是探索,但其也应有清晰的明确的目的。其实,--系列的探索性试验正是验证性试验必要性
及设计的基础。简单地说,探索性试验是产生假设(hypothesis-generating),验证性试验
是检验假设(hypothesis-testing)。探索性试验常见于一些II期试验,现在越来越多被一
些研究者申办的上市后研究所采用(post-marketingexploratorystudy),基本是为了探索
新的用法以及新的应用范围等。
在这里小胖顺便提一下探索性试验样本量的确定,因为探索性试验没有预先确定的假设,因
此样本量的确定就只能是precision—based,即对试验结果的精确度有个要求,关于具体的
内容可参加《小胖开博之十三:HowmanysubjectsdoIneed?(二)》。
小胖说统计之十七:ICHE9临床试验的统计学指导原则解析(二)
临床研发计划中的统计思维
众所周知,药物临床研究的主要目标就是以最小的成本和最快的时间,科学地评估有希望进
入市场的药物的风险一效益。万事计划为先,为了保证药物研发的成功,制定一个临床研发
计划(clinicaldevelopmentplan)是十分必要的。
那什么是临床研发计划包括哪些内容呢?
通常地,临床研发计划包括研发依据、试验的一些基本情况、时间表、预算以及所需的人力
物力财力资源等。
在大多数公司,在开展一项临床试验前,可能不会有一-项正规的成文的临床研发计划,但总
会考虑到上述这些内容。
尽管临床研发计划的确定主要基于医学和科学的正确合理,但其他方面比如生物统计、注册、
市场甚至管理层的影响也同等重要。
在这里我们重点讨论一下,统计在临床研发中的作用。首先,小胖问大家一个问题,管理者
在做临床研发计划时希望从生物统计师这里获得什么?是的,当然最重要的是一些有助于他
们决策的有用的信息。他们需要在市场销售、医学、注册等各方面追求一个平衡。他们需要
明确知道药物研发的风险收益。正如小胖在前边小胖开博之一:认识a,6中所说的那样,制
药公司尤其关注H类错误即B,大家都不希望投入了儿亿美金,却得不出有意义的结果吧!
统计师要做的就是告诉你的计划团队特别是管理者这些风险,以及如何估算和管理这些风险,
使说的文绐绐点,就是要对他们进行变异、不确定性以及风险这些概念的教育,呵呵。。。
小胖说统计之十九:ICHE9临床试验的统计学指导原则解析(四
研究人群(population)
众所周知,临床试验一个主要的目的就是提供某种药物对于患有某种疾病的病人群体的准确
可靠的临床评估。而我们的统计和临床推断都是基于这个病人群体中的抽取的样本。什么意
思呢?举个例子,我们要做一个降脂药治疗原发性高胆固醇血症的试验,那么研究人群
(population)就是原发性高胆固醇血症病人,在具体实践中,我们会根据样本量的大小,
从原发性高胆固醇血症病人(总体)抽取一定数量的病人(样本),进行病人入组,接受治疗,
然后对这些抽取的病人(样本)的疗效和安全性进行评估,并进行统计和临床推断,然后再
推广到整个原发性高胆固醇血症病人(总体),进而得出最后的结论,这就是一个样本描述推
断总体的过程。
临床试验中的研究人群是通过入选/排除标准来确定的,因此入选/排除标准的确定对于试验
的成功显得十分重要。入选/排除标准的确定主要应基于病人的基本特征、诊断标准以及疾病
严重程度等。
在研究方案制定时,对临床试验目标人群的选择十分重要。这时往往存在两种选择偏差情况,
一种情况是选择的人群过于宽泛,比如说,你的研究药物可能只对程度严重的某种疾病更为
有效,可是你选择了轻、中、重各种程度的病人,结果导致观察不到期望的临床疗效;另一
种情况对选择的人群过于限制,比如你只选择了某种疾病中某个基因型或者具有某个基线特
征的病人,虽然得到了你期望的临床疗效,但批准的适应症很可能也仅限于这个特征的病人
人群,在以后的市场推广方面会受到很大的限制。
一句话,一切都是度,而如何把握这个度,那才是最难的。。。
主要变量和次要变量
关于主要变量(primaryvariables,primaryendpoints)和次要变量(secondaryvariables,
secondaryendpoints),ICHE9中有较为详细的描述。小胖在这里简要地给大家作一下概
括。
对于主要变量来说:
1)与研究主要目的直接相关
2)最好只选择-一个
3)早期研究或在已发表的文献中报道过的可信有效的变量
4)用于样本量的计算
5)预先在方案中规定
对于次要变量来说:
1)与主要目的相关的支持性指标
或
2)与次要目的相关的指标
小胖在这里要提及大家在临床试验中可能会遇到的问题,即如果主要变量未显示出统计学意
义,那么是否还需要对次要变量进行分析?在这一点上存在着一些争议,其中O'Neil曾经
写了篇题为uSecondaryendpointscannotbevalidlyanalyzediftheprimaryendpoint
doesnotdemonstrateclearstatisticalsignificance”的文章,而DavisCE则对应地
写了篇uSecondaryendpointscanbevalidlyanalyzed,eveniftheprimaryendpoint
doesnotprovideclearstatisticalsignificance"。而现在比较普遍的看法是,对临床
试验结果的解释不能仅仅集中于主要变量的显著性。在主要变量未显示出统计学意义的情况
下,应该对次要变量进行分析,但其分析结果只能被认为是支持性的或探索性的结果。一句
话,对临床试验次要变量的解释,其重要性远远大于只是盯住那个所谓的p值。
小胖在最后附上上面所提及的两篇文献,供大家参考。
小胖说统计之二十一:ICHE9临床试验的统计学指导原则解析(六)
次要变量在临床试验中的地位
大家都知道,一般地,我们在临床试验研究方案中会设计几个次要变量,但这些次要变量在
整个临床试验中究竟处于什么地位呢?一直以来,对这个问题都没有达成共识。
下边小胖简单地介绍一下次要变量的三种情况:
1.次要变量作为支持性证据
次要变量可以为治疗的效果提供另外的临床特征,但是次要变量本身不足以为药物申请或增
加适应症提供可以信服的证据。此时,次要变量主要是为主要目的提供支持性证据,可信区
间和统计检验只能作为探索性结果,不能据此下结论。这种情况在临床试验中最为常见,在
此小胖无需赘述。
2.次要变量作为得出另外结论的依据
如果次要变量是假设检验证实性策略的一部分,其显著性结果只有在主要目的达到的情况下
才能得出另外的结论。更为重要的是,一旦主要目的被证实,和次要目的相关的次要变量可
以成为得出另外结论的依据。处理这种次要变量的一个有效的方法是逐级检验。一旦基于主
要目的的无效假设被拒绝,对于次要变量就可以按照顺序逐级进行证实性假设检验。在这种
情况下,主要变量和次要变量的不同只是在检验假设中的顺序的不同,当然这种顺序的不同
反映了在研究中相应的重要性的不同。
举个例子吧,小胖曾经历过一项某降血脂药临床试验的研究方案,主要变量为LDL-C变化百
分率,次要变量为总胆固醇变化百分率、甘油三脂变化百分率、HDL-C变化百分率。其分析
策略是对次要变量进行逐级检验,逐级检验顺序如下:1)总胆固醇2)甘油三酯3)HDL-Co
如果得不出主要变量显著性结果,则不能由此对后面的次要变量(总胆固醇、甘油三酯和
HDL-C)进行相应的推断性检验,而仅对这些指标用进行描述性分析。同样的,在次要变量分
析中,按顺序如果排在前边的次要变量得不出显著性结果,则不能对后边的次要变量进行推
断性检验。而我们的结论呢,根据显著性结果,在得出降低LDL-C结论的基础上,也可得出
降胆固醇、甘油三脂或升高HDL-C的结论。
3.次要变量作为临床有效的标志指标
一些潜在的显示临床有效的重要指标或者反映安全性的重要指标都应该归为次要变量。但是,
如果观察到的疗效比预期的要大,但是却无法达到其主要目的,此时需要进一步的研究来支
持观察到的疗效。
这种情况较为少见,意思是什么呢,就是某个次要变量对显示临床疗效十分重要,而且结果
也很显著,但此时主要变量却未显示出显著意义,此时就比较难以下结论,怎么办,那只有
需要进一步的研究了。
小胖说统计之二十二:ICHE9临床试验的统计学指导原则解析(七)
复合变量(一)
当难以确定单一的主要变量时,可将多个变量组合即构成我们所谓的复合变量。复合变量一
般有两种类型。
一种就是我们临床上经常采用的量表,例如我们在抑郁临床试验中常用到的HAMD量表(汉密
顿抑郁量表)就是由若干项目组成的复合变量。关于这一种复合变量,小胖在此不做过多解
释。
另一种复合变量多见于生存分析中,儿种事件被合并定义为一个复合变量。这种情况在心血
管临床试验中最为常见,例如,在急性冠脉综合征临床试验中,主要变量可使用一个复合变
量,即出现任何原因的死亡、心肌梗塞、有证据的需再次住院的不稳定性心绞痛、血管重建
术和中风的事件。
为什么要使用复合变量,使用复合变量有什么好处呢?
现在许多疾病都有其标准治疗方法,一种新的治疗方法经常出于伦理的原因不可能与安慰剂
作比较,而与标准治疗作比较为了显示显著性差异就必须需要较大的样本量。特别是对于那
些事件发生率低的,比如说死亡吧,标准治疗3%,这时如果把主要变量设为死亡率,新治
疗再好,想显示出与标准治疗2—3%的差别,其样本量也十分巨大。在这种情况下,引进复
合变量不失为一种好的解决方法,这时我们把主要变量设置为死亡、心肌梗塞和中风等的复
合变量,这时可能事件发生率就相对较高,就较容易检验出显著差别,自然所需的样本量就
会大大减少,临床试验的成本和时间也会大大削减,当然产品也会早点上市。。。
以上就是使用复合变量最直观的好处,但使用复合变量也存在着不少问题,小胖将在接下来
的文章中加以介绍。
小胖说统计之二十三:ICHE9临床试验的统计学指导原则解析(八)
复合变量(二)
如何选择复合变量呢?复合变量的选择有什么临床和注册方面的要求呢?
现在比较普遍的看法,复合变量的选择一般应有以下要求:
1.复合变量中的每个组成部分必须具有临床意义,而且对病人来说具有相似的重要性
2.治疗对每个组成部分的预期作用是相似的,这也是我们使用复合变量的理论依据。注册
方面也要求治疗对每个单个组成部分的影响应该是一致的。
3.组成复合变量的临床上较为重要的单个组成部分至少应保证不会受治疗的负面影响。这
时注册方面则要求对于复合变量的每个组成部分必须单独进行分析,以清楚地知道治疗是影
响所有的组成部分,还是仅仅影响其中单个结局。
以上是复合变量选择的基本要求,有兴趣的同学可以阅读一下小胖附在后边的EMEA《Points
toconsideronmultiplicityissueinclinicaltrail》中6.HOWSHOULDCOMPOSITE
VARIABLESBEHANDLEDSTATISTICALLYWITHRESPECTTOREGULATORYCLAIMA?的内容。
随后的博文中,小胖会就复合变量选择以及解释中的问题加以简单介绍
小胖说统计之二十四:ICHE9临床试验的统计学指导原则解析(九)
复合变量(三)
对复合变量作为主要变量的应用,有如下简单建议供大家参考:
1.构建复合变量:
(1)在试验开始前,就应该事先确定好复合变量,并清楚地定义复合变量的各个组成部分
(2)避免选择那些治疗不可能有效的组成部分
(3)避免选择那些临床上意义不大的组成部分
(4)避免选择在临床重要性及治疗效果差异较大的组成部分
2.对涉及复合变量作为主要变量的临床研究的结果的报告:
(1)对构成复合变量的所有组成部分也应该单独进行报告,以确定是否其中有某个组成部
分在复合变量中起着主导作用,以及确定对各个组成部分治疗的效果是否一致。
(2)复合变量的各个组成部分通常定义为次要变量,并和主要变量的分析一起进行报告,
最好放在一个表格里
(3)对复合变量的解释,必须把各个组成部分放在一起作为一个整体复合变量来解释,而
不是分开各个组成部分进行解释
(4)对复合变量的结果的报告必须清晰,明确到底有没有意义,避免诸如单个组成部分显
示有效这样的suggestion
复合变量的应用是一个复杂的问题,小胖只是略作一最基本的介绍,想要了解更多关于复合
变量,可阅读一下此文后所附的文件《Methodologicdiscussionsforusingand
interpretingcompositeendpointsarelimited,butstillidentifymajorconcerns》。
晕,上传空间已满,无法上传,不知那位大侠知道怎么解决?
小胖说统计之二十五:ICHE9临床试验的统计学指导原则解析(十)
多个主要变量
我们在临床试验中会遇到主要变量不止一个,最常见的我们在临床方案中会遇到co-primary
endpoint这个词,由此会带来对a的调整问题。这时大家可能有的会有些疑惑,怎么有的情
况下需要调整,有的情况下不需要调整。在此,对于为何调整和为何不调整的原理不作具体
解释,只是简单地告诉大家什么时候调整,什么时候不调整吧。
其实很简单,要判断到底该不该调整a,就看你的研究目的是不是要求所有的主要变量都必
须有统计学意义,通俗说就是必须所有的主要变量都有统计学意义才能说明疗效好,如果是,
那么你就可以在0.05的显著性水平(词)上进行检验而无需进行调整,这时需要注意的是,
此时会增加II类错误B,相应地power(1-13)会减少,因此你在试验设计阶段算样本量
时,对每个主要变量,最好取90%或95%的power,以便最后的总体power能达到80%。另
一种情况,如果说儿个主要变量中有一个主要变量有统计学意义就能说明疗效好的话,那么
对每个主要变量的检验就应该进行a的调整,最简单的办法就是,如果你有K个主要变量,
那么你就应该对每个主要变量在显著性水平为0.05/k上进行统计检验,以维持总的显著水平
为0.05o
下边举个通俗的例子说吧,我们要比较A药和B药的疗效,主要变量有两个P1和P2,那么
有两种情况:
(1)A药在P1和P2两个主要变量都优于B药才能说明A药疗效优于B药,这时我们要做
的就是对两种药物分别进行P1和P2两个指标的统计学检验,当两个指标统计学检验P值都
小于0.05时,就可以说A药疗效优于B药。
(2)A药在P1和P2两个主要变量中任何一个主要变量优于B药就说明A药疗效优于B药,
这时我们要做的也是对两种药物分别进行Pl和P2两个指标的统计学检验,但不同的时,当
两个指标统计学检验P值中有一个小于0.025(0.05/2)时,就可以说A药疗效优于B药。
当然以上例子介绍的是单纯的直接拿0.05除以k的调整方法,这种方法比较保守,当然还有
其他调整方法,以后将加以介绍。
小胖说统计之二十六:ICHE9临床试验的统计学指导原则解析(十一)
多个治疗组的比较(一)
在上篇博文中,小胖简单介绍了多个主要变量,今天接着介绍另一个临床试验中的多重问题,
即多个治疗组的比较。
在临床试验中,我们常遇到一些试验涉及多个治疗组。例如,最常见的情况如某项试验包括
以下治疗组:
(1)三个治疗组:高剂量试验药物、低剂量试验药物和对照组(阳性对照药或安慰剂)
(2)四个治疗组:A药、B药、A药和B药联合、安慰剂
(3)剂量反应研究:多个剂量组
(4)o0o0O0
这时我们就需要针对不同的情况采取不同的方法了。在下边的博文中,小胖将结合几个简单
的例子,给大家一个简单的了解。
小胖说统计之二十七:ICHE9临床试验的统计学指导原则解析(十二)
多个治疗组的比较(二)
对于涉及到多个治疗组的临床试验,一个常见的简单的办法就是定义一个主要的比较
(primarycomparison),这种情况最常见于高剂量试验药物、低剂量试验药物和对照组三组
比较的试验中,以下是个例子:
某项研究旨在研究A药物对急性鼻窦炎的疗效,包括三个组:高剂量A药、低剂量A药和安
慰剂。这时我们可以把高剂量组和安慰剂的比较作为主要比较,具体的分析方法如下:
先对高剂量组和安慰剂进行比较
(1)如果上述P值大于0.05,则无需进行低剂量和安慰剂的比较,结论是A药无效
(2)如果上述P值小于0.05,则再对低剂量组和安慰剂进行比较,如果这时低剂量比较的
P值也小于0.05,说明无论高剂量还是低剂量都有效,如果时低剂量比较的P值大于0.05,
则说明高剂量A药有效
当然上述是三组比较的例子,同理推断,如果有四组或以上的比较,我们可以根据临床意义
对这些比较进行事先的排序,依次在显著性水平为0.05上进行统计比较,但需要记住的是,
如果排序在前的比较没有达到统计学意义,那么排序随后的比较就无需进行而被认为是无统
计学意义的了。
当然需要最后强调的一点是,上述比较的统计检验显著性水平均为0.05,无需进行调整。
小胖说统计之二十八:ICHE9临床试验的统计学指导原则解析(十三)
多个治疗组的比较(三)
和前面提到的如果研究目的要求所有的主要变量都必须有统计学意义那么无需进行a的调整
一样,如果研究目的要求所有的治疗组比较都有统计学意义的话,a也无需进行调整。
举个例子来说吧,某项试验想研究一下药物剂量和疗程对疗效的影响,有三个治疗组:
A组:X药物剂量为5mg疗程为24周
B组:X药物剂量为10mg疗程为24周
C组:X药物剂量为5mg疗程为48周
研究目的是显示,不仅B组优于A组而且C组优于A组,通俗地讲就是不仅剂量加大了疗效
会变好而且疗程变长了疗效也会变好。这时就要求B组和A组比较、C组和A组比较都要有
统计学意义。具体的做法就是:
(1)对B组和A组进行统计学比较
(2)对C组和A组进行统计学比较
(3)看看上面两个比较的p值是否都小于0.05,如果是,才
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 工程事务部培训内容
- 湖南省岳阳市高三下学期三模政治试题2
- 章末真题集训07
- 三年级安全教育计划和教案
- 火电厂危化品供应协议
- 4S店翻新补充协议
- 助力农业高质量发展乡村振兴
- 第一章-热力学的基本规律
- 2024年海口客运从业资格证操作考试流程
- 2024年销售合同经典版
- ISO26262考试试题及答案
- 心肺复苏术后护理问题课件
- 经侦民警开展金融知识讲座
- 2023年中国电信春季校园招聘考前自测高频难、易考点模拟试题(共500题)含答案详解
- 工程设计资质专业人员专业对照表
- 工业自动化相关项目创业计划书
- 四年级科学教科版一天的食物3学习任务单
- 山东省济南市历下区2023-2024学年八年级上学期期中物理试卷
- 2023-2024学年河北省沧州市八年级上学期期中考试历史质量检测模拟试题(含解析)
- 国企“三重一大”决策事项清单
- 电气工程师生涯人物访谈报告
评论
0/150
提交评论