T-CI 189-2023 疾病预测模型技术规范

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载ICS

11.020学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载CCS

C

04 T/CI

189—2023疾病预测模型技术规范Technical

specifications

models

发布

实施 发

布学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载T/CI

—2023学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载 前言

.................................................................................

II1

...............................................................................

12 规范性引用文件

.....................................................................

13 术语和定义

.........................................................................

14 疾病预测模型构建步骤

...............................................................

2研究问题提出

...................................................................

2研究设计和数据质控

.............................................................

2预测因子编码

...................................................................

2模型构建

.......................................................................

3参数估计

.......................................................................

3模型评价

.......................................................................

3模型验证

.......................................................................

3模型展示

.......................................................................

45 模型性能的评价指标

.................................................................

4概述

...........................................................................

4全局校准

.....................................................................

4斜率校准

.....................................................................

4

统计量......................................................................

5决策曲线

.....................................................................

5参考文献

..............................................................................

6学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载T/CI

—2023学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载 本文件按照GB/T

—《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由山东大学提出。本文件由中国国际科技促进会归口。康有限公司、浪潮软件集团有限公司。 毅、屈 静、张 健、高 培、张清华、孙振栋、高传贵。II学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载T/CI

—2023学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载1 范围本文件确立了疾病预测模型构建的过程和步骤，给出了衡量模型性能的多维度评价指标。本文件适用于疾病预测模型的构建、评价与改进。2 规范性引用文件本文件没有规范性引用文件。3 术语和定义下列术语和定义适用于本文件。研究设计

study

为构建疾病预测模型而涉及的队列研究设计。疾病预测模型

prediction

model记、环境因素等）来预测个体在未来某一时期内患某种疾病的概率。预测因子

predictor可干预因子。队列数据

data通过队列研究设计所获得的数值变量和分类变量的观察值。疾病风险

risk通过疾病预测模型所预测的结局发生的可能性。人群平均基准风险

baseline

hazard在人群队列中随访观察到一定时期内（如510年等）各年龄别发病率（或发病密度），可代表同性别同年龄的人群期内发生某种健康/疾病结局的平均风险水平。绝对风险

absolute

risk具备某特定危险因素集的某个体在年龄α时未发生所研究的结局（如脑卒中）而在年龄（α+τ）时段内发生该结局的概率，其中τ是人为规定的随访时间。crude

cumulative

risk相对绝对风险

relative

absolute

risk体的绝对风险是同年龄组所有人的平均绝对风险的倍数。超额绝对风险

absolute

risk险）之差，以反映每个个体的绝对风险与同年龄组所有人的平均绝对风险的差。学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载T/CI

—2023学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载竞争风险

competing

risk性结局（如死亡等）。内部有效性

internal

validity在研究预测模型的样本中，能够在完全相同的研究过程中复现研究结果的程度。外部有效性

external

validity预测模型类推到目标人群的有效性（普遍适应性）。结局

预测因子（3.3）通过预测模型所预测的结局，以绝对风险形式显示。列线图

alignment

各个变量之间的相对权重大小，同时为使用者提供简洁的风险计算方式。也称诺莫图（Nomogram）。校准度

calibration实际发生风险的一致程度。4 疾病预测模型构建步骤研究问题提出4.1.1 首先应确定研究问题，即对结局和对应预测因子的选择。对预测因子的选择应具有可干预性、科学性、可行性、效益性。4.1.2 预测因子的选择，应由临床专家和统计学专家共同商定。4.1.3 4.1.4 建模样本的选择，根据不同的研究设计，如队列研究设计、巢式病例对照研究设计等，选择相应的研究对象，并计算样本量。4.1.5 若使用既往临床试验的历史数据，也可为建立模型提供数据。4.1.6 在样本的选择中，根据实际情况选择采用合适的抽样方法，如整群抽样、简单随机抽样、复杂抽样等。研究设计和数据质控4.2.1 例对照研究设计。4.2.2 疾病预测模型应使用队列数据，而不是横断面数据。4.2.3 数据集应拆分为训练队列数据集、验证队列数据集，训练队列数据集用于模型训练，验证队列数据集用于模型的评估和调优。4.2.4 应对队列数据进行质量控制，包括数据测量的准确性，以及对数据的预处理，比如离群值、缺失值、不平衡和共线性等问题的处理。预测因子编码预测因子的编码应从以下方面考虑：学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载T/CI

—2023学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载a)

候选预测因子宜包括人口统计学特征、临床病史、体格检查、疾病特征、实验室结果以及既往的治疗方法和基因组生物标记等。除了年龄和性别等不可干预的预测因子，尽量选择具有临床意义且可干预的指标作为预测因子；b)

应首选因果链上的指标作为候选预测因子，且离结局越近的指标，预测效果越好；c)

分类变量和数值变量都可以作为预测因子，根据临床需要选择数值变量或者将数值变量转化为分类变量；d)

对于预测因子的缺失数据，要慎用统计学填补法，建议采用不确定性推理。模型构建4.4.1 预测因子选择在模型构建之前应选择合适的预测因子，宜根据需求遵从以下几个方面确定纳入模型的预测因子：a)

根据现有的医学文献筛选预测因子；b)

单因素分析筛选预测因子；c)

多因素分析筛选预测因子；d)

根据临床实际需要筛选预测因子；e)

对于预测因子筛选，高维数据宜用

lasso

回归，低维数据宜用向后逐步回归；f)

在保证预测效果前提下，纳入的预测因子越少越好。4.4.2 模型选择根据研究目的及研究设计选择合适的模型，应从以下方面考虑：a)

在保证预测效果的前提下，尽量选择简单的预测方法而非复杂的预测方法；b)

因素加权模型等）、生存机器学习模型（生存随机森林模型等）、不确定推理模型（贝叶斯网络等）等；c)

当存在竞争风险时，应选择竞争风险模型（如原因别竞争风险模型、部分分布竞争风险模型等），以消除竞争风险对结局预测的影响；d)

各种模型均有其特定的建模假设，选择模型时应考虑队列数据是否符合模型假设。例如，模型的等比例风险假设等。参数估计模型确定之后，应对模型参数进行估计，即估计模型的回归系数。对于logistic回归模型和Cox等比例风险回归模型，通常用似然方法估计系数。模型评价对于一个被提议的模型，研究人员应确定其预测能力。应从模型校准(全局校准(A、斜率校准(B5.3))、C统计量(C以及决策曲线(DABCD标。评价指标参考本文件第5模型验证4.7.1 概述于内部验证。4.7.2 内部有效性内部有效性指模型的ABCD叉验证、重采样等验证方法来评估。4.7.3 外部有效性学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载T/CI

—2023学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载外部有效性指模型的ABCD证）、来自其他地区的样本（空间验证）或在差异较大的环境下（强外部验证）来评估。模型展示4.8.1 概述支持。宜选择列线图、风险映射图、打分卡等方式。4.8.2 列线图列线图的绘制应遵循以下要求：a)

将模型中的多个预测指标整合，采用刻度线段，按一定比例绘制在同一平面上，以表达预测模型中各个变量之间的相对权重大小；b)

根据预测模型中各个预测因子对结局的贡献程度，给每个预测因子的每个取值水平进行赋分，再将各个评分相加得到总评分，最后通过总评分与结局事件发生概率之间的函数转换关系，计算出个体结局事件的风险预测值。4.8.3 风险映射图风险映射图的绘制应遵循以下要求：a)

绘制各年龄组人群的基准风险图，以人群平均基准风险为界，将其划分为高低风险人群；b)

个体绝对风险映射到基准风险图，计算相对绝对风险、超额绝对风险和个体相对绝对风险。5 模型性能的评价指标概述模型性能的评价标准包括模型校准（全局校准、斜率校准）、C统计量和决策分析曲线，其中模型校准用于评估模型的预测概率与观测结果的一致性，C统计量用于评估分类模型的性能，决策曲线用于际应用中做出决策。A:全局校准即Alpha校准（Alpha

calibration-in-the-large），校准度是评估预测的概率与实际观察到的概10横坐标XY𝑅̂险（R）。校准曲线公式如下：𝑅

=

𝐴

+𝐵𝑅̂(1)式中：R

——实际观察到的结局发生的概率；A

——截距(Alpha)；B

——斜率(Beta)；𝑅̂

——预测结局发生的概率。参考线是R=𝑅̂，即A=0，B

预测风险与实际风险完全重合。AA行比较。因此，该参数表明预测值系统地过低或过高的程度。当A接近于0时，预测模型的校准良好。B:斜率校准ｚｆｘｗ学兔兔ｗｗｗ．ｂ．ｃｏｍ标准下载𝐵

=

𝑁TP

−

𝑁𝐹𝑃ｚｆｘｗ学兔兔ｗｗｗ．ｂ．ｃｏｍ标准下载𝐵

=

𝑁TP

−

𝑁𝐹𝑃

×

1−𝐶𝑃𝑢𝑡

(2)即Beta校准(Beta

calibration

slope)，B为校准曲线斜率。如果预测风险大于实际风险，即高估B小于1线在参考线以上，即B1。当B接近于1时，模型预测的校准良好。C:C

统计量C统计量(Concordance

statistic)，C统计量用来衡量模型的判别度，也称为区分度。区分度是指作为区分度衡量指标。C-indexC-index计算方法为所有样本对子中预测结果与实际结果一致的对子所占的比例，C=（一致对子数/对子数）。等于ROC曲线下面积。曲线中，预测发病与不发病的最优界值处于保持高特异度时灵敏度最高点对应的发病风险预测值。CCCC靠，模型效果越好。点估计宜遵从以下原则：a)

AUC、

值域在

，当其取值为

时说明该模型没有预测作用；b)

AUC、

在为较低准确度；c)

AUC、

在之间为中等准确度；d)

AUC、

高于

0.90

则为高准确度。D:决策曲线决策曲线分析(Decision-curve

analysis)，评估预测模型的临床获益。用预测模型指导诊疗决策(不治疗)或高风险(需要治疗)益进行量化时，宜考虑一个阈值范围。确定阈值概率应平衡获益和风险。与曲线确定的