YY T 1833.1-2022 人工智能医疗器械　质量要求和评价　第1部分：术语

中华人民共和国医药行业标准人工智能医疗器械质量要求和评价国家药品监督管理局发布I 12规范性引用文件 13术语和定义 13.1基础技术术语 13.2数据集术语 53.3质量特性术语 93.4质量评价术语 3.5应用场景术语 附录A(资料性)评价指标计算公式说明 参考文献 Ⅲ本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定本文件是YY/T1833《人工智能医疗器械质量要求和评价》的第1部分。YY/T1833已经发布—第1部分：术语；——第2部分：数据集通用要求。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由国家药品监督管理局提出。本文件由全国人工智能医疗器械标准化技术归口单位归口。长征医院、上海联影智能医疗科技有限公司、飞利浦(中国)投资有限公司、上海西门子医疗器械有限公司、杭州依图医疗技术有限公司、腾讯医疗健康(深圳)有限公司、有限公司、美中互利医疗有限公司、慧影医疗科技(北京)有限公司、北京安德医智—第2部分：数据集通用要求。目的在于提出数据集的通——第4部分：可追溯性通用要求。目的在于提出人工智能医疗器械可追溯性的通用要求及评价 第5部分：算法安全要求。目的在于规范人工智能医疗器械采用的人工智能算法的安全要求1人工智能医疗器械质量要求和评价本文件界定了人工智能医疗器械质量要求和评价使用的术语和定义。本文件适用于人工智能医疗器械。2规范性引用文件本文件没有规范性引用文件。3术语和定义3.1基础技术术语表现出与人类智能(如推理和学习)相关的各种功能的功能单元的能力。采用AI技术实现其预期用途的医疗器械。在集成到正在开发的医疗器械中的已开发的软件系统，或者预期作为医疗器械使用的软件系统。通过功能单元对某一对象物理或抽象的模式以及结构和配置的辨识。人工神经网络artificialneuralnetwork;ANN由加权链路且权值可调整连接的基本处理元素的网络，通过把非线性函数作用到其输入值上使每2个单元产生一个值，并把它传送给其他单元或把它表示成输出值。从已知前提导出结论的方法。能表达模式本质的功能或结构特点的可度量属性。机器学习machinelearning功能单元通过获取新知识或技能，或通过整理已有的知识或技能来改进其性能的过程。通过训练具有多个隐层的神经网络来获得输入输出间映射关系的机器学习方法。一种学习策略，获得的知识的正确性通过来自外部知识源的反馈加以测试的学习策略。无监督学习unsupervisedlearning一种学习策略，它在于观察并分析不同的实体以及确定某些子集能分组到一定的类别里，而无需在获得的知识上通过来自外部知识源的反馈，以实现任何正确性测试。强化学习reinforcementlearning一种学习策略，它强调从环境状态到动作映射的过程，目标是使动作从环境中获得的累积奖赏值一种学习策略，它自行利用少量的具有标记信息的样本和大量没有标记的样本进行学习的框架。3一种学习策略，通过基于数据本身设计和建立的各种标记信息来对数据本身的特征、特性进行学习，进而把学习到的数据特征网络作为主干网络迁移到对目标任务的学习中。一种学习策略，通过使用有噪声的、不完全的、不精确的外通过结合多个学习器来解决问题的一种机器学习范式。学习过程中由学习器挑选未标记样本，并请求外界提供标记信息，其目标是使用尽可能少的查询来取得好的学习性能。利用一个学习领域A上有关学习问题T(A)的知识，改进学习领域B上相关学习问题T(B)的学习算法的性能。联邦学习federatedlearning一种从多个数据源协同建立模型的机器学习框架，本地数据访问受限，各个数据源方独立进行本地基于机器学习算法，利用训练数据，建立或改进机器学习模型参数的过程。一种利用已知数据集获取学习器最优参数，以期望在未知数据集上获得最佳泛化性能。学习器对训练样本过度学习，导致训练样本中不具有普遍性的模式被学习器当作一般规律，降低了泛化性能；典型表现是训练集上的性能越高，测试集上的性能越低。欠拟合underfitting学习器对训练样本学习不充分，导致训练样本中包含的重要模式没有被学习器获取，降低了泛化性能；典型表现是训练集上的性能可以继续提高，测试集上的性能同时得以提高。4在给定层内的各人工神经元之间既没有反馈路径也没有任何路径的多层网络。一种多层网络，它使用反向传播，以便学习期间的连接权调整。前馈传播feedforwardpropagation在多层网络中，从输入层朝向网络的输出逐层进行连接权调整的传播。在多层网络中，从连接权调整输出层朝向网络的输入的逐层传播。学知识的集合，也可作为临床教学及临床诊疗的辅助参考工具。算法在运行状态下提供的推理服务。通过云计算已定义的接口，部署在云端服务器上提供的一种或多种能力。通过云计算已定义的接口，部署在边缘计算设施上提供的一种或多种能力。部署在终端或本地计算设施上提供的一种或多种能力。5人工智能医疗器械生存周期模型AIMDlifecyclemodel人工智能医疗器械从起始到停运的整个演进过程的框架。3.2数据集术语信息的可再解释的形式化表示，以适用于通信、解释或处理。一旦泄露、非法提供或滥用可能危害人身和财产安全，极易导致个人名誉、身心健康受到损害或歧视性待遇等的个人信息。与身体或心理健康相关的个人敏感数据。按照研究方案要求收集但未观测到的数据。定义和描述其他数据的数据。数据质量dataqualit:在指定条件下使用时，数据的特性满足明确的、隐含的要求的程度。6具有一定主题，可以标识并可以被计算机化处理的数据集合。用于训练人工智能算法的数据集，其外部知识源可用于算法参数的计算。用于优化人工智能算法的数据集，其外部知识源可用于算法超参数的选择。用于测试人工智能算法性能的数据集，其外部知识源可用于对算法的评估。数据集偏倚datasetbias数据集偏离预设目标的一种系统偏差。数据质量特性dataqualitycharacteristie对数据质量有影响的数据质量属性的类别。从不同粗细粒度表征的数据层次结构。筛查、诊断和治疗过程或基于标注过程建立的基准。7筛查、诊断和治疗可依据的最佳参考标准。用于和算法结果进行比对的外部知识源。数据清洗datacleaning检测和修正数据集合中错误数据项的预处理过程。数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。附加到一组数据元素的标识符。数据由生成装置按照数据采集规范生成，以数字化格式存储并传输到目标系统的过程。数据脱敏datamasking通过去标识化或匿名化，实现对个人敏感信息的可靠保护。通过对个人信息的技术处理，使得个人信息主体无法被识别或者关联，且处理后的信息不能被复原的过程。通过对个人信息的技术处理，使其在不借助额外信息的情况下，无法识别或者关联个人信息主体的过程。8对数据进行分析，添加外部知识的过程。多名标注人员对同一原始数据的标注结果不一致时用于决定最终结果的过程。物体通过某种成像原理而重显的影像，并可数字化。用来表示一个变量相对于其他变量变化情况的线条图，或用以代替文字说明一个概念和思想的图解和表格。解释主要以读者对某种自然语言或人工语言的了解为基础。量化的数值或分类，用来表示水平或状态。一种数字化动态媒体形态，用于描述声音及其时序性质，并可进行数字人工合成。一种数字化动态媒体形态，用于描述运动图像，进行高速信息传送或显示瞬间的相互关系。9在规定条件下使用时，软件产品满足明确或隐含要求的能力。a)为使某项目或产品遵循已建立的技术需求提供足够的置信度，而必须采取的有计划的和有系统的全部动作的模式。b)设计以估算产品开发或制造过程的一组活动。系统或部件在给定的约束条件下实现指定功能的程度。为确定运行目标达到了何种有效程度而对系统或系统部件的技术评价。在规定时间间隔内和规定条件下，系统或部件执行所要求功能的能力。保护数据准确性和完备性的性质。一致性consistency重复性repeatability由同一操作员按相同的方法、使用相同的测试或测量设施、在短时间间隔内对同一测试/测量对象进行测试/测量，所获得的独立测试/测量结果间的一致程度。再现性reproducibility由不同的操作员按相同的方法，使用不同的测试或测量设施，对同一测试/测量对象进行观测以获得独立测试/测量结果，所获得的独立测试/测量结果间的一致程度。可达性accessibility组成软件的各部分便于选择使用或维护的程度。可得性availabilitya)软件(系统或部件)在投入使用时可操作或可访问的程度或能实现其指定系统功能的概率。b)系统正常工作时间和总的运行时间之比。c)在运行时，某一配置项实现指定功能的能力。数据对未授权的个人、实体或过程不可用或不泄露的特性。安全性safety免除于不可接受的风险。鲁棒性/稳健性在存在无效输入或急迫的环境条件下，系统或部件其功能正确的程度。泛化能力generalizability机器学习算法对陌生样本的适应能力。在给定的测试环境下，对给定数量样本进行运算并获得结果所需要的平均时间。可追溯性traceability系统对其决策过程及输出进行记录的特性。系统做出不涉及喜好和偏袒决策的性质。可解释性explainability以人能理解的方式，对系统决策因素进行说明的能力。评价系统或部件与规定的性能需求的依从性的测试行为。独立性能测试standaloneperformancetesting通过直接比对模型在没有外界干预的情况下产生的结果和参考标准的结果，评估人工智能医疗器械的性能。判读者性能测试readerperformancetesting通过比对判读者在独立工作和结合模型工作两种状态下判读数据的结果，评估人工智能医疗器械的性能。通过判读人员和病例的某种交叉组合方式开展的判读者性能研究，评估人工智能医疗器械的性能。忽略系统或部件的内部机制只集中于响应所选择的输入和执行条件产生的输出的一种测试。白盒测试glass-boxtesting侧重于系统或部件内部机制的测试。类型包括分支测试、路径测试、语句测试等。对抗[措施]countermeasure病变定位率lesionlocalizationrate病变定位数量占由参考标准确定的全体病变数量的比例。非病变定位数量占全体病例数量的比例，非病变定位率可以大于1。假阳性病例数量(阴性病例中包含非病变定位)占全部阴性病例数量的比例。真阳性样本占全体阳性样本的比例。特异度specificity真阴性样本占全体阴性样本的比例。1减去灵敏度。精确度(查准率)precision真阳性样本占被算法判为阳性样本的比例。阴性预测值negativepredictionvalue真阴性样本占被算法判为阴性样本的比例。算法判断正确的样本占全体样本的比例。F₁度量F₁-measure召回率和精确度的调和平均数。约登指数Youdenindex灵敏度与特异度之和减去1。受试者操作特征曲线receiveroperatingcharacteristicscurve;ROCcurve以假阳性率为横坐标、真阳性率为纵坐标，根据算法在不同阈值设定下对于给定的测试集得到的一系列结果绘制的曲线。以非病变定位率为横坐标、病变定位率为纵坐标，根据算法在不同阈值设定下对于给定的测试集得到的一系列结果绘制的曲线。以假阳性率为横坐标、病变定位率为纵坐标，根据算法在不同阈值设定下对于给定的测试集得到的一系列结果绘制的曲线。精确度-召回率曲线precision-r以召回率为横坐标、精确度为纵坐标，根据算法在不同阈值设定下对于给定的测试集得到的一系列结果绘制的曲线。曲线下面积areaundercurve;AUC曲线下与坐标轴围成的积分面积。平均精确度averageprecision;AP精确度-召回率曲线下与坐标轴围成的积分面积。平均精确度均值meanaverageprecision;MAP在多目标检测问题上，算法对于各类目标的平均精确度的平均值。分割区域与目标区域的交集占分割区域与目标区域并集的比例。分割区域与目标区域的交集占分割区域与目标区域平均值的比例。分割区域中心与目标区域中心的距离，该指标反映两个集合的接近程度。一种矩阵，它按一组规则记录试探性实例的正确分类和不正确分类的个数。一种用于评价结果一致性的指标。信噪比signal-to-noise信号平均功率水平与噪声平均功率水平的比值。峰值信噪比peaksignal-to-noiseratio信号最大可能功率水平与噪声平均功率水平的比值。一种衡量两幅图像相似度的指标。通过测量两个向量的夹角的余弦值来度量它们之间的相似性。度量概率分布或概率模型的预测结果与样本的契合程度，困惑度越低则契合越准确。将识别出来的字需要进行修改的字数与总字数的比值。一种度量两个概率分布之间差异的指标。对两个随机变量间相互依赖性的量度。服务客户发起服务请求后，服务可访问的时间占总服务时间的比例。涉及使用计算机完成部分工作的技术或过程。计算机辅助检测computer-aideddetection通过检测、标记、强调或其他方式辅助医务人员注意医疗数据的可能异常情况。其结果供医务人员计算机辅助分诊computer-aidedtri自动分析医疗数据、给出初始解释和鉴别分类、辅助医务人员确定患者优先级。临床决策支持clinicaldecisionsupport根据临床知识和患者数据产生辅助决策的建议，该建议由医务人员使用。向患者提供建议或辅助决策，该决策由非医务人员使用，结果仅供参考。功能单元获取、处理和解释可视数据的能力。通过功能单元对人的语音所表示信息的感知与分析。自然语言理解和生成及其衍生技术，以从文本化的人类语言中获取有意义的信息。将海量知识及其相互联系组织在一张大图中，用于知识的管理、搜索和服务。医学图像处理medicalimageprocessing一类对医学图像进行处理的方法。(资料性)评价指标计算公式说明A.1辅助诊断性能人工智能医疗器械辅助诊断功能多涉及分类问题，算法将患者数据输出两个或两个以上互斥(不相交)的类别或状态。根据输出的类别或状态的数量构成混淆矩阵，通过混淆矩阵的各个参量来评价辅助诊断性能。对于分类问题，混淆矩阵的一般形式如表A.1所示。表A.1n分类混淆矩阵Pred_1True_1……N注：Pred_x(x=1～n)为人工智能分类为x类的类别；True_x(x=1～n)为参考标准分类为x类的类别；N,(i=1～n,j=1～n)为参考标准的分类结果为i类，被人工智能分类为j类的个数；n为分类类型个数。二分类的混淆矩阵可简化为表A.2所示。表A.2二分类混淆矩阵阳性阴性阳性阴性多分类实际可转化为二分类问题，参考标准分类为i类与其他类别的混淆矩阵简化形式如表A.3所示。阳性阴性阳性阴性MR=1-Sen式中p.的表达式见公式(A.9):A.2辅助检测性能LL——算法检出病变位置正确标识出参考标准确定的病变位置的数量；Les——为参考标准确定的全体病变数量。A.2.3非病变定位率非病变定位率用NLR表示，表达式见公式(A.12):式中：NLR——非病变定位率；NLL——算法检出病变位置未能正确标识出参考标准确定的病变位置的数量；N——全体病例数量。A.2.4假阳性率FPR——假阳性率；M——被判为假阳性病例的阴性病例总数。在计算候选自由受试者操作特征曲线时，每个阴性病例如含有非病变定位且其最大值高于决策阈值，视为假阳性病例，反之视为阴性。N、——阴性病例总数。F₁度量用F₁表示，表达式见公式(A.14):LLR——病变定位率；Pre——精确度。LLR——病变定位率；β——权重参数，当β>1时，召回率的权重大于精确度；β=1时，召回率与精确度的权重相等；β<1时，精确度的权重大于召回率。病变定位率或召回率病变定位率或召回率A.2.6自由响应受试者操作特征曲线自由响应受试者操作特征曲线如图A.2所示。A.2.7精确度-召回率曲线精确度-召回率曲线如图A.3所示。A.2.8平均精确度平均精确度用AP表示，表达式见公式(A.16):式中：AP——平均精确度；A.3辅助分割性能Pre——精确度；B——分割区域。Dice系数用Dice表示，表达式见公式(A.20):式中：B——分割区域Jaccard系数用Jaccard表示，表达式见公式(A.21):Jaccard——Jaccard系数；B——分割区域。[6]GB/T11457—2006信息技术软件工程术语[9]GB/T25000.1—2021系统与软件工程系统与软件质量要求和评价([10]GB/T25000.12—2017系统与软件工程系统与软件质量要求和评价(SQuaRE)第12[15]GB/T34960.5—20theimpactoflibrariesmedicaldevices—Part2-2:GuidanceforthecommunicationofYY/T1833.1—2022汉语拼音索引A峰值信噪比……3.4.2.35服务可用性……3.4.2.42B白盒测试…………3.4.1.6GT值……………3.2.18半监督学习………3.1.13个人敏感数据……3.2.2保密性……………3.3.12公平性……………3.3.19本地服务…………3.1.32过拟合……………3.1.22边缘云服务………3.1.31H病变定位………3.4.2.9病变定位率……3.4.2.11黑盒测试…………3.4.1.5候选自由受试者操作特征曲线……………3.4.2.24C互信息…………3.4.2.41参考标准…………3.2.16患者决策辅助……3.5.6测试集……………3.2.11混淆矩阵………3.4.2.32查全率…………3.4.2.14J查准率…………3.4.2.17机器学习…………3.1.8D集成学习…………3.1Dice系数………3.4.2.30计算机辅助………3.5.1独立性能测试……3.4.1.2计算机辅助分诊…………………3.5.4对抗[措施]………3.4.1.7计算机辅助检测…………………3.5.3对抗测试…………3.4.1.9计算机辅助诊断…………………3.5.2对抗样本…………3.4.1.8计算机视觉………3.5.7多媒体……………3.2.35假阳性……………3.4.2.4多判读者多病例研究……………3.4.1.4假阳性率………3.4.2.13假阴性……………3.4.2.6F监督学习…………3.1.F₁度量…………3.4.2.20健康数据…………3.2.3反馈传播…………3.1.27健壮性……………3.3.15反向传播网络……3.1.25交并比…………3.4.2.29泛化能力…………3.3.16交叉熵…………3.4.2.40非病变定位……3.4.2.10交叉验证…………3.1.21非病变定位率…………………3.4.2.12结构相似性……3.4.2.36精确度…………3.4.2.17精确度-召回率曲线…………3.4.2.25K困惑度…………3.4.L临床决策支持……3.5.5灵敏度…………3.4.2.14漏检率…………3.4.2.16M模式识别…………3.1.4目标区域…………3.4.2.7NP判读者性能测试…………………3.4.1.3平均精确度……3.4.2.27平均精确度均值………………3.4Q前馈网络…………3.曲线下面积……3.4去标识化…………3.缺失数据…………3.2.4R人工神经网络……3.1.5人工视觉…………3.5.7人工智能…………3.1.1人工智能医疗器械………………3.1.2人工智能医疗器械生存周期模型……………3.1.33软件质量保证……3.3.2S深度学习…………3.1.9受试者操作特征曲线…………3.4.2.22数据标签…………3.2.22数据标注…………3.2.27数据采集…………3.2.23数据集偏倚………3.2.13数据生存周期……3数据脱敏…………3.2.24数据挖掘…………3.2.21数据质量…………3.2.7数据质量特性……3.2.14数据治理…………3.2.20数值………………3.2.32T特异度…………3.4.2.YY/T1833.1—2022推理………………3.1.6阴性样本…………3.4.2.2阴性预测值……3.4.2.18W完整性……………3.3.6余弦相似度……3.4.2.37网络安全…………3.3.13语音识别…………3.5.8稳健性……………3.3.15约登指数…无监督学习………3.1.11云服务……………3.1.30X响应时间…………3.3.17再现性……………3.3.9信噪比…………3.4.2.34召回率…………3.4.2.14性能………………3.3.3真阳性……………3.4.2.3性能测试…………3.4.1.1真阴性……………3.4.2.5性能评价…………3.3.4知识图谱…………3.5.10训练………………3.1.20中心点距离……3.4.2.31训练集……………3.2.9仲裁……重复性……………3.Y阳性样本…………3.4.2.1准确率…………3.4.2.19阳性预测值……3.4.2.17自动语音识别……3.5.8医疗器械软件……3.1.3自然语言处理……3.5.9医学图像处理……3.5.11自由响应受试者操作特征曲线……………3.4.2.23医学知识库………3.1.28字错率…………3.4.2.39英文对应词索引Aaccessibility…………………accuracy…………………………3.4.2.19anonymization………arbitration…………………………3.2.28areaundercurve(AUC)…………………3.4.2.26artificialintelligence(AI)……………………artificialneuralnetwork(ANN)……………artificialvision………averageprecision(AP)……Bblack-boxtesting………Ccentraldistance……………computervision………………3.5.7computer-aideddetection……………………3.5.3computer-aideddiagnosis……………………3.confusionmatrix…………………consistency………………………cosinesimilarity…………crossvalidation……………Ddatagovernance………datalifecycle………………3datamasking…………………3.2.24datamining…………………3.2.21dataqualitycharacteristic……dataset…………datastratification……………3.2.15datasetbias……………deeplearning……………de-identification……………………Dicecoefficient………………Eedgecloudservice………………ensemblelearning…FF₁-measure………fairness…………………falsenegative(FN)falsepositiverate……falsepositive(FP)………………feature…………………………3.federatedlearning……………feedbackpropagation………………………3.1.27feedforwardnetwork…free-responsereceiveroperatingcharacteristicscurve(FROC)………………Ggeneralizability…………glass-boxtesting……………graphies…