人工智能甲状腺超声图像数据标注规范

1本文件适用于基于甲状腺结节超声图像处理的人工智能医疗器械软件开下列文件中的内容通过文中的规范性引用而构成本文件必不件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包GB/T5271.1—2000信息技术词汇第1GB/T25000.12—2017系统与软件工程系统与软件质量要求和评价(SQuaRE)第12部分：数据结节的勾画包括标出结节和结节配对，标出结节可采用沿结节（例如矩形框、圆环、单点标记等）的形式标2结节配对即把不同切面的结节轮廓归为同一个结节。为方便后对甲状腺结节进行TI-RADS分级或良恶性诊断标签。常见的TI-RADS评估指标——具有依从性，依从性首先考虑法规文件、技术标准、医学规范、专家共识等，若采用专议或文献分析作为依据，应对可能带来的偏倚进行分析。提供标注规所依据的诊疗指南、专家共识等的名称和具体内容，并说明其权威性——对于依赖于临床经验主观判断部分的标注规则，宜采用参考标准验证有效性，并对标注——应考虑标注颗粒度，结合产品的预期用途，确定“病例（多结节结果）-结节（多切功能、运行环境等。在使用前，应对工具进行验证与确认。若采用半自动3——适用范围和选择依据，如是否包含健康人群、仅包含有手术病理结果的患者数据、仅——应制定不同层级数据、存储文件夹、所在数据库的命名规则，保证数据的唯一性和应声称标注结果的准确性。可采用抽样检验方式，评估标注医生的结果是——检出：召回率、精确度、中心点距离、中心点落入，常用评价指标说明参见附录B；注1：中心点距离指的是通过计算标注人员标注的目标中心与参考标准区域中心的距离并注3：中心点的选择与目标区域、影像特征有关。可以考虑以甲状腺结节横径与纵径的交4——标注人员之间应开展一致性评估，可使用Kappa数据的标注过程应形成记录，包括但不限于标注任务和质控流程涉及的的操作信息、标注工具信息、标注任务的时间信息等。标注工具信应明确标注对象、人员分工、标注步骤、结果审核，统一标注规则，确认6.2.1YY/T1833.3—2022第6.2节所规定过程组织的通用要求适用于本文件。甲状腺超声图像标注6.2.2应结合标注任务的颗粒度进行标注，保证各层级标注结6.2.3标注过程中，应对标注人员的标注质量进行监督，同时考虑一致性指标和5样本分布应考虑包括但不限于：不同层级（病例-结节-切面）、超声设备型号式、扫查切面、扫查深度、成像质量不佳或范围不足、流行病学分布计指标）、与目标疾病易混淆的情形、有影响的身体状态或疾病、植入物、先）；）；6仲裁人员应具有副主任医师及以上职称，对于标注任务相关的目标疾病应具应统一开展必要的培训，培训内容可包括工作流程、工作内容和要求、术9.2.1准确性9.2.1.1通过抽样检验或全检的方式对标注结果进行评价，计算标9.2.3精度9.2.4可理解性9.2.5可访问性9.2.6可移植性对标注结果的安装、转移进行实际操作，验证不同操作条件下标注质量是否保持9.2.8可追溯性8A.12017ACRTI-RADS（纵横比<尾则犯TI-RADS4犯9Rec=...............Pre=................Dice=2×...............错误分割的像素数量占所有被正确分割的目Conformity=1-........................................TP——被正确分割的目IOU=........................dH(x,y)=max{dxy,dyx}=max{x∈xy∈x∈xy∈yy∈yx∈xdH(x,y)——双向Hausdorff距离；..........................P(x,y)——Pearson相关系数；Pearson相关系数的绝对值越大，相关性越强：相关系数越接近于Acc=....................................................................................................Pred_1Pred_2…True_1…True_2…注：Pred_x(x=1～n)为人工nn本标注任务依据数据模态属于静态图像标注，数据模态为甲状腺结节超执行主体属于半自动标注。本标注任务属于结构化标注。标注结果为甲状腺结节的轮廓以及其ACRTI-本标注任务的标注对象是甲状腺超声图像中甲状腺结节的轮廓勾画与ACRTI-RADS分级（1勾画环节：勾画标注医生使用勾画软件进行甲状腺结节轮廓勾画，作为分级环节：针对已确认好轮廓的甲状腺结节，两名分级医生背靠背进行ACRTI-RADS分级，果由计算机自动判断一致性，标注结果一致，则作为最终标注结果，标注在标注过程中，对标注医生的自身一致性进行周期性的监控，采用埋题验证勾画标注医生：不低于主治医师，过去3年内累计不少于500例甲状腺超勾画审核医生：不低于副主任医师，过去3年内累计不少于1000例甲状腺分级标注医生：不低于主治医师，过去3年内累计不少于500例甲状腺分级仲裁医生：不低于副主任医师，过去3年内累计不少于1000例甲状勾画软件为自制软件，主要功能包括甲状腺超声图像的读取、显示、半与修改、保存标注结论。勾画软件界面详见勾画软件说明书。其中，的测试集上开展过性能确认，以算法输出的结节中心点到人工勾画数据采集日期为2020年1月1日～12月31日，采集地点为某三甲医院的超品牌型号的超声系统及其超声探头（已获得医疗器械注册证）。数据来源为接群。采集规范详见超声科的数据采集规范与质控操作规范。标注前需要对图像节不完整、局部放大失真、严重的分辨率降低、伪影遮挡结节、结节有文字测求的图像。为避免重复，对数据进行查重验证，包括数据来源、采集时间、文分级标注以高年资医生或专家组的结果作为标注结果，应由若干名标最终裁定结果的判定依据。不同的标注人员应根据相同的标注规则对结节应确定标注颗粒度，确定统计单位是以切面、结节还是病例。若要以结节标注