大模型在医疗AI中的应用

Foundationmodelsforgeneralistmedicalartificialintelligence汇报人：目录1324背景介绍5GMAI的发展与挑战通用模型在医疗AI中的可能性GMAI的6个应用案例总结1.背景介绍Foundationmodels大模型：预训练大模型+下游任务微调多模态数据适配多种下游任务FoundationmodelsinMedicalAI任务应该可以用非医学专业的语言描述，并且模型需要有能力解决未曾训练过的任务GMAI能够接受不同类型的输入数据，并且输出不同类型的输出数据GMAI能够使用正确、规范的医学专业的知识，对于没接触过得任务也可以通过准确的医学领域知识进行解释GMAI2.医学通用模型

的可能性ThepotentialofgeneralistmodelsinmedicalAIFlexibleinteraction目前AI模型只能解决被限定了的问题，比如一种模型可能只能指定一种疾病图片的输入，并且只能处理这一种疾病。GMAI可以接受来自用户的简单提问，来减少模型内部不同任务模块对问题的理解和交互。ThepotentialofgeneralistmodelsinmedicalAIDynamictaskspecificationGMAI可以解决用户提出的任何没有预训练过的任务。当出现新任务时，可以通过提示对模型进行训练。ThepotentialofgeneralistmodelsinmedicalAIMultimodalinputsandoutputs目前AI模型一般只能处理特定形式的数据，并且无法将不同的数据进行结合。GMAI允许用户在他们的问题中使用复杂的医学信息，并且任意结合信息的输入形式。ThepotentialofgeneralistmodelsinmedicalAIMedicaldomainknowledge现有的模型大部分都是依赖输入数据的特征和预测目标之间的统计关联。GMAI可以通过规范化的医学知识介入，来解决现有模型无法结合医学概念与临床发现的问题。3.GMAI的6个应用案例Bedsidedecisionsupport新一代临床预警系统多模式输入数据总结、预测患者状态医学领域背景知识Bedsidedecisionsupport⚠️警告：这名患者即将休克！她的血液循环在过去15分钟内不稳定：<贴了这15分钟的数据>。建议下一步行动：<附了一张行动清单>。Bedsidedecisionsupport可以将电子病历的数据与最终患者结果配对，这些数据可以从出院报告和ICD代码中收集。GMAI必须能够比较潜在的治疗方法并估计其效果，同时遵守治疗指南和其它相关政策。GMAI可以通过临床知识图谱和文本数据，如学术出版物、教育教科书、国际指南和地方政策，获得必要的医学领域知识。Groundedradiologyreports新一代数字放射助理起草放射学报告描述异常和相关

的正常发现考虑患者病史交互式可视化Groundedradiologyreports解释各种放射学模式，并能够注意到细微的异常结合患者病史：适应症、实验室结果、其他图像报告与医生多种模式交互，如文本和动态注释的图像自监督学习的方法，减少数据标注Augmentaedprocedures辅助医生临床手术执行可视化任务提供手术过程中

预警信息新一代手术助理Augmentaedprocedures文字、音频、视觉模式相结合与现有工作结合，结合语言模型与知识图表，逐步推理外科任务基于医学领域知识的推理能力至关重要应用于外科手术场景可能面临诸多挑战Interactivenote-takingGMAI可以起草诊疗文档，供医生审查、编辑、确认，减少医生大量的工作与现有的语言模型结合，使用专业的医疗应用背景能够将语音数据与电子病历当中的内容相结合记录文档是临床中不可或缺，且劳动密集型的工作Chatbotsforpatients可以通过多种模式构建用户的整体视图解释这些异构的数据之后，GMAI可以与用户进行沟通，提供详细的建议减少医生的人工干预临床之外的环境中缺乏高质量的陪护Text-to-proteingenerationGMAI可以根据文本提示生成蛋白质氨基酸序列及其三维结构通过解锁上下文学习能力，可以用与序列配对的少数示例指令来提示基于GMAI的文本到蛋白质模型，以动态地定义新的生成任务例：生成与特定靶标高亲和力且同时满足其他特定条件的蛋白质4.GMAI的发展与挑战ParadigmshiftswithGMAI可控性：允许用户对模型输出进行个性化定制适应性：能够适应数据分布的变化适用性：能够结合下游任务APPChallengesofGMAI验证：GMAI的多功能性难以验证确认：GMAI的多模式输入，使得结果难以确认社会偏见：对于少数群体会存在偏见隐私：GMAI模型的开发和使用对患者隐私构成了严重风险规模：GMAI推高了与数据收集和模型训练相关的成本5.总结ConclusionGMAI将可解析多种数据模式，动态学习新任务，并利用医学领域知识，为各种