生成式人工智能在医学数据分析领域的研究与探索2024

<<生成式人工智能在医学数据分析领域的研究与探索山东财经大学计算机科学与技术学院山东财经大学计算机科学与技术学院山东省数字媒体技术重点实验室01研究背景山束财住大学<预训练模型、生成算法等人工智能技术，通过已有数据的学习和识别，以适当的泛化能力生成相关内容的技术。·生成式人工智能AIGC是人工智能1.0时代进入2.0时代的重要标志。OpenAI提出CLIPOpenAI提出Google提出TransformerDiffusion模型发展历程3,录制中01,录制中01研究背景山束财住大学山束财住大学<··GAN模型框架中通常有两个模块：生成模型(GenerativeModel)和判别模型(DiscriminativeModel);生成模型对随机噪声进行处理，生成与真实训练样本类似的假数据；判别器鉴别生成器的生成结果与真实样本的区别；两个模型相互对抗、博弈。lnfoGAN[14],cGANs[15],CycleGAN(16),f-GAN[17 [1][1]JieGui,ZhenanSun,YonggangWen,Dach程大鹏的屏慕共享01研究背景01研究背景<的一种具体应用和产品，属于文本生成的范畴。>随着ChatGPT在全世界范围内的兴起，标志着信息社会进入了生成式大语言模型主FFChatGPT称：这种人工智能技术出现的重大历史意义，不亚于互联网和个人电脑的·Pre-trained:预训练模型，在大规模的文本数据上进行训练，从而学习到丰富的语言知识和模式。用多头自注意力机制，能够更好地处理长文本和复杂的语言结构。7录制中录制中01研究背景<架构的预训练生成式模型，具有较强的自然语言理解和生成能力，可以应用于问答系统、机器翻译等多个领域。大模型?更多数据更多知识更优模型结构8,录制中,录制中01研究背景>从头构建完整大模型：所需数据、算力、时间投入较大策略精调判别模型训练基座模型模型训策略精调判别模型训练基座模型练过程山束财住大学<优化基座模型大模型数据准备海量数据prompt标注数据结果标注数据大规模算力资源大规模算力资源>基于开源通用大模型的调优：成本较低，可以快速形成所需的大模型·参数高效微调是目前业界主流的调优方式，在保持原有大模型的整体参数或绝大部分参数不变的情况下，仅通过增加或改变参数的方式获得更好的模型输出。9程大鹏的屏幕共享)phyika公Airbags-pernipherals)phyika公Airbags-pernipherals01研究背景山束财住大学<多模态：多源模态信息。具体指通过多种不同的感知通道来获取、理解NaturalNaturalLanguageNighitime/ThermalmSpatial-Temporal[1]YiyuanZhang,KaixiongGong,Ka01研究背景01研究背景山束财住大学山束财住大学<技术进步使医生可以从多个角度研究患者高维度、高通量、多尺度的生物医学数据超声内窥镜检查病理图像蛋白质组山束财住大学山束财住大学录制中录制中01研究背景<>多模态大模型能够实现多种模态的统一知识表示，是人工智能的重要基础设施微软微软A百度通义千问阿里通义千问阿里上面的图片显示了一个正荒的手和前臂的骨骼结构，没有明显上面的图片显示了一个正荒的手和前臂的骨骼结构，没有明显的骨折或酶形。下面的图片中，我们可以看到前销有明显的骨折，其中一个长如果这是你的X光片或是你所关心的人的，请务必尽快咨询医生或医疗专家，他们会提供适当的医学建议和治疗方案。签@差评,录制中01研究背景山束财住大学山束财住大学<>研究多模态问题是推动人工智能更好地了解和认知我们周围世界的关键·2023年9月OpenAI推出GPT-4V。ChatGPT由一个完美的词语接龙工具，升级为能看懂图片，听懂声音，还能说话的多模态大模型。Rhendetcbjective.Eunction(P,Pi,A,d.hat,d,s,ditt.1*P[4,J1·np.dot(np.1inslg.1nv(A(1,11),(P⁴(1]-a.first.terntenp.Iinalg.nditt.2*np.dot(d[1],s[1]+o[1])·程大鹏的屏幕共享程大鹏的屏幕共享Thelowerwisdomteeth,especiallythosethatareimpacted,ar山束财住大学山束财住大学01研究背景<>通用多模态大模型——LLaVA生成wordembedding·VisionEncoder:预训练的CLIP的视觉编码器ViT-L/14,使用的是最后一层也就是一张图片会编码出不止1个token·Projection:线性层，将imagefeature映射到wordembedding,实际上是做了一个投影，将视觉特征Z投影到H,其中H,和文本特征H₁在同一特征维度。01研究背景·在多轮对话中：大模型能够根据用户的意图识别·在多轮对话中：大模型能够根据用户的意图识别视觉内容，而无需直接提示进行视觉识别。山束财住大学<thestrawberries,blueberries,andcarrots.Additionally,youc01研究背景>医学领域多模态大模型——LLaVA-Med山束财住大学shandengUnlsentkyafFIhtn<·生物医学概念特征对齐：对于每个样本，给定简单描述图像的语言指令和图像输入，要求模型预测原始标题保持视觉编码器和语言模型权重冻结，这个阶段可以理解为将匹配的图像-文本标记的词汇扩展到生物医学领域。·端到端指令微调：只保持视觉编码器权重不变，继续更新投影层和语言模型的预训练权重，在收集的生物医学语言-图像指令跟随数据上对模型进行微调，开发生物医学聊天机器人。,录制中01研究背景山束财住大学>中文医学领域多模态大模型——Qilin-Med-VL期具切片加权受期具切片加权受码填片荧光器检查工最信号8程违图高染色红色成像病变放大一小一中扫用血管复白色禁出现上蟹类型技术成像覆性于名肿瘤部位Figure2:(a)WordcloudofChiMed-Alignment.(b)WordcloudofChiMed-Instruction.Table2:BasicstatisticsofChiMed-VL-Instruction.Q:Questions;A:Answers.程大鹏的屏幕共享程大鹏的屏幕共享应用应用场景基础架构山束财住大学01研究背景<>AI带来的深度变革能够唤醒、协同、整合、分析海量医疗数据，发挥其重大价值，助力智能诊断、手术导航以及药物研发。CC端应用报告生成疾病预测E录制中录制中>医疗人工智能基因检测与测序基因检测与测序疾病风险预测应用场景研究平台医学研究Al+医学医疗人工智能临床辅助影像辅助决策诊断辅助诊疗医学影像Al+医疗智能诊断电子病历医疗辅助<辅助医学研究平台药物研发技术层计算机视觉语音交互语音转写自然语言处理数据挖掘机器学习基础层临床试验基础层临床试验疾病登记电子病历保险理赔诊断数据物组数据大数据02多模态医学数据融合及辅助诊断>多模态数据缺失建模山束财住大学山束财住大学<山束财住大学山束财住大学<AnchorGraph(BipartiteGraph):锚图是邻接图的一种低阶近似，是降低大规模数据集计算复杂度的有效策略。Anchor·选择少量锚点以覆盖完整数据集合Anchor-basedPartialMulti-viewClustering(APMC):将锚点图引入多视图聚类，通过采样一些有代表性的锚点来捕捉不完全视图中的数据分布。Partialtwo-viewdataTwo-viewanchorgraphs处理缺失数据较少的大规模数据场景每个实例均在部分视图中缺失0202多模态医学数据融合及辅助诊断山束财住大学山束财住大学<>多模态数据缺失建模方法：2.1)计算实例-锚点之间的相似度山束财住大学山束财住大学shuandengUnvarllyefFlh02多模态医学数据融合及辅助诊断<>医学多模态数据融合：医疗数据本质是多模态的，包括放射影像，电子病历(EHRs),诊断报告，数字病理学等。模态之间提供丰富的互补知识，因此整合多模态医学数据在医学图像分类、医疗报告生成等任务中发挥重要作用。Thereisnofocalmrarcontouirsdrenom特征提取融合下游操作首先对图像数据和文本数据进行编码：·图像：分块+位置编码，每个蓝色的点代表图中的一块区域·文本：位置编码，每个黄色的点表示一个单词分别通过图像编码器和文本编码器进行特征提取，得到相同维度的特征表示。多模态融合的任务是设计适当的算法，将不同模态中的信息整合为一个特征表示。二次加权二次加权效果交叉注意力效果shuandengUnvarlly<>将融合算法与预训练基础大模型、下游任务模块相结合即可完成各种下游任务·直接在融合模块后增加全连接层和softmax层进行分类图像Negative:0.18文本编码器D报告全连接层D·直接在融合模块后加入预训练的生成模块或解码器即可完成医疗报告生成二次融合生成模块XfuseD·完成医疗问答，图像检测等任务effusion.Thereisnoev“opacity”“lungapex”““opacity”“lungapex”↓区E↓区E*山束财住大学山束财住大学>多模态融合——多模态医学影响融合呼吸运动伪影的校正呼吸运动伪影的校正多模态影像融合三维肺部组织动态建模不同种瘤亚型数据射图射图封图代标注交义监督最优影像字列预处理结果02多模态医学数据融合及辅助诊断鉴别网络D,8D对抗过程山束财住大学山束财住大学<>多模态融合——多模态医学影响融合预训练预训练NN[1]HuiLiu*,ShanshanLi,JichengZhu,etc.DDIFN:ADual-discriminatorMulti-modalMedicalImageComput.Commun(TOMM),2022,Vol.19(4),145.山束财住大学山束财住大学03医学影像报告生成<>中文医学图像描述数据集·与山东省第一医科大学第一附属医院合作，收集了500对胸部X射线图像及其相应的诊断报告，500对腹部X射线图像及其相应的诊断报告，300对脑部MRI图像及相应的诊断报告。03医学影像报告生成03医学影像报告生成山束财住大山束财住大學<>基于知识增强的报告生成大语言模型·对大模型进行微调是现在训练垂直领域大模型的主流。由于医学的图片-文本对资源稀缺，往往直接微调得到的模型的效果不是很好。肺部清亮，无胸腔积液或气胸，心脏和纵隔的大小和轮廓正常，心脏大小正常，胸部有气体状