第4讲-人工智能在医学图像的应用-课件

第四讲人工智能在医学图像的应用讲座提纲人工智能在医学图像中的应用研究3医学图像相关技术需求分析2人工智能核心技术概述1人工智能在医学图像中的应用展望4单击此处添加标题1人工智能核心技术概述人工神经网络统计机器学习深度学习强化学习自然语言处理知识图谱1.人工智能核心技术概述PART011.1人工神经网络生物学基础神经网络：人脑智慧的物质基础神经元/神经细胞：生物神经系统的基本单位细胞体细胞突起树突轴突1.1人工神经网络基本概念—神经元（1943）细胞体细胞突起树突轴突突触:神经元之间的连接点神经冲动权值向量W无法自动学习和更新，不具备学习的能力。1.1人工神经网络基本概念—感知机（1957）人工神经网络：通过算法调整神经元中的权值，模拟人类神经网络的学习能力。1.1人工神经网络多层神经网络如果神经网络中有足够的隐藏层，每个隐含层中有足够多的神经元，神经网络就可以表示任意复杂函数或空间分布.1.2统计机器学习机器学习理论及发展2016年3月，AlphaGo和围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜；2017年5月，在中国乌镇围棋峰会上，它与排名世界第一的世界围棋冠军柯洁对战，以3比0的总比分获胜。1.2统计机器学习机器学习理论及发展学习环节环境知识库执行环节环境和知识库分别代表外界信息来源和系统具有的知识。“学习环节”则利用“环境”中的信息对系统的“知识库”进行改造，以增进系统“执行环节”完成任务的效能。“执行环节”根据知识库中的知识来完成某种任务，同时把获得的信息反馈给“学习环节。”在具体的应用中，环境、知识库和执行环节决定了具体的工作内容，学习环节所需要解决的问题完全由上述三个部分决定。1.2统计机器学习机器学习方法机器学习方法有监督学习无监督学习半（弱）监督学习分类问题回归问题分类问题回归问题聚类问题1.2统计机器学习有监督学习1.2统计机器学习无监督学习1.2统计机器学习半监督学习半监督学习则是介于有监督学习与无监督学习之间，它同时利用有标记样本与无标记样本进行学习。它所利用的数据集可以分为两部分，一部分是有标记的数据集，另一部分是无标记数据集，这部分数据集中样本点的类别标记未知。1.2统计机器学习机器学习算法所解决的三大核心任务分类：输出是离散数据，目的是为输入数据寻找决策边界1.2统计机器学习回归：输入与输出均是连续数据，目的是为找到最优拟合或预测未来趋势例1：根据2001—2020年郑州市20年的全年的房价变化数据，预测郑州市2021年全年的房价走势例2：根据2015—2020年双十一的销售额等历史数据，预测2021年双十一的销售额度1.2统计机器学习聚类基本原则：类内间距最小，类间间距最大1.3深度学习深度学习是机器学习的一个重要的、前沿的分支，是机器学习发展到一定阶段的产物，得益于两个要素：计算机硬件（GPU）和大规模数据的产生，是一种端到端的学习方法，其中最重要的两个技术是卷积神经网络和循环神经网络。1.3深度学习卷积神经网络1.3深度学习循环神经网络更适用于时间序列数据1.4自然语言处理自然语言处理（NaturalLanguageProcessing，简称NLP）就是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它属于人工智能的一个分支。从研究内容来看，自然语言处理包括语法分析、语义分析、篇章理解等。从应用角度来看，自然语言处理具有广泛的应用前景。如：机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息检索、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等。1.4自然语言处理通过文本向量化（wordtovector）建模和Skip-Gram建模去除词汇级别的歧义；利用疾病本体知识（disease-ontology）构建二元语法语言模型（bi-grams），进行影像与“病理文字描述”之间的关系挖掘匹配，进行分层次的主题词输出。1.4自然语言处理从医学角度出发，NLP可以从医疗文本数据，如电子健康档案、电子病历和临床语言助手。1.5强化学习强化学习是机器学习的一个重要分支，强调如何基于环境而行动，以取得最大化的预期利益。其主要优势在于它能够利用深度神经网络对状态特征进行自动抽取，避免了人工定义状态特征带来的不准确性，使得Agent能够在更原始的状态上进行学习。例1：围棋游戏。围棋大师每一步的移动，每一步的选择都暗含了规划和瞬间的、直觉性的关于一个特定位置和移动的可取性的判断。例2：垃圾收集机器人。一个移动机器人决定他是否应该进入一个新的房间以搜索和收集更多的垃圾，还是应该返回充电站给电池充电。机器人的决策基于目前电池的电量和找到充电桩的快捷程度和难易程度。1.5知识图谱知识图谱本质上是语义网络（SemanticNetwork）的知识库。从实际应用的角度出发其实可以简单地把知识图谱理解成多关系图（Multi-relationalGraph）。多关系图一般包含多种类型的节点和多种类型的边。比如右上图表示一个经典的图结构，右下图则表示多关系图，因为图里包含了多种类型的节点和边。单击此处添加标题2医学图像相关技术需求分析2.医学图像相关技术需求分析医学图像需求分析医学图像分类、目标检测与分割医学图像配准与融合三维重建与可视化计算机辅助诊断2.1医学图像分类、目标检测与分割分类任务是对整张图像的所属类别进行判定，目标检测是针对于图像上的某一区域进行定位并分类，分割是对图像上某一类对象的具体区域进行判定，并标出这一类对象的轮廓，本质上是像素级的分类。即判断图片上每一个像素的所属类别。良性恶性2.1医学图像分类、目标检测与分割基于DeepLesion构建的通用病灶检测,通用病灶检测的难度远高于特定病灶检测，DeepLesion中包含肺、肝、肾、淋巴、胰腺、骨骼、软组织等各种病灶，病灶类内差异大，类间差异小（肺、肝的病灶相对容易检测一些，而一些腹腔中的病灶与周围正常组织差异较小）。2.1医学图像分类、目标检测与分割2.2医学图像配准与融合在临床应用中，单一模态的图像往往不能提供医生所需要的足够信息，常需将多种模式或同一模式的多次成像通过配准融合来实现感兴趣区的信息互补。医学图像的配准大部分情况下指对于在不同时间或不同条件下获取的两幅图像，基于一个相似性测度寻求一种或一系列空间变换关系，使得两幅待配准图像间的相似性测度达到最大。2.3三维重建与可视化因为1：人体组织器官形态多样、结构复杂,医学图像中所蕴涵的信息还没有得到充分利用。2：人体的解剖结构是三维的,医生需要具备较强的读片能力，才能从二维影像上作出正确诊断,所以诊断结果依赖于医生的读片经验。要精确地确定病变体或畸形的空间位置、大小、几何形状以及和周围组织结构的空间关系,仅仅依靠医生的主观分析判断是很困难的。所以，通过对二维图像进行三维重建和可视化，将复杂的三维器官结构直观地显示出来,必然有助于医生进行全面而准确的分析,从而提高医疗诊断水平。2.3三维重建与可视化另外，目前的临床诊断应用迫切需要将医学数据直接以三维图像的形式直观地显示给医生，并且让医生能够对三维图像进行任意缩放、对比、旋转，从不同角度进行观察分析或进行相关测量。所以，应用计算机实现三维数据重建和可视化,帮助医生从三维角度进行全面准确的观察分析，以设计精确的治疗方案,进而提高医疗诊治水平，这无疑可大大提高影像数据的医学利用价值。2.4计算机辅助诊断结合计算机图像处理技术以及其他可能的生理、生化手段，辅助发现病灶和特异性变化，提高诊断的准确率。以上所有的技术需求分析都期待最终可以（单独或集成）用于计算机辅助诊断。单击此处添加标题3人工智能在医学图像中的应用研究3.人工智能在医学图像中的应用研究医工交叉应用研究人工智能+影像组学医学图像配准与融合医学图像分类、目标检测与分割多任务融合医疗文本与影像融合3.1人工智能+影像组学影像组学是高通量地从MRI、PET及CT影像中提取大量高维的定量影像特征，并进行分析。影像组学将传统的医学影像转化为可挖掘的高通量影像特征，用于定量描述影像中的空间时间异质性，揭示出肉眼无法识别的图像特征，有效地将医学影像转换为高维的可识别的特征空间，并对生成的特征空间进行统计学分析，从而建立具有诊断、预后或预测价值的模型，为个性化诊疗提供有价值的信息。3.1人工智能+影像组学影像组学分析流程：图像获取与标注、感兴趣区图像分割、特征提取、特征选择和降维、训练模型和性能评估。3.2医学图像分类、目标检测与分割基于LIDC-IDRI数据集中1010位患者的带标记的CT肺部图像，将CNN与支持向量机（supportvectormachine，SVM）和随机森林（randomforest,RF）分类器结合使用，将肺结节分类为良性或恶性，该方法对肺结节分类的准确度为86％.3.2医学图像分类、目标检测与分割基于DeepLesion数据集，开发了一种通用的病变检测器，为帮助放射科医生找到患者身上所有类型的病灶提供了技术可能，如图8所示。通用病灶检测的难度远高于特定病灶检测，DeepLesion中包含肺、肝、肾、淋巴、胰腺、骨骼、软组织等各种病灶，病灶类内差异大，类间差异小（肺、肝的病灶相对容易检测一些，而一些腹腔中的病灶与周围正常组织差异较小）。3.2医学图像分类、目标检测与分割3.3医学图像的配准与融合对抗图像配准网络（adversarialimageregistration，AIRnet）配准框架，应用于MR和经直肠超声（TRUS）图像融合配准，训练生成器和判别器两个深度神经网络，不仅可以获得用于图像配准的网络，还获得可以帮助评估图像配准质量的度量网络.3.4多任务融合一种基于条件生成对抗网络（conditionalgenerativeadversarialnetwork，cGAN）的乳腺肿块分割与形态分类方法，生成网络不断学习肿瘤的内在特征，对抗网络不断进行强制分割，并对形态进行分类，该方法在乳腺钼靶数据库（digitaldatabaseforscreeningmammography，DDSM）公开数据集和内部数据集中提取的数十个恶性肿瘤上进行了验证。3.5医疗文本与影像融合LDPO框架（loopeddeeppseudotaskoptimizationframework），训练CNN模型的过程中，当聚合出未知的类别时，使用“伪标签”进行标注（而不是先从文本报告中挖掘标签标注）；使用通用的ImageNet预训练CNN模型和通过文本挖掘出主题标签（topiclabel）的CNN模型进行特征提取与编码，不断迭代优化；当图像聚类相对稳定时，对每个聚类对应的文本报告分别进行语义标签挖掘。3.5医疗文本与影像融合通过文本向量化（wordtovector）建模和Skip-Gram建模去除词汇级别的歧义；利用疾病本体知识（disease-ontology）构建二元语法语言模型（bi-grams），进行影像与“病理文字描述”之间的关系挖掘匹配。主题词是分层次的，训练得到的CNN模型预测结果也是分层次的，最终得到的CNN模型可以根据影像生成3个不同层级的输出词汇。4人工智能在医学图像中的应用展望4.1医学图像的高精度解释医学是一门注重实践、依赖循症的科学，新兴技术需要医生通过长期的实践进行分析总结，找到科学依据，再通过现代统计学的科学方法结合临床实践得到最大可能的验证。人工智能和机器学习能够帮助医生更加高效、准确的“看片子”，是医生的高效助手和强大助力。然而，对医学图像进行高精度解释，需要使模式识别算法适用于多源异构、缺少标注的小样本数据应用场景。要处理好四个问题：是什么？在哪里？为什么？怎么办？4.1医学图像的高精度解释泛化问题：研发具有基于小样本且具有自适应迁移学习能力的机器学习方法，提出一系列适用于全监督、半监督与弱监督的多模信