医学人工智能与磁共振成像技术

医学人工智能与磁共振成像技术1主要内

容2背景知

识研究方

法临床应

用主要内

容3背景知

识研究方

法临床应

用AI+医学影像医学影像深度学习：智能诊疗在视网膜、肺炎肺癌、皮肤癌等诊断中，深度学习方法媲美医生AI

影像组学：链接影像与个性化诊疗James

O'Connor曼彻斯特大学癌症中心教授CRUK和EPSRC癌症影像中心放射科学家影像组学利用人工智能方法，实现脑肿瘤个性化精准诊疗NatureReviewClinicalOncology,14(169),2017共识：AI医学影像将成为临床的助手科研界 工业界股市预测自动驾驶推荐系统𝑓𝑓𝑓𝑓= A股指数𝑓𝑓= 方向盘角度= 购买可能性使用者

A 商品

BAI在做什么？6MRI+AI

可以帮助医生做什么？临床任务：诊断、手术、放疗、化疗、活检、筛查

…医生工作：识别、勾勒、定位、测量、计算、评估先验知识：解剖、生理、病理等专业知识，人脑图像分析功能，医生诊断治疗经验；眼脑手配合AI影像工具：

MRI、

X-Ray、CT、PET、US、DSA、MicroscopyAI7模

型f(x)……x1x2xNy1y2yM人工智能系统的一般性描述变量定义：输入变量

x=(x1,…,xN)，输出变量

y=(y1,…,yN)。训练集

T={(x1,

y1),…,(xN,

yN)}

。基本假设：假设(x,y)遵循联合分布，P(x,y)且独立同分布。模型

f(x)

是输入空间

X

到输出空间Y

的映射的集合，这个集合就是假设空间F，即F={f

|y=f(x)}或F={P|

P(y|x)}。AI问题的一般性描述：给定输入数据x或训练集T，构建机器学习模型

f(x)

或

P(y|x)，对输出数据

y进行预测。8人工智能模型的三要素三要素：人工智能方法

=

模型

+

策略

+

算法模型：所要学习的映射函数

f(x)

或条件概率分布，选定一个模型空间，比如线性模型

f(x)

=wx

+

b策略：按照从假设空间中选择最优模型的准则如何判定一个模型的优劣，比如预测值与真值交叉熵最小算法：依照上述准则从假设空间中得出最优模型的计算方法如何从模型空间中找到最好的模型，比如梯度下降搜索算法步骤

1:

模型定义一个模型空间步骤

2:

策略评判一个模型好坏步骤

3:

算法找到一个最好模型举例说明：逻辑回归分类模型的三要素ii iw

x

bz

zw1wiwI…x1xixI

b

z

………

z

z1

e

z1

z

SigmoidFunction𝑓𝑓𝑤𝑤,𝑏𝑏𝑥𝑥=

𝜎𝜎�

𝑤𝑤𝑖𝑖

𝑥𝑥𝑖𝑖

+𝑏𝑏𝑖𝑖步骤

1:

模型定义一个模型空间模型：模型空间就是𝑓𝑓𝑤𝑤,𝑏𝑏 𝑥𝑥 所描述的所有模型的集合水桶：N个进水管，一个出水管。。。激活函数加权求和举例说明：逻辑回归分类模型的三要素𝑦𝑦�真值步骤

2:

策略评判一个模型好坏ii iw

x

bz

z1wwiIw…x1xixI

b

z

………y预测值交叉熵=−𝑦𝑦�𝑙𝑙𝑙𝑙𝑦𝑦𝐿𝐿 𝑦𝑦

,

𝑦𝑦�策略：使得𝐿𝐿 𝑦𝑦

,𝑦𝑦�最小的那个模型，就是最好的模型𝑏𝑏𝑤𝑤颜色深浅:

损失函数L(w,b)

的大小举例说明：逻辑回归分类模型的三要素(−𝜂𝜂

𝜕𝜕𝐿𝐿⁄𝜕𝜕𝑏𝑏,

−𝜂𝜂

𝜕𝜕𝐿𝐿⁄𝜕𝜕𝑤𝑤)计算

𝜕𝜕𝐿𝐿⁄𝜕𝜕𝑏𝑏,

𝜕𝜕𝐿𝐿⁄𝜕𝜕𝑤𝑤步骤

3:

算法找到一个最好模型𝑖𝑖𝑖𝑖 𝑖𝑖𝐿𝐿

𝑤𝑤,

𝑏𝑏 =

−𝑦𝑦�𝑙𝑙𝑙𝑙𝑦𝑦 =

−𝑦𝑦�𝑙𝑙𝑙𝑙𝜎𝜎 �

𝑤𝑤

𝑥𝑥 +

𝑏𝑏13举例说明：逻辑回归分类模型的三要素步骤

3:

算法找到一个最好模型𝐿𝐿𝑤𝑤1𝑤𝑤2LossThevalueoftheparameter

w平坦区域下降很慢局部极小值被卡住𝜕𝜕𝐿𝐿

∕

𝜕𝜕𝑤𝑤=

0鞍点被卡住𝜕𝜕𝐿𝐿

∕

𝜕𝜕𝑤𝑤=

0𝜕𝜕𝐿𝐿

∕

𝜕𝜕𝑤𝑤≈

014损失函数w1w2均方误差步骤

3:

算法找到一个最好模型交叉熵举例说明：逻辑回归分类模型的三要素1x2xInput

FeatureLabelx1x200Class

201Class

110Class

111Class

2y

zw2x1

w1x2b

Class2

Class1y

0.5y

0.5z

w1x1

w2x2

bz

≥0z

≥0z

<0z

<0异或问题?(𝑧𝑧

≥

0)(𝑧𝑧

<

0)逻辑回归的局限：线性不可分问题Deep

Learning!神经网络多个单元连接在一起，模型参数w和b通过学习得到.

z

z

z

“Neuron”

z

x12x……x256………………y1y2y10CrossEntropy“1”100……target……Softmax𝑙𝑙 𝑦𝑦

,𝑦𝑦�10=−�

𝑦𝑦�𝑖𝑖

𝑙𝑙𝑙𝑙𝑦𝑦𝑖𝑖𝑖𝑖=1𝑦𝑦�1𝑦𝑦�2𝑦𝑦�10………Givenaset

…ofparameters…𝑦𝑦𝑦𝑦�深度神经网络三要素是什么？模型：深度神经网络，由网络结构决定；策略：损失函数算法：梯度下降MRI在计算机看来是什么？磁共振图像𝑚𝑚×

𝑙𝑙

维矩阵245211233198187178255236256276199186266235257278218190266233256257225193267238242253215186278231235242211187灰度形状位置纹理边缘如何从MRI图像中获取有用特征？手工设计特征病灶分割特征提取特征选择分类器去冗余度单因子排序LASSOmRMRBoruta……影像组学逻辑回归随机森林SVM人工神经网络XGBoost……手工特征工程影像组学特征有什么意义？灰度形状位置纹理RobertHaralick/GLCM

GLRLMGLSZMNGTDM……HaralickRM,ShanmugamK(1973).Texturalfeaturesforimageclassification.IEEETransactionsonsystems,man,andcybernetics,(6),

610-621.GallowayMM.(1974).Textureanalysisusinggreylevelrunlengths.NASASTI/ReconTechnicalReportN,

75.全连接前馈网络鉴别诊断，预后预测，疗效预测……卷积层池化层卷积层池化层Flatten特征提取多次堆叠重复使用深度卷积神经网络线性分类器1000010100100011001000100100100010106x6

image1-1-1-11-1-1-11卷积核

13-1-3-1-310-3-3-3013-2-2-1stride=1同样的局部特征会多次出现卷积神经网络在做什么？卷积神经网络在做什么？1000010100100011001000100100100010106x6

image-313-1-11-1-11-1-11-1Filter

23-1-1-1-3-1-1--310-31-1 -1 -2-3 01-11-13-2 -20 -44x4

image采用每个卷积核重复做加权求和stride=1FeatureMap-1 -2“monkey”f1f2f3f4所有的卷积核都是通过学习得到的卷积神经网络提取了什么特征？KerasHowtousetheneuralnetwork

(testing):case

1:case

2:Don’tworryifyoucannotunderstand

this.BcozKerascanhandle

it.Keras/Pytorch

使用心得朋友觉得我在导师觉得我在我妈觉得我在我自己觉得我在大家觉得我在事实上我在Deep

Learning

研究生主要内

容背景知

识研究方

法临床应

用28ClassificationEvaluation&InterpretationCT/MR/PETAI+医学影像分析：典型流程Organ Lesion

/Segmentation AbnormalitySegmentationFeatureExtraction器组织官器分官分割割 病病灶灶分分割割 特特征征提提取取分类特征/分回类归统临床计决策分支析持入组病人30研究类型：前瞻性、回溯性？多中心？AI影像分析最好进行多中心研究入组条件：肿瘤级别？年龄？TNM？亚型？影像？选择不当会导致文章直接悲剧病例数目：划分训练集、验证集和测试集？类别均衡性？划分不当会导致AI模型训练困难MRI预处理灰度标化配准去偏移场去骨标准化前的灰度直方图31标准化后的灰度直方图病灶分割手工分割：不同医生分割结果之间的差异，导致可重复性问题需要做特征的可重复性测试自动分割：需要给出分割的精度，在benchmark数据集评估自动分割结果需要逐个核对32影像组学：特征提取特征提取过程中涉及到的参数：像素大小、量化方法、灰度等级33影像组学：特征选择+分类器特征选择：减少特征数量，防止过拟合，增加可解释性特征选择算法：特征选择算法的选取要兼顾性能和可解释性特征选择数量：数量适中，兼顾模型复杂度和模型可解释性模型选择：随机森林，支持向量机，逻辑回归，Cox，LASSO34深度学习：网络结构和训练方法测试集表现良好?训练集表现良好？YESYESLoss/深度/预处理/超参数…重新定义网络结构Early

Stopping/验证集正则化DropoutNo35No深度学习：如何调参？NVidiaGPUis

allyou

needTalkischeap,show

methe

$$$VGG(2014)GoogleNet(2014)3.57%Residual

Net(2015)16.4%AlexNet(2012)7.3%6.7%36MRI智能分析模型训练与测试流程临床数据1训练 独立测试智能模型……影像数据影像数据标准化肿瘤区域分割特征工程/深度学习机器学习模型构建临床数据2临床数据3……性能测试主要内

容38背景知

识研究方

法临床应

用应用1：MRI影像组学生存分析术前磁共振影像预测脑胶质瘤病人总生存期临床问题磁共振影像组学特征是否可以预测胶母瘤病人总生存期？是否具有预后价值？科学假设现有不足采用医生判读的少量影像学定性特征，精度和可重复性有限建立术前磁共振影像组学生存期预测模型，评估模型的独立性、准确性和临床价值39研究目标影像组学生存分析：脑肿瘤分割3D

U-NetVAE

正则化多任务网络DICE

LOSS+KL

LOSS+L240自研影像组学软件：Ultimage

Lab41影像组学特征提取灰度特征形状特征纹理特征提取参数中间结果42影像组学特征选择去冗余度LASSOBoruta特征合并43影像组学分类模型训练随机森林SVM逻辑回归ANN44影像组学分类模型测试测试选型性能指标45总生存期预测结果训练集KM生存曲线46验证集KM生存曲线Molecular-ClinicalNomogramRad-Mol-ClinicalNomogramCalibrationCurveCalibrationCurve47Radiomics-Molecular-Clinical

NomogramMultilayer

Nomogram:

提升预后性能ModelsBrier

ScoreC-IndexIDIAUC12monthsSingle

layerClinical0.1350.62-0.705Molecular(IDH1+MGMT+1p19q)0.1200.710.0840.756Radiomics0.1310.700.0360.720Deep

Learning0.1250.730.0650.769Two

layerClinical+Molecular0.1190.730.0900.765Clinical+Radiomics0.1120.750.1080.771Molecular+Radiomics0.1050.790.1100.805MultilayerRadiomics+Molecular+Clinical0.0950.810.1190.82548K-MCurvefor

MultilayermodelDecisionCurve应用2：MRI深度学习生存分析术前磁共振影像预测脑胶质瘤病人总生存期临床问题磁共振深度学习是否可以预测胶母瘤病人总生存期？是否优于影像组学？科学假设现有不足影像组学需要手工设计并调试特征工程建立术前磁共振深度学习生存期预测模型，与影像组学模型进行性能对比49研究目标DeepAttentionSurvival

Model3D

Resnet金字塔注意力机制数据预处理-log最大似然LOSS+L250DeepAttentionSurvival

ModelAttentionMapPredictionPerformance51MGMT启动子甲基化是重要分子标志物NEnglJMed,

2005;352NatureReviewsDP,vol1,

2015重要的预测和预后分子标志物52应用3：MRI智能分析预测MGMT启动子甲基化依靠术前MRI影像无创检测脑胶质瘤MGMT启动子甲基化临床问题磁共振智能分析是否可以预测胶母瘤MGMT甲基化？如何进行解释？科学假设现有不足术中取组织，做分子病理检测建立术前磁共振MGMT甲基化人工智能预测模型，尝试进行解释53研究目标特征选择方法对于Radiomics的影响Thenbestfeaturesarenotthebestnfe