深度学习人工智能在医疗图像处理中的应用课件

深度学习人工智能在医疗图像处理中的应用

深度学习

深度学习算法受到灵长类视觉系统结构的启发

近年来在很多领域取得了突破

从2016年起在医疗图像领域也取得一系列突破

深度学习的成功：

回过头看：

很早就发现的受大脑启发的算法+大数据

+大的计算机

但真正的历史是曲折的。。。

/p/1001603814055260359965自动特征提取

突破时刻ImageNet2012

皮肤癌诊断

斯坦福大学的研究人员开发深度学习算法，识别皮肤癌的准确率与专业的人类医生相当，相关研究论文被选为封面论文在2016年底的Nature发表。研究人员训练系统观看了近13万张痣、皮疹和其他皮肤病变的图像，然后让系统与21位皮肤科医生对比测试，结果系统的精确度与人类医生相当（“至少”91%）。

本人在MIT博士后期间（2007）开始将深度学习应用到生物图像上

基于电子显微镜的脑链接组解析

V.Jain,J.F.Murray,F.Roth,S.Turaga,V.Zhigulin,K.L.Briggman,M.N.Helmstaedter,W.Denk,andH.S.Seung.SupervisedLearningofImageRestorationwithConvolutionalNetworks.Proceedings:IEEE11thInternationalConferenceonComputerVision(ICCV)

(2007).视网膜神经元的分类

SumbulU&,SongS&,McCullochK,BeckerM,LinB,SanesJR,MaslandR,SeungSH*.(2014)Ageneticandcomputationalapproachtostructurallyclassifyneuronaltypes.NatureCommunications,5:3512(co-firstauthor)ThefundamentalplanoftheretinaPhotoreceptors:Horizontal:Bipolar:Bipolar:Amacrine:Ganglion:Reference:Masland,R.H.(2001).Thefundamentalplanoftheretina.NatNeurosci,4(9):877-886.为什么困难？

错误的断开

错误的融合

需要先验知识.用机器学习方法来重构神经元

+Train卷积神经网络

端到端训练

HandDesignedFiltersversusEndtoEndLearning分两步走

如何标注图像很重要

HowtoGenerateTrainingLabels

morphology利用先验知识，让电脑学习最重要的东西

最重要的是拓扑连接结构

本实验室2014年提出注意力神经元网络

基于生物神经元树突的非线性特征

乘法机制

运用到图像分割问题上

QianWang,JiaxingZhang,SenSong,ZhengZhangAttentionalNeuralNetwork:FeatureSelectionUsingCognitiveFeedbackNIPS2014传统人工神经元模型认为信号整合是线性的，只有动作电位发放是非线性的。

DataScienceBowl2017?$1Mprize?1700+teams?1000+kernels肺癌辅助诊断

在今年的数据国际大赛上

本实验室和胡晓玲老师、张钹老师

实验室学生

廖方舟

李哲

运用相关技术

获得了世界第一的成绩

根据CT图像预测一年后发病概率

NoduleDetectorNet(N-Net)3Dcube2432646464128128645*K3Doutput326416864RR323264321612812832643232CaseClassificationNet(C-Net)Top5proposals+dummynodule12899.97%P1

=69.06%32128N-Net97.36%P2

=65.22%3212886.48%P3

=69.69%3212871.84%P4

=2.08%3212869.65%P5

=5.97%32Pd

=0.97%类脑计算

--迈向通用人工智能

类脑计算是一门融合了脑科学与计算机科学、信息科学和人工智能等领域的交叉学科，

类脑计算借鉴了人脑存储和处理信息的方式，是基于神经形态工程发展起来的新计算技术。

其与现代计算机相结合，将构成人工通用智能的基础，并大幅提高智能处理能力，最终促进计算机、大数据、机器人、人工智能等的发展。

对未来的展望

1小数据问题

减少对标注的依赖，让相关算法自适应性更强

这对医疗图像很重要，各医院采取的机器格式等不一样。

2可解释的机器学习

需要有中间结果及推理过程，而不完全是黑箱操作

3多模态融合

综合多种成像手段，以及其他检测指标对疾病做出辅助诊断

1小样本问题

--学习去学习

减少对标注的依赖

对医疗数据很重要

学习写字

在这篇论文中，研究者的模型只规定了字符由笔画组成，笔画由抬高笔触来区分，而笔画又由更小的子笔画组成，子笔画用笔尖速度为零的点来区分。

有了这个初始模型之后，研究者向AI展现了人类手写文字的方式，包括笔画顺序等，让系统学习连续的笔画和子笔画之间的统计关系，以及单个笔画所能容忍的变异程度。这个系统从未在它所分析的书写系统上进行过任何训练，它只是推理出了人类写字的一般规律。

24可解释的机器学习

--深度学习到底学了什么？

Ｆｒｏｍ

Ｍａｔｔｈｉａｓ

Ｂｅｔｈｇｅ

Ｔａｌｋ

2522可解释的机器学习

既有直觉又有推理的完整系统

263多模态融合和复杂决策

整合电子病例信息

自学习人工智能在预测心脏病发作上击败人类医生

?

在新的研究中，Weng和他的同事比较了ACC/AH