人工智能在肿瘤影像发展现状与展望

1、Medical ImagingArtificial IntelligenceWhen MI meets AI in MDTMultiDisciplinary Team人工智能在肿瘤影像发展现状与展望Artificial IntelligenceWhen MI meets AI in MDTMedical ImagingMultiDisciplinary Team人工智能 AI医学影像 MI多学科协作 MDT肝动脉化疗栓塞 (TACE)射频消融术 (RFA)立体定向放射治疗 (SBRT)化疗靶向治疗免疫治疗开腹手术腹腔镜手术胃镜粘膜切除术达芬奇机器人手术肿瘤临床诊治现状：治疗手段日趋多样，且交叉

2、增多外科内科非手术局部治疗针对某一器官或系统 疾病，至少来自两个以 上学科固定的专家构成 工作组，通过定时、定 址的会议，有计划、合 理的为病人提出最科学 的诊疗建议的工作模式多学科团队(模式)Multidisciplinary Team，MDT多学科诊疗协作组（MDT）面对MDT需求的发展，影像医师对自身角色的再定位传统工作模式： 检出+诊断后台模式(独立)6:30am, FriMDT工作模式：影像医师 走向前台，直接的思维碰撞 带来工作理念和模式的转变Davies AR. Dis Esophagus 2006：MDT中影像学对上消化道癌分期准确率提高10%Lim HK. ANZ J Sur

3、g 2016：MDT影像学重新读片导致24%患者调整上消化道癌治疗方案Llewellyn-Jones G. J Med Imaging Radiat Oncol 2016：MDT模式下17.9%的影像学结果改进了儿科患者治疗Prakash, S. Can Assoc Radiol J 2016：影像学参与乳腺MDT使29例乳腺疾病患者避免了不必要手术影像学在MDT中的价值肿瘤MDT中关于临床决策制定的相关剖析根据2010-2014年英国4个肿瘤MDT团队52名医生对1045例患者 的决策情况评分得出（1-5分，分数越高，信息和贡献的质量越高） 影像信息1stLeader：外科医生常规报告：腹腔

4、干周围淋巴结转移MDT复阅：吻合口壁部分容积效应挖坑vs.填坑MDT对常规影像报告的质控意义影像参与MDT对信息化的需求图像载体： 电子数据北肿胃癌住院患者MDT信息化发展历程幻灯展示胃癌MDT信息化历程初级阶段高级阶段基于Web，整合HIS 系统的MDT数据库中间阶段基于Filemaker的 MDT数据库幻灯展示随意性强数据无标准化，根据住院总医师个人习惯制作，随意性强单机版，数据保存困难随手做、随手丢，难于保存、管理应用困难检索困难、统计困难、追溯困难初级阶段2006-2013胃癌MDT数据的初始积累专业数据库数据标准化、规范化，可检索、统计，和临床工作流紧密相连多终端应用电脑、手机、iP

5、ad多终端应用，但仅限苹果系统，终端数目受限工作量大数据库维护需人工录入，工作繁琐基于Filemaker的MDT数据库中间阶段2013-2017基于Web， 整合HIS系统MDT数据库胃癌MDT数据的规范化积累专业数据库数据标准化、规范化，可检索、统计，和临床工作流紧密相连多终端应用基于Web，只要设备可联网，即可应用接入医院HIS系统检验、检查结果自动从HIS系统提取，节省人力且更精准高级阶段2017-今MDT院际交流（讨论、比赛）增多带来信息化需求的增高影像学数据载体及展示方式：云平台、云PACSMDTNationwide cloud-based integrated database o

6、f idiopathic interstitial pneumonias for multidisciplinary discussion.基于全国性云端的肺炎MDT数据库 (39 centers)Fujisawa T. Eur Respir J. 2019 Mar 17卫健委：肿瘤多学科诊疗试点（231家三甲医院）Artificial IntelligenceWhen MI meets AI in MDTMedical ImagingMultiDisciplinary Team人工智能 AI医学影像 MI多学科协作 MDT加德纳技术成熟度（热度）曲线（2018）人工智能成为国际研究热点（期望

7、顶点）技术期望泡沫化稳步爬升 萌芽期膨胀期谷底期的光明期实质生产 的高峰期N engl j med, Lancet, Lancet Oncol, Science, Nature1997ANN神经网络强大而灵活的机器学习算法Sanjiv Gambhir, Stanford University, 2018Deep Learning2016数以千万计的参数神经网络到深度学习量变到质变起始结构, GoogLeCNHetI, M20A1 42019提高临床效率（热点）辅助检出，良恶鉴别提高效率，减少漏诊辅助诊断，拓展思路解决深层需求（痛点）人工智能与医学影像的契合点影像报告过程中的思维“短路”前后不一

8、致（增大-缩小）单位错误（mm-m） 病灶漏诊 左右写反张冠李戴错词、病句报告已切除脏器食管癌术后，随访过程中三个月后提高诊断效率，减少漏误诊AI医疗器械产品审批要点提高临床效率（热点）辅助检出，良恶鉴别提高效率，减少漏诊辅助诊断，拓展思路解决深层需求（痛点）人工智能与医学影像的契合点疗后9个月疗后6个月疗前疗后3个月靶向/免疫治疗影像学评效的迟滞效应GISTCT靶向治疗评效时间窗的局限性：软组织对比差+辐射疗后 2-3个月进行第一次评效肿瘤在此时间段可能经历短暂有效期，而后快速进展Roller Coaster sign:rapid remission followed by rapid pr

9、ogression肿瘤病理学单点活检无法评价肿瘤全貌, 而对个体化治疗带来挑战， 肿瘤基因异质性可能通过达尔文选择导致肿瘤适应及治疗失败Gerlinger et al. N Engl J Med 366, 883-92 (2012).肿瘤异质性(heterogenity): 影响治疗预后的重要因素肿瘤影像学异质性的定量描述效评价相关模型，指导临床诊治影像组学Radiomics让机器“看”人类看不到的东西AI+医学影像（人工智能技术应用于医学影像学评估）：第一步 图像识别，通过图像分割配准，自动定位、提取病变第二步 特征提取及纹理分析，从影像图像中获取尽可能多的客观信息第三步 深度学习，AI应用

10、的核心环节，借助算法手段统合大样本影像数据 提取的纹理特征、临床信息甚至基因信息，建立疾病诊断、分期评估及疗成像勾画感兴趣区特征提取分析建模影像组学关键技术：纹理分析及人工智能可解释性深度学习可提取多层特征（边缘、形 状、抽象特征等），可视化肿瘤高危 区域进而指导穿刺活检Courtesy: 中科院自动化所董迪博士形状特征：体积，长短轴，表面积等影像纹理特征分类峰度，偏度 = . /1 01231 . 401234 = 1 . :0123 . 41 0123:灰度、直方图特征：均值，方差，峰度，偏度等纹理特征：灰度共生矩阵，游程等高维变换的特征：将原图像先进行高通、低通的滤波变换等灰度共生矩阵假

11、设灰度为N阶相邻灰度为i，j的像素对的个数 游程连续灰度为i的像素条的个数0000000002100310003102200深度学习算法：无需特征定义病例1-nfeature1 feature2feature3:分类器深度学习传统机器学习：需要对特征进行定义评价模型肝转移 40%腹膜转移 53-60%腹膜转移(PM)是影响胃癌治疗选择和预后 的重要因素应用案例：胃癌腹膜转移的影像学诊断美国：CT漏诊23%进展期胃癌腹膜转移Sarela AI. Am J Surg, 2006, 191:134-138.CT检查M0可切除外科医生影像医生我院：CT漏诊20.5%进展期胃癌腹膜转移Subphreni

12、c perihepatic hepatogastric ligament transverse mesocolon paracolic gutter omentum Douglas pouchCT漏诊的腹膜转移：MDT模式下与腹腔镜探查的点对点对照研究种子-土壤Fibroblasts Angiogenesis 影像学隐匿性腹膜转移（OPM）污迹样磨玻璃征 Smudge GGO （S-GGO）0级：未见异常密度改变1级：脂肪密度略高、较均匀，呈较淡S-GGO征2级：脂肪密度增高、不均匀，斑片状或密集S-GGO征RSNA 2014Oral presentation腹膜隐匿性转移（OPM）CT风险度

13、分级0级1级2级3级OPM-OPM+Score0Score 1Score 2Score378019226747以Score 2 判断OPM+： 假阴性率2%真阳性率32%3级：脂肪密度明显增高，伴多发索条、卷发征或小结节应用 效果临床 数据智能 手段术前预测胃癌隐匿性腹膜转移，避免不必 要的开腹手术及有创探查 (外科)前瞻性纳入554例CT漏诊的胃癌腹膜转移 患者的影像及临床信息 (影像)单中心建模及多中心外部验证数据，预测 效能AUC均0.9 (all)纹理分析提取3000个影像特征，构建临 床结合影像的智能预测模型 (中科院)临床 问题北大肿瘤医院胃癌MDT 团队与中科院自动化 所合作牵头

14、，国内多 家胃癌诊疗中心参与 的多中心前瞻性研究影像组学诊断胃癌隐匿性腹膜转移（OPM）理论 创新拓展“土壤-种子”理论，构建融合原发 灶和腹膜的双标组学模型 (内外科)D Dong, L Tang, ZY Li, et al. Annals of Oncology, 2019，IF 14.018构建基于土壤-种子学说的影像组学双标模型，进行纹理特征的提取和分析影像纹理特征预测OPM阳性概率： 强肿瘤+弱腹膜 弱肿瘤+强腹膜 种子作用强度土壤从临床角度加强理论佐证，兼具临 床和理论意义N engl J med 376;26, June 29, 2017圣经旧约创世记. Chapter 11不同

15、机型，不同场强，不同序列， 不同b值，不同质控水平，不同从单指数模型 到 双指数模型， 从快扩散 到 慢扩散，从统计分布模型 到 DKI模型，从Stretch模型 到 FROC模型， 从ADC 到 D 到、不断发展的技术提供更多可能， 使得影像医生不依赖临床也能做科研、发表文章多中心影像统一标准的建立北大肿瘤医院胃癌MDT数据库通过信息化手段规范资料积累，提高临床及科研效率AI取代影像医生？人类由于受到缓慢的生物进化的限制，无法与机器竞争，并会被取代。全人 工智能的发展可能导致人类的终结。-斯蒂芬威廉霍金人脑：洞察，预感，顿悟，灵感，第六感Insight, Conscious, Inspirati