写作手术导航目镜系统

UniversityofScienceandTechnologyAdissertationformaster’sAGoggleNavigationSystemforAGoggleNavigationSystemforCancerResectionSurgeryJunbinPrecisionFinishedJune2,摘摘（HMDCCDCMOS780nm的激光光源组成。CCD相机与CMOS相机分别用于获取荧光图像与背景图像，通过配准把融合的图像实时地：荧光成像 肿瘤边 导航目镜系IOverthelastfewyears,near-infrared(NIR)fluorescenceimaginghaswitnessedrapidgrowthandisalreadyusedinclinicaltrialsforvariousprocedures.However,mostclinicallycompatibleimagingsystemsareoptimizedforlargeandcannotbeemployedsuchasduringheadandneckoncologicsurgeriesbecausethesystemisnotabletoimageinsidedeepcavitiesorallowthesurgeonaccesstocertaintumorsduetothelargefootprintofthesystem. ethelimitationofnowexistimagingsystem,Wedescribeaportablefluorescencegogglenavigationsystemfortumormarginassessmentduringoncologicsurgeries.Thesystemconsistsofacomputer,aheadmountdisy(HMD)device,anearinfrared(NIR)CCDcamera,aminiatureCMOScamera,anda780nmlaserdiodeexcitationlightsource.ThefluorescenceandthebackgroundimagesofthesurgicalsceneareacquiredbytheCCDcameraandtheCMOScamerarespectively,co-registered,anddisyedontheHMDdeviceinreal-time.Thetechnicalfeasibilityoftheproposedgogglesystemistestedinanexvivotumormodel.Ourexperimentsdemonstratethefeasibilityofusingagogglenavigationsystemforintraoperativemargindetectionandsurgicalguidance.:fluorescenceimaging;tumormargin;gogglenavigation目摘 目 第一 绪 课题背 课题研究的目的和意 国内外研究现 本课题的目标和主要工 第二 近红外荧光成像技 引 荧光成像系统概 荧光成像系统的关键参数及系统组 视场 近红外激发辐射 荧光激发光 荧光成像相 荧光成像滤光 系统原理及实 系统的硬件部 光 相机与镜 滤光 系统的软件部 相机的控制模 图像处理算法模 模拟手术现场的工作流 第四章生物组织的光学特性及仿体的生物组织的光学特 生物组织光学仿体的流 第五章实验设计部 ICG水溶液的荧光特性分 实验目 实验仪 实验步 实验结 ICG水溶液的荧光强度对 实验目 实验仪 实验步 实验结 结果分 荧光成像系统配准误差分 实验目 实验步 实验结 结果分 荧光成像系统分辨率测 实验目 实验步 实验结 结果分 第六章总结与展 参考文 致 在读期间的学 与取得的科研成 第一章绪论课题背，这比疟疾、和结核病导致的人数还要高，而且每年还有1000多万人被确诊为患者，在这庞大的数据当中，超过60%的病例主要集中在亚洲、非洲以及南美洲等中低收入国家，其国的新增病例和人数首当其冲。中国目前每6分钟内就有一人被确诊为，每天将近有8500人成为癌常深入，的预防、诊断、治疗等都取得了相当大的进展，这主要得益于力支持，肿瘤的放射治疗技术已经取得了性的进步。随着放疗精度的日益提170来的新药。此外，还有大约1000种抗癌药物及在研发过程中。很多最新开发的抗癌药物，有效地消除了、疼痛、等副作用，给予患者较高的 课题研究的目的和意以最大限度减少患者为目标的微创治疗和将降至最低点的无创治疗已成近年医领的新疗。于在创无创疗程没有生确定位一直是国际上的问题。外科手术过程中外科医生主要依据组织的色泽、提高手术成功率、降低手术、减少医疗费用、避免手术意外发生、促进2002顿BethIsraelDeaconessFLARETM在20092008得者钱永健先生报告了如何用荧光显微镜成像引导切除荧光标记的小鼠肿瘤组织，开启了光学分子影像技术在手术导航领域的先河。2011手术导航的原型系统，并成功应用到癌的临床手术中。中国分子影像团队根据前期在分子影像领域的研究基础，顿Frangioni国Fluoptics。FLARETM系统首先是由波士顿BethIsraelDeaconess医学中心和乔治亚州立大学在2002年研制成功，FLARE是fluorescence-assistedresectionandexploration的缩写，即荧光辅助切除和探测。构，还能显示肉眼看不到的近红外荧光，并且能够在彩像上。FLARETM系统的基本组成：⑴400W40000lux400～650nm，其二三近红外激发光源之二，技术参数是光强度14mW/cm2，波长800nm(745～像CCD，400～650nm峰值量子率效高,700nm近红外CCD，689～725nm峰值量子率效高，和800nm近红外CCD，800～848nm峰值量子率效高,共三种CCD640×480125×125μm(x,y)625×625μm(x,y)15Hz、NIR100μsec8sec，免持光学自动变焦FluobeamGrenobleFluopticsFluobeam至飞摩尔级（10-15）的荧光信号开放式设计。成像速度快，10ms-1s即可完成点，能够在白光下直接检测。目前，Fluobeam成像系统分为Fluobeam700和Artemis手持式成像系统是世界上首个同时全色和荧光的医疗成像系659×494330000pixels、图像输出5.6x5.6μm、帧频5～Novadaq探测成像系统（Novadaq'sSPYImagingSystem）是由NovadaqInc.研制，是目前第一个，也是唯一一个被FDA进皮瓣血运的重要工具。还可应用于移植，小儿外科和泌尿外科等领域。ThePhotodynamicEyeThePhotodynamicEye成像系统是由光电研制，主要用于等领域，其图像感受器是CCD，发射光源是LED。本课题的目标和主要工第二章近红外荧光成像技术引分子影像技术按成像原理的不同可分为光学、核医学和磁（MRI）成像为荧光标记物的提供了方便。荧光成像系统概在700nm到900nm的荧光造影剂，图2.1所示的是一个典型的反射式荧光成像2.1tobackgroundratio，SBR)相对高等优点，有可能成为未来临床医学在体实时荧光成像系统的关键参数及系统组像系统通过CCD相机直接某个方向的光子投影信号由于其开发和操作简单以可用于体外培养细胞实验,因而在荧光成像中得到了广泛的应用。视场有限像素的CCD相机来说，对分辨率的要求也会降低。近红外激发辐荧光激发光发光二极管（LED：LED（能达到数十毫瓦以上，谱约束（半宽最大值[FWHM]<50nm在消费市场上所占的份额使得它们在性能和封装尺寸上都有比较大的优势。然把LED是LEDLED[FWHM]LEDLEDLED激光二极管（LDLED，LD宽通常比较窄并且很难被集成，高功率的激光器价格昂贵，而且很容易安全镜式扫描系统如下图2.2所示：2.2射荧光信号的角度有一定差别，所以会引起一定的视差偏差效应，通过适用f-theta荧光成像相rms荧光成像滤透射率能够达到90%以上（OD6）并且有一个接近垂直的变化坡度，当然这种入射角度：入射光线和滤光片表面法线之间的夹角。当光线正入射时，入射角为0。（CWL（FWHM际使用过程中并非公差越小越好，公差越小，制造难度越大，成本越高。用户学者也投入到了近红外光谱（波段范围在700-1000nm）的研究。该研究主要致 （ICG，然它并不是很理想的荧光造影剂，但是它是目前唯一被食品药品管理局表 常用的近红外荧光造影剂及其理化与光学特性吲哚菁绿（ICG）的理化特吲哚菁绿，英文名IndocyanineGreen(ICG)，是三羧花系中的一种暗绿酸基团，这种复杂的结构使得吲哚菁绿具有两性分子特性：水溶性和亲脂性[8]2.3哚菁绿主要为单体呈现，如果浓度达到100μM，吲哚菁绿就会形成低聚物，而吲哚菁绿（ICG）的光学特吲哚菁绿的吸收光谱特性主要依赖于ICG的浓度与溶剂的性合过程一旦发生，就会影响ICG在水溶液中的吸收光谱形状。其吸收峰值便会随着ICG浓度的增加而减少。如图2.4所示[8,10不同浓度的ICG水溶液的吸收光谱曲线图。当ICG在水溶液中处于单体情况时，其吸收峰值在785nm，而当ICG在水溶液中发生聚合时，其吸收峰值便会降低到690nm。如果在ICG水溶液中同时又加入蛋白时，其吸收峰值就会达到805nm或810nm，主要原因在于蛋白与ICG的粘合会减少ICG聚合物的形成。因此，通过静脉注射之后，ICG溶液的吸收波峰就会发生从780nm805nm偏移。在水溶液中，ICG的发射光谱的峰值能够达到810nm或820nm[11-19]，同样通秒内，ICG发射光谱的峰值发生快速的偏移，能够达到820nm或830nm，而在注射后的一段时间，其峰值从834nm到826nm有个缓慢的下降之后趋于平稳。变化趋势如下图2.5所示。2.5测量到一更高波段，中心位于810nm的荧光。那么该荧光是如何产生的呢？S0hvEXS2S1*S0hvEX为入射光光子的频率，为产生的荧光的频率。前的电子从基态S0（通常为自旋单重态跃迁至具有相同自旋多重度的激发态S2*。后一个式子为荧光产生步骤，表示处于激发态S2*的电子可以通过各种不同的途780nm，光吲哚菁绿（ICG）荧光介质，通常选择的光源波段为780nm。激光器发出的点状 明光源设计主要由两部分构成，LED和带通滤光片。，LED是发光体，带通滤光片只允许其特定范围波段的光透过去，通常选择的透过波段范围在本系统选定的激光器为长春新产业光电技术生产的MDL-III型红外激光器（785nm200mW3.23.2相机与本系统的设计需要由两个相机来实现，荧光成像相机与普通CMOS相机。基于的荧光成像相机为维视数字图像技术（Microvision）生产的MV-VEM033SM/SCGigE小型千兆网工业数字相机。该相机的感光元件为SONYICX618CCD传感器，该传感器的最大特点就是灵敏度高，近红外感光能力强，其光谱响应曲线如下图3.3所示。3.3CCD从图中可以看出，该相机在近红外波段600nm左右具有很强的感光能力，并且对于800nm波段的近红外光，其感光效果也能达到60%以上，同时这款相机不仅轻表 CCD相机的主要性能参相机型号MV-最大帧率最高分辨率信噪比像素尺寸可编程控制传感器类型光学尺寸荧光成像相机被固定于距离工作台面40cm左右的位置，为了能够得到一个较大（≥20×20cm2）范围的视场（FOV，对相机镜头的焦距有特别的要求。视场的大小与焦距的关系可用如下图3.4描述。3.4镜头焦距f（镜头到物体距离相机CCD尺寸物体高度本系统所选择的镜头焦距为5mm的定焦镜头，其光圈可调范围为F1.4至F16,宽3.2mm*高2.4mm，对角线4mm，不过，这里不是普通的“1英寸=25.4mm”，表 的光学尺寸所对应的靶面与对角线尺光学尺寸（英寸靶面尺寸对角线长度186 视场大小系统选定的另一款普通CMOS相机是由市奥尼电子工业生产的尼ANC酷睿HD1080P清头，该相机采用的是CMOS传感器，像素能达200万，最大分辨率能够达到1600×1200，采用USB接口，连接电脑方便，并且滤光对于该导航目镜系滤光片的应用主要用于获取800nm以上的近红外为从Thorlabs上订购的一款优质长波通滤光片，型号为FELH0800，截止波长为800nm，该滤光片的内部直径为21.1mm，能够很好地被安装于镜头与CCD相机的接口处，且不会影响相机与镜头之间的固定。该滤光片的光学特性如下图3.5所示。括相机的参数（帧数，时间与增益）控制。图像处理算法模块主要实现对采相机的控制数的调整。CCD相机的控制流程图如下图3.6所示。功能。使用这个类可以实现以下功能：选择源（机、设置参数tVidCapDevListPtrgetAvailableCaptureDevices()const;枚举系统中可用的设备 打开设 打开设 打开设boolisDevValid()const;判断设备是否有效boolisDevOpen()const;判断设备是否打开boolcloseDev(); 关闭设备boolshowDevicePage(HWNDhParent=0boolsetHWND(HWNDhwnd); 设置显示窗口boolsetWindowPosition(longposx,longposy);设置显示位置boolsetDefaultWindowPosition(boolbDefault);锁定-

boolsetWindowSize(longwidth,longheight 设置显示窗boolstartLive(boolshow=true bool boolremoveListener(GrabberListener*pListener,DWORDcallback设置参boolshowDevicePage(HWNDhParent=0); 可以设置源，3.7CCDITMAINFOEADER头包括了位图文件的类型、大小以及设备无关位图的图像文件布局。BITMAPFILEHEADER结构体长度固定，为14字节，其定义和描述如下：typedefstructtagBITMAPFILEHEADER //保留字，必须为0 bf }BITMAPFILEHEADER,typedefstruct bi//指定图像的大小（以字节为单位 biYPelsPerMeter;//图像的垂直分辨率，单位是像素每 biClrImportant;//图像中重要的颜色数，如果该值为0}BITMAPINFOHEADER,为了获取CCD相机所到的图像数据信息，可以通过两种方式来实现。第一种方式可以通过调用相机SDK的回调函数addListener来获取第二种方式可以图像处理算法在工业上，影像系统也被称为视觉系统，其部分就是图像处理单元，通波，颜色识别，几何匹配，灰度匹配，图像的理解等内容，经过这些处理后的3.8物在中的位置，为后续的图像配准做准备。接着保证已调整好的CCD相机的显然，BlobBlob，blobBlob域大小时，面积参数S(·)可以作为一种度量尺度。S(·)定义为斑块区域S(Ri(x,y))f(x, (x,y)Ri(x,(x,y)f(x,y)0,1)周长参数P(·)也可以作为一种度量目标区域的特征，P(·)定义为斑块区域边x0M10(Ri(x,y))/M00(Ri(x,y0M01(Ri(x,y))/M00(Ri(x,式中:将矩MpqMpq(Ri(x,y))(x,y)Ri(x,y)f(x,topminy{(x,y)|(x,y)Ri(x,bottommaxy{(x,y)|(x,y)Ri(x,leftminy{(x,y)|(x,y)Ri(x,rightmaxyxy|xyRi(xy)}3.9正。变换的基本变换： 0 H 0

1/

Pz 1/

1/xe

1/ePx Py CvMat*cvGetTransform(constCvPoint2D32f*src，constCvPoint2D32f*dst,CvMat*map_matrix);形顶点坐标，map_matrix表示指向3×3输出矩阵的指针。函数

map_matrix

xiyiy

dst(i)(xi',yi'),src(i)(xi,yi),i大多数医学图像如X射线、CT、MRI、B超图像等为均灰度图像，由于人眼观察者能从伪彩像中提取的信息。变为具有多种颜色渐变的连续彩像，并且实现简单。灰度-彩色映射法是根据色度学原理，将原图像f(x,y)的灰度范围分段，经过红、绿、蓝三种不同变 3.10图像更易眼观察与识别。效果图如下。3.11模拟手术现场的工作流第四章生物组织的光学图4.1光在生物组织中的基本模侧面者的向外到光轨，产生种象原主是于的均性成。分光组中，要光为量，物性散射和非弹性散射，依赖于光量子与组织体分子的相互作用是否发生能量交表 皮肤组织光学仿体的发展历且可根据不同规格大小的模具不同形状的仿体，唯一的缺点就是流程相脂为基体，TiO2作为散射介质，同时添加了相关的作为吸收物质并配合一定（TiO2。二氧化钛（TiO2）俗称钛白粉，是一种白色固体或粉末状氧化物，可生物组织光学仿体的流在100ml利用电子天平准确称取10mgICG100ml配得浓度为0.1mg/ml的ICG水溶液，并用玻璃棒搅拌均匀。杯内，同时用移液器准确量取0.56ml浓度为0.1mg/ml的ICG水溶液注入到该玻璃70ml不变。图4.2模拟肿瘤仿体的（a）仿体在加热过程中的状态（b）仿体再凝固之前的仿体仿体可根据所选的容器和模具的不同浇铸成各种形状，过程通常需要半小时4.3 4.4第五章实验设计部分ICG水溶液的荧光特性分实验分析不同浓度ICG水溶液的荧制不同浓度ICG水溶液的荧光强度实验纯水（蒸馏水）移液器量筒烧杯海洋光学光谱仪780nm实验准确配比不同浓度的ICG5组（便于误0mg/ml浓度如下：单位为mg/ml实验结果分得到的荧光强度定量结果，从图中可以看出，荧光强度随着ICG浓度的增加呈现先增后减的趋势，而当ICG的浓度处于0.008mg/ml范围内时，荧光效果最好。产ICG水溶液的荧光强度对实验采用本文所设计的荧光成像系现不同浓度的ICG水溶液的荧光强度定量测量，并与IVISXenogen成像仪所测得的结果进行对比，分析本系统对近红外荧光的感光能力以及不同浓度ICG水溶液的荧光光谱特性曲线。实验纯水（蒸馏水）移液器量筒烧杯1.5ml离心管荧光成像系统成像仪780nm实验准确配比不同浓度的ICG5组（便于误差分析mg/ml0mg/ml分别配置5选取中间某浓度装有ICG水溶液的离心管，安置于激发光源与成像系统相的成像仪IVISXenogen对所配置的不同浓度的ICG水溶液同样进行了荧光荧光强度的定量分析过程如程图所示由于影像系统所拍摄得到的是装有等量不同浓度ICG的离心管处于同一位x1x2x3xn,YMed{x1x2x3xnx((1n2)nYMed{x1x2x3xn1/2[x(n2)x((1n2)n取排好序的序列的中间值作Y为中心点像素灰度的新值,这里的邻域通常被实验统计处理所得的结果，并用进行分析，最后绘ICG度与荧光强结果从图中可以看出，用成像仪IVISXenogen光于们所计的荧成像统，主要有方面原因一方面成仪的CCD相机处于-0摄氏度的工作环境中，有效地降低了暗电流噪声的影响，使得成像质量大提高另一面，相的时间暗箱内强的效控更有利拍光强的探测效果都有相同的趋势，当ICG浓度为0.008mg/ml时，荧光感光效果最好，并且都能拍摄到浓度低于0.0005mg/ml的ICG水溶液所激发得到的荧光，这些结果荧光成像系统配准误差系统的误差主要源于标记物的表面与模拟肿瘤荧光表面不在同一高度所造成，处不视的CCD与CMOS5.6MS相机的倾角与两表面高度差给定，配准误差是可以通过计算得到的。5.6L

HL而XXHLL2H2PX HLf(L2H2)(HHf实验5.7实验实验有明显的配准误结果从的结果可以看出，当标记物表面与荧光表面处于同一高度时，黑点的荧光成像系统分辨率测5.9纹组总的尺寸如上图所示。系统的如下图5.10所示。5.10模拟手术实实验过IVISXenogen成像仪进行对比，分析在荧光成像系统下模拟肿瘤手术的实验实验5.11图表示埋有肿瘤仿体的鸡大胸组织被切除后在IVISXenogen成像仪结果第六章总结与展望第六章总结与展望生的手术能动空间，也为医生眼观测手术区域提供了方便。导航目镜系统对于临床的检测与切除会被广泛的开展与应用。TroyanSL,KianzadV,Gibbs-StraussSL,etal.TheFLARE™intraoperativenear-infraredfluorescenceimagingsystem:afirst-in-humanclinicaltrialinbreastcancersentinellymphnodemap[J].Annalsofsurgicaloncology,2009,16(10):2943-2952.StockdaleA,OketokounR,GiouxS,FrangioniJV(2010)Mini-FLARE:acompactandergonomicdual-channelnear-infraredfluorescenceimage-guidedsurgerysystem( VogtPR,BauerEP,GravesK.NovadaqSpyIntraoperativeImagingSystem--currentstatus.ThoracCardiovascSurg.2003;51(1):49-51.NtziachristosV,BremerC,WeisslederR.Fluorescenceimagingwithnear-infraredlight:newtechnologicaladvancesthatenableinvivomolecularimaging[J].Europeanradiology,2003,13(1):朱新建,宋小磊,汪待发,等.[J][J].,2008,32(1):1-张怡,韩彧,赵春林.动物体内光学成像技术的研究进展[J].生命科学,2006,25-谷怀民,杨思华,向良忠.光声成像及其在生物医学中的应用[J].生物化学与生物物理进展,2006,33(5):431-437.GiouxS,ChoiHS,FrangioniJV.Image-guidedsurgeryusinginvisiblenear-infraredlight:fundamentalsofclinicaltranslation[J].Molecularimaging,2010,9(5):237.LuoS,ZhangE,SuY,etal.AreviewofNIRdyesincancertargetingandimaging[J].Biomaterials,2011,32(29):7127-7138.AmiotCL,XuS,LiangS,etal.Near-infraredfluorescentmaterialsforsensingofbiologicaltargets[J].Sensors,2008,8(5):3082-3105.DesmettreT,DevoisselleJM,MordonS.Fluorescencepropertiesandmetabolicfeaturesofindocyaninegreen(ICG)asrelatedtoangiography[J].Surveyofophthalmology,2000,45(1):FantiniS,FranceschiniMA.Frequency-techniquesfortissuespectroscopyandimaging[J].Handbookofopticalbiomedicaldiagnostics,2002,7:405-453.AlanderJT,KaartinenI,LaaksoA,etal.Areviewofindocyaninegreenfluorescentimaginginsurgery[J].JournalofBiomedicalImaging,2012,2012:7.AbelsC,FickS,WeidererP,etal.Indocyaninegreen(ICG)andlaserirradiationinducephotooxidation[J].Archivesofdermatologicalresearch,2000,292(8):404-411.WoldetensaeMH,KirshenbaumMR,KramerGM,etal.Fluorescenceimage-guidedphotodynamictherapyofcancercellsusingascanningfiberendoscope[C]//SPIEBiOS.InternationalSocietyforOpticsandPhotonics,2013:85760L-85760L-8.RaoJ,Dragulescu-AndrasiA,YaoH.Fluorescenceimaging<i>invivo</i>:recentadvances[J].Currentopinioninbiotechnology,2007,18(1):17-25.SunY,HatamiN,ElsonDS,etal.Fluorescencelifetimeimagingmicroscopyforbraintumorimage-guidedsurgery[J].Journalofbiomedicaloptics,2010,15(5):056022-056022-5.MaarekJMI,HolschneiderDP,HarimotoJ.Fluorescenceofindocyaninegreeninblood:intensitydependenceonconcentrationandstabilizationwithsodiumpolyaspartate[J].JournalofPhotochemistryandPhotobiologyB:Biology,2001,65(2):157-164.BensonRC,KuesHA.Fluorescencepropertiesofindocyaninegreenasrelatedtoangiography[J].Physicsinmedicineandbiology,1978,23(1):159.吕铁军,科,李凯扬.基于吲哚菁绿近红外荧光特性手术影像导航系统的设计[J].中国组织工程研究,2012,16(52):9802-9806.Andersson-EngelsS,afKlintebergC,SvanbergK,etal.Invivofluorescenceimagingfortissuediagnostics[J].Physicsinmedicineandbiology,1997,42(5):815.FrangioniJV.<i>Invivo</i>near-infraredfluorescenceimaging[J].Currentopinioninchemicalbiology,2003,7(5):626-634.LiuY,NjugunaR,MatthewsT,etal.Near-infraredfluorescencegogglesystemwithcomplementarymetal–oxide–semiconductorimagingsensorandsee-throughdisy[J].Journalofbiomedicaloptics,2013,18(10):101303-101303.GiouxS,CoutardJG,BergerM,etal.FluoSTIC:miniaturizedfluorescenceimage-guidedsurgerysystem[J].Journalofbiomedicaloptics,2012,17(10):106014-106014.LiuY,BauerAQ,AkersWJ,etal.Hands-,wirelessgogglesfornear-infraredfluorescenceandreal-timeimage-guidedsurgery[J].Surgery,2011,149(5):689-698.LiuY,ZhaoYM,AkersW,etal.Firstin-humanintraoperativeimagingofHCCusingthefluorescencegogglesystemandtransarterialdeliveryofnear-infraredfluorescentimagingagent:apilotstudy[J].TranslationalResearch,2013,162(5):324-331.PaR,KhanA,WirthD,etal.Multimodalopticalimagingfordetectingbreastcancer[J].Journalofbiomedicaloptics,2012,17(6): MieogJSD,VahrmeijerAL,HuttemanM,etal.Novelintraoperativenear-infraredfluorescencecamerasystemforopticalimage-guidedcancersurgery[J].Molecularimaging,2010,MiwaM.ThePrincipleofICGFluorescenceMethod[J].OpenSurgic