（生物医学工程专业论文）基于激光扫描共聚焦显微镜的相关图像处理技术研究.pdf

塑翌查兰堡主兰垡丝茎型堕 a b s t r a c t l a s e rs c a n n i n gc o n f o c a lm i c r o s c o p y ( l s c m ) i sn o we s t a b l i s h e da sav a l u a b l e t o o lf o ro b t a i n i n gh i 曲r e s o l u t i o ni m a g e so fav a r i e t yo fb i o l o g i c a ls p e c i m e n s t h e d e v e l o p m e n to f c e l l u l a rb i o l o g ym a k e sh i g h e r d e m a n dt ol s c m ，a n dr e q u i r e s a p p r o p r i a t ei m a g ea n a l y s i sa n dp r o c e s s i n gs y s t e mt or e a l i z et h ep r o c e s s ，v i s u a l i z a t i o n a n dd a t ae x p l o r a t i o n t h ei m a g ep r o c e s s i n ga n da n a l y s i ss y s t e ma i m i n ga tt h el s c m h a sb e e ns e tu p i no u rl a b o r a t o r yi n c l u d e si m a g ep r e p r o c e s s ，v i s u a l i z a t i o no fs p e c i m e nc o n t o u ra n d i n t e r n a ls t r u c t u r eb a s e do nm a r c h i n gc u b e sa n di n t e r a c t i v ev o l u m er e n d e r i n ga sw e l l a sas e r i e so fi n t e r a c t i v ea n a l y s i st e c h n o l o g y a f t e ra n a l y z i n gt h et h e o r y a n d c h a r a c t e r i s t i co ft h el s c m ，i no r d e rt oo b t a i nt h eb e t t e rv i s u a l i z a t i o nr e s u l t ，w em a k e a u t o - f o c u s i n ga r i di m a g er e s t o r a t i o na st h em a i ns t u d yd i r e c t i o n s f o rt h ed i s a b i l i t yo ft h ea u t o - f o c u s i n go ft h el s c m ，t h es t u d ya d v a n c e saf a s t i m a g ep r o c e s sa l g o r i t h mt of o c u so na no b j e c ti m a g eb a s e do nt h ei m a g eg r e ya n d e n t r o p yo ft h eg r e yg r a d u a t i o n t h ea u t o - f o c u s i n gt e c h n o l o g ya p p l i e di nt h el s c m w i l li m p r o v et h er e s o l u t i o no fs c a n n i n gi m a g e s a n a l y z i n gt h ec h a r a c t e r i s t i co ft h e o p t i c a ls t r u c t u r eo ft h el s c m a n di t si n f l u e n c eo nt h ei m a g e sq u a l i t y ，w ec a r r yt h e t h e o r e t i cc o m p u t a t i o no ft h ep o i n ts p r e a df u n c t i o no ft h el s c ma n da d o p tt h e e x p e c t a t i o nm a x i m u ma r i t h m e t i c b a s e do nt h em a x i m u m l i k e l i h o o de s t i m a t i o n m e t h o dt or e s t o r et h eb l u r r e di m a g e s t h i ss t e pi sv e r yp r o p i t i o u st ot h ev i s u a l i z a t i o n a n dr e s u ka n a l y s i s c o m b i n i n ga b o v es t u d yr e s u l t sw i t ht h ee x i s t e di m a g ea n a l y s i sa n dp r o c e s s i n g s y s t e mw o u l df u r t h e ro p t i m i z et h ev i s u a l i z a t i o nq u a l i t ya n dv e r a c i t yo fa n a l y s i s o fd a t a ， t h e r e f o r ep r o v i d em o l ee x t e r n a lr e f e r e n c et ot h ep h y s i o l o g i c a lm e a n i n ge x p r e s s e db y t h e1 5 c md a t a k e yw o r d ：c o n f o c a lm i c r o s c o p e ，a u t of o c u s i n g ，i m a g er e s t o r a t i o n ，v i s u a l i z a t i o n ，i m a g e a n a l y s i ss y s t e m 浙江大学硕士学位论文 图1 - 2 激光扫描共聚焦显微镜系统原理图 激光扫描共聚焦显微镜成像系统的光学原理图如图卜2 所示。从激光光源系统 发出的激光，经过显微镜的透镜系统，穿过针孔，在透镜的焦平面上形成一个聚 焦光点。针孔的作用是滤除来自透镜的杂散光和散焦光。聚焦的光点经过另一个 透镜系统，穿过分光镜，再经过显微镜的物镜系统，在物镜的焦平面上形成一个 聚焦光点。分光镜的作用相当于一个光开关，把不同的光转换到不同的光路上。 这个聚焦光点落在物镜焦平面上的样本上，产生反射光和发射光。这个反射光和 发射光就是样本在该点的光学图像。发射光是样本在受到照射激光的激发下，吸 收了激发光的能量，发生能级跃迁而发出的光。一般情况下，发射光的波长和激 发光的波长是不相同的。反射光和发射光穿过物镜到达分光镜。分光镜只把发射 光反射到显微镜的聚光镜头。发射光经过聚光镜头，穿过针孔，在聚光镜头的焦 平面上形成一个聚焦光点。针孔的作用是滤除从物镜焦平面上方和焦平面下方的 样本的发射光。聚焦的光点落在位于聚光镜焦平面上的光检测器的光敏面上，形 成样本的光学图像【6 j 【7 删i 射。 1 3 激光扫描共聚焦显微镜的特点和应用 1 3 1 激光扫描共聚焦显微镜的特点 激光扫描共焦显微成像系统的优点： 浙江大学硕士学位论文 i 实现了显微真三维成像。 2 可进行三维多荧光标记定位。 3 二维三维空间的特征准确测量。 4 超高空间分辨率。 5 降低样本制备时问。 l s c m 与传统光学显微镜相比，主要解决了生物样品结构相互重叠影响观察的 问题，并可形成清晰的三维图像。在检测方面的主要优势有： 1 、对活细胞和组织或细胞切片进行连续扫描，可获得精细的单个或一群细胞 或者观察到局部组织的各个层面结构( 包括细胞特异结构、细胞骨架、染色体、细 胞器和细胞膜系统，样品的深层结构) 的三维图像。 2 、细胞内离子荧光标记，单标记或多标记，进行细胞内如p h 和钠、钙、镁等 离子浓度的比率测定及动态变化检测。 3 、荧光标记探头标记的活细胞或切片标本的活细胞生物物质，膜标记、免疫 物质、免疫反应、受体或配体，核酸等观察：可以在同一张样品上进行多重物质同 时标记，同时观察。 4 、荧光检测快、激发光强度精确控制。 5 、对细胞检测无损伤、精确、准确、可靠和优良重复性：数据图像可及时输 出或长期储存。 6 、样品制备无特殊要求，各种染色、非染色、荧光标记的组织( 包括活组织) 、 培养细胞、粘附细胞、细胞涂片、石蜡切片、冰冻切片均可以进行检测。 本研究使用的激光扫描共聚焦显微镜是l s m5 1 0 ( z e i s s ，g e r m a n y ) 。该显微 镜系统实现了光学显微镜系统、扫描系统和计算机系统的高度协调工作，系统框 架如图1 3 所示。 浙江大学硕士学位论文 图1 - 3l s m5 1 0 共聚焦显微镜系统图 i 3 2 激光扫描共聚焦显微镜在生物医学中的应用 激光共聚焦显微镜问世的短短十年来，应用范围不断扩大，从离子、分子的 研究到观察组织和细胞的亚显微结构；从观察经固定的标本到新鲜无损伤的活体 生物材料的研究，共聚焦成像技术的优势在不断地开发和显示出来。 1 细胞生理参数和胞内离子成像b o i l l l l l l 2 】【1 3 l l s c m 有几大优势，使之能在四维水平研究离子的动态与结构的关系，使 l s c m 在离子成像方面具有独特的优势。( 1 ) 景深( 焦深) 较小。光学切片能排除 非焦点的影响，可较好的显示细胞内的细节；( 2 ) 侧向分辨力的提高；( 3 ) 光路长度 差引起的测量误差较小；( 4 ) 焦平面取样体积基本一致且较小，对快速发生的事件 能在标本小区域或者某个点成像、测量和分析。这些为有功能的细胞离子变化、 动力学或细胞内生理参数成像测量，提供了最大的可能。 2 单标记、多重标记的免疫荧光显微技术和免疫细胞组织化学技术方面的应用 1 4 b s l b 6 l 免疫组织细胞化学或细胞化学可原位确定组织、细胞结构和化学成分或化学 性质，把结构和功能及代谢结合起来。l s c m 使这一技术更趋完善，获得更清晰 准确的图像便于分析，并在光学显微术领域拓展出更新的应用前景。 浙江大学硕士学位论文 3 l s c m 观察活细胞及组织1 1 7 1 1 8 】 由于l s c m 不需要真正的组织、细胞进行切片，即无损伤光学切片，因此可 用于活染组织的成像如显示活组织、细胞结构和离子改变动力学。 4 l s c m 提高显徼测量的精度【1 9 i 对组织和细胞的重要参数，如长度、厚度、面积和体积等的显微测量，是了 解这些组织和细胞经放射线、同位素及抗肿瘤药物对其影响的极有意义的数据。 一般的光电镜测量方法，组织或细胞常需经过固定、染色等一系列的步骤，尽管 很精确，但会产生标本的变形或体积的变化，影响准确度。即使使用相差显微镜 测量，但产生的图像受到景深及非焦点光的干扰，被测结构界限不清，也影响了 测量精度。l s c m 可以快速非损伤性地对末受破坏的甚至活的三维标本的光学切 片，解除了上述困扰显微测量的难题。l s c m 提供的另一个优势是垂直标本的侧 面成像，使人们可以从任意角度和部位获取标本的侧面像，从而进行高精度的显 微测量。 5 l s c m 在生物学和医学应用1 2 0 2 1 l l s c m 在细胞生物学，神经生物学方面，发育生物学方面，药理学方面，细 胞诊断学方面以及其他学科如病理学( 疾病发生机制的探讨) 、免疫学、微生物学、 寄生虫学( 免疫机制等方面) 、骨细胞生物学( 新骨形成中细胞活动) 、口腔科学 ( 牙科修复材料，牙修复) 、夕 科学( 外科植入物的研究) 都有不同程度的应用。 l s c m 特性逐步发挥出来，为研究各学科的问题，提供了一种全新的手段 1 4 激光扫描共聚焦显微镜成像及处理中的关键技术 1 4 1 自动聚焦技术 生物医学及细胞生物学的发展对显微镜的分辨率和自动聚焦能力提出了越来 越高的要求，并且随着三维可视技术的发展，要求能对样本进行断面清晰成像或 无损层切，进而能重现显微样本的三维结构。激光扫描共聚焦显微镜成像是通过 共轭焦点技术，使光源、被照物和探测器处在彼此对应的共轭位置上，光源通过 系统在样品上得到的会聚点与目镜的焦点相重合，形成共焦成像【2 3 j 【州。如果观测 样本在透射光情况下扫描，光线没有经过针孔( p i n h o l e ) ，显微镜无法进行自动对 焦，最后所成的像上即有焦平面的信息，也有非焦平面上的模糊信息。如果样本 浙江大学硕士学位论文 被荧光标记了某种特异性物质在激发光条件下扫描，针孔的大小和焦距的调整都 会影响最后的成像清晰程度。以往都是依靠人眼的经验进行焦平面的判断，缺乏 客观依据。如果将全自动显微镜的自动聚焦原理结合到共聚焦显微镜中，寻找一 种聚焦测度函数进行观测样本客观的精确的焦平面定位，从而可以解决在观测样 本在二维平面中准确定位焦平面的问题，这也有助于从空间角度更为准确地说明 细胞内特定物质的分布和变化。 1 4 2 点扩散函数的估计与图像复原技术 在激光扫描共焦显微三维成像中，采集到的图像并不完全是原始图像( 即样本 本身显示的图像) 的再现，也不是原始图像的常系数的放缩，而是原始图像的退化 或降质图像【。”。这种图像的退化是由于成像系统的点扩散性质产生卷积效应引起 的。因此采集图像的每个象素是原始图像所有象素与点扩散函数的卷积。 通过层切方法获取到的每一幅图像都包含焦平面内和焦平面外光的成分( 尽 管共焦系统可以排除大部分焦外光成分，但不是全部) 。这些焦平面外光的成分 对所成图像造成了干扰模糊，使得所成图像难以识别【删。同时，光轴方向的图像 分辨率被削弱。为了去除这些模糊，利用的就是显微图像复原技术。它是一种软 处理技术通过图像处理的解卷积算法来恢复各个切片层的原始光信息，从而削弱 各层面之间的干扰。 1 4 3 三维可视化技术 可视化的根本目标是把由实验或数值计算获得的大量数据转变成人的视觉可 以感受到的计算机图像。而图像可以将大量的抽象数据有机地组织到一起，并形 象生动地展示数据所表示的内容以及它们之间的相互关系，使人们摆脱了直接面 对由枯燥无味的数字组成的复杂形态而难以发现内在规律的局面，帮助人们直接 把握复杂的全局，从而更好地认识规律【2 6 j 。可视化研究的内容包括： 1 数据的预处理：从最原始的模拟实验数据集中提取出感兴趣的数据，并经 过粗略的数据加工( 如滤去数据中的噪声等) ，转变成更浓缩、更相关的数据表示。 2 映射：根据可视化参考模型的定义，映射将数值数据转变为几何数据。映 射功能的实质是构模，是可视化的核心。 浙江大学硕上学位论文 3 绘制：绘制即完成将几何数据转换成图像数据，对几何原语赋以视觉特性， 确定帧的合成、颜色、透明性、纹理、阴影等方面，并启动图像绘制过程。 4 显示：显示是将绘制模块生成的图像数据，按照要求进行输出，通过交互 方式修改原始数据、边界条件或其他参数，使计算结果满意。 1 4 4 图像交互分析处理技术 借助于激光共焦系统，可以获得生物样品高反差、高分辨率、高灵敏度的二 维图像。可得到完整活的或固定的细胞或组织的激光光学切片，从而得到各层面 的信息，三维重建后可以揭示亚细胞结构的空间关系。利用交互分析处理技术， 能对图像可视化结果进行交互操作，能对三维乃至四维图像进行数据统计分析， 即能对细胞光学切片的物理、生物化学特性的变化，如d n a 含量、r n a 含量、 分子扩散、胞内离子浓度随时空的改变等，可以对这些动态变化进行准确的定性、 定量、定时和定位分析。 1 5 论文研究内容和结构安排 在实验室已有的研究成果和共聚焦图像分析处理系统的基础上，分析了共聚 焦显微镜的原理和特点，根据细胞生物学显微图像高分辨率的要求，为能得到更 好的三维可视化结果，从而为阐述生理学意义提供更为客观准确的依据，针对激 光扫描共聚焦显微镜成像及处理中的几点关键技术，提出了将自动聚焦和图像复 原作为本文的主要研究方向。 本论文共分五章，第一章是国内外在此项研究上的发展和现状介绍以及激光 扫描共聚焦显微镜的成像原理和工作特点，中间两章是本文主要的研究工作和实 验结果，最后两章是将研究结果结合到实验室已有的共聚焦图像分析处理系统以 及研究的总结和展望。 第一章讨论了共聚焦显微镜( l s c m ) 及相关图像处理技术的发展现状，介绍 了激光扫描共聚焦显微镜的系统结构和成像的光学原理、成像的基本过程、共聚 焦图像的特点以及处理中的关键技术，并指出了其在细胞生物学研究中的应用， 同时提出本研究工作的主要目标。 第二章详细说明了l s c m 在图像采集过程中涉及到的自动聚焦技术，对经典的 浙江大学硕士学位论文 自动聚焦方法进行了介绍和对比，并在此基础上提出了基于图像灰度和灰度熵算 予的二次聚焦评价方法，实验结果表明，该方法准确可靠，具有实用性。 第三章阐述了激光共聚焦图像处理中的关键问题图像复原技术，对从共 聚焦图像退化的原因，到成像系统点扩散函数( p s f ) 的估计，再到影响成像质量 的各种因素做了详细的说明。比较传统的图像复原方法之后，我们认为利用基于 统计学的最大似然估计对图像进行恢复后的效果较好，并用最大期望算法实现了 该方法，通过实验结果图像说明了图像复原在共聚焦图像分析处理中的重要性。 第四章首先简要介绍本实验室开发的共聚焦图像可视化及分析处理系统，然 后说明自动聚焦和图像复原处理对该系统功能的完善和图像处理分析结果上的优 化，从而有利于提高可视化结果数据分析的准确性。 最后，对本文所做的工作做了系统的总结，对自动聚焦和图像复原提出了改 进的方向，并且对今后可视化与分析系统的进一步完善做了展望。 浙江大学硕士学位论文 信息的方法，离焦深度法所需图像数量小，所以离焦深度法速度较快，但是精度 比对焦深度法低。在这种方法中主要有两种思路：一是根据图像中的某些有代表 性的信息近似计算出成像系统的点扩散函数，利用图像退化模型，反演计算恢复 出模糊图像的原图；二是基于离焦量估计的离焦深度法，先获取2 至3 幅不同成像 参数下的图像，它们之间存在一定的相对模糊量，对图像的局部区域进行处理和 分析，确定其模糊程度( 弥散斑的大小) 。根据几何光学可知，镜头的孔径与焦距 的比值等于弥散斑直径与离焦量的比值，由此可以估算出离焦量并驱动镜头移动 到聚焦位置。找到一个序列图像中的焦平面图像时最好使用聚焦深度法。 2 2 经典的自动聚焦方法 目前应用于显微镜的自动聚焦方式多为无源方式。这种方式不是依赖外部条 件来测量透镜和物体之间的距离，而是采用图像处理技术来确定被观察物体是否 在焦平面上，即靠图像是否清晰来判断聚焦与否。从时域角度看，聚焦图像比离 焦图像灰度变化明显，有较锐化的边缘。 波的过程，当图像对比度不大即离焦时， 从频域角度看，由于离焦是一个低通滤 图像的高频分量相对较少。聚焦图像比 离焦图像包含更多的信息和细节，也就相应地包含更多的高频分量。图像质量的 好坏和清晰度与图像的高频分量有很大关系i ”】阳1 。 图像聚焦评价函数主要可以分为以下几类： 1 灰度变化函数：聚焦图像比离焦图像包含更多的灰度变化，这样图像灰 度值的变化可以作为评价函数的依据。 2 灰度梯度函数：在图像处理中，梯度可以用来进行边缘提取，离焦量越 小边缘越锋利，具有更大的灰度梯度值。梯度算子一般采用如下几种： 1 ) 灰度差分绝对值之和算子( s 肋) 2 ) r o b e r t 梯度算子 3 ) 基于s o b e l 梯度算子的t e n e n g r a d 函数 3 图像灰度熵函数：聚焦图像的信息熵要大于离焦图像的信息熵，因此图 像的灰度熵可以作为评价函数。 4 频域类函数：这种函数主要基于傅：芷叶变换，傅立叶变换的高频分量主要 对应着图像边缘，而聚焦图像总是具有锋利的边缘，即包含着更多的高频分量， 浙江大学硕士学位论文 这样可以根据傅立叶变换后高频分量含量的多少作为评价准则。 理想的聚焦评价函数应具有的特点是【2 9 l ： 1 聚焦评价函数最大值的位置即为聚焦位置； 2 不存在可能导致聚焦错误的局部极大值； 3 具有较强的抗噪能力； 4 聚焦速度比较快。 2 2 1 时域自动聚焦评价方法 1 灰度方差算子 一幅聚焦清晰的图像应有较多的灰度变化，因此图像的聚焦程度也可以用灰 度变化的平均程度即方差来衡量。灰度方差算子定义为： y 2 嘉善掣触_ ) h 】2 ( 2 - 1 ) 高；，o ，y ) ( 2 - 2 ) z o = m a x v ) ( 2 3 ) 其中v o 对应的位置即为聚焦最清晰位置。这里f ( x ，y ) 为( x ，y ) 点处的灰度值， 斗为图像中所有象素的平均灰度值，m 和n 表示图像行数和列数。 2 灰度梯度算子 聚焦清晰图像应有较锐化的边缘，由于梯度算予具有各向同性和旋转不变性， 可把图像中各不同走向的边缘和线条突出。离焦量越小图像边缘越锐化，所以图 像灰度梯度可以用来评价图像的聚焦程度 3 0 1 1 3 1 】f 3 2 1 1 3 3 1 。取图像中每一象素点的梯度 值并进行汇总 脚籽厨酉 ( 2 4 ) 梯度算予可以采用如下几种： 1 ) 灰度差分绝对值之和算子( s 如) 用差分绝对值代替乘方和开方，即对点( x ，y ) 及其临近点的灰度做差分运算， 提取该点灰度值变化的大小，得出图像灰度差分绝对值之和算子 浙江大学硕士学位论文 g = l f ( x ，y ) - f ( x + 1 y ) l + l ，0 ，y ) - ，g ，y + 1 ) ( 2 5 ) d 。= m a x 泌g ( 2 6 ) 在图像灰度差分绝对值之和算子中没有考虑到f ( x ，y ) 和f ( x + l ，y + 1 ) 的灰度差的 g 。一l f ( x ，) ，) 一f ( x + 1 ，y + 叫+ l f ( x + 1 ，y ) - f ( x ，y + 圳 ( 2 7 ) g 。= m a x 2 g 一( 2 - 8 ) 3 ) 基于s o b e l 梯度算子的t e n e n g r a d 函数 】_ 雌习 与其相对应的t e n e n g r a d 函数为： 瓦；m a x 蕊) t 0 所对应的位置即为聚焦位置。 3 图像灰度熵算子 由信息论可知，一幅图像的信息量是d ，图像的信息熵h ( x ) 来度量的： 日( x ) = 一y p , l o g p , ( 2 - 1 0 ) r 2 1 1 ) ( 2 1 2 ) 浙江大学硕士学位论文 其中p ；是图像中灰度值为i 的象素出现的概率。在c c d 采集到的图像中，在不 同的焦距，图像的熵值不同，离焦量越大，图像越模糊，图像象素的分布越趋于 平均，信息熵越大；而当正确聚焦时，图像最清晰，象素灰度分布脱离平均分布 状态最远，h 值最小。实际应用中，为了计算的简便，我们常取h 的相反数为判别 函数。即： f ( z ) = 霉l o g p i ( 2 1 3 ) 基于这一特征，f ( x ) 的极大值位置为系统的焦点位置。聚焦图像的信息熵要 大于离焦图像的信息熵，图像灰度熵的方法建立在图像灰度直方图的基础上。先 在图像窗口内对灰度进行统计得到灰度分布直方图，以 ( g ) 表示图像序列中第k 幅图像在其灰度窗口内取灰度值g 的概率，那么第k 幅图像的灰度熵函数定义为 g i = 罗最( g ) l n p ( g ) 1 蔓ks n ( 2 1 4 ) 例 取 g 。= m a x 奴) ( 2 一1 5 ) g 0 对应的位置即为聚焦位置【3 4 】。 2 2 2 频域自动聚焦评价方法 以上几种算法都是基于时域的算法。根据傅立叶光学理论，图像清晰或聚焦 的程度主要由图像中的高频分量的多少决定，高频分量少则图像模糊，高频分量 丰富则图像清晰。傅立叶交换的高频分量对应着图像边缘，而聚焦图像总是具有 锋利的边缘，即包含着更多的高频分量，故可以利用高频分量的多少作为聚焦评 价函数的主要依据【3 5 1 1 36 1 。另外，图像的视觉质量在很大程度上还依赖于对比度的 高低，即图像中有用信息的光强度相对于图像平均光强度的高低，所以图像光强 分布中每一个频率成分是否成像清晰，不仅由该频谱成分的幅度决定，还与平均 光强度有关。光学系统的成像质量，应该由图像光强分布中各频率成分的对比度 是否准确地反映了物体光强分布中各频率成分的对比度来判断，因此规范化的频 谱可以更准确地表示图像的特征。 在实际中，经常采用能量谱或功率谱来进行谱分析。将空域图像应用快速傅 立叶变换( f f t ) 转换到频域，幅度的平方称为能量谱。由于幅度决定了一幅图像中 浙江大学硕士学位论文 含有的各种频率分量的多少，故可以用能量谱来构造聚焦评价函数。 设图像为m x n ，则二维离散傅立叶变换为： 盹咖高薹薹俐唧卜c 钏 其傅立叶谱： p ，v 1 ；k z ，v ) + ，2 ，v ) 弘 能量谱： e ( u ，v ) ；p 0 ，v 12 一只2 m ，v ) + ，2 ，v ) 取 f o = m a x , 2 p ( u ，v ) f i 对应的位置即为聚焦位置。 2 2 3 经典聚焦方法的比较 ( 2 1 6 ) ( 2 1 7 ) ( 2 一1 8 ) ( 2 - 1 9 ) 灰度方差算子的特点是函数曲线平滑，波峰较宽较缓，它对图像平均灰度变 化具有恒不变性，具有抗亮度变化干扰和抗噪声干扰的能力，而且计算速度非常 快。缺点在于不稳定性，对于某些图像聚焦结束后图像会比较锋利，而有些情况 下由于其变化趋势过为平缓，会导致较大的聚焦误差。 灰度差分绝对值之和算子和r o b e r t s 算子的突出优点是计算速度比较快，但平 滑性不够，对噪声比较敏感。由于其曲线： e 常平缓，没有明显的峰值，因此只适 用于非常简单的图像，对于复杂图像由于没有考虑周围点的变化，容易受噪声影 响而导致聚焦错误。此外，沿z 方向可能有许多局部最大值，而且局部最大值所 在图像与实际聚焦图像相差甚远。 基于s o b e l 算子的t e n e n g r a d 函数效果比较好，图像清晰，边缘清楚。t e n e n g r a d 函数由于使用了3 * 3 窗口计算梯度值，聚焦效果比使用2 * 2 窗口的灰度差分绝对值 之和算子和r o b e r t s 梯度算子有明显的改进，对噪声敏感度不高，在聚焦邻近区域 非常精确，但在高度离焦区域会产生很多局部最大值，即在没有明显边缘细节的 地方，不能准确判断聚焦位置。 综上所述，灰度梯度算子对己经适当聚焦的图像效果比较好，但对于高度离 浙江人学硕士学位论文 焦图像进行聚焦时容易出错。图像狄度熵算子与其相类似。 能量谱聚焦评价函数曲线具有明显的峰值，单峰性好，函数曲线变化陡峭， 尤其在峰值点处变化非常明显。能量谱算子本身具有很好的尖峰性，又具有简单 的特点，抗噪声能力强。缺点是相对于时域评价函数来说，运算时间较长，速度 较慢i 蚓。 2 3 基于图像灰度和灰度梯度熵算子的二次聚焦评价方法 由于生物显微样本的特殊性，在显微镜下需要观测到细胞器和细胞内物质等 亚细胞结构，对细胞和组织的重要参数，如长度、厚度、体积和面积等的显微测 量，必须要清晰和高精度成像，以利于后面的图像特征提取、数据分析和可视化。 细胞、细胞器和胞内物质多在微米甚至纳米数量级，能否在显微镜下清晰聚焦成 像十分重要，它们比一般的观测样本对显微镜提出了更高的要求。激光扫描共聚 焦显微镜相比普通荧光显微镜或宽视场显微镜在成像精度上有了很大提高，但目 前激光扫描共聚焦显微镜还是利用手工调焦的方式确定样本的焦平面位置，依靠 人眼的主观经验进行焦平面判断，不同观测者有不同的判断标准，缺乏客观依据。 2 3 1 粗细两次聚焦方法 在需要同时兼顾聚焦速度和精度的条件下，我们提出了针对全景图像和目标 区域的粗细两次定位的聚焦方法。首先对全景图像进行一次粗略的聚焦定位，即 每次的调焦步距较大，主要采用计算速度快的方法：然后再对1 1 标对象区域进行 第二次精确的聚焦定位，每次的调整步距较小，采用聚焦精度高、抗噪音能力强 的方法 3 7 1 3 剐。由此可见，聚焦准确与否主要取决于两次清晰度测度函数的选择， 而步距的大小可根据图像的精度和速度的要求、图像的信噪比、镜头的灵敏度等 实际情况设定。在本研究中，第一次粗略聚焦采用灰度方差算子作为测度函数， 第二次精细聚焦我们提出了基于s o b e l 梯度的熵函数作为测度函数。 第一次粗聚焦过程焦距变化范围一般都为摄像头焦距的全部范围，调整步距 ( d 1 ) 选择得较大，这样可以较快定位，但如果太大则会影响第二次精确聚焦的工 作量。第二次精确聚焦调焦范围为第一次定位点p 1 的前后相邻d 1 的范围内，即 p 卜d l ，p i + d 1 ，调焦步距( d 2 ) 应以升降台电机的灵敏度为底线。 浙江大学硕士学位论文 在所有的传统聚焦评价函数中，基于灰度的方法是速度最快的，但同时也是 最容易受噪声和亮度变化干扰的。基于一阶微分和二阶微分的梯度算子和基于傅 立叶变换或小波变化的频域方法虽然曲线变化比较陡峭，峰值变化明显，但计算 速度慢，且需要考虑边缘象素情况。因此第一次粗调焦考虑采用基于灰度计算的 聚焦测度函数，全景图像灰度方差算子的计算公式为式2 - 1 、式2 2 和式2 - 3 。第 二次调焦过程中，选定区域为图像细节多，兴趣区域集中的部分，图像边缘变化 明显，因此要选择对清晰度变化敏感的聚焦评价函数。如前所述，由信息论可知， 一幅图像的信息量可以由图像的信息熵h ( ) ( ) 来度量的，在不同的焦距，图像的熵 值不同，离焦量越大，信息熵越大；而当：确聚焦时，图像最清晰，h 值最小1 3 “。 对图像进行灰度熵的计算得到的聚焦评价函数衄线不够平滑，为了修正这一问题， 引入了s o b e l 一阶微分梯度算子，即先对图像进行s o b e l 梯度算子的计算，然后 对梯度图像进行梯度熵函数的计算。s o b e l 梯度算子可将图像的线条和边缘突出， 图像中聚焦清晰部分由于有较锐化的边缘，反应在视觉上具有较高的亮度和较强 的对比度，离焦量小的图像边缘更为锐化，从而具有较大的梯度值。s o b e l 算子 如下定义： = f ( x + l ) ，- 1 ) + ，( x + 1 , y + 1 ) 一，o 一1 ，y 一1 ) 一，0 - 1 ，y + 1 ) + 2 ，0 + 1 , y ) 一2 ，0 - 1 , y ) ( 2 2 0 ) s 。；，( z 一1 , y + 1 ) + ，( 工+ l y + 1 ) 一，o - 1 , y 一1 ) 一，0 + 1 ，y - 1 ) + 2 ，o ，y + 1 ) 一2 ，( z ，y 一1 ) ( 2 2 1 ) s o b c l 梯度算子常用来检测图像的边缘，熵函数是一种统计学的手段，两种方 法对图像边缘的变化都很敏感，因此将两者结合起来可以使聚焦评价函数曲线形 状更理想，适合第二次要求对清晰度敏感的精确聚焦。 2 3 2 图像预处理及搜索策略 在自动对焦系统中，最重要的是得到聚焦测度函数的最大峰值位置。理想的 聚焦评价函数曲线近似抛物线状，达到峰值时处于最佳成像位置。但是，不论用 哪种方法作为聚焦评价函数，得到的评价曲线都有可能出现局部峰值，它会影响 对焦速度和精度，这主要是由于系统噪声和图像亮度变化等因素引起的。因此对 图像进行预处理，使曲线平滑是对焦前需要进行的工作。 浙江大学硕士学位论文 自动聚焦的速度由调焦的步进电机的速度、图像清晰度函数的计算速度和最 大清晰度位置的搜索速度三个部分决定。一般的搜索方法是在焦距的预设位置范 围内从远到近进行每个位置的检测并计算其聚焦评价函数值，找出函数值最大的 位置，然后驱动升降台控制电机返回该位嚣。 由于经过预处理的图像去除了系统及外界噪声和图像亮度不一致等因素对评 价函数的影响，因此得到的聚焦评价函数曲线近似为理想的抛物线形状，提供了 使用单向搜索策略的条件。本研究采用的判断准则是当焦距每移动一个步长值时， 计算相对前一个点的导数，如果为负则说明焦距已移过清晰度函数最大值的位置 一个步长值，因此将升降台电机向后移动一个单位定位作为最佳聚焦位置。 2 4 实验结果与分析 使用z e i s sl s m5 1 0 型荧光显微镜进行样片图像扫描( 样片由德国c a r lz e i s s 公司提供) ，f l u a r2 0 x 0 7 5u v 干燥系物镜，针孔( p i n h o l e ) 直径为8 0 0 l j | n ，单激 发光单通道扫描时为a r g o n 激光，波长为4 8 8 n m ；双激发光双通道扫描时为h e n e 激光和a r g o n 激光，h e n e 激光波长为5 4 3 n m ；分别进行透射光扫描、单激发光荧 光单标记物扫描和双激发光荧光双标记物扫描实验，我们进行了d l 为1 0 1 a m 、2 0 m 和4 0 1 a m 三种情况的实验。第二次精确聚焦调焦范围为第一次定位点p 1 的前后相 邻d 1 的范围内，即 p l _ d 1 ，p i + d i ，d 2 以升降台电机的灵敏度为底线，2 0 倍物 镜时灵敏度为0 3 m n 【1 8 1 。根据d 1 的取值，分别进行将d 1 十等分和五等分两种间 距的测试。 2 4 1 图像预处理 采用5 * 5 的中值滤波模板和亮度归一化两个步骤对图像进行预处理，可以有 效消除外界及系统噪声以及不同图像间的亮度变化。 2 4 2 粗略聚焦结果 从激光扫描共聚焦显微镜中获取的显微样本序列图像( 从离焦到聚焦，再从 聚焦到离焦) 的进行粗调焦，三次实验的聚焦评价函数曲线走势基本一致，图2 - 1 所示为透射光条件下扫描的无荧光标记物的评价函数曲线。当d 1 取最小间距 浙江大学硕上学位论文 l 叽m 时，从图中可以看到，对于该序列图像，灰度差分绝对值之和算子( s m d ) 、 r o b e r t 梯度算子、l a p l a c i a n 算子函数曲线出现了局部极值点；基于s o b e l 梯度的 t e n e n g r a d 函数没有出现极值点，但最大值点不明显；灰度方差算予和能量谱函数 曲线平滑，极值点明显，是比较好的聚焦评价函数，但能量谱由于是在频域中计 算，速度相对较慢，不适合作为第一次粗调中要求聚焦速度较快的测度方法，因 此选用速度快的灰度方差算子作为测度函数。 小 同 聚 焦 评 价 函 数 值 嘲像j 数张 图2 一l 粗调对焦过程不同聚焦测度函数曲线( d i = 1 0 p m ) 由于d 1 取1 0 i t m 时可以得到良好的聚焦评价函数曲线，因此我们将d 1 的步 长值分别扩大2 倍和4 倍( 如图2 2 ) 。从图中可以看如当d 1 扩大后，聚焦评价 函数仍能保证平滑的曲线形状和明显的最大值点，但考虑到d 1 取值大小对第二次 细调焦速度影响的作用，最后d 1 的取值为2 0 t m 。 聚 焦 评 价 函 数 值 图像序数，张 ( a ) d l - 1 0 1 t m6 5 张 聚 焦 评 价 函 数 值 图像序数，张 ( b ) d l = 2 0 1 a m3 3 张 图像序数，张 ( c ) d i = 4 0 p m1 7 张 图2 2d 1 取不同间距时的灰度方差算子聚焦评价函数曲线 2 4 3 精细聚焦结果 实现第一次的粗聚焦后，将载物台停留在第一次聚焦得到的最佳焦平面位置 上，利用基于s o b e l 算子的熵函数方法对目标区域进行第二次的精细聚焦，扫描 聚焦评价函数值 浙江大学硕士学位论文 2 4 4 搜索策略 图2 5 ( a ) 是第一次粗调聚焦曲线，得到焦平面位置为a ，前后各取一个焦距范 围b c 并十等分进行第二次细调焦，得到清晰聚焦位置在0 点。第1 次搜索时当焦距调 至c 点时由于聚焦评价函数曲线梯度值由正变负，判断上一个位置为粗调焦聚焦位 置。从c 点开始向回搜索，经过0 点后下一个位置时梯度值由正变负，判断上一个 位置为细调焦聚焦清晰位置。最后得到的精确聚焦0 点位置与粗聚焦a 点位置相差 4 。 图2 5 ( a ) 粗调曲线图2 5 ( b ) 细调曲线 2 4 5 自动聚焦时间 聚焦速度是衡量自动聚焦能力的一个重要因素。在两次调焦过程中，根据扫 描间距的不同，所需时问如表2 一l 所示。间距过小会增加调焦的处理量和时间；间 距过大会影响自动聚焦判断的准确性。考虑各种情况，选择粗调焦间距2 0 p r o ，细 调焦间距2 岫，如用传统方法需用时1 6 0 s ，采用利用导数判据的单向搜索策略后时 间缩短一半即为8 0 s ( 包括扫描图像时间) ，：赶大提高了自动聚焦的速度，可以保证 自动聚焦的精确性。 表2 1 不同扫描间距处理图像数及所需时问 浙江人学硕士学位论文 2 5 本章小结 一个实用的自动聚焦系统要求清晰度高，抗噪声能力好，速度快。本章从当 前主要的聚焦算子入手，分析比较了各个算子的特点，指出了各自的优缺点，我 们提出了首先应用灰度方差算子全局搜索进行第一次粗聚焦，对粗聚焦得到的焦 平面附近各一个扫描步距范围内的图像再利用基于s o b e l 梯度的熵函数进行目标 区域的第二次精确聚焦，利用单向搜索的搜索策略以提高聚焦速度。该聚焦评价 函数曲线具有明显的峰值，单峰性好，函数曲线变化陡峭尤其在峰值点处变化非 常明显，是一种实用性很强的适用于激光扫描共聚焦显微镜的自动聚焦方法。粗 细两次聚焦过程比一次聚焦过程更能保证对目标区域的精确对焦，并且非常适合 于激光扫描共聚焦显微镜这种载物台升降步距在p m 数量级的微小变化。s o b d 梯 度算子是一种边缘检测算子，熵函数是一种统计学方法，他们对于图像边缘的变 化都很敏感，能够探测到第二次精细聚焦时图像清晰度的细微变化，结果好于其 他空域中的方法，速度快于频域中的处理方法，是理想的聚焦测度算子。我们在 共聚焦显微镜下进行了大量离焦、聚焦序列图像的采集，利用本文提出的聚焦评 价方法，都取得了满意的自动聚焦结果。 浙江大学硕上学位论文 第三章激光扫描共聚焦显微镜的图像复原技术 当共聚焦显微镜系统能够精确聚焦以后，样本能否通过显微镜光学系统清晰 成像主要取决于系统本身的特性。任何一种获取图像的方式都会产生不同程度的 图像模糊退化现象，同样对于显微生物学图像处理来说，有时候在显微生物样本 中细小结构的尺寸与成像系统的分辨率几乎相同，因此图像复原就具有更重要的 意义。虽然图像复原技术在传统的宽视场( w i d e f i e l d ) 显微镜中得到广泛的应用， 但它在生物学共聚焦显微图像处理中却一直没有得到重视。其中主要有两个原因： 其一是由于共焦孔径很小，每一时刻通过孔径的光量子数量有限，因此大部分的 非焦平面光成分都被滤除掉了；其二是当聚焦光线深入到复杂生物样本中的某一 深度时，系统的点扩散函数对于反卷积处理就显得尤为重要，而在获取生物显微 图像的过程中却很难对扫描过程进行精确控制。此外，共聚焦显微镜的特性使人 们普遍认为共聚焦图像在获取过程中已经经过了去模糊处理，不需要图像复原， 因此更加限制了图像复原技术在共聚焦图像处理领域中的应用【柏】。 3 1 共聚焦显微镜的图像降质原理与点扩散函数估计 3 1 1 图像降质原理 激光扫描共聚焦显微成像技术和高精度c c d 的应用，提高了显微图像的分辨 率，为图像处理提高成像清晰度打下基础。在普通全自动光学显微镜三维成像中， 通过光学切片方法获取的每一幅二维图像中都包含着焦平面和非焦平面光的成 分。对于激光扫描共聚焦显微镜来说，虽然大部分非焦平面光的信息可以被排除， 但并不是全部。共聚焦图像的退化是由于成像系统的光路中p i i l o l x 浙江大学硕士学位论文 = ( o s “血( 击) ) l ，2 ，删为物镜的数值孔径。图，驯左，为光源在焦 平面归一化后的能量分布，从图中可以看出，r 越大，光源能量在轴向的衰减越 快，分辨率越高。从计算中可以得出，当丁，3 时，r 值的增加对分辨率的增加已 不起显著作用。对于一定的光源光点尺寸，光瞳越大，光源效率越高，光源效率 竹：l 一。( 考) ，如图3 2 ( 右) 所示。 当样本很厚，而焦平面又位于样本较深处，散射光的影响会使舟产生形变。 各光学部件的光学性能与装配时是否合轴，是否齐焦也都会影响只甄。同时，使 用油镜或水镜时，如果使用的油或水等浸润介质的折射率与使用的物镜不匹配， 也会使脚五畸变，从而使分辨率降低。 激光光源照射在显微镜的透镜系统上，相应点光源透镜的点扩散函数为： 。z ) ；正p ( z p 蛐d 彰亭 ( 3 - 4 ) 其中p 佶点z ) 为光瞳函数，p 皓，言，z ) - p 著：主2 1 ，亭= 形，考= 么，a 为光瞳 直径，亭，考为空间坐标根据光瞳直径归一化后的坐标，为透镜焦距，j 为虚数 单位。 当激光点光源照射在透镜上时，透镜的输入光为： 谢力= 互号笋证婚) e x p ( - 参( r 啕2 蝣 ( 3 _ 5 ) 其中z 是沿光轴方向的深度，r t ，考2 = 0 2 + y 2 ) ，式3 5 可以写成入射光和成像系统 光路的点扩散函数 。p ) 的卷积： ( r ，z