中医望诊图像数据采集与描述的标准化框架及评价方法

中医望诊图像数据采集与描述的标准化框架及评价方法

中医学以全体观和平衡观为核心，建立了独特的生命理论和医疗体系，成为个性化诊断和治疗的典范。中医的阴阳协调、生命组织的平衡、日常调节和治疗的概念在疾病的早期预防和健康疾病的预防方面发挥着重要作用。然而，中医的诊断经验和理论主要基于个体医生的观察、分析和总结。获取诊断信息的方式是患者和医生的感知装置，这些表达方式主要基于语言和语言。感觉器官和客观因素的差异严重影响了诊断信息的客观性，降低了重复和可靠性。同时，由于缺乏客观的详细记录，各种表达形式和记录的变化是不理想的。这种基于语言和语言的知识积累和分类方法，已经成为阻碍中医诊断技术和学术理论发展的瓶颈。因此，从20世纪开始，相关科学家开始研究中医诊断信息的客观化和量化方法，并开发了相应的设备。其中，中医诊断信息的客观化和量化研究主要集中在中医诊断信息的客观化和量化研究上。此外，各种设备的销售手册和彩色成像技术也得到了很好的开发。例如，一些设备侧重于中医理论的研究和讨论，而另一些设备侧重于使用信息手段进行自动分析。然而，由于信息采集、处理和显示的随机性，以及信息的统一，不同设备接收的数据有很大的不同，这也影响到数据的可靠性和共享，各种显示效果，以及对仪器的认可和普及。数据的校正和标准化是所有后续研究的基础。由于缺乏信息采集信息，我们不可避免地会导致不同设备接收到的数据之间的差异，从而影响数据的可靠性和享乐性，并传播各种图像效果。数据的校正和标准化是所有后续研究的基础。由于缺乏信息采集信息，我们有义务导致不同的研究群体和盲目的研究局面，这极大地限制了中医诊断信息网络的健康发展。基于中医诊断的要求，本文分析了当前信息采集和显示存在的问题。根据图像采集环境的标准化和图像数据的颜色变化方法，提出了图像采集和描述的标准化框架，并提供了图像显示的颜色转换过程和具体方法。1仪器的采集环境光在被拍摄对象上反射或透射,形成光谱刺激,再经成像设备或视觉感官最终产生图像或影像感觉.因此图像数据不仅与拍摄对象的光谱属性有关,还受到环境光照光谱、成像设备光谱灵敏度等因素的影响.对于确定的拍摄对象,当光照发生变化时,其光谱刺激成分将发生变化,会形成不同颜色感觉,也对应不同的图像数据.中医望诊,特别是与颜色分辨有关的舌诊、面诊都非常重视环境光线的影响,认为光线过暗可使颜色暗滞(日光灯下多偏紫,白炽灯下多偏黄),不理想的光照可使颜色感觉出现假象,建议采用充足而柔和的自然光线,争取在白天的间接日光下进行［3］.但是自然光的光谱具有很大的不稳定性,某些时间段或者天气条件下,室内照度或者色温情况并不利于望诊的准确判断,而这些不确定性对图像数据的影响则更大.因此,采用人工光源构成稳定光照环境成为望诊图像采集普遍采用的照明方式.中国台湾的蒋依吾等［4］在电脑化中医舌诊系统中,使用标准色温冷光灯光(色温值约5300K,亮度约3100Lx)作为舌诊摄影光源;天津大学研究的舌象采集与识别采用冷白光LED作为光源［5］［6］;哈尔滨工业大学选择色温为5400K、显色指数90以上的OSRAMT58W直管灯［7］;南京航空航天大学设计的中医色诊图像采集系统采用色温5500K、显色指数95的氙灯为仪器光源［8］;北京工业大学研制的舌象分析系统最先提出了采用D65标准光源进行系统环境光设计,并尝试采用性能接近的LED光源［9-10］;随后,上海中医药大学也采用了显色指数95、色温为6500K的光源［11］,用于舌诊和面诊信息的采集［12-13］.可见,目前望诊仪器的光源环境一般选择具有适合光强的白光光源,但采用光源的种类、参数具有多样性,并没有公认的最佳环境标准.这与中医望诊对环境光要求存在一定范围有关,但给望诊仪器的性能评价带来了困扰.对望诊仪器来说,尽管可对采集图像进行后续的颜色修正处理,但环境光仍然是影响图像数据一致性的重要因素,确定标准的环境光是望诊仪器检测数据标准化的第一步.通过测试统计,一般认为中午天空日光的色温为5500K,平均日光为6500K,北方天空日光为7500K.国际照明委员会(CIE)定义了此3种标准日光的光谱能量分布,图1所示为这3种日光的归一化光谱能量(spectralpowerdistribution,SPD)分布［14］.其中,色温6500K的CIED65标准日光被认为是人眼进行颜色判断的适用光源.并且,目前计算机图像系统较常采用的sRGB空间也设定为6500K色温.因此,本文认为CIED65标准日光是目前较为合适的中医望诊图像系统标准环境光.由于CIED65标准日光是自然光的统计光谱,在望诊仪器实际应用中应选择光源对其模拟.这种模拟不仅是具有6500K的色温或具有较高的显色指数,而且应是光谱的近似.因为,色温只表示光源的光色.同为6500K色温的光源,其光谱成分可能相差很大,甚至由于采用相关色温,其光色也有一定差别.这样的光源模拟CIED65标准日光的程度就有很大差别,从而精确表现颜色的能力也大有不同.图2为2类D65光源光谱［14］,可看出同样为6500K色温,光谱曲线与CIED65标准光源有较大差别.而显色指数通常作为评价荧光灯颜色表现能力的一种手段,由于它仅是8个中等饱和色样显色指数的平均值,因此具有较大局限性,尤其对高饱和度颜色的显色性并不能很好反映.这些问题对光谱波峰狭窄而且间隔较大的光源尤为明显,它们对波峰外的饱和色显色性差.例如RGBLED光源,它缺少黄色光谱,对黄色显色能力差,但仍具有不错的显色指数.因此,显色指数并不是一个完美的度量标准.可见,简单根据光源色温、显色指数来选择用于望诊信息采集的照明光源是不全面的.图3为Canon5D于相同设置下分别在6500K自然光、显色指数为94的D65荧光灯、显色指数为95的D65LED下拍摄的SG色板的照片.可看出,该荧光灯光照下的图片偏冷,LED光照下的图片偏暖.相比自然光下图像,一些色块有明显的视觉差异,如与望诊颜色相关的肤色H7、淡红色L4、红色M4、黄色M6等.而与之相对应的图像数据则有20以上的不同,由此给后续数据分析带来了较大不便.因此,望诊信息的采集光源应具有适当的色温、强度,同时还要与自然光光谱分布接近的人工光源.目前,较为理想的光源应该是标准D65日光模拟光源,可作为评价标准光源;专业D65荧光灯和少数高端LED也具有不错的性能.此外,在舌、面拍摄范围内,光照需达到一定的均匀性要求.2旅游地景观研究数据的应用特点中医诊断学具有传统的主观性、模糊性思维,再加上人眼对环境的适应性和经验性记忆,给予传统望诊较大的宽容度.但这些认知却造成望诊辅助诊断仪器的开发普遍忽视其数据的标准化和准确性,存在“差不多就可以”的误区.各环节处理上的偏差,最终累积带来很大的不确定性,同样的颜色刺激可能出现20以上的图像数据偏差.在此数据采集基础上进行的识别及统计分析研究的成果,往往仅适用于确定数据样本,缺乏实用性和推广性,造成目前仪器各成一派、数据标准混乱、互换移植性差的局面.而图像在不同设备之间传递时,更会带来显示效果的多种多样,严重时人眼即能感觉到明显失真.目前望诊仪器较多地采用数码相机作为图像采集设备,如上海道生医疗科技有限公司、天津大学;也有采用数码摄像机的,如香港理工大学深圳研究院.无论采用哪种设备,除了满足一定的像素数并达到一定的清晰度要求,由于不同设备的硬件组成、软件设计以及参数设置存在差异,同样的入射光谱颜色刺激经不同数码设备将得到不同的RGB数值,也就是说不同设备的RGB颜色空间是不同的,因此设备RGB空间属于与设备有关的颜色空间.图4为在相同光照环境下不同相机拍摄的SG色板图像,图4(a)为Canon5D单反相机拍摄的色板照片,图4(b)为Canon400D单反相机拍摄的色板照片,可看出颜色表现有明显差异.为了使得不同设备的颜色表述具有较高的一致性,需要建立不同设备的颜色空间和确定的与设备无关的颜色空间之间的映射关系,从而可采用统一、确定的颜色空间来表述中医望诊对象,这一过程就是图像数据描述的标准化,可由采集过程的颜色修正来实现.2.1srgp空间的定义XYZ空间:是最先采用数学方式定义的色彩空间之一.它以一系列视觉颜色匹配实验为基础,通过线性变换得出相应的3个颜色匹配函数,颜色光谱与匹配函数乘积的积分即为该颜色的XYZ值,也称三刺激值［15-16］.CIELAB(CIEL*a*b*)空间:经常采用Lab作为非正式缩写,3个基本坐标表示颜色的亮度(L*,L*=0指示黑色,L*=100指示白色),它在红色/品红色和绿色之间的位置(a*负值指示绿色,而正值指示品红色)和它在黄色和蓝色之间的位置(b*负值指示蓝色,而正值指示黄色).它可由简单公式从XYZ计算得到,但比XYZ在感知上更接近人类视觉,即在L*a*b*空间上相同数量的变化产生大约相同视觉感知的变化.sRGB空间:是惠普与微软一起开发的用于显示器、打印机以及因特网的一种RGB色彩空间.虽然它的设计与当时的CRT显示器匹配,但是大量的非CRT设备也遵循这一标准,因此该颜色空间已经成为图像领域常用的一种标准颜色空间.这些颜色空间都仅与标准观察者颜色感知相关,可用于人眼感知颜色的确定表述,但又各具特点.XYZ空间是由颜色光谱及人眼光谱灵敏度确定的色度表述空间,充当了很多其他色彩空间的定义基础.L*a*b*空间是与人眼色差感觉较为一致的均匀色空间,以此为基础可方便进行与人眼感觉一致的色差计算(如修正模型优化过程的目标函数、精度评价).sRGB空间采用与计算机图像表述一致的坐标形式,是图像显示记录最为直接的颜色空间.2.2期望图像的颜色修正针对某个与设备无关的标准颜色空间,可建立不同设备空间与标准空间之间的映射关系,通过这一映射关系对图像进行颜色修正,进而实现对望诊图像的标准化描述,其流程如图5所示.在相同环境下采用相同设备拍摄由多色块组成的色板图像,提取各色块的图像RGB数据,并测量得到各色块的标准颜色空间值,由此建立训练样本对集合,通过数学方法确定样本对之间的映射关系.将拍摄的望诊图像数据经该映射关系计算,即可得到相应的标准空间图像数据.基于上述思路,部分望诊客观化研究者提出了一些颜色校正的方法以期解决系统间的一致性问题.目前,针对望诊图像的颜色修正一般采用完全回归法.完全回归法是将原始图像数据和标准空间数据之间看做黑盒,通过样本训练得到映射关系回归模型.例如采用多项式模型、神经网络模型、支持向量机模型等［6，17］,在确定基本的模型结构和初始参数后,即可通过一定数量的已知样本值训练得到模型参数,确定映射关系,使得训练样本经模型输出的标准空间描述值与标准值差异为最小.这种方法算法复杂度一般较高,对于训练样本可达到很高的回归精度,但是训练样本的数量和分布将影响算法的扩展泛化精度,也就是说虽然训练样本原始数据经模型计算可非常接近标准值,但如果训练样本选取数量较少或者分布色域不全面,则非训练样本经模型计算后的值将明显偏离标准值.更为重要的是,目前研究往往关注映射算法本身,却忽视了算法设定与采集过程参数的匹配以及成像物理过程的先验意义,未能较系统地提出解决框架.原理模型法是图像采集和显示设备领域常用的方法,它根据图像采集设备的光电转换原理建立对应的映射关系模型,一般采用XYZ空间作为标准空间.图像采集设备中图像探测器的光电转换特性在工作区域一般呈线性,但由于显示器的电光转换存在非线性关系,为了匹配这种非线性,采集设备中往往加入gamma校正环节得到设备RGB值.因此,原理模型法首先采集不同亮度的灰板图像数据,并建立三颜色通道的亮度校准关系曲线,通过查找曲线得到与各训练样本设备RGB值对应的亮度值,即线性RGB值,并基于训练样本建立线性RGB值与XYZ值的矩阵关系,使得训练样本经模型输出的标准空间描述值与标准值差异为最小［18］.该方法简单快速,由于根据设备颜色特性有针对性地建立模型关系,因此简单的算法即可达到较高的扩展精度.在图像采集光照与色度空间标准光照匹配的情况下,基于系统原理模型的颜色修正方法更适合望诊图像的数据标准化.2.3基于同质差异的差异评价指标由于望诊图像涉及颜色多样,为了评价标准化描述的准确性,即评价采集过程颜色修正的精度,可通过测定系统对特定色块描述的准确性来实现.采集特定色块的图像数据,经修正模型后得到标准空间的描述值,并计算其与标准值之间的差异,以此来衡量色块标准化描述的精度.这一过程与修正模型的建立过程非常相似,只不过模型建立过程是通过修正模型参数使得训练样本的输出值与标准值差异最小,而评价过程是通过计算特定的测试样本输出值与标准值差异来衡量系统修正精度.评价过程涉及两方面问题:一是哪些特定色块用于评价比较合适;二是采用哪种差异指标用于评价更为合理.目前,用于颜色测试的常用色板就由比较有代表性的色块组成.例如Colorchecker24色板由6个灰色块,以及18个包括天蓝色、叶绿色、肤色等在内的自然物颜色块组成.而ColorcheckerSG色板则扩展到140个颜色块,并加入了多个不同类型的肤色块,如图6所示.在望诊图像的标准化描述中,可选用这些标准色板对系统进行评价,但是针对望诊对象的颜色特点,设计包含多种肤色、舌色、苔色在内的专用评价色板,则可更准确、实用地评价系统的颜色描述性能.值得注意的一点是,评价过程中的测试样本应该与建模过程中的训练样本不同,以确保评价的合理有效.评价差异一般采用标准颜色空间的距离指标,但由于L*a*b*空间是与人眼色差感觉较为一致的均匀色空间,因此采用基于该空间的颜色距离差作为差异评价指标更为合理.其中,CIE2000色差公式被认为是目前最符合人眼色差感觉的差异指标.图6为采用模型方法对图4进行修正后的结果(数据已转化为sRGB空间),采用CIE2000色差公式计算色块平均色差,色差值由原来的2.6747降为1.4164,颜色表现也更加相近.值得注意的是,高精度的修正需建立在正确的曝光、白平衡基础上,各环节的有效控制才会达到较高精度.那些试图用映射模型解决一切颜色偏差问题的做法,往往会因推广性差反而带来图像质量的下降.一些高端相机提供了相应的标准sRGB颜色空间的输出功能,即相机内实现了设备RGB空间向标准色空间的转换,以这类相机为采集设备时,白平衡设置的准确性是获得理想数据的关键,可采用监督色板或灰板获得准确的白平衡参数.此时,系统的精度评价需要首先将测试色块的sRGB值转换为L*a*b*值,再计算色差.3显示设备颜色特性的修正除了数据的标准化以外,中医望诊系统实用化的另一个关键是能真实地再现原始望诊对象,这一性能将影响医生对于病例图像的辨证判断.由于图像是由各像素的RGB颜色值组成,因此对于原始对象的再现主要体现在颜色的复现上.为了实现系统的复现性能,在根据采集过程的颜色特性关系,实现数据标准化描述基础上,还要进一步考虑显示设备的颜色特性及其修正问题.与采集过程类似,由于显示设备原理差异及硬件不同,对同一图像数据显示的颜色往往有偏差,因此同样需要针对设备颜色特性的测试与修正,即建立显示设备RGB空间与标准颜色描述空间之间的映射关系,这一过程称为显示设备的颜色修正.其修正算法