基于听觉通路的盲人无损视觉补偿系统

1、基于听觉通路的盲人无损视觉补偿系统第29卷第2期2008年2月东北大学学报(自然科学版)JournalofNortheasternUniversity(NaturalScience)Vo1.29.No.2Feb.2008基于听觉通路的盲人无损视觉补偿系统杨丹,张福梅,徐彬,王旭(东北大学信息科学与工程学院,辽宁沈阳110004)摘要:针对盲人群体的视觉补偿问题,提出了一种基于听觉通路的盲人无损视觉补偿系统.该系统采集周围的环境信息,先利用带优化截断的嵌入式方块编码(embdedblockcodingwithoptimizedtruncation,EB00T)方法对环境信息编码,再利用小波变换对

2、感兴趣区域(regionofinterest,ROI)编码.编码后的环境信息经传输,解码,得到重建的图像数据.按照极坐标扫描重建的图像数据,将图像中像素点的坐标信息和灰度值映射成声音信号的时间,频率及幅度,按正弦波模型合成声音信号.结果表明,采用EBCYF,图像编码速度快,能获得较多的信息量,提高传输速率;用极坐标方式扫描图像数据映射成的声音信号有较好的可辨别性.关键词:盲人;无损视觉补偿;听觉通路;嵌入式方块编码;优化截断;小波变换中图分类号:TN919.81文献标识码:A文章编号:10053026(2008)02018104Non-invasiveProstheticVisionSyste

3、mfortheBlindviaAuditoryPathwayYANGDan,ZHANGFumei,XUBin,WANGXu(SchoolofInformationScience&Engineering,NortheasternUniversity,Shenyang110004,China.CorrespondentYANGDan,E-mail: )Abstract:Proposes3noninvasiveprostheticvisionsystemviaauditorypathwayforblindpeople.Thesystemacquirest

4、hesurroundinginformationtowhichtheEBCOT(embeddedblockcodingwithoptimizedtruncation)algorithmisusedbeforeusingthewavelettransformtocodeROI(regionofinterest).Then,thedataforimagerestructuringareobtainedviathesurroundinginformationtransmissionanddecoding.Thedataarescannedintermsofpolarcoordinates,fromw

5、hichthecoordinateinformationoneachandallpixelsandtheirgraylevelsin3nimagearemappedintothetime,frequencyandoscillationamplitudeofacousticsignalswhicharethensynthesizedtogetherinsinewaveform.Theresultsshc1wedthattheimagedatacanbecodedandtransmittedquickertoacquiremoreinformationifusingEBCoTalgorithm.a

6、ndtheacousticsignalshavebetterrecognizabilityifscanningimagedataintermsofpolarcoordinatesformapping.Keywords:theblind;noninvasivevisualprosthesis;auditorypathway;embeddedblockcoding;optimizedtruncation;wavelettransform视觉补偿方法可分为两种:有损补偿和无损补偿.有损补偿主要针对视觉活动能力减退,具有一定残余视觉功能的人群,多通过外科手术,在患者的大脑皮层,视网膜或视神经根处植入电

7、子芯片,由晶片把外部的光信号转换成电信号,刺激视网膜上的健存细胞发出电信号,使患者”重见光明”.而无损补偿主要针对功能性失明,即无视觉功能的群体,通过盲人其他健全的感知通路(听觉,触觉,嗅觉等)将视觉信息以编码的形式传递给大脑,使盲人对影像产生感知.20世纪70年代就提出了将视觉信息转化成听觉或者触觉信息的补偿方法.基于此原理制成了盲人导行装置(blindmobilityaids或electronictravelaids,ETAs).1992年,飞利浦研究实验室收稿日期:20070203基金项目:国家自然科学基金资助项目(50477015).作者简介:杨丹(1979一),女,辽宁营口人,东北大

8、学博士研究生;王旭(1956一),男,辽宁沈阳人,东北大学教授,博士生导师.182东北大学学报(自然科学版)第29卷的荷兰物理学家Meijer_2J提出了vOICe,该系统基于听觉通路对盲人进行视觉补偿,为盲人提供了”声音图像”,其原理是图像中的像素位置信息映射为声音信号的时间和频率,图像中像素的灰度信息映射为声音信号的强度,然后,系统将一幅图像转化成一个复杂的具有一定持续时间的声音信号.LeslieKay把声纳应用到导盲领域的研究中【,主要是将图像信息用调频信号来表示,即声音的强弱表示被测物的距离,而声音的周期表示被测物的纹理,并开发了KASPA设备.本文研究了基于听觉通路的盲人视觉补偿系统

9、.主要利用盲人敏锐的听觉为其提供图像信息,进行无损伤的视觉补偿.重点研究了图像编码及图像声音的映射对系统性能的影响.1基本原理盲人无损视觉补偿是利用盲人其他正常的感知通路来传递环境的影像信息.听觉是仅次于视觉的人类获取信息的方式.基于听觉通路的视觉补偿方法是将环境信息的多维信号用一维的声音信号表达,使用者通过一定时间的学习,从而达到听取周围信息的目的,即”可看声音”.基于听觉通路的盲人导行系统主要包括以下几部分:盲人周围影像信息的采集,图像编码,图像与声音映射,发声的实现.其中,图像采集通过摄像头来实现,图像编码,图像声音映射及发声都在信号处理单元完成,最后使用者通过立体声耳机获得信息.2图像

10、编码本文采用JPEG2000对图像进行编码.先对原始图像数据进行离散小波变换,然后在形成输出码流之前,对变换系数进行量化和熵编码.将码流存储在摄像头部分的处理单元进行传输,而后在中央处理单元进行熵解码,反量化和反小波变换,从而恢复图像数据【,编码流程见图1.环境图像信息可分两类:实际生活中障碍物的全局信息和局部感兴趣区域.系统分别采用EBCOT编码l6J和基于小波变换的对感兴趣区域ROIIvJ编码的两种算法对图像进行压缩.在EBCOT编码中,选择可逆压缩的小波基db5进行小波分解.处理过程如下:1)将采集到的图像分解为具有不同特性的分量图像并偏移直流成分;2)将各分量图像做颜色变换,把图像数据

11、从RGB变换到YuV空间,进行无损压缩;3)将变换后的各分量图像分解为若干矩形图像瓦片,瓦片分量是构成原始图像与重建图像的基本单位;4)对每个瓦片分量做5层小波分解;5)对分解后的小波图像进行量化并划分成具有相同大小的码块,量化公式为qb(u,a)一ign(ab(),(1)式中,Ab=l,ah(“,)为小波变换后子带系数;6)按照码块扫描顺序提取每个码块系数的位平面,按照从左到右顺序扫描,每4个系数作为一列,直到扫完所有码块,然后做算数编码和码块比特平面编码.环境信息卜叫图像信息H预处理H离散小波变换;图1JPEG2000编码流程图Fig.1FlowchartofJPEG2000encoder

12、在EBCOT编码的基础上对ROI编码,采用位平面偏移方式优先对相关系数编码j.具体实现步骤为:1)计算离散小波变换;2)量化小波系数;3)选出ROI区域,并计算生成一个掩模(mask),计算方法如式(2):,一j1,(,.y)ROI;M(,.y)0:(:)RoI.(2)4)确定位移的比特平面数S;5)对所有的系数位平面依次进行熵编码,重要的位平面先进行编码;6)在JPEG2000标准中的相应比特流中分别写入S和掩模的信息.3发音设计发音设计是在图像参数与声音特性参数之间建立关联,构造出适宜的声音信号来表达图像信自8把一幅瞬时图像映射成一个持续时间为t的声音信号,声音信号的频率范围为508000

13、Hz,基本满足人正常的听力范围(20Hz20kHz).图像中像素点的位置信息分别映射成声音信号的时间t,频率09及相位,图像的灰度值映射成声音信号的幅度A.按照正弦波的模型合成声音信号,如式(3):第2期杨丹等:基于听觉通路的盲人无损视觉补偿系统183s()=Asin(t+声).(3)=l3.1数据的扫描方式本文采用极坐标方式对重建的图像进行扫描.从图像中心点出发自内向外的波纹式扫描对图像边缘信息的提取效果更好.3.2声音数据的产生在极坐标扫描方式下,确定映射成声音信号的幅值A,周期丁,各像素点对应的角频率09以及相角声,.假设采集的图像是NN像素矩阵(N为2的整数幂),在极坐标扫描方式下,需

14、要进行N/2次扫描.信号幅值随扫描半径呈e指数变化,中心幅值大,边缘幅值小.扫描半径相同的像素点映射的声音信号幅值相同,如式(4):A:Ane一(一N/2,=1,N/2.(4)其中,是扫描次数;A0是信号最大幅值;N是采样点.某一时刻的瞬时图像映射成一个持续时间为丁的信号,那么图像中的每个像素点映射成一个时间长度为丁的信号.丁随扫描半径变化,同一扫描半径上的像素点映射的丁相同,扫描半径越大,丁越长.计算如式(5),式(6):=(1+N/2)/2(N/2),(5)AT=(T/n).(6)映射的声音信号频率由扫描半径决定.同一扫描半径上的像素点对应频率相同,扫描半径越大,频率越高.计算图像中每个像

15、素点对应的角频率,如式(7),式(8):Af=(/一)/(N/2),(7)09=27c/+Af(1).(8)另外,同一扫描线经过像素点的个数如式(9)所示:N.i=4(2m一1).(9)各像素点映射的声音信号对应的相角声的大小由同一扫描线经过的像素点总数和像素点的位置决定,计算如式(10),其中Ppix表示像素点的位置信息.声=(27c/Npi)Ppi.(10)根据式(4)式(10)计算正弦波模型的各个变量,拟合成相应的声音信号,从而完成图像到声音的变换.能,表1给出了几种算法对Lena图像在比特率为0.25,0.5,1.0bit/s下的峰值信噪比(peaksignaltonoiseratio

16、,PSNR).表1几种编码算法的峰值信噪比Table1PSNRsofseveralcodingalgorithmsdB4.2听力测试实验中将几个简单的几何图像E9(如图2)转换成声音进行听力的感知测试.主要目的是看这种”声音信息”能否表达一定的意义;是不是容易分辨和识别;从生理角度看,这种合成声音是否易于接受;如果学习的话,需要多长的时间周期.测试结果如表2.图画图2听力测试的几个简单图形Fig.2Severalsamplesforauditorytest表2听力测试的效果Table2Resultsofauditorytest望感知效果类别描述一测试表明,区别不同几何图形的信息都集中在声音数据

17、的前部,因为数据采集是从里到外扫描,几何图形的变化主要集中在中心区域,图形边缘没有变化,所以声音数据变化一致.听者基本可以区分不同的几何信息,但是声音的光滑度一般,感觉有点不舒服.4实验结果5结论4.1图像编码实验中对比了几种典型嵌入式编码算法的性1)基于小波变换的EBCOT编码方式采用并行结构,处理速度快,易于传输,易于实现系统的184东北大学学报(自然科学版)第29卷(上接第180页)参考文献:1StykelT.StabilityandinertiatheoremsforgeneralizedLyapealovequationslJJ.LinearAlgebraandItsApplicat

18、ions,2002,355:297314.2KokameH,KobayashiH,MoriTRobustHinfinityperformanceforlineardelay.differentialsystemswithtime.varyinguncertaintiesJJ.IEEETransactionsonAutomaticControl,1998,43(2):2232263FamularoD,AbdallahCT,JadbabaieA.RobustnonfragileLQcontrollers:thestaticstatefeedbackcasecProceedingsofAmerica

19、nControlConference.Philadelphia:IEEEPress.1998:11091l13.4石海彬,刘晓平,张嗣瀛.广义互联大系统的相似结构和鲁棒镇定J.东北大学学报:自然科学版,2001,22(4):355357.(ShiHaibin,LiuXiao-ping,ZhangSiying.Similarstructuresandrobuststabilizationoflarge-alegeneralizedinterconnectedsystemslJJ.JournaloJNortheasternUniversity:Natural&ience,2001,22(4

20、):355357.)5LinC,WangJL,YangGH,etalRobuststabilizationviastatefeedbackfordescriptorsystemswithullcertaintie.sinthederivativematrixlJJInternationalJournalofControl,2000,73(5):407415l6JDuanGR,IrwinGW,Liu(P.Robuststabilizationofdescriptorlinearsystemsviaproportiona1.plus.derivativestatefeedbackC/ProceedingsofAmericanControlConferenceNewYork: