视觉片上系统芯片

视觉片上系统芯片吴南健【摘要】介绍了CMOS图像传感器领域的一个重要研究分支——视觉片上系统(SoC)芯片.重点阐述了视觉SoC芯片的研究背景、应用领域、国内外的研究动态和关键科学技术问题.围绕开展的研究内容和取得的研究成果，详细地介绍了视觉图像信息处理的特征、视觉SoC芯片的架构、芯片的电路设计、视觉SoC芯片实现和测试结果.它具有图像处理速度快、功能强、功耗低、体积小和成本低的优点，在高速运动目标的实时追踪、机器人视觉系统、图像识别、智能交通和虚拟现实等领域具有广泛的应用前景.【期刊名称】《黑龙江大学工程学报》【年(卷)，期】2011(002)003【总页数】9页(P67-75)【关键词】视觉芯片;图像传感器;图像处理;PE单元;行并行处理器【作者】吴南健【作者单位】中国科学院半导体研究所超晶格国家重点实验室，北京100083【正文语种】中文【中图分类】TP212.140前言视觉是人类感知夕卜部世界的最重要手段，人类从外部环境获取信息中的80%是视觉信息。如图1所示人的视觉信息系统包括人的眼睛和大脑。人的眼睛是一个典型的图像传感器，能够摄取图像并且进行一些噪声去除等初级图像处理。人的大脑神经元网络是一个视觉图像处理系统,具有非常强的、对所摄取的视觉信息进行并行处理的能力。加州理工学院Mead［1］和东京大学石川正俊［2］最先提出了视觉片上系统(SoC)芯片的概念。如图2所示视觉SoC芯片是一种集图像传感器和图像信息处理电路为一体，实现高速实时视觉信息处理的片上系统芯片。视觉SoC芯片能够模仿人的视觉和大脑图像处理系统进行图像摄取、实时图像信息并行处理和控制外部设备等完整的系统操作。它具有图像处理速度快、功能强、功耗低、体积小和成本低的优点,在高速运动目标的实时追踪、机器人视觉系统、图像识别、智能交通、虚拟现实及各类智能化玩具等领域具有广泛的应用前景。是当今图像传感和图像处理系统芯片研究领域最前沿的研究课题之一。近年来国内外研究机构纷纷投入了大量资金和研究人员支持视觉SoC芯片的关键技术研究，取得了一系列重要的进展。加州理工大学［1］、东芝公司和麻省理工大学［3］、爱丁堡大学［4］、东京大学［5-6］、斯坦福大学［7］、Burgundy大学［8］、约翰霍普金斯大学［9］、曼彻斯特大学［10］、静冈大学［11］和半导体研究所［12-15］等诸多著名的大学、研究机构和企业开展了视觉SoC芯片的研究工作，并逐渐形成了两个主要的研究方向：专用视觉芯片：主要是针对某种或某些具体应用而设计，比如运动探测、运动分析、物体范围搜寻、目标跟踪和3D视觉等；可编程视觉SoC芯片：这类视觉SoC芯片可以执行图像识别、智能交通、机器人视觉系统、图像自动解释和虚拟现实等多种图像处理任务,通过编程可以应对复杂多变的实际应用场合。目前,国际国内虽然在视觉SoC芯片的研究方面取得了明显的进步，但是在视觉信息处理能力方面与人相比仍然具有较大差距：1）在视觉SoC芯片体系架构上当前的芯片实现了局域像素并行处理,但并不具备视觉图像的广域信息处理能力，没有完全、充分的实现视觉芯片的功能；2）目前的视觉信息处理是基于精确的数学建模进行串行计算来实现的，仅仅依靠这样的传统处理器架构很难完成复杂的视觉信息处理，无法模仿和接近人脑的简单直观感知与认知能力；3）在电路结构上，单元电路规模大导致填充率低彳艮难实现高精度处理，满足不了真正的视觉芯片的要求；4）在面向器件实现的算法上，当前主要是为在计算机上采用软件进行视觉信息处理而设计忽视了人眼并行视觉处理、简单直观的视觉感知与认知特性以及视觉芯片高速图像摄取的特征，无法适用于视觉芯片的并行视觉信息处理。本文将重点介绍视觉信息处理的特征和我们研究小组最近几年在视觉SoC芯片领域取得的研究成果。下面分别给出视觉信息处理的特征、视觉SoC芯片的架构设计、芯片的电路设计、视觉SoC芯片实现和测试结果。1视觉信息处理的特征图3给出了视觉信息处理流程及其特征。视觉系统首先完成图像采集，然后进行视觉图像信息处理。视觉图像信息处理过程根据处理的复杂度以及并行度的高低可以划分为3个层次：低级、中级和高级图像处理。低级图像处理完成一些基本的图像处理功能，其目的在于对图像进行预处理，增强图像或者是进行滤波平滑锐化等，方便后续图像处理;中级图像处理则负责进行图像分割和图像特征的提取，即分离出图像中的不同物体和背景，然后得到图像中物体的特征,如轮廓、质心和纹理等;高级图像处理利用图像的特征信息,根据已有的知识经验，完成物体识别和分析的任务。在处理的图像数据量方面，低级图像处理对一幅数字图像进行运算，数据量大,而处理结果仍然是一幅数字图像;中级图像处理完成对数字图像的运算，数据量也大，但是处理的结果是从图像中获得的特征信息;高级图像处理的输入是那些特征信息,数据量相对很小。在计算复杂性和并行度方面，低级图像处理执行局部的全像素并行运算,并行度最高，但是运算本身却很简单;中级图像处理有的以全像素并行方式执行，有的以行/列并行方式执行,有局部的也有广域的，并行度有所降低，同时计算复杂性增加;高级图像处理大都是些不规则的复杂的运算彳艮少体现出并行性。图3视觉信息处理流程和特彳正Fig.3Charactersofimageprocessing2视觉片上系统芯片的架构视觉片上系统芯片最初的体系架构的特点是每一个像素和一个处理单元做在一起，—个像素对应一个处理单元。图4是我们提出的一种典型可编程视觉片上系统芯片架构［12］。芯片结构的核心部分是一个连接成网状结构的NxN图像处理单元(PE)阵列。PE阵列的外围由一个乂轴处理器、一个Y轴处理器、一个PE数据输入/输出模块、一个坐标输出模块、一个片内控制器、以及在处理单元阵列边缘的2N个PMOS晶体管构成。每一个PE单元包括一个图像传感器像素单元和信号处理电路。在片内控制器的控制下,PE阵列首先通过每个PE中的感光二极管像素得到一帧NxN大小的模拟灰度图像。该灰度图像被由两个阈值电压VL和VH组成的阈值窗口量化为二值图像。然后进行一系列可编程并行图像处理，得到算法需要的图像特征信息,比如物体的位置、边界或骨架。这些图像特征信息被以像素坐标的形式快速地输出到外部处理器中，这样就完成了一帧的图像处理任务。视觉SoC芯片重复以上过程连续地完成每一帧的处理任务。由于这种可编程视觉片上系统芯片是采用全像素并行架构，因而具有处理时并行度高，处理速度快的优点。但是，它是一种全像素并行的体系架构,将像素和处理单元做在一起，因而随着图像分辨率的提高芯片整体面积快速增大，而受限于芯片面积因素,图像分辨率不能做的太高;另夕卜像素单元是模拟电路，所以处理单元往往也做成模拟的处理单元，因而所进行的功能和灵活性相对比较弱;第三由于这个视觉SoC芯片只包含了PE处理单元阵列和XY轴处理器,所以他只能完成初级图像处理和部分中级图像处理功能。图5给出了我们提出的最新的多并行度处理视觉SoC芯片的系统结构图［13］。其特点是图像传感器像素阵列和处理单元电路是分离的，并且包括了多种并行度不同的处理器。它包含二维的PE阵列、一维的行RP处理器阵列和嵌入式通用微处理器(MCU),能够分别实现初级、中级和高级图像处理功能。PE阵列用于实现像素级并行的图像处理算法；RP阵列用于实现行并行的图像处理算法;通用微处理器(MCU)能够实现高级的图像处理和控制PE阵列和RP阵列的运行。系统包含MxM的CMOS图像传感器阵列，一列可编程增益放大器(PGA)和一列模数转换器(ADC)。图像被一列一列并行的由ADC转化为数字信号并传输到RP阵列。RP阵列包含N1个RP而PE阵列包含N1xN2个PE。PE阵列的大小不同于图像尺寸并不会造成问题，这是因为PE阵列和传感器图像可以有灵活的映射关系。可以利用1个PE单元存储多个像素的信息以完成对整个图像的运算和处理。每个PE都含有运算单元(ALU)和局域存储的K位数据存储器。如果每个PE单元对应于一个图像像素，则可以将原始图像数据和运算后的图像数据都存储于PE单元的存储器中,并且由PE中的ALU读取这些局域的存储器并完成图像操作。每个RP的数据存储器由同一行的N2个PE提供，因此每个RP等效有N2xK的数据存储器空间。这种存储器共享减少了芯片面积。当RP阵列需要访问数据存储器时，则PE阵列不能工作。而当RP仅对其内部寄存器操作时,PE阵列和RP阵列可以同时工作。当图像被逐列从传感器传输并保存到PE阵列中的存储器后，由RP阵列和PE阵列完成图像的初级和中级操作。在并行处理器完成运算后，其输出的结果数据量往往远小于原始的图像。此时将这些结果送到MCU完成高级图像算法。比如可以由PE阵列完成对图像的去噪声、边缘提取，由RP阵列完成灰度统计并得到代表图像特征的特征向量(vector),最后由MCU完成特征向量的匹配，实现图像的模式识别。为了提高性能,PE阵列和RP阵列的指令由片内的指令存储器给出指令存储器的地址由MCU给出。为了系统地对比图4的可编程视觉SoC芯片架构(架构A)和图5的多并行度处理视觉SoC芯片结构(架构B),表1列出了两种架构的主要特征指标。架构A具有处理时并行度高、处理速度快、控制简单和设计难度低的优点。但是，由于PE单元和像素单元是一体的，图像传感器的填充率指标较低,编程运算的灵活性小，适合于局域化图像处理，高级图像处理困难。最致命的是随着图像分辨率的提高芯片整体面积快速增大，而受限于芯片面积因素,图像分辨率不能做的太高,实现广泛应用的视觉SoC芯片困难。架构B具有填充率指标高、灵活性强、能够完成低级、中级、高级图像信息处理和图像传感器分辨率相同的条件下芯片面积小的优点。尽管存在处理时并行度不高、控制复杂和设计难度大的缺点,但是,通过提高电路设计技术能够克服这些困难，并且满足视觉信息实时处理的要求。表1两种架构的指标对比Table1ComparisonwitharchitecturesAandB指标架构A架构B面积大小并行度高低填充率低高灵活性小大控制较简单较复杂适合局域广域设计难度小大3视觉片上系统芯片的电路设计图6给出了CMOS图像传感器和一行后续模拟电路的结构和功能［13］。CMOS像素单元为标准的3管有源像素传感器(APS)结构。入射光线透射到光电二极管(PD)阵列上，并被采集了模拟的电压信号，复位前后两次采样的电压信号由相关双采样(CDS)电路除去像素的固定噪声。增益可编程放大器(PGA)可以通过数字信号控制放大器增益调节信号动态范围，实现维持图像整体信号保持合适的幅度。最后，单斜式模拟数字转换器(ADC)将模拟图像信号转化为数字信号直接输出或者传输给RP单元阵列进行图像处理。高速行并行图像像素和后续的模拟电路可以实现1000帧/s高速的图像获取、模拟信号处理和模拟数字信号转换。图6视觉芯片中感光源电路及后续模拟电路的功能和结构［13］Fig.6SchematicsandfunctionsoftheAPSsensor,CDS,PGAandADCcircuits图7给出了PE单元的电路［13］。每个PE单元含有2块静态存储器(SRAM)和一个1位的算术逻辑运算单元(ALU)。ALU可以完成二值逻辑运算和1位加法。每个时钟周期ALU从左边的SRAM读取操作数data1,从右边的SRAM读取操作数data2。每个PE的data1都被连接到其上、下、左、右的近临PE单元上。ALU的第一个运算数由多路选通器从近临PE输出的data1中选择。ALU的第二个运算数为data2,其运算结果dataw被同时写回SRAM。因此,PE单元可以在单周期完成对存储器的读取，运算和写回操作。而一般的RISCCPU读取(load)和写回(write)存储器都分别需要1个单独的周期。这种存储中逻辑的结构提高了系统的性能。图7视觉芯片中PE的电路结构［13］Fig.7SchematicofthePE图8给出了行处理器RP的结构和功能［13］。使用了简单的8位单级RISC处理器，所有的行处理器接受相同的指令，其数据存储器由对应一行PE单元中的存储器构成。行处理器可以完成数学运算、在左右近邻间传输数据和存储器地址索引。与PE不同，行处理器的存储器读写地址由其ALU提供,因此可以有不同的读写地址。这使行处理器可以完成更复杂的行并行图像处理算法。芯片中行处理器同时作为ADC输出数据的缓存和向MCU传输数据的接口。4视觉SoC芯片实现和测试结果我们采用0.18pmCMOS工艺分别试制了基于架构A(图4)和架构B(图5)的两种视觉SoC芯片。图9是基于架构A的视觉SoC芯片照片。它的PE阵列大小为16x16,每一个PE面积是30pmx40pm,这在已报道的可编程能力较好的芯片中是比较小的。图10是基于架构B的视觉SoC芯片照片，芯片面积为5mmx2.7mm。它包含有128x128的传感器像素阵列,128个PGA,128个ADC,32个行处理器RP,32x128的PE阵列，一个8051MCU,指令存储器和一些周边电路。每个像素大小为9pmx9pm。ADC的分辨率设计为8位。PE单元大小为65pmx25pm,其版图全部由手工定制。存储器使用定制的存储单元,不包含灵敏放大器和解码器以减少面积。RP阵列和PE阵列的存储器共享节省了30%的芯片面积。图8视觉SoC芯片中行处理器RP的结构简图和主要功能[13]Fig.8Schematicandfunctionsoftherowprocessor图9架构A的视觉SoC芯片照片Fig.9MicrophotographofthevisionSoCchipbasedonarchitectureA图11是视觉SoC芯片的测试系统。它包括镜头、测试板、FPGA板、高精度直流步进马达和计算机。为了方便使用视觉SoC芯片，设计了一种类C语言的PE阵列并行编程语言，并使用。#语言开发了相应的编译器和开发仿真环境。图10基于架构B的视觉SoC芯片照片Fig.10MicrophotographofthevisionSoCchipbasedonarchitectureB图11视觉SoC芯片的测试系统实物照片Fig.11TestsystemofvisionSoCchip图12给出了架构A的视觉SoC芯片完成的4个形态学算法的例子。这4个算法采用相同的结构元素，见图12的右下角。在图12(a)中完成的是一种去噪声运算。第一步是对图12(a)最上面的图像进行一次开运算,这消除了小的噪声点。将结果膨胀一次后与最上面的图求与，得到了中间的图像。接下来,再对中间的图像执行一次闭运算，得到了底部的没有噪声的图像;图12(b)给出了区域生长算法的示意。在最上方的图中有一个像素点作为种子，它以图12(a)底部的图像为参照开始生长。具体的步骤是种子图像做一次膨胀，然后同图12(a)底部的图像做求与运算把结果作为新的种子，如此反复。最终种子生长成如图12(b)底部所示的与参考图像中的对象完全相同的对象。这里用到了探测空图像的功能来判断两个对象是否相同;图12(c)分别在中间和底部给出了顶部图像对象的夕卜部和内部轮廓。夕卜部轮廓通过将原对象膨胀一次，然后从膨胀的结果中减去原对象得到。内部轮廓通过从原对象中减去原对象进行一次腐蚀后的结果得到;图12(d)的例子是形态学骨架抽取算法,顶部图像中对象的骨架被提取出来见中间的图像。事实上，在算法执行过程中，得到的是一系列子骨架,最后的骨架是这些子骨架的并集。利用子骨架用相反过程的算法可以还原出与原对象完全一致的对象，见图12(d)的底部。图12架构A的视觉SoC芯片完成的4个形态学算法的例子Fig.12Somealgorithms'exampleusingmathematicalmorphologyperformedinthevisionchipA架构A的视觉SoC芯片目标跟踪试验的实验环境在图13(a)中给出。一个白色的处于黑暗背景中的目标在固定于马达上的镜头前水平往返运动。目标和镜头之间的距离为60cm。处于镜头后试验芯片不断的以1000帧/s的速度得到目标的位置，据此马达调整其方位使目标始终处于视场的中心从而一直跟踪目标;图13(b)给出了实验过程中目标位置随时间变化的记录。图14给出了架构B的视觉SoC芯片芯片完成较复杂的图像特征提取功能的试结果。这里使用基于边缘信息表征图像的PPED算法［16］。其原理是计算图像在垂直、水平和+/-45°4个方向上的剃度值与边缘均值相比得到4个方向的边缘点，将这些边缘点的个数按规则汇总得到特征向量。图14(a)给出了算法流程;图14(b).(c)给出了原始图像、图像边缘均值、在4个方向上提取出的边缘点和最后形成的特征向量。整个操作可以在12000个周期内完成。因此芯片可以完成1000祯/s的图像特征提取功能，图像特征可以输入8051MCU并完成图像的模式识别。图13目标跟踪测试Fig.13Exampleofthetargettrackingexperiment5小结本文阐述了视觉SoC芯片的研究背景、应用领域和国内外的研究动态。重点介绍了围绕我们有关视觉SoC芯片的研究内容和取得的研究成果。它包括视觉图像信息处理的特征分析、视觉SoC芯片的架构设计、芯片的电路设计、视觉SoC芯片实现和测试结果。视觉SoC芯片具有图像处理速度快、功能强、功耗低、体积小和成本低的优点，在高速运动目标的实时追踪、机器人视觉系统、图像识别、智能交通和虚拟现实等领域具有广泛的应用前景。致谢：本文介绍的研究内容和成果是在国家自然科学基金委员会、国家科技部和中国科学院项目基金支持下完成的，多年来妙维博士、林清宇博士、张万成博士、付秋喻博士、李元金同学和石匆同学参与了本项目的研究工作，做出了卓越的贡献，在此表示感谢。图14(a)给出了PPED算法流程,(b)给出了人脸的实验结果,(c)给出了人手的实验结果Fig.14(a)FlowofthePPEDpatternextractionalgorithm,(b)experimentalresultsofthePPEDalgorithmappliedtoahumanfaceand(c)resultsofthePPEDalgorithmappliedtoahumanhand参考文献：C.MeadandM.A.Mahowald.Siliconmodelofearlyvisualprocessing[J].NeuralNetwork,1988,1:91.M.Ishikawa,A.MoritaandN.Takayanagi.Highspeedvisionsystemusingmassivelyparallelprocessing[A].Proc.Int.Conf[C].OnIntelligentRobotsandSystems,1992:373.H.YamashitaandC.I.Sodinz.ACMOSimagerwithaprogrammablebitserialcolumn-parallelSIMD/MIMDprocessor[J].IEEETrans.,ElectronDevices,2009,56:2534-2545.S.Matsunaga,D.Renshaw,andA.Murray.Asinglechip10,000frame/sCMOStrackingimagesensorforcomplextargets[J].ESSCIRC,2002:97.T.Komuro,S.Kagami,andM.Ishikawa.AdynamicallyreconfigurableSIMDprocessorforavisionchip[J].IEEEJ.SolidStateCircuits,2004,30:265.S.Mandai,M.Ikeda,andK.Asada.A256x25614krangemaps/s3-Drangefindingimagesensorusingrowparallelembeddedbinarysearchtreeandaddressencoder[J].IEEEInternationalSolid-StateCircuitsConference(ISSCC),2010:404-405.K.Fife,A.ElGamal,H.-S.P.Wong.A3MPixelmulti-apertureimagesensorwith0.7pmpixelsin0.11umCMOS[C]//IEEEInternationalSolid-StateCircuitsConference(ISSCC),2008:48-49.J.Dubois,D.Ginhac,M.Paindavoine,etal.A10000fpsCMOSsensorwithmassivelyparallelimageprocessing[J].IEEEJ.SolidStateCircuits,2008,43:706-717.R.Etienne-Cummings,Z.K.Kalayjian,D.Cai.Aprogrammablefocal-planeMIMDimageprocessorchip[J].IEEEJ.Solid-StateCircuits,2001,36(1):64-73.P.DudekandP.J.Hicks.Ageneral-purpos