基于m9m413的高帧频相机的设计

基于m9m413的高帧频相机的设计

0高帧频cd可实现高帧频发展在这项工作中，使用了由洛可可生产的mt9m413传感器，并设计了一种高视频疗效的cs相机。结构紧凑，功能完善，性能稳定可靠，控制方便。1图像传感器像元结构CMOS图像传感器基于电荷存储原理,即pn结反向充电,然后在光照条件下放大,放电速度随光照强度的不同而不同。经过一定时间的放电,每个像素保留的电荷不一样,这样就实现了光电转换,把图像信号由光学系统聚焦在pn结象素阵列表面,逐一扫描象素阵列,就能得到一幅图像的电信号。目前CMOS图像传感器主要分为无源象素传感器(PPS)和有源象素传感器(APS)。PPS结构简单,量子效率高,但是缺点是噪声大,并且不利于向大型阵列发展;APS在象素中加入了至少一个晶体管来实现对信号的放大和缓冲,改善了PPS的噪声问题,但恶化了阈值和增益的一致性,也减小了填充系数。CMOS图像传感器像元结构主要有光敏二极管型无源像素结构、光敏二极管型有源像素结构(见图1)和光栅型有源像素结构,其它特殊结构还有对数传输型、钉扎光敏二极管型、浮栅放大器型等。一个典型的CMOS图像传感器通常包含:一个图像传感器核心、相应的时序逻辑和控制电路、AD转换器、存储器、定时脉冲发生器和译码器等。2系统的组成结构相机主要由CMOS图像传感器芯片、时序产生和处理单元、控制单元、模拟偏置单元和图像输出单元组成,其系统结构框图如图1所示。CMOS芯片是相机成像的部件,相机通过CMOS芯片获取图像信息并输出数字信号。时序产生和处理单元主要由FPGA组成,负责产生芯片所需的时序以及对芯片的返回信号进行处理。控制单元主要由单片机组成,控制图像参数的传递和对用户串口命令的处理。模拟偏置单元是由单片机和数字电位器组成的I2C总线结构,负责产生芯片模数转换、自校准等所需的模拟偏置电压。图像输出单元为FPGA和Cameralink接口,负责图像的输出。2.1mt9m393系统的a/d模数转换器相机使用的图像传感器是美国MICRON公司生产的MT9M413CMOS图像传感器。它是一款高度集成的单芯片CMOS图像传感器,具有高帧频(0～500fps)、低功耗(<500mW)、大靶面(1280H×1024V)和单一3.3V10%直流电源供电的特点。当主频为66MHz时,数据率660Mbps,帧频500fps,动态范围59dB,快门时间范围为2μs～33ms,片内集成10bit自标定、全数字接口的A/D模数转换器,输出为10个10bit并行数字输出端口。MT9M413的工作过程为:像素曝光结束后,电荷存储在“PixelMemory”中,在ROW＿STRT＿N信号的作用下,读出“PixelMemory”中的模拟数据,进行A/D转换,然后存储在一个1,280×10位的SRAM存储器中(ADCRegister);在LD＿SHFT＿N信号的作用下,数据从ADCRegister转移到另一个1,280×10位的SRAM存储器中(OutputRegister);在DATA＿READ＿EN＿N信号的作用下,数据从OutputRegister输出到引脚上。SRAM存储器可以类似流水线的方式进行操作,当一个新的“读取-A/D转换-存储”周期开始时,这时可以并行的进行ADCRegister的读取操作,读出上个周期得到的数据。2.2帧占用时间传感器的工作时序包括行时序和帧时序,如图2所示,行时序控制每行1280个像素的输出,而帧时序控制每帧1024行的输出。在行时序中,10位行地址总线ROW＿ADDR输入选择读出的像素行,ROW＿STRT＿N信号表示每一行的开始,当其有效时,地址信号ROW＿ADD[9:0]必须有效,原则上要求地址信号持续至少66个系统时钟周期。ROW＿STRT＿N信号开始从像素行读模拟数据、进行模数转换并存储在ADC寄存器中,当这一系列工作完成后(ROW＿STRT＿N信号下降沿128-129个系统时钟周期后),传感器给出一个2个时钟宽度的回应信号ROW＿DONE＿N表示一行的数据处理完毕。这时在ROW＿DONE＿N信号的下降沿或者下降沿之后施加LD＿SHFT＿N信号,表示将模数转换后的数据从ADC寄存器转移到输出寄存器(OutputRegister)里,3个系统时钟后,在DATA＿READ＿EN＿N信号的作用下,开始对输出寄存器里的数据进行读取。DATA＿READ＿EN＿N置低电平两个时钟后开始新的像素行读出和转换循环。在新的行转换的同时允许前面转换的数字信号读出,因此一行的时间是ROW＿STRT＿N信号开始到ROW＿DONE＿N信号返回,或LD＿SHFT＿N和DATA＿READ＿EN＿N信号有效期加上两个时钟周期。当所有行数据都输出完毕后,便完成了一帧数据的输出,即完成了一个帧时序。相机的帧频由一帧占用的时间决定,一帧占用时间通常是由曝光时间和数据输出时间构成。MT9M413有四种曝光模式,即顺序模式(sequentialmode)、同时模式(simultaneousmode)、单帧模式(singleframe)和ERS模式,主要是由信号PG＿N和TX＿N来控制。PG＿N信号置位整个像素阵列的光探测器,开始曝光,TX＿N信号将整个像素阵列的每个像素的电荷由光探测器转移到存储器中,结束曝光。本文主要用到了顺序模式和同时模式。在顺序模式下,前一帧输出后下一帧开始曝光,一帧占用时间为曝光时间与输出时间之和。在同时模式下,前一帧在输出的同时开始为下一帧曝光,曝光通常在前一帧的最后一行结束,这样做不需要专门的光积分时间,帧占用时间仅由数据输出时间决定,这种方式缩短了一帧图像的时间,提高了系统的帧频。由以上分析可见,传感器的工作时序比较复杂,因此用FPGA作为时序产生和处理电路的核心部分,选用Xilinx公司的XC3S1000FPGA芯片,设计语言为Verilog,产生传感器所需的SYSCLK、ROW＿ADDR、ROW＿STRT＿N等信号,同时处理传感器返回的ROW＿DONE＿N和PIXCLK信号。2.3系统参数设置控制单元主要以单片机为核心,如图3所示,单片机通过RS232串口与上位机进行串行通信,接收并处理来自用户的命令,对相机系统进行图像位置、大小、以及质量等参数设置。单片机与FPGA通过总线方式连接,通过单片机P0口和P2口来给FPGA的寄存器传递参数,即把FPGA当作单片机的一个外部数据存储器。P2口发送高位地址,P0口复用为低位地址和数据总线,通过写FPGA寄存器来控制曝光时间和传感器工作方式等参数。由于需要调试的方便性和参数的可实时修改性,选择具有在系统中编程(ISP)和在应用中编程(IAP)功能的单片机。最终我们选用Philips公司的P89LV51RD2单片机。2.4模拟偏置单元由于传感器所需的8个模拟偏置电压范围均为0～3.3V,采用MAX5417的分压模式,H端接3.3V电源,L端接地,W端输出模拟电压,通过编程实现对3.3V电压的256抽头分压。系统中的模拟偏置单元是由单片机和数字电位器组成的I2C总线结构构成,其中单片机为主器件,数字电位器为从器件。选用了4对带有I2C接口的数字电位器MAX5417,每对数字电位器具有唯一的6位固定地址,通过对第7位置0或置1,可使每个电位器具有唯一的7位地址。地址、数据及应答信号都通过串行数据线SDA传送,一次操作包括从器件地址(7位地址,最低位置0表示写操作)、命令字节和数据字节。I2C规范中规定了SDA,SCL最基本的时序特征,这是所有I2C器件都必须满足的。每个I2C器件在满足基本要求的同时,又有各自的时序要求,MAX5417的时序特性如表1。2.5+机械系统fpga由传感器的参数可知,工作于全靶面、500fp/s时,系统的数据率为6.6Gb/s,为实现如此高数据率的数据高速传输,对输出的图像数据采用CameraLink的接口方式,规范的CameraLink接口使得相机和采集卡之间的连接更通用化,差分传输线降低了传输线之间的干扰,有利于远距离传输。相机系统所用传感器的图像信号格式为10×10bit,而CameraLink接口在不同的配置下有不同的数据格式,如2×10bit、4×10bit和8×8bit等,因此在FPGA中将传感器的图像信号转换成符合CameraLink的格式。采用全配置的CameraLink接口,用一个DS90LV049和三个DS90CR287将8×8bit数据流、1路帧信号、3路行信号及3路像素时钟信号转换成高速LVDS数据流进行传输,发送到图像接收端供采集卡接收。图4为系统主频40MHz、全靶面、帧频为100ps时,相机工作于同时模式时所拍摄的图像。3系统总体结构的设计从小型化的角度考虑,避免所有器件在一块PCB板上从而使得PCB板面积过大,采用三块大小相同的六层PCB板,每块大小为6cm×6cm,板间通过连接器相连。前端板主要包括传感器芯片和数字电位器部分,中间板主要包括MCU、FPGA及其各自的附属芯片,后端板主要包括CameraLink接口部分和电源部分,整个系统结构紧凑,图5为相机的实物图。由于系统中有数模混合电路,因此对模拟电路的抗干扰设计是必须考虑的,本系统中,PCB板上数字电路部分和模拟电路部分分开,采用统一地平面,模拟信号由数字电位器产生,前面用LC滤波器滤波,进入传感器芯片之前经过磁珠的滤波,实际效果满足要求,模拟电压偏差小于1%。4cd图像传感器设计了一款基于Micron公司MT9M413CMOS图像传感器的高帧频相机,系统中使用FPGA和单片机作为处理和控制单元,采用串口和I2C总线结构对系统进行控制。整个系统结构紧凑、性能稳定、成本低、控制方便,预计下一步对结构上进行改进之后,具有开发成产品的潜力。CMOS(ComplementaryMetalOxideSemiconduc-tor)图像传感器是固态图像传感器的一种,它的研究始于20世纪60年代末,受当时工艺技术的限制,发展和应用有限。直到20世纪90年代初,随着大规模集成电路设计技术和信号处理技术的提高,CMOS图像传