高速高分辨率cs成像及实时显示系统设计

高速高分辨率cs成像及实时显示系统设计

0cd-cd图像传感器高视频频率和高分辨率的cs图像采集系统广泛应用于高速运动分析、高速物体跟踪、现代物理现象等领域。目前国外的高帧频CMOS成像系统很多,但价格昂贵,有一定的进口限制。国内对CMOS图像传感器的研究与应用工作,以低速低分辨率为主,成像性能不高,CMOS的应用受到较大限制。相比于传统的CCD图像传感器,CMOS图像传感器抗干扰性更佳、更易系统集成及便于数字图像处理,在高帧频图像采集系统上有很大的应用潜力。本系统以FPGA为核心,结合Aptina公司高帧速CMOS图像传感器MT9M413,设计了CMOS成像控制单元、高帧频图像存储单元、图像数据传输单元及视频显示单元,利用串口与上位机之间进行通信,从而实现一个完整的高帧速CMOS成像系统,帧频可达500fps,分辨率可达1280×1024。1fpga图像传感器本设计将系统按功能分为高帧频CMOS成像控制模块、高帧频图像存储模块、图像数据传输模块、视频接口模块及通信控制模块。系统结构示意图如图1所示。本文设计的高帧速CMOS成像系统,采用基于CMOS图像传感器MT9M413并组合FPGA的硬件电路。当CMOS图像传感器采集到数字图像后,FPGA将采集到的图像数据经其内部的FIFO缓存后存入外置DDRSDRAM中,当DDRSDRAM中存储的数据达到一定的阀值时,通过千兆网接口芯片将数据发送至上位机,同时经过DAC转换器转换后输出图像视频。系统选用Aptina公司的CMOS图像传感器MT9M413作为图像采集元件,TI公司的TLK2201B为千兆网接口控制芯片,PHILIPS公司的TDA8777芯片作为DAC转换芯片,Xilinx公司的Spartan-3系列FPGAXC3S1000作为主控芯片,该芯片核心供电1.2V,具有17280个逻辑单元,总的RAM位为552k,4个DCMs,可使用I/O数为784个。2系统功能模块的设计2.1高场景图像抑制模块cs2.1.1像传感器和通信接口CMOS图像传感器MT9M413是Aptina公司的具有3.3V电源,1.31M像素的CMOS图像传感器,其分辨率为l280H×1024V;主时钟为66MHz时,帧频可达500fps;动态范围为59dB;快门时间范围为10μs~33ms;片内集成10bit自标定、全数字接口的ADC。图像信号从10个通道同步读出,每个通道的位宽均为10bit。CMOS成像模块端口连接示意图如图2所示。2.1.2cd成像模块结构图像传感器MT9M413的时序分为行时序和帧时序,在行时序中,从第3个时钟周期开始,传感器在每个时钟周期输出一组(10bit)象素的数据,128个时钟周期后,输出了128组共1280bit象素数据,即完成了一行数据的输出,经过1024个行时序正好把一帧的图像数据输出完毕,构成一个完整的帧时序(见图3)。CMOS成像模块结构设计:将CMOS成像模块分为时钟模块、计数器模块、成像控制模块、数据输出模块、自校准模块五部分。通过FPGA产生图像传感器所必须的外部时序控制信号:SYSCLK、ROW_ADDR、ROW_STRT_N、LD_SHFT_N、DATA_READ_EN_N、PG_N(PGl+PG2)、TX_N,配合图像传感器输出的状态信号ROW_DONE_N来完成对图像传感器的正确配置。2.2高视频图像存储模块2.2.1图像传感器输出的实时存储高帧频CMOS成像系统在全时钟频率下最高工作帧频为500fps,图像大小为1280×1024像素,每个像素10bit数据,因此它的数据率约为6.1Gbit/s,为了实现图像数据的实时存储,我们采用FIFO缓存并结合动态存储器DDRSDRAM的结构对CMOS图像传感器输出的数据进行实时的存储。图像传感器MT9M413每个时钟周期输出10路10bit数据(D0~D99),经FPGA内部的FIF0缓冲并转换合成为一路16bit的并行图像数据,将此数据转存入外置DDRSDRAM中,完成高速图像数据的实时存储。本设计采用Micron公司的DDRSDRAM器件MT46V32M16完成对CMOS成像单元输出数据的高速存储。MT46V32M16的存储容量为512Mbit。系统采用2片芯片组成存储阵列,其结构框图如图4所示。2.2.2图像数据的输出SDRAM控制器接口主要用于实现SDRAM的基本操作时序,如充电(刷新)时序、模式设置时序、读写时序等。时序控制器由一个有限状态机(FSM)实现,其状态转换图如图5所示。加电200μs后,对SDRAM的所有块进行预充电,充电完成后经tRP刷新所有块,延迟tRFC后进入模式设置状态,进行模式设置和操作程序加载,然后进入空闲状态,等待主控单元的读写命令。在该模块设计中要特别注意其加电顺序,先给VDD、VDDQ同时加电,然后再同时给VTT、VREF加电。绘制电路板时,要注意CK和CK的差分走线,其误差为±10mil,将SDRAM各管脚按不同的分组走线,所有信号的走线长度控制在2inch为最好。成像单元的数据输出具有一定的时间特征与要求,存储单元需要合适的时序驱动才能存储正确的图像数据。在对图像数据进行10bit/16bit格式转换时,对每一组数据加一组时标,便于后续图像数据的处理与恢复。2.3图像数据处理模块2.3.1主控芯片系统为了实现高速图像数据的实时传输,我们选择千兆网接口作为数据传输端口,它能提供不低于1Gb/s速率的性能,使它能有效地转移数据,完成高速图像数据的快速传输。本设计中千兆网接口芯片采用TI公司的千兆网收发器TLK2201B,该芯片支持TDI接口模式和5bitDDR接口模式,支持IEEE802.3吉比特网络标准,提供超高速、全双工点对点数据传输,为物理层接口装置提供数据串行、串并转换和时钟提取功能。主控芯片FPGA和千兆网收发器TLK2201B的端口连接如图6所示。本系统选择TDI接口模式,它支持10bit的数据格式,而高速图像数据自DDRSDRAM中输出16bit的数据,经FPGA格式转换为10bit格式的数据,然后输出给千兆网收发器TLK2201B,完成高速图像数据的实时传输。2.3.2fpga结构设计千兆网的标准化结构包括介质访问控制(MAC)、物理编解码(PCS)和物理介质接入(PMA)3个主要部分。构建千兆网系统必须包含硬件MAC、PCS和PMA这3个模块。在本系统中,由于千兆网收发器TLK2201B支持TDI接口模式,PMA功能将由TLK2201B完成,PCS和MAC模块则在FPGA内部设计实现,其中重点在于MAC模块的设计。吉比特以太网控制器的FPGA设计工作包括以太网MAC子层的FPGA设计、MAC子层与上层协议的接口设计以及MAC与物理层(PHY)的GMII接口设计。该以太网控制器的结构设计框图如图7所示。整个系统分为发送模块、接收模块、状态模块、MAC控制模块、GMII接口模块和主机接口模块6部分。发送模块和接收模块主要提供MAC帧的发送和接收功能,它直接提供了到外部物理层芯片的并行数据接口。MAC控制模块则用于执行全双工模式中的流量控制功能。状态模块可用来监视MAC操作过程的各种状态信息。GMII接口模块用于连接以太网的链路层与物理层。主机接口则提供以太网控制器MAC与上层协议(如TCP/IP协议)之间的接口,以用于数据的发送、接收以及对控制器内各种寄存器(控制、状态和命令寄存器)的设置。根据系统六大功能模块的划分,结合TLK2201B和FPGA的端口连接,设计自顶向下的程序描述语言,完成图像数据传输模块设计。2.4视频接口模块2.4.1模拟视频输出图像数据从DDRSDRAM中输出16bit的数据,经FPGA格式转换并二次采样后输出10bit数据到DAC转换控制芯片,完成模拟视频信号的输出。模拟视频输出部分由DAC转换芯片和视频输出接口组成,DAC转换芯片选择PHILIPS公司的TDA8777芯片。视频输出接口选择VGA视频输出接口,选用三排共15针的VGA接口。2.4.2基于性能要求的采集控制模块设计VGA主要有5个信号线,分别为R、G、B、VSYNC(场同步)、HSYNC(行同步)信号,其中RGB信号是模拟信号,它们在0~0.7V之间,需要串联电阻网络实现数模转换后接入VGA接口。对这5个信号的时序驱动,VGA显示控制要遵循“VGA工业标准”,即640×480×60Hz模式。VGA工业标准要求的频率:时钟频率:25.175MHz;行频:31469Hz;场频:59.94Hz。VGA行扫描、场扫描时序图如图8所示。程序设计时,将VGA显示控制模块采取模块化设计,共分为时钟分频模块、计数器模块、控制信号生成模块、RGB视频数据输出模块;按照VGA行扫描、场扫描时序图编写硬件描述语言,完成视频接口模块设计,其仿真结果如图9所示,通过分析仿真结果我们可以看出该VGA控制模块符合我们的要求。2.5rs-332多线程并行数据的转换通过串口来实现对成像系统的外部控制,而实现串口通信主要需要完成两部分工作:将串口电平转换为设备电路板的工作电平,即实现RS-232电平和TTL/CMOS电平的转换;接收并且校验串行的数据,将数据变成并行的并提供给处理器处理。通过使用MAXIM公司的MAX232来实现RS-232串口电平的转换;实现数据的串行到并行转化用的是UART(通用异步收发器)。基本UART的帧格式包括一个起始位(低电平),5~8位数据位,1位校验位和1位停止位(高电平)。数据传输速率可以有多种选择,如9600B/s,14400B/s,19200B/s等,本设计选择的传输速率为19200B/s。在程序设计时,将UART分为波特率发生器、控制模块、接收器和发送器共4个模块,采取并行的模式编