一种多通道调光系统的设计

一种多通道调光系统的设计

1图像显示和控制现代高速电视通常采用高灵敏度的cc摄像头。在目标亮度和背景变化较大的环境下，图像尤其容易饱和。另外跟踪测量电视的调光系统,不仅要求调光范围宽,而且要求调光速度快,适应性强。通常使用3种方法用来对CCD相机进行调光:光圈机械控制或变密度盘,电子快门设置和增益调节。根据相机的工作机理,可以称前两种方式为自动曝光控制(AEC),后一种方式为自动增益控制(AGC)。曝光控制主要集中于图像亮度和光学系统通光量、CCD曝光和积分时间关系的调节;增益控制则是辅助曝光控制,确保图像有一定灰度级的对比度。文献中有很多好的调光方法值得借鉴。一般的控制方法是通过捕获图像特性参数和参考值的比较,将映射的调整值送至调光控制系统以弥补二者差异。就实时处理而言,控制需要与计算出的参数同步,从而可以对下一帧图像及时调整。因此,快门时间和增益控制优于光圈机械控制。深入研究后,发现由于各种因素的影响,调整后CCD接收的照度时常欠饱和或过饱和,因此映射需要具有很好的收敛性以使图像灰度快速收敛至一个固定的灰度期望值。另外,尽管快门时间和增益调整有不同的机理(前者基于曝光积分时间后者基于增益放大电路),但是他们的目的都是将图像调整至期望灰度值。因此,为了实现有效控制,有必要建立起快门时间值和增益的关系。本文主要研究利用DSP实现自动调光算法,解决CCD数字相机在不同环境和影响下能够自动调整采集高质量图像的问题。为了实时调整高帧频CCD相机的图像亮度,本文提出了一种复合算法,该算法主要由3部分构成:二次均值灰度的权值累加,基于分段二次函数的自动曝光控制和基于数据分析的自动增益控制。平台采用了一种共享的乒乓缓存使用策略,从而保证算法在自行设计的硬件平台得到有效验证并连续显示。实验结果显示出了良好的图像质量,在各种条件下捕获的视频图像均具有快速的收敛性和适应性。2种自动增益控制的复合方法常用调光算法有两种:均值调光和峰值调光,前者针对暗背景时局部亮点饱和的场合,后者针对局部亮时背景图像不清的情形。本文充分考虑到了两种算法的特点提出一种基于自动快门控制和自动增益控制的复合方法,该方法很好地解决了由于局部亮而导致背景不清和暗背景而导致局部亮点饱和的问题,主要分为四步。首先通过二次平均,求出期望的权值灰度和,很好地避免了局部亮点干扰;其次可调动态分段二次函数将此期望权值灰度映射为合适的快门时间值;再次由实验数据建立快门时间值和增益值关系表,参照此表中的每档快门时间值调整相对应的增益;最后引入3个规则以适时将图像快速收敛到固定的灰度级。2.1ral和rah权值的估计,其符合以下步骤图像平均灰度值rA可由下式获得,rA=k∑j=0nj×rjk∑j=0nj∑j=0knj×rj∑j=0knj(k=0,1,2,…,255),(1)其中,rj代表图像第j级灰度,nj是rj的数量。许多因素影响图像质量,如噪音、天气、未知移动物体等。为了真实反映图像原貌,以rA为图像高低灰度值分界点,分别求出低于rA的平均灰度值rAL和高于rA的平均灰度值rAH,A是rAL和rAH的分界点。rAL=k∑j=0nj×rjk∑j=0nj∑j=0knj×rj∑j=0knj(k=0,1,2,…,A-1),(2)rAH=255∑j=knj×rj255∑j=knj∑j=k255nj×rj∑j=k255nj(k=A+1,A+2,A+3,…,255).(3)理想图像灰度值RE可由式(4)表示:RE=tLrAL+tArA+tHrAH,(4)其中tA,tL和tH分别是图像均值rA,rAL和rAH的权值系数,其关系如下:tL+tA+tH=1.(5)由式(4)和(5)得到图像理想的灰度值:RE=tLrAL+(1-tL-tH)rA+tHrAH.(6)tL,tA和tH由环境因素决定。4.1.1节中实验1列出了不同天气条件下理想的权值系数。2.2分段二次线性函数通过二次函数建立RE到快门时间值映射。Y=aX2+bX+c,(7)其中,a,b,c是未知参数。假设函数通过点(X1,Y1)(X2,Y2)和(X3,Y3),可求出系数a,b,c:a=1X1-X2(Y1-Y3X1-X3-Y2-Y3X2-X3)b=1X1-X2((Y2-Y3)(X1+X3)X2-X3-(Y1-Y3)(X2+X3)X1-X3),(8)c=Y3X3X1-X2(X1(Y2-Y3)X2-X3-X2(Y1-Y3)X1-X3)a=1X1−X2(Y1−Y3X1−X3−Y2−Y3X2−X3)b=1X1−X2((Y2−Y3)(X1+X3)X2−X3−(Y1−Y3)(X2+X3)X1−X3),(8)c=Y3X3X1−X2(X1(Y2−Y3)X2−X3−X2(Y1−Y3)X1−X3)其中,X代表RE,即X=RE,且RE∈(0,255);Y代表S,且S∈(0,Smax)。S表示快门时间值,如S=0表示快门时间为1/30s。S越小,快门时间值越慢,意味着CCD积分时间越长,从而输出图像灰度值越亮。通过式(7)求出Y,并将其赋给下一帧的快门时间值Snext,即Snext=Y,Snext∈(0,Smax);R0为人工输入值,如R0=128表示捕获图像灰度被期望等于128。图1中点(R0,S)则被看作是分段二次线性函数理想的分界点。令函数f1通过点(R0,S),(R0-RA,S-SA),(0,0),函数f2通过(R0+RA,S+SA),(R0,S),(255,Smax),其相应系数a,b,c分别被下标为f1:a1,b1,c1和f2:a2,b2,c2,得式(9):f1∶a1=1RA(SR0-S-SAR0-RA)b1=1RA((S-SA)R0(R0-RA)-S(R0-RA)R0)c1=0f2∶a2=1RA(S+SA-SmaxR0+RA-255-S-SmaxR0-255)b2=1RA((R0+RA+255)(S-Smax)R0-255-(R0+255)(S+SA-Smax)R0+RA-255)c2=Smax-255RA((R0+RA)(S-Smax)R0-255-R0(S+SA-Smax)R0+RA-255).(9)f1∶a1=1RA(SR0−S−SAR0−RA)b1=1RA((S−SA)R0(R0−RA)−S(R0−RA)R0)c1=0f2∶a2=1RA(S+SA−SmaxR0+RA−255−S−SmaxR0−255)b2=1RA⎛⎝⎜(R0+RA+255)(S−Smax)R0−255−(R0+255)(S+SA−Smax)R0+RA−255⎞⎠⎟c2=Smax−255RA⎛⎝⎜(R0+RA)(S−Smax)R0−255−R0(S+SA−Smax)R0+RA−255⎞⎠⎟.(9)当X轴的R0移动到R0-RA或R0+RA,Y轴S相应映射到S-SA或S+SA。如果R0-RA,R0和R0+RA被相应地赋值为88,128和168,函数f1和f2随着S上下起伏变化。每档S由式(9)求出系数a1,b1,c1和a2,b2,c2,最终得到分段二次函数曲线族,如图2所示。当S低于0或超过15时会被强制赋值为0或15。换而言之,当快门时间值调节超过CCD相机快门时间值范围S∈(0,15),S会被强制赋值为边界值。2.3附加条件算法通过3个附加条件辅助快门控制,3个参数没有必然联系,可由人工设定,通过数据可以获得它们的优化值。2.3.1s带宽a令SA等于某固定值,如SA=1,通过调整RA来控制收敛度。RA值越大,(R0-RA,R0+RA)占据的区域越宽,则函数曲线越平坦,即曲线将一个很宽的灰度带宽映射到一个很窄的S带宽。当RA减小,曲线则会尖锐。平坦和尖锐都会导致S震荡至极端从而导致图像值饱和,因此RA不应太大或太小。4.2.3节实验3给出了一组由不同RA值得到的实验数据,结果显示出了一个获得快速收敛的理想RA区域。2.3.2图像re-re为减小震荡,需将RE变化限制在区域(-RB,RB)。Snext={Sf(RE)(|RE-RE′|＜RB),(10)其中,RB是正整数,RE′是上一帧的RE值。RE-RE′表示当前和上一帧图像灰度值差异。通过设置RB,函数仅在固定的RE灰度值差异区间(-RB,RB)得到响应,其他情况则默认采用上一帧S值。2.3.3r0+rc通过RC的限制,函数对落在(R0-RC,R0+RC)区间的RE不予算法响应,从而处理速度为:Snext={S(|RE-R0|≤RC)f(RE).(11)2.4cd光谱图像参数的估计尽管增益和快门调光控制方式不同:增益控制通过电路使图像有一定灰度级的对比度;快门通过调整积分时间控制CCD光敏单元曝光度,但其目的都在于获得理想的图像灰度值。例如:当快门时间值S减小,CCD光敏单元曝光时间增加,图像灰度得到提高;当增益G增加时,图像灰度值通过放大电路得以提高。鉴于它们相同的作用效果,通过实验数据分析,本文提出增益和快门时间数值映射算法,其思想为:当G=0,S由Si换档至Si-1引起图像灰度和变化,即ΔSUMRi表示为:WhenG=0ΔSUMRi=SUMR(Si)-SUMR(Si-1)(i=1,2,…,16),SUΜR=k∑j=0nj×rj(k=0,1,2,⋯,255)ΔSUMRi=SUMR(Gi).(12)S归档至Si而G增加至Gi,相机输出的灰度和变化ΔSUMRi相同,而这个值是由Gi引起。WhenS=SiΔSUMRi=SUMR(Si)-SUMR(Si-1)=SUMR(Gi)i∈(0,max).(13)初始G=0和Si=15,并一档一档减少Si,记录其对应的ΔSUMRi值得到一组数值。根据这组数值G从0开始增加直至ΔSUMRi=SUMR(Gi)。Gi被认为对应Si的最大增益值。例如:令G=0,将S15换档至S14,将导致图像灰度和发生变化:ΔSUMR15=288909。随后令S=S15,G从0增加至ΔSUMR15=SUMR(G15)=288909,此时G15=803,这个803被看作是Si=S15时G可调整的最大增益。由于各种因素的影响,尽管实验条件不变,每次求出的ΔSUMRi会有不同,因此采样5次得到ΔSUMRi值,求出其平均值记为ASUMRi(参见式(13))。ΔSUMRi应取最小值才能保证CCD相机Gi值合理,因此ASUMRi并不能被看作是S从Si换档至Si-1,图像灰度变化最小值。为了近似得到一个最小的灰度和,将ASUMRi乘以系数aLSUMR(如aLSUMR=0.9),其结果ALSUMRi被近似认为每次换档后图像灰度和变化最小值。ASUΜRi=1stΔSUΜRi+⋯+5thΔSUΜRi5,(14)ALSUMRi=ASUMRi×aLSUMR.(15)2.5利用“s+sa-sm优势”s+sa-sm优势+c通过2.1至2.4节的叙述,公式可综合为:Y={a1X2+b1X+c1=X2RA(SR0-S-SAR0-RA)+XRA((S-SA)R0(R0-RA)-S(R0-RA)R0)(|X-R0|＞RC,|ΔX|＜RB)a2X2+b2X+c2=X2RA(S+SA-SmaxR0+RA-255-S-SmaxR0-255)+XRA((S-Smax)(R0+RA+255)R0-255-(S+SA-Smax)(R0+255)R0+RA-255)+15-2552RA(S+SA-SmaxR0+RA-255-S-SmaxR0-255)-255RA((S-SA)R0(R0-RA)-S(R0-RA)R0)(|X-R0|＞RC,|ΔX|＜RB)Sother,(16)其中X=RE,Snext=YSnext={0SSmaxS＜0otherS＞Smax.(17)算法的4个步骤和流程如图3。3平台系统3.1视频图像的dm642考虑到算法的应用要求,选择UNIQ1830CCD数字相机作为视频捕获设备。其传感器具有1024pixel×1024pixel像素单元;45MHz数据时钟;10bitRS-644LVDS数字信号输出,通过RS-232C接口控制相机快门时间值和增益。为了实时处理高帧频图像数据,引入主频上至720MHz的DSP(TMS320DM642,以下简称DM642)以实现算法。采用DM642的其他考虑是:它拥有3个可配制视频口,可以和数字相机无缝链接,同时也支持多种精度和视频标准;它具有一个64bit无缝外部存储器接口(EMIF),能够和同步及异步存储器、外围设备对接,如SDRAM,FLASH。鉴于DM642有限的双层缓存(16kByte程序缓存L1P,16kByte数据缓存L1D,256kByte统一映射RAM/CacheL2)远远小于每帧数据实时处理容量(1024×768×8bit),因此通过DM642的EMIF的外围空间映射两个128Mbit同步DRAM(SDRAM)用来作为外部数据存储器。通过异步通信单元(ACE)TL16C550A的中转,经由RS-232C接口连接DM642芯片,将增益和快门控制参数发送至CCD相机。为便于调试,将调光后的图像以VGA格式在电脑显示器连续播放。把可配制编程逻辑器件(CPLD)和DM642连接,基于两方面考虑:一方面它减轻了DM642的负担,将1024×768×10bit转换至1024×768×8bit图像格式;另一方面,它制作行场同步时序,驱动视频图像从CCD数字相机传至DSP视频口,以及从DSP视频口传至VGA显示器。系统启动后8bitFLASH自动加载程序到DSP。3.2dsp视频口控制系统按图4标示步骤执行。(1)系统启动后,预编程序由FLASH存储器加载到DSP中,随后DSP初始化其内部寄存器和外围设备。(2)从CCD数字相机输出的LVDS数据首先被转换成TTL电平数据,然后传给CPLD。CPLD将1024×768×10bit图像转化为1024×768×8bit格式的图像,并将图像在其自制驱动程序下传给DSP视频口。(3)DSP将实时图像存储到SDRAM中。(4)DSP并行执行两项任务:一方面它在高速存储缓存L2中执行算法,另一方面它将存储在SDRAM中的数据回传给CPLD,CPLD将数据以VGA格式在显示器上连续播放。数字相机输出图像不能直接在电脑显示器上播放。因为VGA显示刷新频率为60Hz,而CCD相机为30Hz帧频,输出数据时钟是输入的2倍,因此从CCD数字相机输出的图像首先被存储在SDRAM中,而后通过DSP的乒乓缓存策略将图像从SDRAM中输出并连续在显示器上播放。(5)通过ACE模块中转DSP发送平行控制参数给CCD相机串口。(6)通过ACE的并行转串行数据,控制参数被发送至相机。经由RS-232C接口相机接收快门和增益的控制参数,通过内部处理后,相机输出调整后的视频图像并传给CPLD。过程将会一直重复步骤(2)至步骤(6),循环直至系统重启或断电。3.3fpga/sdramsds控制器DM642使用双高速缓存架构。层一的程序高速缓存(L1P)共128kbit是直接映射高速缓存和数据高速缓存(L1D),128kbit是双路互联设置高速缓存。层二的存储器/高速缓存包括2Mbit存储空间,由程序和数据空间共享。DSP通过高级直接存储器访问(EDMA)控制器和SDRAM接口。EMIF支持100MHzSDRAM操作,超过了CCD相机45MHz数据捕获时钟和65MHz带宽VGA(1024×768∕60Hz)显示的频率要求。为了实时处理高帧频图像数据并将其在显示器连续播放,提出乒乓缓存策略,可最大效率利用DM642及其外围存储器资源。策略包括两个方面:数据采样和结果连续显示,它们在SDRAM中共享同一块缓存,参见图5。(1)dsp的高速缓存由于DSPL2空间有限,一次不能存储整幅图像,CCD每次捕获的图像保存在SDRAM空间中的1k缓存空间,算法用和显示用图像数据共享此1k缓存空间。为了加快算法处理速度,DSP每次隔点采样数据至L2。经过768次(行)采样,图像信息被完整获得。控制参数经由DSPUART串口被送至CCD数字相机。本系统中,DSP的L2高速缓存从SDRAM中采样,并采用DSPEDMA的一维至二维传输模式。L2从SDRAM中地址为0x80200000处采样,共采768行,并保存在目的地址0x00025000中,参见图6。(2)视频捕获和观看为了将CCD相机调整后的结果连续显示,在SDRAM中创建两个1kByte缓存,以乒乓模式协调工作。过程1:捕获数据1通过DSP视频口0被存储在缓存1中,同时保存在缓存2中的显示数据1被输出至视频口1;过程2:捕获数据2被存储在缓存2中,同时保存在缓存1中的显示数据2被输出至视频口1。显示往复执行过程1和2。系统视频捕获和播放都是基于DSPEDMA帧同步的一维至二维传输模式。视频捕获时EDMA采用固定的源地址0x74000000,每当传输完1帧图像(1024×768)后,目的地址由0x80200000变到0x80400000,或由0x80400000变到0x80200000;视频播放时,每当传输完1帧图像(1024×768)后,EDMA源地址由0x80400000变到0x80200000,或由0x80200000变到0x80400000。EDMA播放时采用固定的目的地址0x78000020,参见图7。3.4系统逻辑函数为确保算法的实时处理,需要满足:IN≤IM,(18)其中,IN是算法中所有指令占用的每秒指令周期数(IPS),IM是系统每秒指令周期数上限值。二者可由式(19)和(20)分别表示:ΙΝ=k∑i=0Ιi=k∑i=0Νi×ΙCi(i=0,1,⋯,k),(19)ΙΜ=ClockRate×FunctionUnitFrameRate=720ΜΗz×830Ηz=192Μ,(20)其中,Ni表示算法中第i种指令。ICi是其相应的指令周期时间数,Ii是每种指令整个指令周期数,如加法、乘法等。例如:乘法(MULTIPLY)指令在算法中被使用5次,即Ni=5,而“MULTIPLY”占用4条指令周期,即Ti=4,这样Ii=5×4=20IPS。考虑到每种指令占用相应的指令周期数,它们求和后为IN.鉴于DSP的时钟周期为720MHz,且有8个高级独立功能单元,可同时并行工作。除此之外,CCD数字相机每秒输出30frame图像,系统IPS上限值通过由式(20)计算为(IM=192MIPS)。系统中IN≈9MIPS,远小于IM的值,因此算法实时处理完全可行。4实验4.1两组针对性实验为了优化控制参数和验证算法,本文做了4组针对性实验。CCD数字相机分别工