CMOS图像传感器培训

CMOS图像传感器培训CMOS图像传感器培训CMOS图像传感器培训光电转换原理Pixel结构曝光方式Sensor架构及工作原理Sensor的寄存器控制ADCGain频率计算帧率计算BlacklevelFlickerImagelag太阳黑子尺寸和窗口BinningPLDOPAD驱动实验Outline2光电转换原理光电转换的输出信号及光照强度成正比，及曝光时间成正比图像传感器的作用就是把光信号转换为电信号并且量化输出PDNote：光电转换并不是没有限制的，当电荷累积到一定程度，效率慢慢下降，最后不再增加，这也是sensor中pixel有一个最大输出范围的原因。左图为实际某sensor的pixel输出电压的测试结果单个pixel结构3Pixel结构分辨率VGA,640*480;2M,1600*1200

5M,2592*1944

······Position（定义颜色位置）行row&列columnFSI(FrontSideIllumination)

BSI

(BackSideIllumination)ColorfilterMicro-lens通常长方向为行，短方向为列，在调试中一定要正确区分，因为行列噪声或行列线出现问题的原因是完全不一致的！!4曝光方式目前sensor多采用滚动曝光方式，即逐行曝光逐行读出，每行复位到读出的时间间隔即曝光时间。曝光控制寄存器中数值代表曝光多少行：曝光时间=曝光行数*行长。注意：当曝光时间大于1帧时，会插入vblank来获得较长的曝光时间。为了便于调试和计算，行长通常用多少个clk表示，如sp2508行长为1158，指的是1158个DAC_CLK周期，用时间表示：行长=1158*T_dac_clk。请注意不同sensor可能用不同的clk来表示，参数给出时会注明。VSYNC定义一帧的有效数据输出时间HSYNC定义一行的有效数据输出时间帧长=有效数据行+vblank行（单位：行）并口输出时，平台端需要pclk，VSYNC,HSYNC三个信号共同作用来采集有效的图像数据，并且能准确判断行和帧。!5Sensor架构及工作流程Pixelarray

完成光电转换模拟电路

把电信号转换成数字信号数字电路

控制sensor工作，数字信号处理，

根据需要输出不同格式MIPI把数字信号以mipi协议格式输出其它辅助电路

如有的sensor带有OTP6Sensor的寄存器控制Timing包括sensor内部各个模块的工作时序关系，时钟频率，工作模式，相关配合关系等模块电路功能控制包括子模块电路的开关，电气性能调节等寄存器分为两类，一类为timing控制寄存器，如pll频率控制，hb，vb，全尺寸或binning等模式选择等等；另外一类寄存器为内部电路性能控制，如pixelLDO使能，输出电压控制，pad驱动能力等等。7ADCADC（AnalogtoDigitalConverter），模数转换器，把模拟信号转换为二进制的数字信号。如8bit的ADC输出数字码为0~11111111（255）。ADCRange即ADC的有效输入范围

如8bitADCRange=500mv，输入信号大于等于500mv时，转换输出码值为255.在sensor中ADCRange不能大于pixel的最大输出电压，如pixel最大输出电压为400mv，而ADCRange为500mv，显然输出图像最亮的部分都不能到255，会导致图像高亮发粉。当出现adcrange大于pixel最大输出电压时，要么减小adcrange，要么放大pixel信号再做量化。这就是在某些项目中最小增益不是1倍的原因。8Gain增益（gain）分为模拟增益和数字增益模拟增益指在模拟电路中把pixel输出的电信号进行放大，而数字增益指的电信号完成模数转换后，把数字信号进行放大（自动增益主要是调节模拟增益）。把信号放大的作用主要是增加输出图像亮度，而增益越大噪声也会相对更为明显，在实际项目中都需要根据sensor的具体情况确定最大增益和最小增益。增益的寄存器控制：h’10->1倍h’20->2倍~~h’f0->15倍增益调节分为4档1倍到2倍步长1/162倍到4倍步长1/84倍到8倍步长1/48倍到15.5倍步长1/29频率计算PLL频率计算

芯片输入E_clk，通过PLL倍频获得一个很高频率的pll_clk，芯片内部时钟均由pll_clk分频获得，pll_clk的频率由通常由两个寄存器共同配置。P0:0x2fpll_ctrl_buf7~0[6:2]pll_nc[1:0]pll_mc0x10P0:0x34buf_pll_outdiv1~0Pllfrequencydividercontrol00---101---210---411---80x01调试中做降频实验时只需要修改pll_clk即可，内部其它时钟频率会同步随着pll_clk变化而变化，不能单独修改内部其它时钟频率。其中，建议在120M~300M之间!10帧率计算Pclk，指sensor输出数据的频率，不是pll_clk。通常在给出的usb3.0参数文件名中会包括pclk的信息，通常说的sp250860M参数，就是指pclk60M。在代码deviceinfo中请注意填写的频率是否正确。行长是用来计算曝光时间的，关系flicker和帧率问题，请注意行长对应的频率。如sp2508行长1158对应的是内部的dac_clk，如果以pclk计算，则行长为2316，因为所给sp2508参数中pclk频率为dac_clk的两倍。帧率计算方法帧长=有效数据行+vblank行=1225+16=1241行行长=2316，对应pclk60M最大帧率=1/最小帧时间=1/（（2316/60M）*1241）=20.8fps当曝光时间大于1帧时，帧率由曝光时间决定，如果曝光时间为200ms，那么帧率就为5fps。!不要单独更改内部clk频率控制寄存器11flicker交流电照明灯发出的光会以一定频率抖动，导致sensor图像出现行方向的水波纹，称之为flicker。目前主要的交流电频率有50Hz（中国）和60Hz两种。为了避免出现flicker，要求曝光时间大于base值时必须是base的整数倍。如所给参数行长为1158（clk周期个数），对应clk频率为30M，则!当出现flicker时，首先要判断曝光时间是否正确，打印曝光寄存器值，看是否是base的整数倍；如果是base的整数倍，那么就得确认所用的行长和频率是否正确；如果都正确就需要向研发反映，可能sensor功能异常或者是行干扰。12blacklevelBlacklevel简单的说就是黑电平，指在dark下pixel的输出值，这个值可能为正亦可能为负，在正常光照输出时需要减掉blacklevel值。Blacklevel的统计和正常输出时减blacklevel都在芯片内部实现，可通过寄存器调整。Blacklevel值的统计方法有三种，1帧统计，4帧统计，8帧统计。Blacklevel引起的图像抖动

通过开关blacklevel来确认。主要可能是blacklevel不稳，如果是单帧统计改为4帧，8帧统计是否有变化；是否sensor散热不好引起；需要测试ob值的变化。Blacklevel引起的偏色

通过开关blacklevel来确认。Blacklevel统计值偏大会引起暗态偏绿，而统计值偏小会引起暗态偏红。拍照切换

当预览和拍照采用不同参数时，需要注意blacklevel控制寄存器的修改，因为拍照时间很短，不可能有很多帧来统计blacklevel，因此要求把拍照参数中的blacklevel改为1帧统计。13ImageLagImagelag即图像残留，在每个pixel曝光前都需要把上一次曝光产生的信号抹除（复位），然后再进行新一帧图像的曝光。当复位时间太短或者其他原因造成复位不完全，那么下一次的曝光读出就包含了上一帧残留的信号，并且不同亮度区域残留的信号量不同，导致图像反映的信号量及曝光时间不匹配Lag在手机图像上表现：1.晃动时拖影严重，灯管高亮区域拖出绿色2.高亮四周较暗区域图像分层明显，暗区域偏绿14太阳黑子太阳黑子指的是拍照高亮物体时，在高亮区域反而出现黑色的斑点，这是由于光照太强pixel不能有效工作引起的，在sensor中都做相应的校正功能，可以消除该现象。Sp2508太阳黑子校正寄存器1使能，0关闭不同的设置电压如果出现太阳黑子现象，使能寄存器不生效或者使能后出现列噪时，需要反馈到研发做分析。!15Updown/mirrorSensor默认所见即所得，图像显示及人眼看到场景一致。当进行updown或者mirror时，sensor内部pixelarray的输出顺序相应发生变化，第一个输出pixel颜色发生变化，所以position定义需要调整。Updown和mirror在调试中的另一个作用是用来判断行线和列线产生的原因，如果是pixelarray出现问题，那么行线列线会随着updown和mirror位置改变，如果是电路工作timing的问题，行线列线位置一般不会变化。16ColorbarColorbar为芯片内部自测试数据，可以用来判断芯片到平台的数据传输正确性，当出图不正常，颜色异常，偏色，抖动，坏线坏点都应该先看看colorbar是否正常，判断问题出在哪里MIPI也有自己的colorbarDigitalYUVcolorbarDigitalRAWcolorbarMIPIcolorbarSP2508Digitalcolorbar使能寄存器SP2508MIPIcolorbar使能寄存器17尺寸和窗口Sensor通常都支持比自身全尺寸小的各种格式尺寸输出

如sp2508全尺寸输出为1616*1216，就支持720p(1288*728),900p(1288*908),1600HD+(1608*908),2*2binning(808*608)等等输出尺寸，通过寄存器控制选择。默认给出的各尺寸都比标准尺寸大，是为了便于图像的边界处理，有的平台只需要标准尺寸，就需要同时修改数字输出尺寸寄存器和MIPI的输出尺寸寄存器例如之前高通平台认证时要求输出标准尺寸，sp2508全尺寸输出1600*1200；sp5409全尺寸输出2592*1944.18尺寸和窗口19P2:0x37dem_v_start_3msb[2:0]2~0Imageverticalstart3msb0x00P2:0x38dem_v_start_8lsb7~0Imageverticalstart8lsb0x00P2:0x39dem_v_size_3msb[2:0]2~0Imageverticalsize3msb0x04P2:0x3adem_v_size_8lsb7~0Imageverticalsize8lsb0xc0P2:0x3bdem_h_start_3msb[2:0]2~0Imagehorizontalstart3msb0x00P2:0x3cdem_h_start_8lsb7~0Imagehorizontalstart8lsb0x00P2:0x3ddem_h_size_3msb[2:0]2~0Imagehalfhorizontalsize3msb0x03P2:0x3edem_h_size_8lsb7~0Imagehalfhorizontalsize8lsb0x28sp2508数字尺寸控制寄存器Start寄存器从0开始，如减少2行，那么dem_v_start[]=0x02!P1:0x8eh_size_mipi_4msb3~0MIPIcolumnnumber0x06P1:0x8fh_size_mipi_8lsb7~0MIPIcolumnnumber0x50P1:0x90v_size_mipi_3msb2~0MIPIlinenumber0x04P1:0x91v_size_mipi_8lsb7~0MIPIlinenumber0xc0sp2508mipi尺寸控制寄存器注意sp2508和sp5409一样，列尺寸定义寄存器是实际尺寸的一半，例如输出1024列，则dem_h_size寄存器应该写为512，即11‘h200；而行尺寸寄存器应该及实际输出行数一样。如果需要修改start位置，dem_v_start必须为偶数，保证position不变，否则颜色出现错误；dem_h_start没有这个问题。通常尺寸变化不大时可以不修改start寄存器！！！注意2倍关系!!!另外修改输出尺寸寄存器不会改变行长和帧长！！！因此不能提高帧率！！！19Binning目前采用的binning方法就是把同通道相邻四个pixel通过一定的算法相加，合并成一个像素点输出，因此输出行列数均减少一半。采用列ADC结构的sp2508和sp5409binning模式速度较全尺寸快，但不是2倍的关系，这是及原来globalADCsensor有区别的地方。20PLDOPLDO(PixelLDO)是芯片内部稳压电路，为pixelarray供电，可以有效抑制电源干扰和噪声，PLDO输出电压可通过寄存器调节。PLDO的输出电压及电源电压(AVDD)必须保证有一定的压差，如PLDO输出设置为2.7v，那么需要AVDD要不小