手机摄像头工作原理-软件培训课件

Camera工作原理作者：黄平礼日期：2019.01.04Camera工作原理作者：黄平礼1一、cameramodule主要组成部分二、camera工作原理原理介绍三、camera在MT6229平台上的工作原理介绍一、cameramodule主要组成部分2一、cameramodule主要组成部分Cameramodule主要的组成部分由：lens和SensorIC，其中有些SensorIC是集成了DSP，有些是没有集成DSP，没有集成DSP的module需要外部外挂DSP。一、cameramodule主要组成部分Cameramo31、镜头（LENS）镜头是仅次于CMOS芯片影响画质的第二要素，其组成是透镜结构，由几片透镜组成，一般可分为塑胶透镜（plastic）或玻璃透镜（glass）。当然，所谓塑胶透镜也非纯粹塑料，而是树脂镜片，当然其透光率感光性之类的光学指标是比不上镀膜镜片的。通常摄像头用的镜头构造有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透镜越多，成本越高，相对成像效果会更出色；而玻璃透镜又比树脂贵。因此一个品质好的摄像头应该是采用多层玻璃镜头！现在市场上的多数摄像头产品为了降低成本，一般会采用廉价的塑胶镜头或一玻一塑镜头（即：1P、2P、1G1P、1G2P等），对成像质量有很大影响！1、镜头（LENS）42、SensorIC在摄像头的主要组件中，最重要的个人认为就是图像传感器了，因为感光器件对成像质量的重要性不言而喻。Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。由于Sensor的每个pixel只能感光R光或者B光或者G光，因此每个像素此时存贮的是单色的，我们称之为RAWDATA数据。要想将每个像素的RAWDATA数据还原成三基色，就需要ISP来处理。2、SensorIC53、数字信号处理芯片DSPDSP结构框架:(1).ISP（imagesignalprocessor）（镜像信号处理器）(2).JPEGencoder（JPEG图像解码器）ISP的性能强大是决定影像流畅的关键，JPEGencoder的性能也是关键指标之一。而JPEGencoder又分为硬件JPEG压缩方式，和软件RGB压缩方式。

DSP控制芯片的作用是：将感光芯片获取的数据及时快速地传到baseband中并刷新感光芯片，因此控制芯片的好坏，直接决定画面品质（比如色彩饱和度、清晰度）与流畅度。3、数字信号处理芯片DSP6二、camera工作原理原理介绍1、Sensor内部工作原理2、DVP传输方式介绍3、Camera在MT6229平台上的工作原理二、camera工作原理原理介绍1、Sensor内部工作原理71、Sensor内部工作原理外部光线穿过lens后，经过colorfilter滤波后照射到Sensor面上，Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。如果Sensor没有集成DSP，则通过DVP的方式传输到baseband，此时的数据格式是RAWRGB。1、Sensor内部工作原理8如果集成了DSP，则RAWDATA数据经过AWB、colormatrix、lensshading、gamma、sharpness、AE和de-noise处理，后输出YUV或者RGB格式的数据。如果集成了DSP，则RAWDATA数据经过AWB、col92、DVP传输方式介绍DVP分为三个部分：1）输出总线；2）输入总线；3）电源总线。如下图：2、DVP传输方式介绍DVP分为三个部分：101)输入总线介绍a、PWD为camera的使能管脚。当camera处于PWD模式时，一切对camera的操作都是无效的。因此，在RESET之前，一定要将PWD管脚置为normal模式。b、RESET为camera的复位管脚。此方式为硬复位模式，一般管脚置为低，camera处于硬复位状态，camera的各个IO口恢复到出厂默认状态。只有在XCLK开启后，将RESET置为低，硬复位才有效，否则复位无效。c、XCLK为camera工作时钟管脚。此管脚为BB提供camera的工作时钟。d、I2C为camera与BB通信管脚。BB与camera的通信总线。1)输入总线介绍112)输出总线介绍a、data为camera的数据管脚。此数据脚可以输出的格式有YUV、RGB、JPEG。b、VSYNC为camera的帧同步信号管脚。一个VYSNC信号结束表示一帧（即一个画面）的数据已经输出完毕。c、HSYNC为camera行同步信号管脚。一个HSYNC信号结束表示一行的数据已经输出完毕。d、PCLK为像素同步信号管脚。一个PCLK信号结束表示一个数据已经输出完毕。2)输出总线介绍12Data、PCLK、V_sync、H_sync的关系如下：Data、PCLK、V_sync、H_sync的关系如下：133)Power线介绍a、AVDD为camera的模拟电压。b、DOVDD为camera的GPIO口数字电压。c、DVDD为camera的核工作电压。

一般来说，要求先提供sensor的GPIO口电压，接着提供模拟电压，最后提供工作电压。时序如下图：3)Power线介绍14三、camera在MT6229平台上的工作原理介绍MT6229是支持RAWRGBCamera的一个平台。因此Cameramodule可以选择不带ISP的Sensor。其主要结构是Cameramodule+MTKDSP三、camera在MT6229平台上的工作原理介绍MT62215MTKDSP包括ISP、IMAGEDMA、IPP及RESIZE，其中ISP分为TG、lens/sensorcompensation、colorprocess三个单元。TG为时钟接收器，负责从camera接受数据，lens/sensorcompensation只将RAWRGB数据转为RGB565，其他格式不做处理，colorprocess将RGB565/YUV422转为YCbCr888。ISP部分这里不做详述，后面的效果调试将做详细描述，重点对IMAGEDMA及RESIZE做详细的描述。

MTKDSP包括ISP、IMAGEDMA、IPP161）RESIZE分为：DRZ、PRZ。DRZ即dropresize，负责列与行的压缩，中间格式不变。PRZ即postresize，分为两个部分：粗略压缩与精细压缩。粗略压缩即简单的按照比例压缩，例如1，1/4，1/16，1/64；精细压缩即对列于行进行压缩，中间先是将YUV444转为YUV420，这样提高了压缩速度。

1）RESIZE分为：DRZ、PRZ。17

2）IPP分为IPP1,IPP2,IPP3。IPP的作用是将YUV转换为RGB，如下图：2）IPP分为IPP1,IPP2,IPP3。IPP的18

3）IMAGEDMA包括JPEGDMA、VIDEODMA、IBW1/2/3/4DMA、IBR1/2DMA

3）IMAGEDMA包括JPEGDMA、VIDEO19JPEGencodeDMA主要负责将YUV444数据按照8X8模块，压缩为YUV422/420,如果数据最后一个模块不是8X8，则用0补齐。然后将YUV422/420传送到JPEGENCODE.imagebufferwrite1主要负责将数据从IPP2传输到Thumbnailbuffer；imagebufferwrite2主要负责将数据从IPP1传输到memory或LCDbuffer。imagebufferwrite3主要负责将RGB888/YUV444传送到DRZ.imagebufferwrite4主要负责将RGB888/YUV444传送到PRZ.imagebufferread1主要负责将数据RGB565/RGB888/BGR888从memory传输到IPP3.imagebufferread2主要负责从memory读取phoneframe，经过压缩、转化后叠加到CRZbuffer上。

JPEGencodeDMA主要负责将YUV44420CamerapreviewIMAGEDMApath：CamerapreviewIMAGEDMApath：21CameracaptureIMAGEDMApath：CameracaptureIMAGEDMApath：22Camera工作原理作者：黄平礼日期：2019.01.04Camera工作原理作者：黄平礼23一、cameramodule主要组成部分二、camera工作原理原理介绍三、camera在MT6229平台上的工作原理介绍一、cameramodule主要组成部分24一、cameramodule主要组成部分Cameramodule主要的组成部分由：lens和SensorIC，其中有些SensorIC是集成了DSP，有些是没有集成DSP，没有集成DSP的module需要外部外挂DSP。一、cameramodule主要组成部分Cameramo251、镜头（LENS）镜头是仅次于CMOS芯片影响画质的第二要素，其组成是透镜结构，由几片透镜组成，一般可分为塑胶透镜（plastic）或玻璃透镜（glass）。当然，所谓塑胶透镜也非纯粹塑料，而是树脂镜片，当然其透光率感光性之类的光学指标是比不上镀膜镜片的。通常摄像头用的镜头构造有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透镜越多，成本越高，相对成像效果会更出色；而玻璃透镜又比树脂贵。因此一个品质好的摄像头应该是采用多层玻璃镜头！现在市场上的多数摄像头产品为了降低成本，一般会采用廉价的塑胶镜头或一玻一塑镜头（即：1P、2P、1G1P、1G2P等），对成像质量有很大影响！1、镜头（LENS）262、SensorIC在摄像头的主要组件中，最重要的个人认为就是图像传感器了，因为感光器件对成像质量的重要性不言而喻。Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。由于Sensor的每个pixel只能感光R光或者B光或者G光，因此每个像素此时存贮的是单色的，我们称之为RAWDATA数据。要想将每个像素的RAWDATA数据还原成三基色，就需要ISP来处理。2、SensorIC273、数字信号处理芯片DSPDSP结构框架:(1).ISP（imagesignalprocessor）（镜像信号处理器）(2).JPEGencoder（JPEG图像解码器）ISP的性能强大是决定影像流畅的关键，JPEGencoder的性能也是关键指标之一。而JPEGencoder又分为硬件JPEG压缩方式，和软件RGB压缩方式。

DSP控制芯片的作用是：将感光芯片获取的数据及时快速地传到baseband中并刷新感光芯片，因此控制芯片的好坏，直接决定画面品质（比如色彩饱和度、清晰度）与流畅度。3、数字信号处理芯片DSP28二、camera工作原理原理介绍1、Sensor内部工作原理2、DVP传输方式介绍3、Camera在MT6229平台上的工作原理二、camera工作原理原理介绍1、Sensor内部工作原理291、Sensor内部工作原理外部光线穿过lens后，经过colorfilter滤波后照射到Sensor面上，Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。如果Sensor没有集成DSP，则通过DVP的方式传输到baseband，此时的数据格式是RAWRGB。1、Sensor内部工作原理30如果集成了DSP，则RAWDATA数据经过AWB、colormatrix、lensshading、gamma、sharpness、AE和de-noise处理，后输出YUV或者RGB格式的数据。如果集成了DSP，则RAWDATA数据经过AWB、col312、DVP传输方式介绍DVP分为三个部分：1）输出总线；2）输入总线；3）电源总线。如下图：2、DVP传输方式介绍DVP分为三个部分：321)输入总线介绍a、PWD为camera的使能管脚。当camera处于PWD模式时，一切对camera的操作都是无效的。因此，在RESET之前，一定要将PWD管脚置为normal模式。b、RESET为camera的复位管脚。此方式为硬复位模式，一般管脚置为低，camera处于硬复位状态，camera的各个IO口恢复到出厂默认状态。只有在XCLK开启后，将RESET置为低，硬复位才有效，否则复位无效。c、XCLK为camera工作时钟管脚。此管脚为BB提供camera的工作时钟。d、I2C为camera与BB通信管脚。BB与camera的通信总线。1)输入总线介绍332)输出总线介绍a、data为camera的数据管脚。此数据脚可以输出的格式有YUV、RGB、JPEG。b、VSYNC为camera的帧同步信号管脚。一个VYSNC信号结束表示一帧（即一个画面）的数据已经输出完毕。c、HSYNC为camera行同步信号管脚。一个HSYNC信号结束表示一行的数据已经输出完毕。d、PCLK为像素同步信号管脚。一个PCLK信号结束表示一个数据已经输出完毕。2)输出总线介绍34Data、PCLK、V_sync、H_sync的关系如下：Data、PCLK、V_sync、H_sync的关系如下：353)Power线介绍a、AVDD为camera的模拟电压。b、DOVDD为camera的GPIO口数字电压。c、DVDD为camera的核工作电压。

一般来说，要求先提供sensor的GPIO口电压，接着提供模拟电压，最后提供工作电压。时序如下图：3)Power线介绍36三、camera在MT6229平台上的工作原理介绍MT6229是支持RAWRGBCamera的一个平台。因此Cameramodule可以选择不带ISP的Sensor。其主要结构是Cameramodule+MTKDSP三、camera在MT6229平台上的工作原理介绍MT62237MTKDSP包括ISP、IMAGEDMA、IPP及RESIZE，其中ISP分为TG、lens/sensorcompensation、colorprocess三个单元。TG为时钟接收器，负责从camera接受数据，lens/sensorcompensation只将RAWRGB数据转为RGB565，其他格式不做处理，colorprocess将RGB565/YUV422转为YCbCr888。ISP部分这里不做详述，后面的效果调试将做详细描述，重点对IMAGEDMA及RESIZE做详细的描述。

MTKDSP包括ISP、IMAGEDMA、IPP381）RESIZE分为：DRZ、PRZ。DRZ即dropresize，负责列与行的压缩，中间格式不变。PRZ即postresize，分为两个部分：粗略压缩与精细压缩。粗略压缩即简单的按照比例压缩，例如1，1/4，1/16，1/64；精细压缩即对列于行进行压缩，中间先是将YUV444转为YUV420，这样提高了压缩速度。

1）RESIZE分为：DRZ、PRZ。39

2）IPP分为IPP1,IPP2,IPP3。IPP的作用是将YUV转换为RGB，如下