手机摄像头工作原理-软件培训教材

C

amera

工

作

原

理作者：黄平礼日期：2011.01.04一

、cameramodule主

要

组

成

部

分二、

camera

工作原理原理介绍三、

camera在MT6229平台上的工作原理介绍一

、cameramodule主

要

组

成

部

分Cameramodule主要的组成部分由：

lens和SensorIC,其中

有些SensorIC

是集成了DSP,有些是没有集成DSP,

没有集成

DSP的module

需要外部外挂DSP。1、

镜

头

(LENS)镜头是仅次于CMOS

芯片影响画质的第二要素，其组成是透镜结构，

由几

片透镜组成，

一般可分为塑胶透镜(plastic)或玻璃透镜

(glass)

。

当然，所谓塑胶透镜也非纯粹塑料，而是树脂镜片，当然其透光率感光性之类的光学指标是比不上镀膜镜片的。通常摄像头用的镜头构造有：

1P、2P、1G1P、1G2P、2G2P、2G3P、4G、

5G

等。透镜越多，成本越高，相对成像效果会更出色；而玻璃透镜又比树

脂贵。因此一个品质好的摄像头应该是采用多层玻璃镜头!现在市场上的多数摄像头产品为了降低成本，

一般会采用廉价的塑胶镜头或一玻一塑镜头(即：1P

、2P

、1G1P

、1G2P

等),对成像质量有很大影响!默电架工

3P2P1P飞展2

、SensorIC在摄像头的主要组件中，最重要的个人认为就是图像传感器了，因为感光

器件对成像质量的重要性不言而喻。Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换为

数字信号。由于Sensor的每个pixel只能感光R光或者B光或者G

光，因此每

个像素此时存贮的是单色的，我们称之为RAW

DATA数据。要想将每个像

素的RAW

DATA数据还原成三基色，就需要ISP来处理。3、

数字信号处理芯片DSPDSP

结构框架：(1).ISP(image

signal

processor)(镜像信号处理器)(2).JPEG

encoder(JPEG图像解码器)ISP的性能强大是决定影像流畅的关键，

JPEG

encoder的性能也是关键指标之一。而JPEG

encoder又分为硬件JPEG压缩方式，和软件RGB

压缩方式。DSP

控制芯片的作用是：将感光芯片获取的数据及时快速地传到baseband

中并刷新感光芯片，因此控制芯片的好坏，直接决定画面品质(比如色彩饱和度、清晰度)与流畅度。二、

camera

工作原理原理介绍1

、Sensor

内部

工

作

原

理2、DVP传输方式介绍3、Camera在MT6229平台上的工作原理1、Sensor

内部工作原理外部光线穿过lens后，经过colorfilter滤波后照射到Sensor

面上，Sensor将从lens上传导过来的光线转换为电信号，再通过内部的DA转换

为数字信号。如果Sensor没有集成DSP,

则通过DVP

的方式传输到baseband,此时的数据格式是RAW

RGB。colourimagesensorimagingcolour

filterarray

arrayilluminationlensp

tee

nnoisecorrectionafirecoveryenginenoisereductionantialiasinterpolationanti-vignettespetial

-distortionblacklevelscalingpeakingcontrolencodingscene如果集成了DSP,

则RAW

DATA

数据经过AWB、color

matrix、lensshading、gamma、sharpness、AE和de-noise处理，后输出YUV或者

RGB格式的数据。0V2665PLLtiminggeneratorSCCBslaveinterfaceMIPIcontrolinterfacedigital

gain10-bit

RAW音formatterFIFODVPMIPIimagesensorcorecolumnD[90]MCN

MCP

MDN

MDPandsystemcontrol

logic50/60Hz

autodetectioncontrolregister

bankimagesensorprocessarimage

outputsample/hold10-bitA/DRaincontrolimage

arrayinterfacecalibrationrowselectexterndblacklevelAmePWDN-H

天→NOWinutXVCLK-STROBERESETB0.0152665-D⁵2-SIOCVSYNCMDP-XDdMCNMCPsensor王2、DVP传输方式介绍DVP分为三个部分：1)输出总线；2)输入总线；3)电源总线。如下图：PDNRESETXCLKI2C(SCK,SDA)DataVSYNCHSYNCPCLK—2.8V—2.8V—1.8V/1.5V/1.3VAVDDDOVDDVSYNCHSYNCSCLKSDATAXCLKPCLKPWDNRESETDATA8

or

10HWOutputInputPowerAVDDDOVDD

DVDDInterfaceBB

ISPnsor1)输入总线介绍a、PWD

为camera的使能管脚。当camera处于PWD

模式时，一切对camera

的操作都是无效的。因此，在RESET之前，一定要将PWD管脚置

为normal模式。b、RESET

为camera的复位管脚。此方式为硬复位模式，

一般管脚置为低，camera

处于硬复位状态，camera

的各个IO口恢复到出厂默认状

态。只有在XCLK开启后，将RESET置为低，硬复位才有效，否则复位无效。c、XCLK为camera工作时钟管脚。此管脚为BB

提供camera的工作时钟。d、I2C

为camera与BB通信管脚。BB与camera的通信总线。2)输出总线介绍a、data为camera

的数据管脚。此数据脚可以输出的格式有YUV、

RGB、JPEG。b

、VSYNC为camera

的帧同步信号管脚。

一个VYSNC信号结束表示一

帧(即一个画面)的数据已经输出完毕。c、HSYNC

为camera

行同步信号管脚。

一个HSYNC

信号结束表示一行

的数据已经输出完毕。d、PCLK为像素同步信号管脚。

一个PCLK信号结束表示一个数据已经输出完毕。3ukS~HHspko

surlɔuKS~A3μɔAɔ3EIH业呼瓷关明

s-H

s~A`IdU

mIo:6

人XID3)Power

线介绍a

、AVDD为camera

的模拟电压。b、DOVDD

为camera的GPIO口数字电压。c、DVDD

为camera的核工作电压。一般来说，要求先提供sensor

的GPIO口电压，接着提供模拟电压，

最后提供工作电压。时序如下图：tOt3DOVDDAVDDDVDD三、

camera

在MT6229平台上的工作原理介绍MT6229

是支持RAW

RGB

Camera的一个平台。因此Camera

module

可以选择不带ISP

的Sensor

。其主要结构是Camera

module+MTK

DSPGRABBED

AREATGSensorRAWRGBMTKDSPLens/SensorCompensatiorISPResizerYUV444CAMERAColorProcessIIAGE

DIAStatisticMTKDSP

包括ISP、IMAGEDMA、IPP及RESIZE,

其中ISP分为TG、lens/sensor

compensation、color

process三个单元。TG为时钟接收器，负责从camera接受数据，

lens/sensorcompensation

只将RAWRGB数据转为RGB565,

其他格式不做处理，

colorprocess将RGB565/YUV422转为YCbCr888

。ISP部分这里不做详述，后面的效果调试将做详细描述，重点对IMAGEDMA及RESIZE做详细的描述。1)RESIZE分为：

DRZ、PRZ。DRZ即drop

resize,

负责列与行的压缩，中间格式不变。PRZ

即postresize,分为两个部分：粗略压缩与精细压缩。粗略压缩即简单的按照比例压缩，例如1,1/4,1/16,1/64;精细压

缩即对列于行进行压缩，中间先是将YUV444

转为YUV420,

这样提

高了压缩速度。RSZDRZPRZIVLAGEDAMPATAIP:P+RAW2)IPP分为IPP1,IPP2,IPP3

。IPP的作用是将YUV转换为RGB,如下图：DropRESZPostRESZ

MemoryIMGDMAGIF

DecPNG_DecIPP2IPP1IPP3YUVYuVRGB”RGBIMGDMARGBrov▶

PostRESZBy

Pkel

YUV444ResizerBy

PixeYYuvf⁴3)IMAGE

DMA包括JPEG

DMA

、VIDEO

DMA

、IBW1/2/3/4DMA

、IBR1/2

DMA得

津

漏Image

Process

EngineBy

PixelRGBBBBD

IPEG

EhcoderBy

BlockDMAVideoBuffer(YUV420)LCD

IFDCImage

DMA4B/1BW4ByPixe

By

PixelLCDFrameBuffer(RGB

505/RGBB⁸B]e(YBUu

f4e

2.YUv420)EncodJPEGImage(RBGu

fe5r85/

RGB

888/BGR

888]Image(R

5/RGB888)6r5eBffGBuBy

Pxel

By

PkelBy

PikelLineJPEG

encode

DMA主要负责将YUV444数据按照8X8模块，压缩为YUV422/420,

如果数据最后一个模块不是8X8,则用

0补齐。然后将YUV422/420传送到JPEG

ENCODE.image

buffer

write

1主要负责将数据从IPP2传输到Thumbnailbuffer;image

buffer

write2主要负责将数据从IPP1传输到memory或LCD

buffer。image

buffer

wtite3主要负责将RGB888/YUV444传送到DRZ.

image

buffer

wtite4主要负责将RGB888/YUV444传送到PRZ.

image

buffer

read

1

主要负责将数据RGB565/RGB888/BGR888从memory传输到IPP3.image

buffer

read2主要负责从memory读取phone

frame,

经

过压缩、转化后叠加到CRZ

buffer上。Icon/Menuframe

buffer88LCMRGB565lmageframebuffer8

RGB565LCDInterfaceCamerapreviewIMAGEDMApath:IBR2/OVL3YUV444IBW43Overlay

framebufferTV-output

framebuf