摄像头接口分类与基础知识

一、Camera工作原理介绍.结构.工作原理外部光线穿过lens后，经过colorfilter滤波后照射到Sensor面上，Sensor将从lens上传导过来的光线转换为电信号，再通过部的AD转换为数字信号。如果Sensor没有集成DSP,则通过DVP的方式传输到baseband,此时的数据格式是RAWDATA。如果集成了DSP,RAWDATA数据经过AWB、则colormatrix、lensshading、gamma、sharpness、AE和de-noise处理，后输出YUV或者RGB格式的数据。最后会由CPU送到framebuffer中进行显示，这样我们就看到camera拍摄到的景象了。.YUV与YCbCr.一般来说，camera主要是由lens和sensorIC两部分组成，其中有的sensorIC集成了DSP,有的没有集成，但也需要外部DSP处理。细分的来讲，camera设备由下边几部分构成：lens(镜头)一般camera的镜头结构是有几片透镜组成，分有塑胶透镜(Plastic)和玻璃透镜(Glass)，通常镜头结构有：1P,2P,1G1P,1G3P,2G2P,4G等。sensor(图像传感器)Senor是一种半导体芯片，有两种类型：CCD(ChargeCoupledDevice)即电荷耦合器件的缩写和CMOS(ComplementaryMetal-OxideSemiconductor)互补金属氧化物半导体。Sensor将从lens上传导过来的光线转换为电信号，再通过部的AD转换为数字信号。由于Sensor的每个pixel只能感光R光或者B光或者G光，因此每个像素此时存贮的是单色的，我们称之为RAWDATA数据。要想将每个像素的RAWDATA数据还原成三基色，就需要ISP来处理。注：CCD传感器，电荷信号先传送，后放大，再A/D,成像质量灵敏度高、分辨率好、噪声小；处理速度慢；造价高，工艺复杂。CMOS传感器，电荷信号先放大，后A/D,再传送；成像质量灵敏度低、噪声明显；处理速度快；造价低，工艺简单。3）ISP（图像信号处理）主要完成数字图像的处理工作，把sensor采集到的原始数据转换为显示支持的格式。4）CAMIF（camera控制器）芯片上的camera接口电路，对设备进行控制，接收sensor采集的数据交给CPU，并送入LCD进行显示。YUV和RGB一样，是色彩空间中常用的色彩模型之一，两者可以相互转换。YUV中得Y表示亮度，U和V表示色度。与RGB相比，它的优点在于占用更少的空间。YCbCr则是在世界数字组织视频标准研制过程中作为ITU-RBT601建议的一部分，其实是YUV经过缩放和偏移的翻版。其中Y与YUV中的Y含义一致，Cb,Cr同样都指色彩，只是在表示方法上不同而已。在YUV家族中，YCbCr是在计算机系统中应用最多的成员，其应用领域很广泛,JPEG、MPEG均采用此格式。一般人们所讲的YUV大多是指YCbCr。YCbCr有许多取样格式，如4：4：4,4：2：2,4：1：1和4：2：0。二、摄像头接口分类常见类型有MIPI、DVP和usb接口接口DVP总线PCLK极限大约在96M左右，而且走线长度不能过长，所有DVP最大速率最好控制在72M以下，故PCBlayout会较好画。MIPI总线速率随便就几百M,而且是lvds接口耦合，走线必须差分等长，并且注意保护，故对PCB走线以及阻抗控制要求高一点。一般而言，96Mpclk是DVP的极限，曾经在一个team做多摄相头的图象采集设备，DVP总线连接。几个不懂技术的一直push我说是硬件走线干扰啊，拘泥纠缠在什么I2C这种低速控制信号受干扰，还搞了好几天看示波器，被烦的不行，我用一个晚上时间改驱动降低PCLK降桢率搞定。1）DVP是并口，需要PCLK、VSYNC、HSYNC、D[0：11]——可以是8/10/12bit数据，看ISP或baseband是否支持；MIPI是LVDS（LowVoltageDifferentialSignaling,低电压差分信号），低压差分串口。只需要要CLKP/N、DATAP/N——最大支持4-lane,一般2-lane可以搞定。2）MIPI接口比DVP的接口信号线少，由于是低压差分信号，产生的干扰小，抗干扰能力也强。最重要的是DVP接口在信号完整性方面受限制，速率也受限制。500W还可以勉强用DVP,800W及以上都采用MIPI接口。/*************************************************************************************************/注（液晶屏接口类型）：Mipi接口和LVDS接口主要区别（这里是液晶屏接口类型）：LVDS接口只用于传输视频数据，MIPIDSI不仅能够传输视频数据，还能传输控制指令；LVDS接口主要是将RGBTTL信号按照SPWG/JEIDA格式转换成LVDS信号进行传输，MIPIDSI接口则按照特定的握手顺序和指令规则传输屏幕控制所需的视频数据和控制数据。液晶屏有RGBTTL、LVDS、MIPIDSI接口，这些接口区别于信号的类型（种类），也区别于信号容。RGBTTL接口信号类型是TTL电平，信号的容是RGB666或者RGB888还有行场同步和时钟；LVDS接口信号类型是LVDS信号（低电压差分对），信号的容是RGB数据还有行场同步和时钟；MIPIDSI接口信号类型是LVDS信号，信号的容是视频流数据和控制指令。/***********************************************************************************************************/串口信号：串行接口（SerialInterface）是指数据一位位地顺序传送，其特点是通信线路简单，只要一对传输线就可以实现双向通信，并可以利用线，从而大大降低了成本，特别适用于远距离通信，但传送速度较慢。串行接口，一条信息的各位数据被逐位按顺序传送的通讯方式称为串行通讯。串行通讯的特点是：数据位传送，传按位顺序进行，最少只需一根传输线即可完成；成本低但传送速度慢。串行通讯的距离可以从几米到几千米;根据信息的传送方向，串行通讯可以进一步分为单工、半双工和全双工三种。串行通讯的特点是：数据位的传送，按位顺序进行。并口信号：并行接口，指采用并行传输方式来传输数据的接口标准。从最简单的一个并行数据寄存器或专用接口集成电路芯片如8255、6820等，一直至较复杂的SCSI或IDE并行接口，种类有数十种。一个并行接口的接口特性可以从两个方面加以描述：1.以并行方式传输的数据通道的宽度，也称接口传输的位数；2.用于协调并行数据传输的额外接口控制线或称交互信号的特性。数据的宽度可以从1〜128位或者更宽，最常用的是8位，可通过接口一次传送8个数据位。在计算机领域最常用的并行接口是通常所说的LPT接口。并口就是8个车道同一时刻能传送8位（一个字节）数据。并不是说并口快，由于8位通道之间的互相干扰（串扰），传输时速度就受到了限制，传输容易出错。串口没有互相干扰。差分信号：（差模信号：双端输入时，两个信号的相位相差180度）所谓差分方式传输，就是发送端在两条信号线上传输的幅值是相等的，相位是相反的电信号，如下图所示：+S12U31jLogicChangesState图+S12U31jLogicChangesState图l当差分信”•曲线交叉时逻辑状态在该点发牛.改变而对于接收端，将会对接收的两条信号做减法运算，这样就获得了幅值翻倍的信号，其抗干扰原理是：假如两条信号都收到同样的（同向、等幅度）的干扰信号，由于接收端是怼接收的两条线信号进行减法处理，因此干扰信号会被基本抵消。也就是说，一个差分放大器的输入有效信号幅度只需要几毫伏，但是它却能够对一个高达几伏特的共模信号无动于衷。那么怎么样才能保证两条信号线受到的干扰信号尽量是同相、等幅呢？办法之一就是要将那两根线扭在一起，也就是所谓的“双绞线”，因为有一个电磁学定理：可以近似的认为双绞线收到的干扰信号是同相、等幅度的，所以差分信号在信号传输中用的比较多，也就有原因了。因为抗干扰性强。对于PCB工程师来说，最关注的还是如何确保在实际走线中能完全发挥差分走线的这些优势。也许只要是接触过Layout的人都会了解差分走线的一般要求，那就是“等长、等距”。等长是为了保证两个差分信号时刻保持相反极性，减少共模分量；等距则主要是为了保证两者差分阻抗一致，减少反射。“尽量靠近原则”有时候也是差分走线的要求之一。三、MIPI联盟的MIPIDSI规MIPI(移动行业处理器接口)是MobileIndustryProcessorInterface的缩写。1、名词解释DCS(DisplayCommandSet)：DCS是一个标准化的命令集，用于命令模式的显示模组。DSI,CSI(DisplaySerialInterface,CameraSerialInterface)DSI定义了一个位于处理器和显示模组之间的高速串行接口。CSI定义了一个位于处理器和摄像模组之间的高速串行接口。D-PHY：提供DSI和CSI的物理层定义2、DSI分层结构DSI分四层，对应D-PHY、DSI、DCS规、分层结构图如下：PHY定义了传输媒介，输入/输出电路和和时钟和信号机制。LaneManagement层：发送和收集数据流到每条lane。LowLevelProtocol层：定义了如何组帧和解析以及错误检测等。Application层：描述高层编码和解析数据流。

ApplicationProcessorPeripheralApplicationconirolPiseltoBytePackingFormatsCcHiTiiTiandGeiraration>Inte/pretationApplicationData.ccniiDig悟QMWLowLevelProto-CdilApplicationProcessorPeripheralApplicationconirolPiseltoBytePackingFormatsCcHiTiiTiandGeiraration>Inte/pretationApplicationData.ccniiDig悟QMWLowLevelProto-CdilDataConlrolPackelBasedPTotooolECCandChecksumGenerationanrdTestingGOntFDlLowLevelPiroTocolData.C-omtroi>DSIspecLaneDlsirtxiUoniandNeigrgLaineManagementOoriaConlrolPHYLa^rStart0(PacKetFEndofPactetSereii£er/Desenau-erClockManagement[DDRjEiectrisiLayer<5LV3.)口血ConiiDlFHYLay^r}D-PHYspecLane0-HighSpeedData(optionaltyBidireEUonalinLFMode)LaneN-HinhSiwedUnidireclbonalDena3、Command和Video模式DSI兼容的外设支持Command或Video操作模式，用哪个模式由外设的构架决定Command模式是指采用发送命令和数据到具有显示缓存的控制器。主机通过命令间接的控制外设。Command模式采用双向接口Video模式是指从主机传输到外设采用时实象素流。这种模式只能以高速传输。为减少复杂性和节约成本，只采用Video模式的系统可能只有一个单向数据路径四、D-PHY介绍1、D-PHY描述了一同步、高速、低功耗、低代价的PHY。•一个PHY配置包括一个时钟lane一个或多个数据lane两个Lane的PHY配置如下图

ClxkMuKiplierUnitPHYAPPI-AhatractedPHY-PmlocfllInleiface(co*TTpletePHY,allLanes)PPI=PHYPratflcdInterface(perLane90rM印gnClxkMuKiplierUnitPHYAPPI-AhatractedPHY-PmlocfllInleiface(co*TTpletePHY,allLanes)PPI=PHYPratflcdInterface(perLane90rM印gn白旧canbe曲aredwithmuilipleLanes)D-PHYMasterDataLansModLieD-PHYMasterDataLaneLloddeD-PHYMasterClockLaneModuleMasterSideSlaveSide•三个主要的lane的类型单向时钟Lane单向数据Lane双向数据LaneD-PHY的传输模式低功耗（Low-Power）信号模式（用于控制）：10MHz（max）高速（High-Speed）信号模式（用于高速数据传输）：80Mbps~1Gbps/Lane•D-PHY低层协议规定最小数据单位是一个字节•发送数据时必须低位在前，高位在后•D-PHY适用于移动应用•DSI：显示串行接口•一个时钟lane,一个或多个数据lane•CSI：摄像串行接口2、Lane模块PHY由D-PHY（Lane模块）组成D-PHY可能包含：低功耗发送器（LP-TX）低功耗接收器（LP-RX）高速发送器（HS-TX）高速接收器（HS-RX）低功耗竞争检测器（LP-CD）三个主要lane类型•单向时钟LaneMaster：HS-TX,LP-TXSlave：HS-RX,LP-RX•单向数据LaneMaster：HS-TX,LP-TXSlave：HS-RX,LP-RX•双向数据Lane•Master,Slave：HS-TX,LP-TX,HS-RX,LP-RX,LP-CD3、Lane状态和电压•Lane状态LP-00,LP-01,LP-10,LP-11(单端)HS-0,HS-1(差分)Lane电压(典型)LP：0-1.2VHS：100-300mV(200mV)4、操作模式数据Lane的三种操作模式Escapemode,High-Speed(Burst)mode,Controlmode•从控制模式的停止状态开始的可能事件有：Escapemoderequest(LP-11^LP-10^LP-00^LP-01^LP-00)High-Speedmoderequest(LP-11^LP-01^LP-00)Turnaroundrequest(LP-11^LP-10^LP-00^LP-10^LP-00)•Escapemode是数据Lane在LP状态下的一种特殊操作在这种模式下，可以进入一些额外的功能：LPDT,ULPS,Trigger数据Lane进入Escapemode模式通过LP-11^LP-10^LP-00^LP-01^LP-00一旦进入Escapemode模式，发送端必须发送1个8-bit的命令来响应请求的动作Escapemode使用Spaced-One-HotEncoding•超低功耗状态(Ultra-LowPowerState)•这个状态下，lines处于空状态(LP-00)•时钟Lane的超低功耗状态•时钟Lane通过LP-nfLPT0fLP-00进入ULPS状态•通过LP-10fTWAKEUPfLP-11退出这种状态，最小TWAKEUP时间为1ms•高速数据传输发送高速串行数据的行为称为高速数据传输或触发(burst)全部Lanes门同步开始，结束的时间可能不同。时钟应该处于高速模式•各模操作式下的传输过程进入Escape模式的过程：LPT1-LPT0-LP-00-LP-01-LP-00-EntryCode一LPD(10MHz)退出Escape模式的过程：LP—10-LP—11进入高速模式的过程：LP-n-LP-01-LP-00-SoT(000ni01)-HSD(80Mbps~IGbps)退出高速模式的过程：EoT-LPT1控制模式-BTA传输过程：LPT1-LPT0-LP-00-LPT0-LP-00控制模式-BTA接收过程：LP-00-LP-10-LPT1•状态转换关系图MasterLP-IOHSTTriggerLPOOLP-I1HSTTurnaroundLP-00>10>OC>10TurnaroundHS-PrprLP-DOHS-RqstLP-O1MasterLP-IOHSTTriggerLPOOLP-I1HSTTurnaroundLP-00>10>OC>10TurnaroundHS-PrprLP-DOHS-RqstLP-O1WaitLPDT、Slave)ZTriggerXEscapel/TulpZMode五、DSI介绍1、DSI是一种Lane可扩展的接口，1个时钟Lane/1—4个数据LaneDSI兼容的外设支持1个或2个基本的操作模式：CommandMode(类似于MPU接口)VideoMode(类似于RGB接口)-必须用高速模式传输数据，支持3种格式的数

据传输据传输Non-Burst同步脉冲模式Non-Burst同步事件模式Burst模式•传输模式：•高速信号模式（High-Speedsignalingmode）•低功耗信号模式（Low-Powersignalingmode）-只使用数据lane0（时钟是由DP，DN异或而来）。•帧类型•短帧：4bytes（固定）•长帧：6〜65541bytes（可变）•两个数据Lane高速传输示例•两个数据Lane高速传输示例KEY:LPS-iBvteM-51Bvtehl-3.1XEoT2、短帧结构•帧头部（4个字节）数据标识（DI）1个字节帧数据-2个字节（长度固定为2个字节）错误检测（ECC）1个字节•帧大小•长度固定为4个字节3、长帧结构帧头部（4个字节）数据标识（DI）1个字节数据计数-2个字节（数据填充的个数）错误检测（ECC）1个字节数据填充（0~65535字节）•长度=WC*字节•帧尾：校验和（2个字节）•帧大小：•4+（0~65535）+2=6~65541字节4、帧数据类型□ataType,Des-criptioiiPacketSizeDCSVDPKTGNPKT(hesj(biiidiyl□1hODODQ1SyncEventV5yncStartShortC11h010D01SyncEvent.VSyncEndShorta21h1D0DQ1SyncEventHSyncStartShortD31h110DQ1SyncEventHSyncEndShort□D®hOD-1D0DEndofTransmissionPacketShortacOD2hOD0D10ColorMade(CMiQffCommaidShorta12h010D10ColorMode(CMiOnComiriaidShort□E1D0D10ShutDownP-eripheralCommandShort032h11DD1DTumOnPeripheralCommandShortcD3hOD0D11GenericShortWRITE,nopanmetersShortMW13rl010D11GeneriGShortWRITEn1paraTieterShorto23rl1D0D11GenericShortWRITEn2parsTieterEShortoD4h0D01QDGenericREAD,noparametersShortMW14h01(H口口GenericREA1pansmeterShorto24h100100GenericREAD,2parametersShortoD5hOD0101DCSUIR.ITE.noparametersShortaoo0101Q1DCSWRITE,1paranneterShortoaoD6hOD011DDCSREAD,noparanneterBShort□ao37h11DiliSetMaximumReturnPacketSize-SherioooDShOD1DQ1NullPacket,nomtnLongoco19h01仙口1BlankingPack&t,nodataLengo2Sti101I0D1GenericLongWriteLongo3Sh111001DCSLongWrite/Write_LUTCommaidPacketLongocoOEh0D_111DPacketPi)celStream,1St»itRGBS-6-5Format(Supportfor1and2datalanesmode)Liongc1Eh01_111DPacketPixelStream,18bitRGB6-6-6Format(Supportfor1and2dotalanesmodejiLonga2Eh1D_111DPsck&tPi^elStresnn,IBbitRGBLoosely6-6-6Format(Supportftr1and2datalanesmode)Longa3Eh11111DPatk?dPixel3^3171,24-bitF.GB,B-8-&Format(Supportfor1,2and3datalanesmode)L-cngQitOh&Fh,xxODDOXX1111DONOTUSEAllunspeci