毕业设计（论文）-基于CMOS图像传感器的数字影像系统.doc

基于 cmos 图像传感器的数字影像系统中文摘要 i 基于 cmos 图像传感器的数字影像系统 中文摘要 cmos 图像传感器是一种基于 cmos 工艺的技术，在近十年来得到了迅猛的发 展，作为影像采集系统的开发潜能日益呈现，它将图像像敏逻辑阵列、a/d 转换、 时序控制逻辑、行驱动器等几部分集成于同一个晶片上，与传统的 ccd 图像传感器 相比，有着功耗低、集成度高、成本低等种种优点，因此，在民用、医疗、工业监 控、航空航天等诸多领域都发挥着举足轻重的作用。所以，对 cmos 图像传感器影 像系统的开发设计研究，有着深远的意义。dsp 作为高速的数字信号处理器，可以 优秀的与 cmos 图像处理器配合开发出高速度、高质量的影像采集处理系统，本文 主要针对 cmos 图像传感器的原理和特点，通过对一款高性能摄像头控制 dsp 搭 配 cmos 图像传感器的硬件设计，作为 cmos 图像传感器数字影像系统的开发基 础进行研究。 本文首先对 cmos 图像传感器的发展进行概述，在详细介绍 cmos 图像传感 器的工作原理及特点之后，给出一款基于 usb2.0 的摄像头的电路设计，最后对该 摄像头进行总体系统的信号测试，最后结果表明，该摄像头工作正常，达到了设计 需求。 关键词: cmos；图像传感器；dsp。 作作 者：者： 指导教师：指导教师： abstractcmos sensor based on the image of digital video systems ii cmos sensor based on the image of digital video systems abstract cmos image is a process based on the cmos in the last ten years to gain, as reflected in the development potential is a nice image, it will be a logical array, a conversion, timing control logic d, the drive for a few parts of the integrated in the same unit of the ccd, and traditional image sensor is power dissipation level of integration high and low, and costs were low, all these advantages, therefore, civil, medical and industrial control, air space a field. therefore, the cmos image of the sensor image design study is of far-reaching significance. dsp as a high-speed digital the signal handler can be good image processing cmos with a high speed, high quality image acquisition system. this article mainly aimed at the cmos image sensors and the characteristics of a high-performance cameras control dsp cmos image with the sensor hardware designs, for the cmos image of digital image sensor based research. the first picture to the development of sensors cmos discussed in detail the sensor cmos image on the principle of operation and characteristics, giving a section on. 0 usb2 cameras in the circuit design, finally, the cameras on the overall system of signals, the test results showed that the camera zooms in working order; the design needs. keywords: cmos ； image sensors ； dsp . supervised by： zhongxingrong written by：wu qi 目 录 第 1 章 绪 论1 1.1 课题背景1 1.2 cmos 图像传感器的发展状况1 1.3 dsp 简介2 1.4 课题研究的目的和意义3 1.5 本文主要工作及章节安排4 第 2 章 cmos 图像传感器 .5 2.1 cmos 图像传感器的组成5 2.2 cmos 图像传感器的像素阵列6 2.2.1 无源像素传感器.6 2.2.2 有源像素传感器.7 2.3 cmos 图像传感器的基本工作原理7 2.4 cmos 图像传感器的关键参数8 2.4.1 iso 感光度 8 2.4.2 分辨率.9 2.4.3 噪声特性.9 2.4.4 暗电流.10 2.4.5 快门模式.10 2.4.6 动态范围.10 2.5 cmos 图像传感器与 ccd 图像传感器的比较11 2.5.1 感光组件的区别.11 2.5.2 性能差异.11 2.6 本章小结13 第 3 章 摄像头系统的硬件设计14 3.1 系统模块化硬件设计14 3.2 cmos 图像传感器14 3.2.1 条件和目标.15 3.2.2 micron mt9m113 简介15 3.2.3 micron mt9m113 功能描述16 3.2.4 mt9m113 控制信号与数据分析.18 3.3 dsp 的选择及相关参数19 3.3.1 dsp 型号的选择 .19 3.3.2 sn9c232b 简介介绍 20 3.4 镜头的选择21 3.5 电源设计21 3.6 外围电路设计23 3.7 硬件开发环境26 3.7.1 线路设计环境-orcad10.0 简介 .26 3.7.2 电路板设计及成品实物.26 3.8 本章小结27 第 4 章 dsp 软件整体设计 .28 4.1 dsp 固件的功能介绍28 4.2 dsp 固件设计28 4.2.1 dsp 系统初始化 .28 4.2.2 cmos 图像传感器初始化程序 .29 4.2.3 i2c 总线程序设计思想 .29 4.2.4 图像处理算法.31 4.2.4.1 数字图像处理技术简介31 4.2.4.2 图像插值算法32 4.3 完整的信号处理总结33 4.4 本章小结34 第 5 章 硬件系统的信号测试35 5.1 关键信号测试35 5.1.1 i2c 的 clock、data 信号35 5.1.2 行扫描与场扫描信号.35 5.1.3 pix clock.36 5.1.4 晶振震荡信号.36 5.2 usb 传输眼图测试37 5.2.1 眼图.37 5.2.2 usb 眼图测试结果.37 5.3 本章小结37 总 结38 参考文献39 攻读硕士学位期间公开发表的学术论文40 致 谢41 基于 cmos 图像传感器的数字影像系统第 1 章 绪 论 1 第 1 章 绪 论 1.1 课题背景 随着嵌入式系统的发展，数字化影像采集及处理系统越来越广泛的应用于生产 生活与工作当中，在消费电子、医疗、工业监控、航空航天、军事等领域都可见其 身影，如交通管理用的车辆监控摄像头，视频会议机，数码照相机、摄像机等等， 而随着芯片性能的高集成度，系统的整体体积也变得越来越小，这使得移动可视通 讯技术迅速发展起来，手机、pda 及笔记本电脑上均大量使用了轻巧的高像素数字 摄像头。图像传感器是数字摄像头的重要组成部分。 cmos 图像传感器是一种利用 光电技术原理所制造的图像传感元件1，在两年前，数字图像采集系统一般还采用 ccd 作为成像器件，通过 a/d 转换器将 ccd 输出的模拟信号转化为数字信号再进 行处理。这就使得系统的体积和成本都比较高。随着 cmos 图像传感器电路消噪技 术和制程的不断发展，其成像能力已经同 ccd 图像传感器不相上下，并且具有集成 度高、直接输出数字信号、低成本、速度快、功耗低的优点，使其迅速得到应用， 对 cmos 图像传感器进行功能性的应用开发，有着深远的意义。 1.2 cmos 图像传感器的发展状况 cmos 图像传感器的研究可以追溯到 20 世纪 60 年代末，诞生于 20 世纪 70 年 代的美国航天（nasa）的喷气推进实验室（jpl） ，同 ccd 图像传感器几乎是同时 起步，但是由于当时的工艺技术限制，所以 70 到 80 年代里，ccd 一直占领主角地 位不可动摇。直到 90 年代初期，cmos 图像传感器才开始得到发展，到目前为止， 已经研发出三大类的 cmos 图像传感器，即 cmos 无源像素传感器（cmos-pps） 、 cmos 有源像素传感器（cmos-aps）2和 cmos 数字像素传感器（cmos dps） 。 在此基础上又问世了 cmos 视觉传感器(cmos visual sensor)、cmos 视网膜传感 器(cmos retinal sensor)、cmos 应力传感器(cmos stress sensor)、cmos 凹型传 感器(cmos foveated sensor)、对数极性 cmos 传感器(log-polar cmos sensor)、对 数变换 cmos 图像传感器(logarithmic-converting cmos image sensor)、单斜率模式 第 1 章 绪 论基于 cmos 图像传感器的数字影像系统 2 cmos 图像传感器(single slopemode cmos image sensor)、轨对轨 cmos 有源像素 传感器(rail-to-rail cmos active pixel sensor)和 cmos 指纹图像传感器 (cmos fingerffing sensor)、vmiscmos 图像传感器、foveonx3 全色 cmos 图像 传感器。 进入 90 年代，由于对小型化、低功耗和低成本的成像系统要求越来越高，芯 片的集成度和信号处理技术的迅猛发展，cmos 在客服了噪声大、色彩还原度等种 种技术难关后，提高了工艺水平而迅速的发展起来，逐步踏入商业化应用领域2-5。 国外众多公司和科研机构均在开发出多种类型的 cmos 图像传感器和以 cmos 图 像传感器为核心的摄像系统。cmos 图像传感器的集成度较高，可以把整个系统都 集成在单片上面，但是信号处理线路比较复杂，而且对于工艺制程的要求比较苛刻， 多亏了如今单片集成大量晶体管的技术已经很成熟，因此 cmos 图像传感器正日益 受到人们的重视6-7。 时至今日，有源像素传感器（cmos-aps）已经由最初的几万像素元、几十万 像素元发展到如今的上千万像素元的图像传感器。用 cmos 图像传感器开发出的大 量数码照相机、摄像机和微型摄像头已经大量进入市场。高性能的元件和图像系统 问世离不开工艺技术的制程，cmos 图像传感器是应用很成熟的集成电路工艺生产， 归纳目前在开发的 cmos 图像传感器产品的关键性先进技术如下： (1)相关双取样(correlated double sampling) (2)微透镜阵列制备技术； (3)彩色滤波器阵列技术； (4)数字信号处理(digital signal processing) (5)抑制噪声电路技术； (6)模拟数字转换(a/d)技术8 依照 2010 年的市场形势来看，cmos 图像传感器在高端数码相机的占有率正逐 步提高，佳能、尼康等公司新推出的所有相机均采用 cmos 图像传感器，可见未来 的市场是属于 cmos 图像传感器的天下，ccd 图像传感器不久将逐步走下舞台。 1.3 dsp 简介 dsp（digital signal processor）是一种独特的微处理器，是以数字信号来处理大 基于 cmos 图像传感器的数字影像系统第 1 章 绪 论 3 量信息的器件。其工作原理是接收模拟信号，转换为 0 或 1 的数字信号，再对数字 信号进行修改、删除、强化，并在其他系统芯片中把数字数据解译回模拟数据或实 际环境格式。它不仅具有可编程性，而且其实时运行速度可达每秒数以千万条复杂 指令程序，远远超过通用微处理器，是数字化电子世界中日益重要的芯片。它的强 大数据处理能力和高运行速度，是最值得称道的两大特色。 根据数字信号处理的要求，dsp 芯片一般具有如下主要特点： （1）在一个指令周期内可完成一次乘法和一次加法； （2）程序和数据空间分开，可以同时访问指令和数据； （3）片内具有快速 ram，通常可通过独立的数据总线在两块中同时访问； （4）具有低开销或无开销循环及跳转的硬件支持； （5）快速的中断处理和硬件 i/o 支持； （6）具有在单周期内操作的多个硬件地址产生器； （7）可以并行执行多个操作； （8）支持流水线操作，使取址、译码和执行等操作可以重叠执行9-11。 自 1980 年以来，dsp 芯片得到了突飞猛进的发展，dsp 芯片的应用越来越广 泛。从运算速度来看，mac（一次乘法和一次加法）时间已经从 80 年代初的 400ns（如 tms32010）降低到 40ns（如 tms32c40） ，处理能力提高了 10 多倍。从 制造工艺来看，1980 年采用 4m 的 n 沟道 mos 工艺，而现在则普遍采用亚微米 cmos 工艺。dsp 芯片的引脚数量从 1980 年的最多 64 个增加到现在的 500 个以上， 引脚数量的增加，意味着结构灵活性的增加。此外，dsp 系统的成本、体积、重量 和功耗都有很大程度的下降12。作为 cmos 图像传感器数字影像系统的控制模块， dsp 是一个很好的选择。 1.4 课题研究的目的和意义 cmos 图像传感器芯片技术的不断完善，其低功耗、自动计时、随时存取、无 损读取和抗光晕、耐辐射等特点，决定了它本身潜在的市场价值及良好的发展前景。 本课题旨在通过对一款基于 cmos 图像传感器的数字摄像头的设计开发，来研究 cmos 图像传感器的结构、原理，与计算机 usb 界面进行图像传输的性能，实现图 像显示，以及 dsp 在该系统设计中的开发潜力，为后续进行 cmos 图像传感器与 第 1 章 绪 论基于 cmos 图像传感器的数字影像系统 4 dsp 相结合的应用开发铺垫。 1.5 本文主要工作及章节安排 本文的主要工作在于，定位设计需求，选用合适的 cmos 图像传感器、镜头、 dsp、power ic，以及外围电路的相关器件，进行硬件电路上的设计，并对整个系 统进行信号及性能的测试，实现与计算机 usb 界面完成数据传输与图像显示的过程。 从系统硬件开发到测试，实现视频采集及显示的完整性功能，到最后的测试， 将全文分为 5 个章节： 第 1 章 介绍了本课题的研究背景，以及 cmos 图像传感器的发展状况，结合 形势提出课题意义和应用价值，同时给出设计目标。 第 2 章 讨论 cmos 图像传感器的相关技术，包括整体结构组成、像素阵列结 构以及功能结构和工作原理，介绍重要参数，及更确切的与 ccd 图像传感器的比较， 通过以上的详细讨论，可以有助于对 cmos 图像传感器的技术理解。 第 3 章 本文的关键所在，详细介绍了基于 cmos 图像传感器的摄像头开发设 计总体方案，给出 cmos 图像传感器、dsp、power 模块等电路设计及外围电路 设计。 第 4 章 针对本文所设计的摄像头系统的 dsp 软件设计的结构和中心思想进行 简要的说明和讨论。 第 5 章 主要对整个摄像头系统进行关键信号的量测，与 usb 界面的数据传输 质量。 基于 cmos 图像传感器的数字影像系统第 2 章 cmos 图像传感器 5 第 2 章 cmos 图像传感器 2.1 cmos 图像传感器的组成 cmos 图像传感器的原理如图 2.1 所示，通常由像敏单元阵列、行驱动器、列 时序控制逻辑、a/d 转换器、数据总线输出接口、控制接口等几部分组成，这几部 分通常都被集成在同一块硅片上。 图 2.1 中所示的像敏单元数组按 x 方向和 y 方向排列成方阵，方阵中的每一个 像敏单元都有它在 x，y 各方向上的地址，并可分别由两个方向的地址译码器进行 选择；每一列像敏单元都对应于一个列放大器，列放大器的输出信号分别接到由 x 方向地址译码控制器进行选择的模拟多路开关，并输出至输出放大器；输出放大器 的信号送给 a/d 转换器进行模数转换，经预处理器电路处理后通过接口电路输出3。 图中的时序信号发生器为整个 cmos 图像传感器提供各种工作脉冲，这些脉冲 均可受控于接口电路发来的同步控制信号。图像信号的输出过程可由图中的图像传 y 地址译码器 时序发生器 接口电路 预处理器 a/d 转换器 列放大器 多路模拟开关 x 地址译码器 输出 图 2.1 cmos 图像传感器原理图 第 2 章 cmos 图像传感器基于 cmos 图像传感器的数字影像系统 6 感器像元数组更清楚地说明， 在 y 方向地址译码器(移位寄存器)的控制下，依次序接通每行像敏单元上的模 拟开关，信号将通过行开关传送到列线，再通过 x 方向地址译码器(移位寄存器)的 控制，传送到放大器。由于设置了行与列开关，而它们的选通是由两个方向的地址 译码器上所加的控制信号决定的。因此，通过采用 x 和 y 两个方向的移位寄存器就 可以实现逐行扫描或隔行扫描的信号输出方式。当然也可以通过只输出某一行或某 一列的信号，使其按着与线阵 ccd 相类似的方式工作。 在 cmos 图像传感器芯片上还可以集成其它数字信号处理电路，如自动曝光量 控制、非均匀性补偿、白平衡处理、黑平衡控制和伽玛校正等，为了进行快速计算 甚至可以将具有可编程功能的 dsp 器件与 cmos 器件集成在同一芯片上，从而组 成单片数字相机及图像处理系统。 2.2 cmos 图像传感器的像素阵列 cmos 图像传感器的像素阵列由大量相同的像素单元组成，这些相同的像素单 元是传感器的关键部分，cmos 图像传感器通常也是以像素的不同类型为标准进行 分类的。前面第 1 章我们已经提到过，随着 cmos 图像传感器的发展，可以细分为 很多类，这里我们依照像素不同类型来分，就可分为两大类：一类是无源像素传感 器（cmos-pps） ，另一类是有缘像素传感器（cmos-aps） 。 2.2.1 无源像素传感器无源像素传感器 如图 2.2 所示，这是一个无源像素传感器的像素单元图，以及像素电压的输出 电压随时间的变化曲线。 图 2.2 无源像素传感器原理图及输出电压 在无源像素传感器的像素单元中包括一个光二极管(photodiode)和一个 mos 管， 基于 cmos 图像传感器的数字影像系统第 2 章 cmos 图像传感器 7 mos 管作为行选(rowseleet)开关。入射光照在光二极管上，使二极管负极的节点电 压变化，当行选信号出现一个行选的脉冲时，mos 管导通，二极管上的信号电压经 列线(colbus)输出。由于这个像素单元的结构简单，其感光面积百分比可以达到很 高，因而提高了其敏感度和集成度，但是它的噪声也很高，这在很大程度上影响了 它的性能。 2.2.2 有源像素传感器有源像素传感器 早期的无源像素传感器由于相当的噪声而限制了其发展，后来出现了有源像素 传感器，如图 2.3 所示。 图 2.3 有源像素传感器原理图及输出电压 这种有源像素传感器的像素单元通常称为 3-t(3-trnasistor)结构，在像素单元中， 除一个光二极管外，还包括一个重置(reset)mos 管、一个源极跟随器(source follower) mos 管和一个行选 mos 管。光电二极管在重置信号的控制下每个工作过 程经历两个周期-充电周期(chasringphase)和积分周期(nitgearotinphase)，这两个周 期在结束时各产生一个信号，经源极跟随器和行选开关无损耗地读出。由于有源像 素传感器的像素单元包括更多的 mos 管，其感光面积百分比较无源像素传感器为 小，因而其敏感度和集成度都降低了，但是它对入射光产生的电信号所做的像素级 的处理使其受后面电路的影响较小，同时噪声也被大大降低，因而在目前得到广泛 的使用。 2.3 cmos 图像传感器的基本工作原理 一个典型的 cmos 图像传感器的总体结构如图 2.4 所示。 第 2 章 cmos 图像传感器基于 cmos 图像传感器的数字影像系统 8 图 2.4 cmos 图像传感器的基本结构 在同一芯片上集成有模拟信号处理电路、i2c 控制接口、曝光白平衡控制、视 频时序产生电路、数字转换电路、行选择、列选择及放大和光敏单元阵列。芯片上 的模拟信号处理电路主要执行相关双采样（correlateddouble sampling，cds）功能。 芯片上的 a/d 转换器可以分为像素级、列级和芯片级几种情况，即每一个像素有一 个 a/d 转换器，每一个列像素有一个 a/d 转换器，或者每一个感光阵列有一个 a/d 转换器。由于受芯片尺寸的限制，所以像素级的 a/d 转换器不易实现。cmos 片内 部提供了一系列控制寄存器，通过总线编程（如 pc 总线）来对自增益、自动曝光、 白色平衡、校正等功能进行控制，编程简单、控制灵活。直接输出的数字图像信号 可以很方便地与后续处理电路接口，供数字信号处理器对其进行处理。 2.4 cmos 图像传感器的关键参数 衡量 cmos 图像传感器性能的参数有很多，如分辨率、感光度、暗电流、噪声 特性、动态范围和快门方式等，这些参数对 cmos 图像传感器的成像质量有直接的 影响，下面对这些参数做简单的介绍。 2.4.1 iso 感光度感光度 iso 值是用来表示传统相机所使用底片的感光度。所谓胶卷感光度是指胶卷对 于光线的敏感度。当 iso 数值愈大时，感光度就愈大。通常我们拍照用的是 iso 100 度胶卷，适用于一般光线较充足时的摄影；iso 200 度或 iso 400 度等胶卷，由 cmos image sensor（影像 感测元件） 时序控制 可编程 增益放 大器 模数转 换器 输出存 储器 控制寄存器控制电路 基于 cmos 图像传感器的数字影像系统第 2 章 cmos 图像传感器 9 于感光度较高，适合微光中、动态下使用。 而数码相机 iso 值，则是标示其测光系 统所采用的曝光基准，相当于传统相机多少感光度的底片。因此，iso 值越低所需 的曝光量则越高；反之，iso 值越高则所需的曝光量越低。有 iso 100、200、400(设定上是以 0、0.1、+0.2 来表示)，一般而言，若在室内使用闪光 灯，配合 iso 200 为最佳。 2.4.2 分辨率分辨率 先来说一下像素： 像素，即是影像最基本的单位。也就是说将影像放大到不能 再将它分割的影像单位。 而分辨率，是在一个特定的区域内共有多少个像素单位， 该词最早是用来说明工程中单位长度所撷取到点的数目，对应在单位上就成了 dpi (dot per inch)。常见单位有： epi:每一平方英寸共有多少单位数(element per inch)。 dpi:每一平方英寸共有多少点数(dot per inch)。 ppi:每一平方英寸共有多少像素数(pixel per inch)。 lpi:每一平方英寸共有多少条线(line per inch)。 胶片式照相机一般使用 35 毫米的胶卷。解像度在数百万到一千万点。但是，胶 片经镜头所拍下的成像。有时还比不上 100 万像素档次的数码相机。100 万像素档 次的数码相机，拍摄 1024x768 点阵的画像，经高解像度的打印机打印，解像度为每 毫米 3 到 4 点（解像度可用点数来表示） 。另一方面，胶片经镜头所拍下的成像每毫 米 3-14 点。受我们用肉眼所能鉴别的限制，这种程度的解像度没有太大的区别。 2.4.3 噪声特性噪声特性 由于数码相机本身采用大量的电子器材，所拍摄的影像质量很容易受到电子原 件的电磁溢波干扰，cmos 图像传感器上残存的能量以及运作环境温度升高（机体 运作时间过久）所产生的自然噪声。这些噪声会被纪录在你所拍摄的影像画面中， 你可以透过单一色调的拍摄（黑色） ，如图 2.5 所示，观察图档边缘或是所拍景物锐 利部分做为观察 noise 的指标。 第 2 章 cmos 图像传感器基于 cmos 图像传感器的数字影像系统 10 图 2.5 噪声在单一色彩画面下的表现 2.4.4 暗电流暗电流 所谓暗电流，就是在没有入射光时光电二极管所释放的电流量，一个被隔离的 反向偏置的光电二极管即使在没有任何光照的条件下，也会产生放电现象13 。理想 的 cmos 图像传感器，它的暗电流应该是零，但是，实际状况是画素中的光电二极 管是充当电容器，当电容器慢慢地释放电荷时，就算没有入射光，其电压也会与低 亮度入射光的电压相当。因此，不能确定画素是否真正“看到了”某些景物，或是 因为从暗电流中所累积的电荷。所以，暗电流是像素的噪声源之一，cmos 图像传 感器的暗电流范围在 0.075na/cm22.0 na/cm2以上。 2.4.5 快门模式快门模式 快门对于 cmos 图像传感器而言是很重要的，通过电子快门的方式可以控制 cmos 图像传感器的积分时间。对于 cmos 图像传感器而言，通常有两种快门的机 制：卷帘式快门（rolling shutter）和全局式快门（global shutter） 。根据快门方式有 所不同，cmos 图像传感器的像素信号读取有两种方式，即扫描方式和随机读取方 式，如图 2.6 所示。 （a）扫描读取 （b）随机读取 图 2.6 cmos 图像传感器扫描方式 以扫描方式来读取像素信号的 cmos 图像传感器均是采用卷帘式快门方式，而 基于 cmos 图像传感器的数字影像系统第 2 章 cmos 图像传感器 11 采用随机读取方式的 cmos 图像传感器则大都采用全局快门方式，同时也具备卷帘 快门方式。 2.4.6 动态范围动态范围 图像传感器的动态范围通常可定义为：传感器最大的非饱和信号与暗条件下噪 声均方差之比。一般来说，具有较宽动态范围的传感器可以探测更宽的场景照度范 围，从而可以得到具有更多细节的图像。cmos 图像传感器的动态范围一般依赖于 其可分辨的最小信号和可测量的最大信号。最小可分辨的信号一般由噪声所限制， 而最大可测量的信号与所采用的 cmos 图像传感器的像元类型有关，如光敏单元面 积、输出电压摆幅、势阱电荷容量等参数都直接影响动态范围。通常的 cmos 图像 传感器动态范围在 6075 db14 2.5 cmos 图像传感器与 ccd 图像传感器的比较 在 ccd 图像传感器与 cmos 图像传感器共同驰骋于数字影像产品开发的今天， 我们需要搞清楚到底两者间有着怎样的异同，为何我们要发展 cmos 图像传感器技 术的应用，下面对两者在结构、参数及性能等方面的比较，让我们了解两者间在开 发应用的前景。 2.5.1 感光组件的区别感光组件的区别 放大器位置和数量:比较 ccd 图像传感器和 cmos 图像传感器的结构，放大器 的位置和数量是最大的不同之处 。ccd 图像传感器每曝光一次，自快门关闭或是 内部频率自动断线（电子快门）后，即进行像素转移处理，将每一行中每一个像素 （pixel）的电荷信号依序传入“缓冲器（电荷储存器） ”中，由底端的线路导引输出 至 ccd 旁的放大器进行放大，再串联 adc（模拟数字数据转换器） 输出；相对地， cmos 的设计中每个像素旁边就直接连着“放大器” ，光电信号可以直接放大再经由 总线通路移动至 adc 中转换成数字数据，如图 2.7 所示为单一结构元比较。 第 2 章 cmos 图像传感器基于 cmos 图像传感器的数字影像系统 12 图 2.7 ccd 图像传感器与 cmos 图像传感器单一结构元比较 2.5.2 性能差异性能差异 由于构造上的基本差异，我们可以表列出两者在性能上的表现的不同点。ccd 图像传感器的特色在于充分保持信号在传输时不失真（专属通道设计） ，透过每一个 像素集合至单一放大器上再做统一处理，可以保持数据的完整性；cmos 图像传感 器的制程比较简单，没有专属通道的设计，因此必须先行放大再整合各个像素的数 据。 整体来说，ccd 图像传感器与 cmos 图像传感器两种设计的应用，反应在成 像效果上，形成包括 iso 感光度、制造成本、分辨率、噪声与耗电量等，不同类型 的差异： 1、 iso 感光度差异：由于 cmos 图像传感器每个像素包含了放大器与 a/d 转换 电路，过多的额外设备压缩单一像素的感光区域的表面积，因此在相同像素下，同 样大小的感光器尺寸，cmos 图像传感器的感光度会低于 ccd 图像传感器。 2、成本差异：cmos 图像传感器应用半导体工业常用的 mos 制程，可以一次整 合全部周边设施于单芯片中，节省加工芯片所需负担的成本和良率的损失；相对地 ccd 图像传感器采用电荷传递的方式输出信息，必须另辟传输信道，如果信道中有 一个像素故障，就会导致一整排的讯号堵塞，无法传递，因此 ccd 图像传感器的良 率比 cmos 图像传感器低，加上另辟传输通道和外加 adc 等周边，ccd 图像传感 器的制造成本相对高于 cmos 图像传感器。 3、分辨率差异：在第 1 点“感光度差异”中，由于 cmos 图像传感器每个像素 的结构比 ccd 图像传感器复杂，其感光开口不及 ccd 图像传感器大， 相对比较相 同尺寸的 cc 图像传感器与 cmos 图像传感器感光器时，ccd 图像传感器感光器的 分辨率通常会优于 cmos 图像传感器。不过，如果跳脱尺寸限制，目前业界的 基于 cmos 图像传感器的数字影像系统第 2 章 cmos 图像传感器 13 cmos 图像传感器感光原件已经可达到 1400 万 画素/全片幅以上的设计，cmos 图像传感器技术在量率上的优势可以克服大尺寸感光原件制造上的困难，特别是全 片幅 24mm-36mm 这样的大小。 4、噪声差异：由于 cmos 每个感光二极管旁都搭配一个 adc 放大器，如果以百 万像素计，那么就需要百万个以上的 adc 放大器，虽然是统一制造下的产品，但是 每个放大器或多或少都有些微的差异存在，很难达到放大同步的效果，对比单一个 放大器的 ccd 图像传感器，cmos 图像传感器最终计算出的噪声就比较多。 5、耗电量差异：cmos 图像传感器的影像电荷驱动方式为主动式，感光二极管所 产生的电荷会直接由旁边的晶体管做放大输出；但 ccd 图像传感器却为被动式， 必须外加电压让每个像素中的电荷移动至传输通道。而这外加电压通常需要 12 伏特 （v）以上的水平，因此 ccd 图像传感器还必须要有更精密的电源线路设计和耐压 强度，高驱动电压使 ccd 图像传感器的电量远高于 cmos 图像传感器。 如图 2.8，为 ccd 图像传感器与 cmos 图像传感器内部结构示意图。 图 2.8 ccd 图像传感器与 cmos 图像传感器内部结构示意图 6、由于构造上的基本差异，我们可以表列出两者在性能上的表现之不同。ccd 图像传感器的特色在于充分保持信号在传输时不失真（专属通道设计） ，透过每一个 像素集合至单一放大器上再做统一处理，可以保持数据的完整性；cmos 图像传感 器的制程比较简单，没有专属通道的设计，因此必须先行放大再整合各个画素的数 据。 新一代的 ccd 朝向耗电量减少作为改进目标，以期进入手机摄像头的移动通讯 市场；cmos 系列，则开始朝向大尺寸面积与高速图像处理芯片整合，借由后续的 图像处理修正噪声以及画质表现，cmos 未来跨足高阶的影像市场产品，前景可期。 第 2 章 cmos 图像传感器基于 cmos 图像传感器的数字影像系统 14 2.6 本章小结 本章主要介绍了 cmos 图像传感器的基本结构，工作原理，决定性能的基本参 数，以及通过与 ccd 图像传感器的对比，得出以下结论： cmos 图像传感器分为有源和无源两种，而有源 cmos 图像传感器则是目前应用最广泛的 一种，它与 ccd 图像传感器相比，有着低功耗，直接数字量输出，灵活可变的控制式、单一电 源、可随机开窗口读取数据等特点，成本上来看，比 ccd 图像传感器有着明显的优势，其应用 的广泛性与未来的发展可想而知。 基于 cmos 图像传感器的数字影像系统第 3 章 摄像头系统的硬件设计 15 第 3 章 摄像头系统的硬件设计 本章将详细介绍 cmos 图像传感器数字影像系统的硬件电路设计，从而为进一 步研究积累相关设计经验。 3.1 系统模块化硬件设计 在硬件电路部分，我们先给出系统模块化的设计思想，这样可以使整个系统的 结构更加清晰，在设计的方便性和管理性来看都有突出的优势，且便于修改，便于 系统的测试和调试14。首先给出系统的整体框图，框图中每个小的模块都将成为后 续具体设计的重点，芯片和外围电路分开设计，使脉络更清晰，简单易懂。如下图 3.1 为系统整体框图。 电源电路 cmos 图像传感器芯片外围控制电路 镜头 dsp 芯片控制单 元 电源/usb 数据/usb 图 3.1 摄像头系统整体框图 可以看到，整个框图有以上 6 个部分组成，cmos 图像传感器、镜头、芯片外 围控制电路、dsp 芯片控制单元、电源的电路部分，以及提供电源和数据传输的 usb 界面。外界光线通过光学镜头，将景物投射在 cmos 图像传感器的感光元件上， 在芯片外围控制电路和电源的驱动下，将光信号转化为相对应的数字信号进行输出。 3.2 cmos 图像传感器 cmos 图像传感器是整个数字影像系统的眼睛，系统成像效果的好坏就全靠它 了，所以，是整个系统的灵魂，直接决定了摄像头的性能，选择是很重要的。 第 3 章 摄像头系统的硬件设计基于 cmos 图像传感器的数字影像系统 16 3.2.1 条件和目标条件和目标 本课题的设计目标是开发一款高画质、高速度的摄像头，所以在参数上需要满 足两个条件：1. 高像素 2. 高帧率。另外体积上必须考虑，希望能够达到安装在移 动 pc 上，所以体积一定要小，价格上当然也是需要考虑的，以上各条件要综合考 虑。 cmos 图像传感器像素的规格种类繁多，在网络带宽迅猛发展的今天，网络视 频备受广大网友的青睐，30 万像素的摄像头在像素点全开的情况下可以在网络上飞 驰，但却不能满足人们配合相关软件进行高清晰度的录像品质，所以，130 万像素 的摄像头将是我们的首选，综合平衡下来，决定采用 micron 公司的 mt9m113 cmos 图像传感器。它的帧率可达到 30mp/s 的速度。 3.2.2 micron mt9m113 简介简介 mt9m113 是美国 micron 公司为数字影像产品开发的高性能 130 万详述的 cmos 彩色数字图像传感器，micron（美国镁光）半导体是全球第二大内存芯片厂， 是全球著名的半导体存储器方案供应商，是美国 500 强企业之一。 、该芯片所支持的 显示帧率（fps）如表 3.1 和表 3.2： 表 3.1 全速模式 usb1.1 输出格式 sxgasvgavgacifqvgaqcifqqvga yuy21fps1fps1.5fps4.5fps6.5fps19.5fps26fps 压缩模式 1fps2fps3fps9fps13fps30fps30fps mjpg 模式 30fps30fps30fps30fps30fps30fps30fps 表 3.2 高速模式 usb2.0 输出格式 sxga svga vga cif qvga qcif qqvga yuy2 9fps 25fps 30fps 30fps 30fps 30fps 30fps 压缩模式 15fps 30fps 30fps 30fps 30fps 30fps 30fps 基于 cmos 图像传感器的数字影像系统第 3 章 摄像头系统的硬件设计 17 mjpg 模式 30fps 30fps 30fps 30fps 30fps 30fps 30fps 由上表我们可以看出，该芯片支持 7 种分辨率的显示模式，完全可以满足用户 的使用需求，其中使用较为频繁的分辨率应该是 sxga（1280x1024）和 vga（640x480）模式，支持 8-54mhz 的外部时钟频率，内置的 10bit adc，能够 提供 10 位数字视频信号。另外该芯片还提供了输出像素时钟（pixclk） 、行同步信 号（line_valid）和场同步信号（frame_valid） ，可以同摄像头专用控制芯片 dsp 进行高速连接，并通过 camera controller 芯片与 pc 进行影像传输。 和 lcd 的结构相似，cmos 图像传感器上面也是一层类似彩色滤光片的东西， 而该芯片采用的滤光阵列将输入的光信号分解成 rgb 三原色，像素阵列共有 1330x1044 个，而有效显示像素为 1280x1024=1 310 720 个。之所以外围多设计一圈 像素点，是为了避免边缘像素点在有缺陷的时候形成明显的显示缺陷。下面给出 mt9m113 的基本参数15： 最大像素大小：1280x1024（sxga） 像素尺寸：1.75m x 1.75m 有效像素区域：2.28mm x 1.83mm 光学尺寸：0.16 inch（5:4） 可选帧率：sxga：15fps svga ：30fps vga /cif /qvga /qcif /qqvga：30fps 响应率：0.54 v/lux-sec (默认初始值) 扫描模式：累进 信噪比：38.5db 动态范围：66 db 电源：2.80.3v 和 1.80.1v 3.2.3 micron mt9m113 功能描述功能描述 mt9m113 采用单芯片封装，也就是说，所有功能都集成在这个小小的单芯片 里面。如图 3.2 是 mt9m113 的功能框图。 第 3 章 摄像头系统的硬件设计基于 cmos 图像传感器的数字影像系统 18 图 3.2 mt9m113 功能框图15 从图 3.2 我们可以看出 mt9m113 的整体功能模块结构，它是由一个传感器内 核（1300*1044） 、锁相环（pll） 、一个画面流处理单元和一个输出界面单元，几个 部分通过寄存器总线进行通讯，输出接口通过并行接口和串行接口与外部通讯。 我们再来看传感器内核部分的详细结构，如图 3.3 所示： 图 3.3 传感器内核详细结构图 mt9m113 的核心是一个逐行扫描图像传感器，它在一个恒定的帧率上由 line_valid（lv）和 frame_valid（fv）产生像素流数据。最高帧率为 30mp /s，相当于 60 mhz 像素的时钟频率。通过图 3.3，我们可以了解到 mt9m113 的内 核结构，这是一个有源像素传感器，通过行阵列控制电路的时序、重置，依次读取 每一行。在复位一行后，入射光的信息将会占据该行像素点，然后再读出该行的数 据。至于曝光量，则是通过改变“复位”与“读取”这两个动作之间的时间间隔来 控制的，一旦行的数据被读取，则会通过测序模拟信号提供出列数据（偏移和增益 校正）给 adc，每个像素信息都会转化为 10 位数据组通过 adc 输出。该传感器的 核心包含了控制和状态，可用于控制寄存器组的很多动作，包括传感器的帧大小、 基于 cmos 图像传感器的数字影像系统第 3 章 摄像头系统的硬件设计 19 曝光量及增益设置等等。寄存器中的值可通过串行接口进行对固件的改写。 图 3.4 是 mt9m113 的彩色滤光阵列，由 rgb 三原色组成，排列方式为： 图 3.4 mt9m113 彩色滤光阵列 偶数行包括绿色和红色像素，奇数行包含蓝色和绿色像素，偶数列包含绿色和蓝色 像素，奇数列包含红色和绿色像素的线性交替的排布方式。在 1 388 520 个物理像 素中有 1 310 720 个像素为有效像素，其他的非成像像素作为黑级校准和插值补偿。 3.2.4 mt9m113 控制信号与数据分析控制信号与数据分析 mt9m113 图像传感器输出的是 10 位原始视频数字信号，并且提供了像素时钟 pixclk，行同步信号 line_valid 和场同步信号 frame_valid，这 3 个信号用 于数据传输和采集的控制信号。图 3.5 是输出信号与数据的时序图。 图 3.5 单行 rgb 原始像素数据输出时序 在默认状态下，mt9m113 的输出状态时 sxga 模式。当 line_valid 上升沿 到来时，象征着一帧图像数据开始输出，即从第一行第一个像素 p0 开始输出，在 这之前，是没有输出的，也就是无效像素，直到 line_valid 下降沿开始后，输出 第 3 章 摄像头系统的硬件设计基于 cmos 图像传感器的数字影像系统 20 结束，这时候，已经输出了 1280 个像素点，从图中可以看出，只有在 line_valid 高电平时，每一行的输出才有效，pixclk 则一一对应输出的数据， 也就是说，当 pixclk 上升沿时输出一个数据。 在 sxga 模式下，每一个 frame_valid 在低电平时候共出现 1024 个 line_valid 高电平，故而输出 1024 行数据；每个 line_valid 高电平时就会输 出 1280 个 pixclk 周期，输出 1280 个数据，所以这三个信号线与数据时完全同步 的。 3.3 dsp 的选择及相关参数 该款摄像头的设计宗旨就是能够通过 usb2.0 界面同 pc 进行通信，所以单单 通过设计 cmos 图像传感器外围线路是远远不够的，还要有一个能够对 cmos 图 像传感器进行控制和信号处理的芯片，因为通用的 pc 本身是没有直接处理 cmos 图像传感器的 controller 的，这就要求我们选一个合适的摄像头控制及信号处理芯片， 这里我们选择 dsp 作为我们的处理芯片。 3.3.1 dsp 型号的选择型号的选择 目前，专用 cmos 图像传感器 controller 的厂商多不胜数，本着高速、稳定、 兼容性好、低成本的原则，我们选用了一款性能较好的 dsp-sonix sn9c230b 作为 控制芯片。 sn9c230b 是 sonix 公司专门为 cmos 图像传感器开发的