（仪器科学与技术专业论文）基于高分辨率面阵ccd的图像采集系统研究.pdf

中文摘要 i 摘摘要要 本文主要研究了面向高分辨率面阵 ccd 的一种新型信号采集系统的软硬件 设计和实现。该系统可用于数码相机以及对分辨率要求较高的图像处理场合,其 研究平台为 niosii sopc 嵌入式系统。 因为 niosii 处理器是一个嵌入的软核， 有利于构建自己的专用嵌入式系统， 能以较低的成本开发出高性价比的专用系统。所以在系统设计时，以 niosii 软 核处理器为核心，外加单片机实现低速外设的配置及控制，使该采集控制系统具 有较强的扩展性，较高的灵活性。 本文的主要工作有： 对面阵 ccdrj21p3ah0pt 传感器、 可编程芯片 ep1c6、 nios ii 处理器、 sdram 存储器以及变焦镜头等相关资料进行了整理和消化， 设计了以 116 脚 bga 封装的 lr38642 为核心的采集控制 pcb，该 pcb 为 4 层电路板。并对所设计的各个功能 模块分别进行了调试和测试。 研究了面阵 ccdrj21p3ah0pt 及其驱动控制芯片 lr38642 在单片机基于 fpga 实现的 niosii 软核处理器控制下实现图像采集、 保存、 处理以及相关功能。 其中重点以 sopc 技术为基础，实现了 sdram 与 ir3y48a1 之间以 avalon 数据流 模式的 dma 传输控制，同时对采集后的数据存储到 cf 卡及在 lcd 上显示也进行 了一定研究，并最终实现了采集后的图像数据在 lcd 显示屏上显示。 在充分考虑面阵 ccdrj21p3ah0pt 传感器的相关参数的前提下，设计了在 cpld+单片机的控制下的多路可控电源，保证了面阵 ccd 的上、掉电时序。 研究了 cpld单片机实现 f2.8 镜头的手动变焦、 聚焦、 快门及光圈的控制， 探讨了自动镜头控制的相关技术。实际控制时,采用了两种方法，一是手动控制 方式，一是基于 pc 机控制方式， 其中手动控制方式通过在 cpld 中用 vhdl 编程 实现相应控制。pc 机控制方式通过 c+ builder 、keil c 以及 vhdl 编程实现 pc 机对镜头的控制，采用两种方法其主要目的是为了今后实现全自动镜头控制 积累了一定的调试经验。 关键词：关键词： nios ii 软核处理器，sopc 技术，面阵 ccdrj21p3ah0p，f2.8 镜头 控制，采集控制系统 英文摘要 iii abstract high resolving- power matrix ccd oriented, the article provides a solution on a new type of controlling and acquisition signal system through hardware and software designing and realization, which can be used on digital camera and under the condition that requires high- performance and high resolve- power of image processing capability. the platform of the study is niosii sopc embedded system. the system which core controller is niosii soft- core processor and auxiliary controller is mcu that realized the peripheral s configuration and control, has relatively high extendable and flexibility. as the niosii cpu is a embedded soft core, it is easy to construct its own specialized embedded system and develop high capability vs price expert system. the key work of the paper includes: collected and studied the material about matrix- ccd rj21p3ahopt sensor, programmable chip ep1c6, niosii processor, sdram and zoom lens. designed collection and controlling pcb with lr38642 which canned by116 pins bga. and pcb is 4- layer electronic circuit plate. debugged and tested designed function of all property units. the designed system was studied on the image acquisition, saving, processing, and thefunctionofsystemrelatedundertheconditionthatincludematrix ccd- rj21p3ah0pt and driving and controlling ic of lr38642 that was controlled by mcu plus niosii soft- core processor based on fpga. especially, accomplished the avalon data stream module dmatransmission between sdram and ir3y48a1with sopc technology. by the way, it also covers the saving of collected data to cf and the display to lcd.at last, the acquired image data was displayed on lcd. with careful consideration of matrix ccd- rj21p3ah0pt sensors indexes, designed multiplex controllable electrical sources under the control of cpld and microprocessor,which control the sequence of power on and power off for the power supply of ccd. it was researched the manual - controlling of the lens zoom,focus,shutter and iris of f2.8 camera using cpld and microprocessor and auto camera control related technology. to the control of f2.8 camera, it has two plan, one is mannual control, the other is pc control mode. the vhdl programme on cpld realized the manual control 重庆大学硕士学位论文 iv and the c+ builder programme, keil c programme, vhdl programme on pc realized pc control. the aim of adopting two methods is accumulating some experiences for the future auto lens control. keywords:niosiisoft- coreprocessor,sopctechnology,matrix- ccd rj21p3ahopt, f2.8 camera lens controlling, controlling andacquisition system 1 绪论 1 1 1 绪论绪论 1 1.1.1 引言引言 人们通过从自然界提取各种信息，其中以人眼通过视觉提取的信息量最多， 也是最为丰富多彩，最为可靠。成语“百闻不如一见”就是说明这一道理。图像 传感器可以提高人眼的视觉范围，使人们看到用肉眼无法看到的微观世界和宏观 世界 ， 看到人们暂时无法到达处发生的事情， 看到超出肉眼视觉范围的各种物理、 化学变化过程、生命、生理、病变的发生发展过程，等等。可见图像传感器在人 们的文化、体育、生产、生活和科学研究中起到十分重要的作用。可以说现代人 类的活动已经无法离开图像传感器。 图像传感器是在光电技术的基础之上发展起来的，将光学图像转换成一维时 序信号的器件，它包括电子束摄像管、影像增强管与变相管等真空管图像传感器， ccd（charge coupled device）图像传感器，cmos（complementary metaloxide semiconductor field transistor）图像传感器等半导体集成图像传感器和扫描 型图像传感器等 1，其中电子束摄像管等真空管图像传感器正逐渐被 ccd、cmos 等 半导体集成图像传感器所取代。随着图像传感器的广泛应用，其应用的方法也很 多。例如将图像传感器应用于尺寸测量的技术是非常有效的非接触检测技术，被 广泛地应用于各种加工件的在线检测和高精度、高速度的检测技术领域。利用准 直光源（准直的激光或白光光源）和具有成像物镜的线阵 ccd 图像传感器，可以 构成测量平板物体在垂直方向的位置或位移的测量装置。利用图像传感器在医疗 设备中的应用，如内窥镜摄像系统，x 光机中的影像增强器等。在办公设备中的复 印机、传真机等都是通过 ccd 成像之后实现图像的再现等等。可以说，在现代的 日常生活中，图像传感器发挥着越来越重要的地位。对其更深层次的研究有着十 分重要的现实意义。 1.21.2 面阵面阵 ccdccd 简介简介 1.2.11.2.1 面阵面阵 ccdccd 与线阵与线阵 ccdccd 电荷耦合器件 ccd(charge coupled device)，ccd 是一种特殊的半导体材料。 它是由大量独立的光敏元件组成，由为数众多的微小光电二极管及译码寻址电路 构成的固态电子感光成像部件。这些光敏元件通常是按矩阵排列的。光线透过镜 头照射到 ccd 上，并被转换成电荷，每个元件上的电荷量取决于它所受到的光照 强度。采集时，ccd 各个元件输出的模拟电信号经放大、预处理后，经过 adc 转换 器处理后变成数字信号，数字信号以一定格式压缩后存入缓存内，此时一幅图像 重庆大学硕士学位论文 2 就得到了。如需进一步处理，图像数据可根据不同的需要以数字信号和视频信号 的方式输出 2。 就目前而言， ccd 光敏元件主要有两种类型，一是线性 ccd，一是矩阵性 ccd （亦称面阵 ccd）。其中线性 ccd 用于高分辨率的静态照相机，它每次只拍摄图象 的一条线，这与平板扫描仪扫描照片的方法相同 3。这种 ccd 精度高，速度慢，无 法用来拍摄移动的物体， 也无法使用闪光灯。 因此在很多场合不适用。 矩阵式 ccd， 它的每一个光敏元件代表图象中的一个像素，当快门打开时，整个图象一次同时 曝光。通常矩阵式 ccd 用来处理色彩的方法有两种。一种是将彩色滤镜嵌在 ccd 矩阵中，相近的像素使用不同颜色的滤镜。典型的有 g-r-g-b 和 c-y-g-m 两种排 列方式。这两种排列方式成像的原理都是一样的。在记录照片的过程中，将相邻 的四个点合成为一个像素点。该方法允许瞬间曝光，微处理器能运算地非常快。 这就是大多数数码相机 ccd 的成像原理。因为不是同点合成，其中包含着数学计 算，因此这种 ccd 最大的缺陷是所产生的图象总是无法达到如刀刻般的锐利。另 一种是使用三棱镜，它将从镜头射入的光分成三束，每束光都由不同的内置光栅 来过滤出三原色的某一种，然后使用三块 ccd 分别感光。这些图象再合成出一个 高分辨率、色彩精确的图象。如 300 万像素的相机就是由三块 300 万像素的 ccd 来感光。也就是可以做到同点合成，因此拍摄的照片清晰度相当高。该方法的主 要困难在于其中包含的数据太多。在你照下一张照片前，必须先将存储在相机的 缓冲区内的数据清除，然后再存盘。因此这类相机对其他部件的要求非常高，其 价格自然也非常昂贵。 无论是线阵还是面阵 ccd， 两者都需要用光学成像系统将图像成像在 ccd 的像 面上。像敏面将入射到每个像敏单元的光照度分布信号 ex,y 转变成少数载流子密 度分布信号 nx,y，存储到像敏单元（mos 电容）中。然后。再通过驱动脉冲的驱 动，使其从 ccd 的移位寄存器中转移出来，形成一定时序输出的视频信号。 对于线型器件，它可以将直接接收到的一维光信号转换成时序的电信号输出， 获得一维的图像信号。若想用线阵 ccd 获得二维图像信号，必须使线阵 ccd 与二 维图像做相应的扫描运动，所以用线阵 ccd 对匀速运动物体进行扫描成像是非常 方便的。现代的扫描仪、传真机、高档复印机和航空图像扫描系统等都采用线阵 ccd 为图像传感器。 而面阵 ccd 是二维的图像传感器，它可以直接将二维图像转变为视频信号输 出。要实现对面阵 ccd 输出图像信号的采集，就必须掌握面阵 ccd 的工作原理。 对于面阵 ccd， 它按照一定的方式将一维线型 ccd 的光敏单元及移位寄存器排列成 二维阵列，即可以构成二维面阵 ccd。由于排列方式不同，面阵 ccd 常有帧转移方 式、隔列转移方式、线转移方式和全帧转移方式 4。 1 绪论 3 1）帧转移面阵 ccd 它由成像区（像敏区）、暂存区和水平读出寄存器等三部分构成。成像区由 并行排列的若干个电荷耦合沟道组成，各沟道之间用沟阻隔开，水平电极横贯各 沟道。假定成像区有 m 个转移沟道，每个沟道有 n 个像敏单元，整个成像区共有 m n 个像敏单元。暂存区的结构和单元数都与成像区相同。一般而言，暂存区与水 平读出寄存器均被金属铝遮蔽。 其工作过程为：图像经物镜成像到成像区，在场正程期间（为光积分时间）， 成像区的某一像电极加上适当的偏压（高电平），光生电荷将被收集到这些电极 下方的势阱中，这样就将被摄光学图像变成了光积分电极下的电荷包图像，存储 于成像区。 光积分周期结束，进入场逆程。在场逆程期间，加到成像区和存储区电极上 的时钟脉冲将成像区所积累的信号电荷迅速转移到暂存区。场逆程结束又进入下 一场的场正程时间，在场正程期间，成像区又进入光积分状态。暂存区与水平读 出寄存器在场正程期间按行周期工作。在逆程期间，暂存区的驱动脉冲使暂存区 的信号电荷产生一行的平行移动。在行正程期间，暂存区的电位不变，水平读出 寄存器在水平读出脉冲的作用下输出一行视频信号。这样，在正程期间，水平移 位寄存器输出一场图像信号。当第一场的信息被读出的同时，第二场的信号通过 光积分又收集到光敏区的势阱中。一旦第一场的信号被全部读出，第二场的信号 马上传给寄存器，使之连续地读出。 这种面阵 ccd 的特点是结构简单，光敏单元的尺寸可以很小，模传递函数 mtf 较高，但光敏面积占总面积的比例小。 2）隔列转移型面阵 ccd 隔列转移型面阵 ccd 它的像敏单元呈二维排列，每列像敏单元被遮光的读出 寄存器及沟道隔开，像敏单元与读出寄存器之间又有转移控制栅。每一像敏单元 对应两个遮光的读出寄存器单元。读出寄存器与像敏单元的另一侧被沟阻隔开。 由于每列像敏单元均被寄存器隔开，因此，这种面阵 ccd 称为隔列转移型 ccd。 隔列转移型面阵 ccd 工作在 pal 电视制式下，按电视制式的时序工作。在场 正程期间像敏区进行光积分，这个期间转移栅为低电平，转移栅下的势垒将像敏 单元的势阱与读出寄存器的变化势阱隔开。像敏区进行光积分的同时，移位寄存 器在垂直驱动脉冲的驱动下一行行地将每列的信号电荷向水平移位寄存器转移。 场正程结束（光积分时间结束）后，进入场逆程。在场逆程期间转移栅上产生一 个正脉冲，在转移控制脉冲的作用下将像敏区的信号电荷并行地转移到垂直寄存 器中。转移过程结束后，光敏单元与读出寄存器又被隔开，转移到读出寄存器的 光生电荷在读出脉冲的作用下一行行地向水平读出寄存器中转移，水平移位寄存 重庆大学硕士学位论文 4 器快速地将其经输出放大器输出。在输出端得到与光学图像对应的一行行的视频 信号。 隔列转移型面阵 ccd 的两相注入势垒器件的像敏单元和寄存器单元的结构为 两层多晶硅结构，第一层提供像敏单元上的 mos 电容器电极，又称多晶硅光控制 电极；第二层基本上是连续的多晶硅，它经过选择掺杂构成二相转移电极系统， 称为多晶硅寄存器栅极系统。转移方向用粒子注入势垒方法完成，使电荷只能按 规定的方向转移，沟阻常用来阻止电荷向外扩散 5。 3）线转移型面阵 ccd 与前面两种转移方式相比，线转移型面阵 ccd 取消了存储区，多了一个线寻 址电路。它的像敏单元一行行地紧密排列，很类似于帧转移型面阵 ccd 的光敏区， 但是它的每一行都有一个确定的地址；它没有水平读出寄存器，只有一个垂直放 置的输出寄存器。当线寻址电路选中某一行像敏单元时，驱动脉冲将使该行的光 生电荷包一位位的按箭头方向转移，并移出输出寄存器。输出寄存器在驱动脉冲 作用下使信号电荷包经输出放大器输出。根据不同的使用要求，线寻址电路发出 不同的数码，就可以方便地选择扫描方式，实现逐行扫描或隔行扫描。也可以只 选择其中的一行输出，使其工作在线阵 ccd 的状态。因此，线阵转移型 ccd 具有 有效光敏面积大，转移速度快，转移效率高等特点，但电路比较复杂是它的特点， 使它的应用范围受到限制。 1.2.2 ccd1.2.2 ccd 的基本特征参数的基本特征参数 1）光电转换特性 存储于 ccd 像敏单元中的信号电荷包是由入射光子被硅衬底材料吸收，并将 转换成少数载流子（反型层电荷）形成的，因此，它具有良好的光转移特性。它 的光电转换因子可达到 99.7%以上。 2）光谱响应 ccd 接收光的方式有正面光照与背面光照两种。由于 ccd 的正面布置着很多 电极，电极的反射和散射作用使得正面照射的光敏灵敏度比背面照射时低。即使 是透明的多晶硅电极，也会因为电极的吸收以及在整个硅二氧化硅界面上的 多次反射而引起某些波长的光产生干涉现象，出现若干个明暗条纹，从而使光谱 响应曲线出现若干个峰与谷，即发生起伏。为此，面阵 ccd 常采用背光照射的方 法。 3）动态范围 ccd 图像传感器的动态范围定义为像敏单元的势阱中可存储的最大电荷量和 噪声决定的最小电荷量之比。它反映了器件的工作范围，一般为 80db,分辨率越高 要求 ccd 的像敏单元就越多，导致势阱可能存储的最大电荷量减少，因而动态范 1 绪论 5 围变小。同时，ccd 势阱可存储的最大信号电荷量取决于 ccd 的电极面积及器件结 构 （表面沟道 sccd 或体沟道 bccd） ， 时钟驱动方式及驱动脉冲电压的幅度等因素。 在 ccd 图像传感器中主要的噪声有以下几种：电荷注入器件时由电荷量的起伏引 起的噪声；电荷在转移过程中电荷量的变化引起的噪声；检测电荷时常常需要对 检测二极管进行复位操作，因此复位脉冲将导致信号的检测噪声、光子噪声、电 流噪声、俘获噪声以及输出噪声等。 4)暗电流 在正常工作的情况下，mos 电容处于未饱和的非平衡态。随着时间的推移，由 于热激发而产生的少数载流子使系统区域平衡。因此，即使在没有光照或其他方 式对器件进行电荷注入的情况下，也会存在不希望的暗电流。暗电流是大多数摄 像器件所共有的特性，是判断一个摄像器件好坏的重要标准，尤其是暗电流在整 个摄像区域不均匀的情况更是如此。产生暗电流的主要原因有以下几点：耗尽的 硅衬底中电子自价带至导带的本征跃迁；少数载流子在中性体内的扩散；si-sio2 界面引起的暗电流。其中在大多数情况下，以第三种原因产生的暗电流为主。另 外，暗电流还与温度有关。温度越高，热激发产生的载流子越多，暗电流就越大。 据计算，温度每降低 10，暗电流可降低 1 半。ccd 内暗电流不是均匀的，在半 导体中有缺陷的地方常出现暗电流峰值，在图像上产生一固定干扰图形。通过精 心选择半导体内的掺杂物，减小光敏单元内特殊部分的电场，以及改进 ccd 内部 结构，可以有效地减少固定图形噪声，使在一般亮度的图像上看不到固定图像噪 声。 5)分辨率 分辨率是图像传感器的重要特性，常用调制模传递函数 mtf 来评价。对于二 维面阵 ccd 的输出信号一般遵守电视系统的扫描制式，它的水平方向和垂直方向 上的分辨率是不同的，水平分辨率要高于垂直分辨率。在评价面阵 ccd 的分辨率 时，只评价它的水平分辨率，且利用电视系统对图像分辨率的评价方法电视 线评价方法。电视线评价方法表明，在一副图像上，在水平方向能够分辨出黑白 条数为其分辨率。水平分辨率与水平方向上 ccd 像敏的数量有关，像敏单元越多， 分辨率越高。现有的面阵 ccd 的像数已发展到 512512，795596，10241024， 20482048，40964096，50005000 等多种，分辨率越来越高。另外，在传统 ccd 上，为了增加分辨率，大多数生产厂商对民用级产品采取的办法是不增大 ccd 尺寸，而是降低单位像素面积，增加像素密度 6。我们知道单位像素的面积越小， 其感光性能越低，信噪比越低，动态范围越窄。因此这种方法不能无限制地增大 分辨率。如果不增加 ccd 面积而一味地提高分辨率，只会引起图象质量的恶化。 但如果在增加 ccd 像素的同时想维持现有的图象质量，就必须在至少维持单位像 重庆大学硕士学位论文 6 素面积不减小的基础上增大 ccd 的总面积。但目前更大尺寸 ccd 加工制造比较困 难，成品率也比较低，因此成本也一直降不下来。 6)驱动频率 ccd 器件必须在驱动脉冲的作用下完成信号电荷的转移，输出信号电荷。通常 情况下，驱动脉冲一般泛指加在转移栅上的转移脉冲的频率。其中该频率的上限 与少数载流子的平均寿命有关，而载流子的寿命与器件的工作温度有关，工作温 度越高，热激发少数载流子的平均寿命越短，驱动脉冲的下限越高。该驱动频率 的上限往往受限于电荷自身的转移时间对驱动脉冲上限的限制，由于电荷转移的 快慢与载流子迁移率、电极长度、衬底杂质的浓度和温度等因素有关，因此，对 于相同结构设计的 n 沟道 ccd 比 p 沟道 ccd 的工作频率高 7。 1.3 ccd1.3 ccd 与与 cmoscmos 图像传感器的比较图像传感器的比较 ccd（chagre couled device）与 cmos(complementary metaloxide semiconductor)互补金属氧化物半导体器件传感器是当前被普遍采用的两种图像 传感器，两者都是利用感光二极管(photodiode)进行光电转换，将图像转换为数 字数据，而其主要差异是数字数据传送的方式不同。 在 ccd 传感器中每一行中每一个象素的电荷数据都会依次传送到下一个象素 中，由最底端部分输出，再经由传感器边缘的放大器进行放大输出；而在 cmos 传 感器中，每个象素都会邻接一个放大器及 a/d 转换电路，用类似内存电路的方式 将数据输出 8。 造成这种差异的原因在于：ccd 的特殊工艺可保证数据在传送时不会失真，因 此各个象素的数据可汇聚至边缘再进行放大处理；而 cmos 工艺的数据在传送距离 较长时会产生噪声，因此，必须先放大，再整合各个象素的数据 9。 由于数据传送方式不同，因此 ccd 与 cmos 传感器在效能与应用上也有诸多差 异，这些差异包括： 1. 灵敏度差异：由于 cmos 传感器的每个象素由四个晶体管与一个感光二极 管构成(含放大器与 a/d 转换电路)，使得每个象素的感光区域远小于象素本身的 表面积，因此在象素尺寸相同的情况下，cmos 传感器的灵敏度要低于 ccd 传感器。 2. 成本差异：由于 cmos 传感器采用一般半导体电路最常用的 cmos 工艺，可 以轻易地将周边电路(如 agc、cds、timing generator、或 dsp 等)集成到传感器 芯片中，因此可以节省外围芯片的成本；除此之外，由于 ccd 采用电荷传递的方 式传送数据，只要其中有一个象素不能运行，就会导致一整排的数据不能传送， 因此控制 ccd 传感器的成品率比 cmos 传感器困难许多，即使有经验的厂商也很难 1 绪论 7 在产品问世的半年内突破 50%的水平，因此，ccd 传感器的成本会高于 cmos 传感 器。 3. 分辨率差异： 如上所述，cmos 传感器的每个象素都比 ccd 传感器复杂， 其象素尺寸很难达到 ccd 传感器的水平， 因此， 当我们比较相同尺寸的 ccd 与 cmos 传感器时，ccd 传感器的分辨率通常会优于 cmos 传感器的水平。例如，目前市面 上 cmos 传感器高达 210 万象素的 omnivision 的 ov2610，其尺寸为 1/2 英寸，象 素尺寸为 4.25m，但 sony 推出的 icx452，其尺寸与 ov2610 相差不多(1/1.8 英 寸)，但分辨率却能高达 513 万象素，象素尺寸也只有 2.78m 的水平。 4. 噪声差异：由于 cmos 传感器的每个感光二极管都需搭配一个放大器，而 放大器属于模拟电路，很难让每个放大器所得到的结果保持一致，因此与只有一 个放大器放在芯片边缘的 ccd 传感器相比，cmos 传感器的噪声就会增加很多，影 响图像品质。 5. 功耗差异：cmos 传感器的图像采集方式为主动式，感光二极管所产生的电 荷会直接由晶体管放大输出，但 ccd 传感器为被动式采集，需外加电压让每个象 素中的电荷移动，而此外加电压通常需要达到 12v18v；因此，ccd 传感器除了在 电源管理电路设计上的难度更高之外(需外加 power ic)，高驱动电压更使其功耗 远高于 cmos 传感器的水平。举例来说，omnivision 近期推出的 ov7640(1/4 英寸、 vga)，在 30 fps 的速度下运行，功耗仅为 40mw；而致力于低功耗 ccd 传感器的 sanyo 公司推出的 1/7 英寸、cif 等级的产品，其功耗却仍保持在 90mw 以上。 综上所述，ccd 传感器在灵敏度、分辨率、噪声控制等方面都优于 cmos 传感 器，而 cmos 传感器则具有低成本、低功耗、以及高整合度的特点 10。不过，随着 ccd 与 cmos 传感器技术的进步，两者的差异有逐渐缩小的态势，例如，ccd 传感 器一直在功耗上作改进，以应用于移动通信市场(这方面的代表业者为 sanyo)； cmos 传感器则在改善分辨率与灵敏度方面的不足，以应用于更高端的图像产品， 就目前而言，cmos 器件在数码相机低级产品的应用上已基本满足了要求，在中高 档产品上的应用则有待提高，存在的问题主要是：抗干扰性比 ccd 器件差一些， 数字影像的质量与效果(解析度、色彩还原等)也不远如 ccd 器件 11。 1.4 sopc1.4 sopc 及其技术及其技术 sopc 是 altera 公司提出的一种灵活、高效的片上系统设计方案。它的实质是 soc (system on chip)设计技术，与其他 soc 设计技术相比，它的特点在于可编 程性，也即它利用 fpga 或 cpld 器件的可编程性来进行 soc 设计 12。sopc 的主要 思想是提供一个 lp 库，用户从 ip 库中选择组件来组装系统。而如果供应商提供 的 ip 库中的组件不能满足系统需求， 用户还可以自定义逻辑来实现这些功能。 sopc 重庆大学硕士学位论文 8 技术提供了把自定义的逻辑加入到系统中的功能。这种基于fpga解决方案的soc， 与 asic 的 soc 解决方案相比，sopc 系统及其开发技术具有更多的特色，从构成 sopc 的方案来看，主要有如下几种途径 13。 1.4.11.4.1 fpgafpga 嵌入式嵌入式 ipip 硬核的硬核的 sopcsopc 系统系统 基于 fpga 嵌入 ip 硬核的 sopc 系统是指在 fpga 中预先植入处理器。目前最 常用的嵌入式处理器大多采用含有 arm 32 位知识产权处理器核的器件。为了达到 通用型，必须为这些嵌入式处理器集成诸多通用和专用的接口，但这样无疑会增 加芯片的成本和功耗，如果将 arm 或者其他处理器核以硬核方式植入 fpga 中，利 用 fpga 中的可编程逻辑资源，按照系统功能需求来添加接口功能模块，这样既能 实现目标系统功能，又能降低系统的成本和功耗。这样就能使得 fpga 灵活的硬件 设计与处理器的强大软件功能有机结合在一起。 1.4.2 fpga1.4.2 fpga 嵌入嵌入 ipip 软核的软核的 sopcsopc 系统系统 将 ip 硬核直接植入 fpga 的解决方案存在以下几种不足：由于此类硬核多来 自第三方公司，fpga 厂商通常无法直接控制其知识产权费用，从而导致 fpga 器件 价格相对偏高；由于硬核是预先植入的，设计者无法根据实际需要改变处理器的 结构，如总线规模、接口方式、指令形式，更不可能将 fpga 逻辑资源构成的硬件 模块以指令的形式嵌入硬件加速模块 （如 dsp） ； 无法根据实际设计需要在同一 fpga 中集成多个处理器； 无法裁减处理器硬件资源以降低fpga成本； 只能在特定的fpga 中使用硬核处理器。 如果利用软核处理器就能有效地克服上述的不足。目前最有代表性的软核处 理器分别是 altera 公司的 niosii 核，以及 xilinx 公司的 microblaze 核。特别 是 niosii 核，能很好的解决上述五方面问题。altera 的 niosii 核是用户可随意 配置和构建的32位嵌入式处理器ip核， 采用avalon总线结构通信接口； 含有first solution（fs2）开发的基于 jtag 的片内设备（oci）内核（这为开发者提供了强 大的调试功能） 。在把 niosii 植入 fpga 前，使该嵌入式系统在硬件结构、功能特 点、资源占用等方面全面满足用户系统的要求。niosii 核在同一 fpga 中的植入数 量没有限制，只要 fpga 资源足够即可 14。 另外，在开发工具的完备性方面，niosii 具有很大的优势，altera 不仅提 供了强大的 hal 系统库支持，还提供了嵌入式操作系统和 tcp/ip 协议栈的支持。 就成本而言，由于 niosii 是 altera 公司直接提供而非第三方厂商产品，故用户 通常无需支付知识产权费用， niosii 的使用费用仅仅是其占用的 fpga 逻辑资源的 费用，因此，用户选用的 fpga 越便宜，则 niosii 的使用费用就越便宜。特别值 得一提的是，通过 matlab 和 dsp builder，用户可以为 niosii 处理器设计各类硬 件数字处理器，并以指令的形式加入 niosii 指令集。例如，用户可以根据设计项 1 绪论 9 目的具体要求，随心所欲的构建自己的 dsp 处理器系统，而不必拘泥于其他 dsp 公司上市的有限款式的 dsp 处理器。 1.4.31.4.3 基于基于 hardcopyhardcopy 技术的技术的 sopcsopc 系统系统 通过强化 sopc 工具的设计能力，在保持 fpga 开发优势的前提下，引入 asic 的开发流程， 从而对 asic 市场形成直接竞争， 这就是 altera 公司推出的 hardcopy 技术。 hardcopy 就是利用原有的 fpga 开发工具， 将成功实现于 fpga 器件上的 sopc 系统通过特定的技术直接向 asic 转化，从而克服传统 asic 设计中普遍存在的问 题 15。 与 hardcopy 技术相比，对于系统级的大规模 asic（soc）开发，有不少难于 克服的问题，其中包括开发周期长、市场上市慢、一次性设计成功率低、有最少 投片量要求、设计软件工具繁多且昂贵、开发流程复杂等，此外 asic 开发要求有 高素质的技术人员队伍，高达数十万美元的开发费用和昂贵的掩模费用，且整个 设计周期可能长达一年。asic 设计的高成本和一次性低成功率很大部分是由于需 要设计和掩模的层数太多。然而利用 hardcopy 技术设计 asic，开发费用仅 quartusii 费用 （200 美元左右） ， soc 级规模的设计周期不超过 20 周， 转化的 asic 与用户设计习惯的掩模层只有两层，且一次性投片率近乎 100，即所谓的 fpga 向 asic 的无缝转化。而且用 asic 实现后的系统性能将比原来在 hardcopy fpga 上验证的模型提高近 50，而功耗则降低近 40。 hardcopy 技术是一种全新的 soc 级 asic 设计解决方案， 即专用的硅片设计与 fpga 至 hardcopy 自动迁移过程结合在一起的技术， 首先利用 quartusii 将系统模 型成功实现于 hardcopy fpga 上，然后帮助设计者把可编程解决方案无缝地迁移 到低成本的 asic 上，这样，hardcopy 器件就把大容量 fpga 的灵活性 asic 的市场 优势结合起来，实现对于有教大批量要求并对成本敏感的电子产品上，从而 避免 了直接设计 asic 的困难。 sopc 技术的本质是 soc 技术，其特点表现为可编程性。进行 sopc 设计的环境 是 sopc builder，它集成在 altera 公司的 eda 工具 quartusii 中。sopc builder 有一个友好的图形用户界面，通过这个界面，用户可以从 altera 提供的 ip 库中 选取一些组件，如处理器、sdram、 flash 以及各种 i/0 等，并可通过选择配置相 应的参数。sopc 有个尤为重要的功能：在进行 sopc 设计时，如果用户有特殊功能 要求，但 ip 库中没有，则用户可以通过加入自定义的逻辑来实现。在进行 sopc 设计时，用户需要先编写用户逻辑(如果有这种需要的话)及通过 sopc builder 选 择组件，然后用 sopcbuilder 产生所选择的系统组件的 vhdl 或者 verilog 源文件 以及模拟文件等，之后，用 quartusii 编译整个系统，编译成功后，把编译文件 下载到开发板上进行验证。 重庆大学硕士学位论文 10 altera 的 sopc 系统 excalibur 有两种，一种在 pld 器件内嵌入 arm922t 硬 核，另一种使用 altera 自己的 32 位嵌入式精简指令集 cpunios ii。nios ii 是一个基于流水线设计的通用 risc 微处理器，拥有五级流水线和指令与数据内存 分开的哈佛结构 16。nios ii 支持 16 位和 32 位的数据总线并都使用 32 位的指 令集。nios ii cpu 和 avalon 总线一起构成了这个 sopc 系统的主要内容。 sopc 首先由单个芯片完成整个系统的主要逻辑功能。其次它具有可编程性， 可以灵活地裁减、扩充或者升级这个系统而无需改变硬件。sopc 具备以下基本特 征：1）至少含一个嵌入式处理器内核。2）具有小容量片内高速 r a m 资源。3） 丰富的 ip core 资源可供选择。4）足够的片上可编程逻辑资源。5）处理器调试 接口和 fpga 编程接口。6）可包含部分可编程模拟电路。7）单芯片低功耗微封装 等。此外如：嵌入式处理器内核与内存和周边设备交互的方便、ip 核的可移植性、 设计的复用性、仿真和验证的可靠性及从公共设计平台创建产品的定制化能力等， 也是 sopc 关注的问题。 altera 开发了 avalon 片上总线来连接处理器、内存、周边设备和 i p 核等 系统组件。 可以使用sopc builder工具选定avalon总线的主设备(比如nios ii cpu) 和从设备(比如内存和周边设备)，然后 sopc builder 会自动连接各个部件，生成 整个系统。只要系统的各个部件都符合 avalon 总线的标准，就可以很快生成高性 能的 sopc 系统 17。 1.51.5 国内外研究现状国内外研究现状 实现对面阵 ccd 的采集与控制，由于面阵 ccd 驱动时序比较复杂，一般采用 专用的驱动控制芯片以及功能强大的采集芯片对其控制，如以 dsc21（该芯片采用 双核 dsp 5409+arm7）为主控芯片来实现采集与控制。基于类似于 dsc21 这种双核 结构是当今数码相机的主流图像处理引擎架构，它容易扩展外设，可以和 cf 卡、 sm 卡等存储器无缝连接 18。采用专用采集芯片往往由于需要较强大的技术支持， 所以在自主开发上往往受限生产厂家或者第三方的技术支持。 基于 fpga 的片上系统（system on chip ，soc）来实现面阵 ccd 图像的采集， 目前相关的介绍资料还较少。一方面大多生产厂家将注意力集中在成熟的专用芯 片上，另方面由于基于 fpga 的片上系统（system on chip ，soc）设计许多专用 的 ip 核没完全开放，采用开放的免费 ip 核仅能对于前期研究工作发挥重要作用， 许多情况下还不能真正实现无缝链接，设计时设计者尽管有许多可供自主开发的 资源，离真正的实际应用还有一定的距离。同时在开发的过程中，开发人员还必 须依据实际情况有针对性的设计相应的控制器，这无形地增加了开发难度。但是 由于处理器是软核，具有很大的灵活性，可以在多种系统设置组合中进行选择， 1 绪论 11 满足成本和功能的要求。采用 niosii 处理器进行设计，可以帮助用户将产品迅速 推向市场，延长产品生命周期，防止出现处理器逐渐过时的情况，从而为开发自 主知识产权地产品提供了较好地开发平台，特别是进行前期开发研究具有相当好 的软硬件开发资源，所以在进行该课题的研究时，笔者选用了基于 sopc 技术来实 现对面阵 ccd 的采集与控制。 1.61.6 本课题研究内容本课题研究内容 本课题所研究的是面阵 ccd 图像传感采集与控制、 大容量高速存储器 （sdram） 的控制、dma 数据传输以及数据存取，f2.8 镜头变焦、聚焦、快门以及光圈等控 制，驱动 ccd 的可控电源设计等。这些部分是研究图像处理预处理的关键部分， 同时也是研究后续数码影像产品不可缺少的部分。 2 采集控制及镜头控制方案与组成 13 2 2 采集控制及镜头控制采集控制及镜头控制方案方案与与组成组成 2.12.1 系统采集控制方案系统采集控制方案 整个系统主要实现三部分的功能:一是面阵 ccd 驱动控制，一是实时快速数据 采集，一是 f2.8 镜头控制。根据课题实际需求，以及继承实验室原有技术的基础 之上，系统设计时，对面阵 ccd 驱动芯片的配置、对面阵 ccd 供电电源的加电顺 序以及 f2.8 镜头控制笔者采用单片机cpld 来实现。对面阵 ccd 的采集与控制、 dma 数据传输、lcd 液晶显示等由 fpga 中的 niosii 处理器来控制实现 19。 在系统中， lr38642 的配置控制主要利用模拟 i2c 总线方式实现相应控制寄存 器的配置，但也可通过操控 i2c 内核来实现。由于考虑到本身系统资源的问题， 在设计时，主要采用了单片机模拟 i2c 控制方式实现对 lr38642 相应控制寄存器 的配置。但在系统开发的过程中，笔者对这两种方法都进行了一定研究，从实际 效果来看都能很好的实现对其控制寄存器的控制。 对于面阵 ccd 的采集与控制，笔者就 dma 控制传输方式与在 niosii 处理器控 制下的查询采集方式分别进行了相关研究，从实际的控制效果来看，采用 dma 控 制方式能够很好的实现快速数据的采集，能很好的将采集后的数据存储到 sdram 存储器中。但由于需要耗费大量的硬件资源，所以在现有的数码相机样机上，如 实现 dma 传输控制，整个系统的其它功能将大大受限。所以要真正实现高效、快 速的数据采集必须选用更大容量的fpga， 如cycloneii ep2c35等。 对于采用niosii 处理器以查询采集方式来实现采集的话，只需要利用 pio 口就能实现采集，但采 集速度将大大受限 20，采用此种方式，硬件资源耗费较少，但用于验证 ccd 输出 数据的正确性是完全可行的。 对于采集后的数据正确性的验证，可通过 lcd 显示来实现，亦可通过 cf 卡存 储后在 pc 机上显示来实现。实际验证数据时，主要采用观看 lcd 上是否能够使图 像再现。如在 lcd 上能观看到被测物的成像，就能说明系统采集基本正常工作。 系统设计的过程中，笔者对上述两种验证方法都作了一定的研究。从实验效果来 看，由于原数码相机样机的硬件资源，特别是 sdram 存储资源十分有限，对采集 后的图像如采用cf卡方式来验证图像数据， 则必须另外外加一片或者更多的sdram 存储器，已满足实际像素变换过程中所需的缓存需要，用 lcd 显示来验证，不存 在 sdram 内存不够的问题。 对 f2.8 镜头控制采用两种方式，一是手动控制，通过控制按键来实现快门、 光圈、变焦以及聚焦等的控制，二是通过 pc 机通过串口下传到单片机控制输出相 重庆大学硕士学位论文 14 应得控制命令，实现实验平台上镜头的控制。采用 pc 机控制方式其主要目的为后 续的自动变焦提供相应的实验依据。目前这两种方案都能基本实现其功能。 对于面阵 ccd 的控制电源的方案，采用了两种方案：一是专用集成芯片控制 方案；一是分离元件外加专用集成芯片控制方案。从实际控制效果来看，采用后 者效果较好。 2.2.2 2 niosiiniosii 简介简介 altera 的 niosii 嵌入处理器是现今世界上最广泛许可使用的软核嵌入处理 器。niosii 嵌入处理器是用户可配置的通用 risc cpu，它结合丰富的外设、专用 指令和硬件加速单元提供片上可编程系统(sopc)解决方案 21。 niosii 处理器可以 容易地与用户逻辑结合并使用sopc builder工具编译， 使用quartusii下载到fpga 里面。 基于 niosii 嵌入处理器的系统特性有: 高度的定