（光学专业论文）嵌入式光电成像系统的设计与调试.pdf

摘要 摘要 自上世纪初人类揭示光电效应的本质以来，光电成像技术一直是成像领域的 热点技术，并得到了迅速的发展。目前，光电成像技术已广泛应用于国防、航 天、生物科学、化工检测、工业监控乃至日常消费等领域。本论文分析了目前 光电成像系统结构和性能上的优势和不足，从提高系统移动性和集成度、突破 传输受限和增强系统实时处理和分析三个方面出发，设计了一套新型的光电成 像系统，并详细分析了这套系统的整体构造、软硬件设计和实现形式、调试技 术和实验结果。 在系统设计上，本文将嵌入式技术引入到光电成像系统设计中，选取3 2 位 的$ 3 c 2 4 4 0 微处理器和嵌入式l i n u x 操作系统，采用d m a ( 直接内存访问) 方 式，实现了对图像信号的快速传输和处理。整个系统由核心控制、电源、时钟、 图像采集和外围接口五个模块组成，本文详述了各部分的电路设计和硬件选型， 给出了电路的p c b 设计结果，总结了高速p c b 设计经验，对于系统的重要信号 进行了仿真和测试。软件测试部分，本文在a d s 调试环境下对系统的重要功能 模块和稳定性能进行了测试，验证了嵌入式技术应用于光电成像领域的可行性 和可靠性。此外，论文还介绍了嵌入式系统的移植、图像模块驱动程序开发和 应用程序设计。 嵌入式技术的引入，可以大大减小光电成像系统的体积，降低功耗，提高便 携性，从而扩展光电成像技术的应用领域。本论文将该系统应用于图像采集， 得到了理想的实验结果。论文最后，总结了设计过程中所做的工作和创新点， 同时对于系统的进一步完善和开发进行了展望。 关键字：光电成像嵌入式系统a d s 调试图像采集 a b s t r a c r 一一一 a b s t r a c t s i n c et h eb e g i n n i n go fl a s tc e n t u r yw h e nt h et h e o r yo f p h o t o e l e c t r i ce f f e c tw a s f o u n d e d ，p h o t o e l e c t r i ci m a g i n gt e c h n o l o g y , a sah o t s p o tt e c h n o l o g y , h a sb e e n d e v e l o p e dq u i c k l y a tp r e s e n t ，t h i st e c h n o l o g yh a sb e e nw i d e l ya p p l i e di ns p a c e f l i g h t ， b i o s c i e n c e ，c h ，e m i c a li n d u s t r ya n d e v e nc o m m o n c o n s u m i n g t h i sp a p e rc o m p a r e st h e a d v a n t a g e sa n dd i s a d v a n t a g e so fc u r r e n tp h o t o e l e c t r i ci m a g i n gs y s t e ma n d d e s i g n sa n e wt y p eo fp h o t o e l e c t r i ci m a g i n gs y s t e mi no r d e rt oi n c r e a s et h em o b i l i t ya n d s y s t e mi n t e g r a t i o n ，b r e a kt h r o u g ht h eb o t t l e n e c ko fd a t at r a n s f e rr a t ea n ds t r e n g t h e n t h er e a l t i m ea b i l i t y t h es y s t e ms t r u c t u r e ，h a r d w a r ea n ds o f t w a r ed i f f i c u l t i e si nt h e d e s i g na n dt e s t i n gr e s u l t sa r ed e s c r i b e di nd e t a i l i nt h i sd e s i g n ，t h ee m b e d d e ds y s t e mi s a d o p t e df o rt h ep h o t o e l e c t r i ci m a g i n g s y s t e m t h i sp a p e rc h o o s e s $ 3 c 2 4 4 0m c ua n de m b e d d e dl i n u xo p e r a t i n gs y s t e m a n du t i l i z e sd m a ( d i r e c tm e m o r ya c c e s s ) t e c h n o l o g yt ot r a n s f e ra n dp r o c e s si m a g e d a t am o r ef a s t a c c o r d i n gt ot h es y s t e mf u n c t i o n sa n dd e s i g n p r i n c i p l e s ，t h eh a r d w a r e o fs y s t e mi sc l a s s i f i e da sk e r n e l c o n t r o l l i n g ，i m a g es e n s o r ，p o w e r , c l o c ka n d p e r i p h e r a l i n t e r f a c em o d u l e s t h i sp a p e rd e s c r i b e st h eo v e r a l l s t r u c t u r eo ft h e p l a t f o r m ，i n t r o d u c e st h eh a r d w a r es e l e c t i o na n dp e r f o r m a n c ec h a r a c t e r i s t i c so fe a c h h a r d w a r eu n i t s ，a n d g i v e st h er e s u l t so fp c bd e s i g na n ds u m m a r i z e sa b u n d a n t e x p e r i e n c ei nh i g hs p e e dp c bd e s i g n i ns o f t w a r et e s t ，t h i sp a p e rd e s i g n ss y s t e m a t i c a l t e s t i n gp r o g r a m su n d e ra d s ( a r md e v e l o ps u i t ) e n v i r o n m e n tt ot e s tt h ef u n c t i o n s a n d s t a b i l i t y o ft h i s s y s t e m b e s i d e s ，t h i sp a p e ri n t r o d u c e s o p e r a t i n gs y s t e m i m m i g r a t i o nw h i c hi n c l u d e sb o o t l o a d e r , k e r n e la n df i l e s y s t e mi m m i g r a t i o n t h e i m a g es e n s o rd r i v e ra n da p p l i c a t i o np r o g r a m sa r ed e s i g n e du n d e re m b e d d e dl i n u x t h i sp a p e rc o n f i r m st h ef e a s i b i l i t yo ft h e a p p l i c a t i o no fe m b e d d e dl i n u xi n p h o t o e l e c t r i ci m a g i n gs y s t e ma n dg e t sg o o di m a g ec o l l e c t i o nr e s u l t s a tl a s t ，w e b r i e f l ys u m m a r yt h ew h o l ew o r ko ft h i sp a p e ra n dd e s c r i b et h ep r o s p e c tt oi m p r o v e t h isi m a g i n gs y s t e mf o rf u r t h e re x p l o r a t i o n k e yw o r d s ：p h o t o e l e c t r i ci m a g i n ge m b e d d e dl i n u xa d st e s t i m a g ec o i l e c t i o n l i 南开大学学位论文使用授权书 根据 南开大学关于研究生学位论文收藏和利用管理办法，我校的博士、硕士学位获 得者均须向南开大学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在 著作权法规定范围内的学位论文使用权，即：( 1 ) 学位获得者必须按规定提交学位论文( 包 括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论文， 并编入南开大学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将公开 的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网，卜提供论文目录检索、文 摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开大学向教育部 指定单位提交公开的学位论文；( 4 ) 学位论文作者授权学校向中国科技信息研究所和中国学 术期刊( 光盘) 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文数据库， 通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。 论文电子版提交至校图书馆网站：h t t p ：2 0 2 1 l3 2 0 16l ：8 0 01 i n d e x h t m 。 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩： 提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。 墨弓k 作者暨授权人签字：么主! j 2 07 年皇肘旧 南开大学研究生学位论文作者信息 论文题目 崩入式先也盛俦氖纨馓竹勿伺绒 姓 名 詹行 学号m 沙6 - i 妒弓答辩日期 出哆年j 月拥 论文类别博上口学历硕上硕上专业学位口高校教师口同等警力硕上口 院系所 物星铒瞳咛陆 专业 先学 i 联系电话 ，；7 扔3 钰7 j e m a i l l t 晒k qy “n 协 通信地址( 邮编) ： 南研犬嗜彰盼弓恪f 弓册7 ，) 备注：是否批准为非公开论文 莒 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆，非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：唐彳3 洲年岁月乡f 日 一一一一一一一一一一一一叫，- 一一一一一一一一一一一 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年月目 各密级的最长保密年限及书写格式规定如下： “飞 i 内部5 年( 最长5 年，可少于5 年)； ； 秘密- k l o 年( 最长1 0 年，可少于1 0 年) ； ；机密2 0 年( 最长2 0 年，可少予2 0 年) ； k ，。一。，。i 。，。， 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作 所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含 任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉 及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学 位论文原创性声明的法律责任由本人承担。 学位论文作者签名：窟绉 a 呷年r 月乡日 第一章绪论 第一章绪论 第一节光电成像技术的发展 现代人类是生活在信息时代，获取图像信息是人类文明生存和发展的基本需 要，据统计，在人类接受的信息中，视觉信息占到了6 0 。但是由于视觉性能 的限制，通过直接观察所获得的图像信息是有限的。首先是灵敏度的限制，在 照明不足的情况下人的视觉能力很差；其次是分辨力的限制；还有时间上的限 制，已变化过的景象无法留在视觉上。总之，人的直观视觉只能有条件地提供 图像信息。在很久以前，人们就已经开始为开拓自身的视觉能力而探索，望远 镜、显微镜、胶片照相机等的应用，为人类观察和保留事物景象提供了方便。 直到上世纪2 0 年代，爱因斯坦完善了光与物质内部电子能态相互作用的量子理 论，人类从此揭开了内光电效应的本质。同时，随着半导体理论发展和随之研 制出来的各种光电器件，内光电效应得到了广泛的应用。而在外光电效应领域， 1 9 2 9 年科勒制成了第一个实用的光电发射体一银氧铯光阴极，随后成功研制了 红外变像管，实现了将不可见的红外图像转换为可见光图像。随之而来的是紫 外变像管和x 射线变像管【lj ，人类的视觉光谱范围获得了很大的扩展。上世纪 3 0 年代，人类又开始为扩展视界而致力于电视技术的研究。以弗兰兹沃思开发 的光电析像器为起端，伴随而来的是众多摄像器件的诞生，超正析像管、分流 摄像管、视像管、热释电摄像管【2 】等。1 9 7 6 年，美国贝尔实验室发现电荷通过 半导体势阱发生转移的现象，利用半导体的光电特性【3 】，成功研制了一种新型的 固态摄像器件，光电成像技术到达了一个新的高峰。经过3 0 多年的发展，如今 固态摄像器件已经衍生出了三大类型：电荷耦合器件( c h a r g ec o u p l e dd e v i c e ， 即c c d ) 【4 】、互补金属氧化物半导体图像传感器( c o m p l e m e n t a r ym e t a lo x i d e s e m i c o n d u c t o r ，即c m o s ) s i g n 电荷注入器件( c h a r g e n j e c t i o nd e v i c e ，即c i d ) 。 光电成像技术，不但可以扩展人眼对微弱光图像的探测能力，将超快速现象 记录；还可以开拓人眼对不可见辐射的接受能力。正是这些作用，光电成像技 术已经广泛应用于航天、导弹制导、军事侦查等高科技领域，尤其是以超大规 模的电荷耦合器件为核心的固态摄像器件在国防和民用领域获得了广泛应用。 分辨率高、灵敏度高、功耗低、体积小等优点，让固态摄像器件在显微探测、 第一章绪论 微距测量、监控、数码摄像等应用方面取得迅猛的发展。 第二节光电成像系统的介绍 1 2 1光电成像系统的组成 光电成像系统按波长可分为可见光、紫外光及红外光电成像系统。光电成像 系统所涉及的复杂信号传递可以用图1 1 来表示。 里 尿 噪 尸曰 景声声显jpo，_o 噪 声 图1 1 光电成像系统的基本组成 光电摄像器件是光电成像系统的核心，从光电管、光电倍增管，到以半导体 为材料的固态摄像器件，光电成像系统的类型经历了一系列的变化和发展。早 期的光电管灵敏度低、体积大、易破损，已逐渐被固体光电器件所代替。固 态光电器件的功能是把光学图像转换为电信号，即把入射到传感器光敏面上按 时间分布的光强信息，转换为按时序串行输出的电信号一视频信号，而视频信 号能够再现入射的光辐射图像。其中，c c d ( 电荷耦合器件) 的工作原理是基 于内光电效应在光敏面阵上产生信号电荷包，通过时序控制电极电位形成势阱 变化完成电荷包转移，由此自扫描过程在输出端获得视频电信号，一般都是模 拟信号，需要经过后期放大、去噪和模数转换等，转换为稳定的数字信号。c m o s 图像传感器是在c c d 基础上发展而来，工作原理和c c d 类似，都是利用光电二 极管产生电信号，主要的差异体现在数据传输方式上。在c m o s 传感器中，每个 像素都会邻接一个放大器和d 转换电路，采用类似内存电路1 6 j 的方法将数据输 出。而造成这种传输方式差异的原因在于：c c d 的特殊工艺可以保证数据传送 不失真，因此各个像素的数据可以汇聚至边缘再进行放大处理；而c m o s 工艺的 数据在传送时会产生噪声，因此，必须先放大，再汇集各个像素的数据。 2 第一章绪论 1 2 2光电成像系统的应用 光电成像技术就是利用光电变换和信号处理技术获取目标图像，它所研究的 内容可以概括为四个方面，即：在空间上扩大人类视觉机能的图像传输技术； 在时间上扩大人类视觉能力的图像记录和存储技术；扩大人类视觉光谱响应范 围的图像变换技术；扩大人类视觉灵敏机能的图像增强技术。随着科学技术的 迅猛发展，包括微光与红外成像技术【7 j 在内的光电成像技术受到了普遍的重视并 且不断开拓着新的应用领域。 在可见光成像领域，光电成像系统普遍应用于黑暗过程的观察、材料折射和 透明性的拍照、显微镜工作等。其中，黑暗过程的观察包括日常安全监控、心 理学中的行为状态记录、水下监视、夜间射击监控等，在科学研究工作中，光 电成像系统还可以用于记录空气动力学、核物理等方面的高速微光现象、记录 空间探测的确定方位和水下自然现象的记录。尤其是在显微成像领域，光电成 像系统可以用于厚且不透明断面内的现象的快速记录和在荧光下的图像的记 录。 在红外辐射领域，光电成像系统应用方面包括：利用温度高于绝对零度产生 的热辐射成像工作，比如：炼钢、轧钢过程中的监控，输油管道状态检查，起 火原因分析，输电线、电力设备热状态检查，导弹制导，癌症及与温度变化有 关的病变早期诊断等；利用与可见光相比有不同折射、色散和透明度的红外照 相或观察，比如：红外区双折射的研究，行星和恒星星象的记录，扩展浓雾大 气的可见区，发射红外线的研究，膺品检查等；红外显微镜工作，比如：光敏 制品的鉴定，金属或矿物断面的检查等。在紫外辐射领域，光电成像系统主要 应用于利用衍射、物质辐射和透过辐射等性质的紫外照相，紫外显微镜工作和x 射线照相。 1 2 3目前光电成像系统的设计 目前的光电成像系统根据主要器件组成的不同，存在如下几种类型： 1 u s b 数字摄像头成像系统 目前，数字摄像头【8 1 被广泛应用于视频监控、视频会议和图像识别等领域， 它一般由镜头、图像传感器、a d 转换器、m p u ( m i c r o p r o c e s s o ru n i t ，微处理 器) 和接口等部件组成，如图1 2 所示。 3 第一章绪论 图1 2 摄像头成像系统结构图 数字摄像头通过m p u 实现对曝光、闪光、拍摄逻辑控制等操作的协调和控 制等，将采集的图像信号通过u s b 2 0 接口传送至p c 机，进行复杂的处理。在 p c 机上开发图像化的控制界面，通过u s b 发送命令，控制摄像头的m p u 。整 个系统性价比高，结构简单，但是完全依赖p c 机，移动性很差，而且数据传输 速率受u s b 接口限制，存在“传输瓶颈”问题。 2 图像采集卡系统 按摄像器件的输出信号格式划分，图像采集卡【9 】【1 0 1 可以分为模拟图像采集卡 和数字图像采集卡，前者一般用于电视摄像和监控，通用性好，成本低，但是 分辨率低，采集速率慢，而且容易受到噪声干扰。后者只接受数字图像信号的 输入，经过缓冲处理后，传送给p c 机。为了满足不同的传输距离和速率，图像 采集卡与p c 机的接口主要有u s b 2 0 、r s 2 3 2 、并口和p c i 。串行r s 2 3 2 和并口 因为传输速率低不能满足图像采集应用的要求。u s b 2 0 ，虽然通用简单，而且 支持热插拔，理论上最高传输速率能到4 8 0 m b s ，但是实际传输速率很难超过 1 0 m b s 。p c i 接口实际传输速率可达7 0 m b s ，在一定程度上可以满足图像快速 采集的要求，但是p c i 接口只支持单个外设的连接，不支持热插拔。图像采集 卡的一般结构如图1 3 所示。 图1 3 图像采集卡成像系统 4 第一章绪论 在存储和控制方面，目前的图像信息数据量大、实时性强，为了提高系统的 性能和节省资源，图像采集卡采取了必要的缓冲措施，在内部集成大容量的数 据缓冲器，同时集成f p g a 或c p l d 作为核心控制器，一方面控制图像的实时 采集，另一方面满足外部采集元件的时序驱动和控制要求。 图像采集卡相比以往图像采集系统，在图像实时采集和传输性能上有了很大 的提高，但是系统整体体积庞大，电路复杂，功耗较高，开发成本高，而且过 于依赖计算机。 3 数字相机成像系统 目前，绝大多数数字相机采用c c d ( 电荷耦合器件) 或高性能的c m o s 图 像传感器，系统分辨率和灵敏度很高，体积小，而且相机内部集成m p u 和大容 量存储器( 如：s d 记忆卡) ，可以实时显示并保存采集的图像。相机作为一个 独立的整体，可以完成参数控制、图像采集和保存等一系列操作，而不依赖于 p c 机，因而具有较高的便携性。此外，相机外接u s b 接口，可以与p c 机或其 他设备进行数据通信和传输，如图1 4 所示。 图1 4 数字相机成像系统结构图 但是，数字相机成像系统【| l 】【1 2 1 只能实现对图像的控制、采集和存储，缺乏对 图像处理和分析的支持，无法单独完成对图像的实时处理和分析，缺乏良好的 扩展能力，因而更多地应用于同常消费领域，在目标分辨、图像模拟等科学研 究领域，应用性能较差。 第三节本论文的提出和组织结构 1 3 1课题研究意义 5 第一章绪论 光电成像技术的不断发展，使得光电成像系统在微光和可见光成像领域保持 着重要的地位。目前的光电成像系统，例如：摄像头和图像采集卡，过分依赖 p c 机，系统体积庞大，移动性能不高，而且采集速度受传输接口的限制，“传输 瓶颈 问题比较严重。在引入嵌入式处理器后，例如：数字相机，系统的移动 性和可操作性得到了很大改善，而且随着高分辨率和高灵敏度图像传感器的发 展，数字相机的性能不断提高，但是，在图像实时处理和分析方面，尤其是进 行图像算法分析，数字相机不能满足人们的需求。 随着人们对成像系统性能要求的不断提高，图像的快速采集和传输、实时处 理和分析、高集成度、低功耗、低成本等成为成像系统设计时的重要指标。本 论文将嵌入式技术引入到光电成像系统的设计，主要的方法和创新点有：系统 采用固态光电传感器+ a r m 微处理器( 集成摄像接口) 的结构，系统体积小， 集成度和移动性能高，集成摄像接口的a r m 处理器直接控制图像传感器，增强 了系统的可靠性和稳定性，降低了系统功耗。在数据传输方面，利用d m a 1 3 】 ( 直接内存访问) 方式，摆脱传输接口的限制，数据传输速率得到了很大提高。 同时，系统外扩大容量存储器和丰富的通信接口，能够实现图像在线预览、图 形界面化控制和大量存储等功能。此外，系统的微处理器移植嵌入式操作系统 【l4 1 ，能够完成图像的实时处理和算法分析，使系统彻底摆脱计算机的束缚，具 有极大科研优势和广阔的研究前景。 1 3 2论文组织结构 本文总结了光电成像技术的特点和发展，讨论了光电成像系统的组成和实 现，分析了目前己存在的光电成像系统的实现方案和特点，结合当前快速发展 的嵌入式技术，提出了利用嵌入式系统来设计光电成像系统的方法。 在认真研究嵌入式系统的原理和开发方法的基础上，本文分析了嵌入式体 系结构的开发流程和开发方法，就如何使用嵌入式系统来实现光电成像系统的 问题，提出了完整的解决思路。另外，对嵌入式微处理器( $ 3 c 2 4 4 0 ) 作了深入 研究，分析了该微处理器的存储系统、时钟管理、摄像控制单元和外扩接口等 模块，研究了l i n u x 操作系统的管理、内核定制、文件系统制作、系统移植和驱 动程序丌发方法。实验方面，总结整个系统p c b 设计的经验，独立完成了电路 设计、系统调试、操作系统移植、驱动和应用程序的开发等工作，并将此系统 6 第一章绪论 应用于图像采集的实验，得到了理想的结果。 本文的主要内容分为五章： 第一章为引言，介绍了光电成像技术和发展和应用，总结了目前光电成像 系统的特点，提出将嵌入式技术引入光电成像系统设计的方法，给出了课题的 研究意义。 第二章重点介绍了系统的整体构思和设计方案，包括硬件框架和嵌入式软 件结构。硬件部分涉及各个功能模块的搭建和芯片选型，软件部分对嵌入式系 统做了详细介绍，给出了嵌入式处理器和操作系统的选择依据。 第三章主要探讨嵌入式光电成像系统的具体实现方法。包括：模块的电路 设计、系统p c b 设计和仿真、嵌入式系统的软件开发，证实了系统设计的可行 性和可靠性。 第四章主要介绍系统的软硬件调试和实验结果，给出了调试程序的设计方 案和调试结果，在图像采集的实验中得到了较理想的实验结果。 第五章为总结和展望，对已有的工作进行了总结，并给出了需要改进和发 展的地方。 7 第二章嵌入式光电成像系统的设计方案 第二章嵌入式光电成像系统的设计方案 2 1 1硬件框架设计 第一节系统整体架构 本系统的硬件架构为微处理器+ c m o s 图像传感器。该系统可以最大程度地 提高芯片的集成度，减少干扰，提高信号的传输和处理速度。如图2 1 所示，整 个成像系统由5 大模块组成，分别是：核心控制模块、c m o s 图像采集模块、 电源管理模块、系统时钟模块和外部接口模块。 核心控制模块集成了微处理器和外扩的存储器s d r a m 和n a n d f l a s h ，作为整 个系统的核心单元，主要负责图像信号的采集、传输、存储和处理。光电成像 模块完成原始图像数据的采集，通过d m a 方式直接传送至核心控制单元。在外 围接口的设计中，整个系统集成了丰富的通信和调试接口，方便与p c 机或其他 数据设备进行通信。 8 第二章嵌入式光电成像系统的设计方案 2 1 2软件组成结构 图2 1 系统硬件框图 系统的微处理器上移植了操作系统，实现对底层硬件的操作，所有硬件驱动 程序和用户层应用程序的开发都在操作系统环境下进行，如图2 2 是整个系统的 软件框图。 【 图像预览 】【 图像捕捉 】【 参数设置 】 l 图像保存与传输 】应用程序 t上 i a p i 接口 tj 操作系统内核( 驱动罄分) 文件系统 l 图像传感模块驱动】 fi i c 骚j l 】f 旧驱动i 启动代：码 _ - - _ r 硬件系统 图2 2 软干， ：系统框图 内核是整个操作系统的核心，大部分由驱动程序组成它主要负责进程管理、 内存管理、文件系统管理以及设备驱动管理。其中驱动程序为操作系统内核和 底层硬件之间的接口，为上层应用程序屏蔽硬件细节，本系统中，主要实现对 图像传感模块的驱动设计。启动代码完成对系统硬件环境的初始化和加载操作 系统，文件系统用于保存设备文件和后期图像数据。基于a p i ( a p p l i c a t i o n i n t e r f a c e ，应用程序接口) ，可以丌发出系统需求的各种应用程序。 第二节嵌入式系统设计 9 第二章嵌入式光电成像系统的设计方案 2 2 1 嵌入式系统介绍 2 2 1 1嵌入式系统的定义和分类 所谓嵌入式系统【1 4 】( e m b e d d e ds y s t e m s ) ，实际上是“嵌入式计算机系统 的简称，根据i e e e ( 国际电气和电子工程师协会) 的定义，嵌入式系统是“控 制、监视或辅助设备、机器和车间运行的装置”；而国内的定义为，以应用为中 心、以计算机技术为基础，软硬件可裁剪、从而能够适应实际应用中对功能、 可靠性、成本、体积和功耗等严格要求的专用计算机系统。一般而言，嵌入式 系统的构架分为4 个部分：处理器、存储器、输入输出和软件( 操作系统+ 应用 软件) ，如图2 3 所示。 车书出 l ，一- j 图2 3 嵌入式系统的基本构架 由于嵌入式系统由硬件和软件两部分组成。从硬件方面来讲，嵌入式系统的 核心部件是嵌入式处理器【”j ，主要分为如下几类： 1 嵌入式微处理器( e m b e d d e dm i c r o p r o c e s s o ru n i t ，m p u ) 嵌入式微处理器的基础是通用计算机中的c p u 。在应用中，将微处理器装 配在专门设计的电路板上，只保留和嵌入式应用有关的母板功能，这样可以大 幅度减小系统体积和功耗。当前主要的嵌入式处理器有a r m 、m i p s 、p o w e rp c 和基于x 8 6 的3 8 6 e x 等。 2 嵌入式微控制器( m i c r o c o n t r o l l e ru n i t ，m c u ) 1 0 第二章嵌入式光电成像系统的设计方案 嵌入式微控制器一般以某一种微处理器内核为核心，芯片内部集成 r o m e p r o m 、r a m 、总线、总线逻辑、定时p 计数器、看门狗、i p o 、串行口、 脉宽调制输出、a p d 、d p a 、f l a s hr a m 、e 2 p r o m 等各种必要功能和外设。 和嵌入式微处理器相比，微控制器的最大特点是单片化，体积大大减小，从而 使 功耗和成本下降、可靠性提高。 3 嵌入式d s p 处理器( e m b e d d e dd i g i t a ls i g n a lp r o c e s s o r ，d s p ) d s p 处理器对系统结构和指令进行了特殊设计，使其适合于执行d s p 算 法，编译效率较高，指令执行速度也较高。在数字滤波、f f t 、谱分析等方面 d s p 算法正在大量进入嵌入式领域，d s p 应用正从在通用单片机中以普通指令 实现d s p 功能，过渡到采用嵌入式d s p 处理器。 4 嵌入式片上系统( s y s t e mo nc h i p ，s o c ) 嵌入式片上系统中，各种通用处理器内核将作为s o c 设计公司的标准库， 和许多其它嵌入式系统外设一样，成为v l s i 设计中一种标准的器件，用标准的 v h d l 等语言描述，存储在器件库中。这样除个别无法集成的器件以外，整个 嵌入式系统大部分均可集成到块或几块芯片中去，应用系统电路板将变得很简 洁，对于减小体积和功耗、提高可靠性非常有利。 从软件方面讲，嵌入式系统的核心是操作系统，它是连接底层硬件和应用 程序的系统程序，主要分为两类： 1 实时操作系统( r e a lt i m eo p e r a t i o ns y s t e m ，r t o s ) 根据操作系统的工作特性，实时是指物理进程的真实时间；而实时操作系统 是这样一种系统，系统执行的正确性不仅取决于计算的逻辑结果，还取决于结 果的产生时间。它的首要任务是调度一切可以利用的资源来完成实时控制任务， 其次才着眼于提高计算机系统的使用效率。一个很重要的特点是通过任务调度 来满足对重要事件在规定的时间内作出正确的响应。 2 分时操作系统( t i m es h a r i n go p e r a t i o ns y s t e m t s o s ) 对于分时操作系统，软件的执行在时问上的要求并不严格，时间上的错误， 一般不会带来灾难性的后果，他主要的特点是进行多任务的管理。 2 2 1 2嵌入式系统的特点 嵌入式系统是应用于特定环境下、面对专业领域的应用系统，不同于通用 第二章嵌入式光电成像系统的设计方案 计算机系统的多样化和适用性。它与通用计算机相比，具有以下特点： 1 嵌入式系统开发需要交叉开发工具【l6 】和环境。开发时往往有主机和目标机的 概念，主机用于程序的开发，目标机作为最后的执行机。 2 嵌入式操作系统内核小，软件代码精简。嵌入式系统出于成本和应用的考虑， 内存和存储介质都有限。所以嵌入式操作系统都采用裁剪的内核，而且在程序 设计上非常注意空间占用和执行效率。 3 实时性。大多数嵌入式系统都是实时系统，而且是强实时多任务系统，要求 相应的嵌入式操作系统也必须是实时操作系统( r t o s ) 。目前实时操作系统作为 操作系统的一个重要分支己成为研究的一个热点，主要探讨实时多任务调度算 法、死锁解除等问题。 4 软件专用性、移植性强。嵌入式系统的个性化很强，软件系统和硬件的结合 非常紧密，一般要针对硬件进行系统的移植。 5 软硬件模块化设计、系统可精简。嵌入式系统的设计一般都采用模块化设计 方法，可以根据需要进行选择，不要求其功能设计及实现上过于复杂，这样一 方面利于控制系统成本，同时也利于实现系统安全。 6 嵌入式系统的工作环境多样化，要求其硬件系统设计必须高质量、高可靠性。 2 2 2 嵌入式微处理器的选择 2 2 2 1 微处理器的选择 目前，嵌入式系统除了部分为3 2 位处理器外，大量存在的是8 位和1 6 位 的嵌入式微控制器( m c u ) 。考虑到图像采集系统对于大量数据采集、高速传输 和实时处理的要求，本系统采用嵌入式微处理器。它由通用的计算机中的c p u 演化而来，保留了与嵌入式应用紧密相关的功能硬件，去除其他的冗余功能部 分，配上了必要的扩展外围电路，如存储器的扩展电路、i o 口扩展电路等，可 以最低功耗和资源满足嵌入式应用的需要。常用的处理器有：a r m 、p o w e r p c 、 m i p s 、3 8 6 e x 、6 8 0 0 0 等，这早主要介绍已广泛应用于嵌入式技术领域的a r m 微处理器。 a r m l l 7 1 ( a d v a n c e dr i s cm a c h i n e s ) 既是一个公司的名字，也是对一类微 处理器的通称，还是一种技术的名字。1 9 9 1 年a r m 公司成立于英国剑桥，主 要出售芯片设计技术的授权。目前，采用a r m 技术知识产权( i p ) 核的微处理 1 2 第二章嵌入式光电成像系统的设计方案 器，己遍及工业控制、消费类电子产品、通信系统、网络系统、无线系统等各 类产品市场，基于a r m 技术的微处理器应用约占据了3 2 位r i s c 微处理器7 5 以上的市场份额，a r m 技术正在逐步渗入到我们生活的各个方面。它特点是 小体积、低功耗、低成本而高性能；1 6 3 2 位双指令集；全球众多的合作伙伴。 a r m 处理器目前包括下面几个系列的处理器产品：a r m 7 系列、a r m 9 系列、 a r m 9 e 系列、a r m l 0 e 系列、a r m i1 系列、s t r o n g a r m 系列和x s c a l e 系列。 鉴于a r m 微处理器的优良性能，本论文也采用它来设计c m o s 图像采集 系统。a r m 微处理器有多达十几种的内核结构，各大芯片生产厂家在a r m 核 的基础上，推出了各种各样功能不同的a r m 芯片。每款a r m 芯片都有独特的 内部资源和外扩功能，因此选择适当的a r m 处理器是非常重要的。下面根据 c m o s 成像系统的特点，分析一下处理器选择的要点： 1 为便于移植高性能的嵌入式操作系统和实现对图像数据的缓存，a r m 处理器 必须具有足够高的性能：比如包含s d r a m 接口以支持大容量内存，内部集成 m m u 模块以支持虚拟内存； 2 为实现对百万像素的图像数据存储，处理器应可以外扩大容量存储器，比如 支持n a n d f l a s h 、i d e 接口、u s b 接口等。 3 本系统采用c m o s 图像传感器，处理器必须具备i i c 总线，完成对传感器的 功能设置。 4 c m o s 图像传感器片上集成了时序逻辑控制器和a d c ，驱动时序要求比较简 单，a r m 处理如果能够集成相应c a m e r a 控制器和接口更好。 5 为了能够实时方便的控制和显示采集图像，处理器最好包含l c d 接口，提供 更灵活的人机交互。 根据以上分析可知，微处理器必须具备高性能的内核。用户如果希望使用 嵌入式l i n u x 等高性能的操作系统，就应选择带有存储器管理单元 m m u ( m e m o r ym a n a g e m e n tu n i t ) 的a r m 芯片，如a r m 7 2 0 t 、a r m 9 2 0 t 、 a r m 9 2 2 t 等。再从工作频率上分析，a r m 7 系列微处理器的典型处理速度为 0 9 m i p s m h z ，常见的a r m 7 芯片系统主时钟为2 0 m h z ，6 0 m h z ，a r m 9 系列 微处理器的典型处理速度为1 1 m i p s m h z ，常见的a r m 9 芯片系统主时钟频率 为1 0 0 m h z 2 3 3 m h z 。a r m l 0 最高可以达到7 0 0 m h z 。为1 0 0 m h z 2 3 3 m h z 。 a r m l 0 最高可以达到7 0 0 m h z 。 综合以上分析，兼顾开发成本、开发成熟条件等因素，本文选择了三星公 1 3 第二章嵌入式光电成像系统的设计方案 司生产的a r m 9 系列处理器$ 3 c 2 4 4 0 a 。它采用a r m 9 2 0 t 内核，0 1 3 u m 的c m o s 标准宏单元和存储器单元，同时采用了新的总线架构a m b a ( a d v a n c e dm i c r o c o n t r o l l e rb u sa r c h i t e c t u r e ) 。$ 3 c 2 4 4 0 a 杰出的特点是其核心处理器( c p u ) ， 一个由a r m ( a d v a n c e dr i s cm a c h i n e s ) 公司设计的1 6 3 2 位a r m 9 2 0 t 的r i s c 处理器。a r m 9 2 0 t 实现了m m u 、a m b ab u s 和h a r v a r d 告诉缓冲体系结构。 这一结构具有独立的1 6 k b 指令c a c h e 和1 6 k b 的数据c a c h e ，每个都是由具有 8 字长的行组成。通过提供一套完整的通系统外设，$ 3 c 2 4 4 0 a 实现了丰富的片 上功能： 1 个l c d 控制器( 支持s t n 和t f t 带有触摸屏的液晶显示器) s d r a m 和n a n d f l a s h 控制器 m m u 模块 3 通道u a r t 4 通道d m a i i c 总线接口 s d 接口 2 个u s bh o s t 接口、1 个u s bd e v i c e 接口 8 路1 0 位的a d c 触摸屏接口 i d e 接口 2 个s p i 接口 c a m e r a 接口( 实现与c m o s 图像传感器的连接) 1 3 0 位通用i o 端口 2 4 路外部中断源 电源管理和片上时钟发生器 2 2 2 2c a m if 功能单元介绍 相比于其他类型的微控制器，$ 3 c 2 4 4 0 a 片上集成了c a m i f ( c a m e r a i n t e r f a c e ，摄像机接口) 单元，其由七部分组成：图形多路选择器( p a t t e r nm u x ) 、 捕获单元( c a p t u r i n gu n i t ) 、预览缩放器( p r e v i e ws c a l e r ) 、编码缩放器( c o d e c s c a l e r ) 、预览d m a ( p r e v i e wd m a ) 、编码d m a ( c o d e cs c a l e r ) 和s f r ( s p e c i a l f u n c t i o nr e g i s t e r ，特殊功能寄存器) 。 c a m i f 支持i t u rb t 6 0 1 6 5 6 数字视频标准的8 位y c b c r 视频格式。最大 1 4 第二章嵌入式光电成像系统的设计方案 输出尺寸为4 0 9 6 * 4 0 9 6 像素。系统概况如图2 4 所示。 图2 4c a m i f 系统概况 图像传感器采集到的数据经过捕获单元处理分别送往两个图像缩放器：预览 缩放器和编码缩放器。预览缩放器用于产生比图像更小的r g b 格式的图像，如 p i p ( p