图像信息和处理方法

1、图像信息和处理方法颜色的基本概念一幅图像f (x,y) 其分辨率为 512512 256256 PAL制 25帧/秒NTSC制 30帧/秒图像是二维数据视频是三维数据 多媒体计算机处理图像和视频，首先必须把连续的图像函数f (x,y) 进行空间和幅值的离散化处理。采 样：空间连续坐标(x,y)的离散化，叫做采样；量 化：f(x,y)颜色的离散化，称之为量化。数字化：两种离散化结合在一起，叫做数字化， 离散化的结果称为数字图像。采样和量化YXf ( x , y )X Y的离散化称为采样f ( x , y )值的离散化称为量化 亮度、色调、饱和度Y 亮度： 光的强和弱。H 色调： 光的波长、人眼的

2、感觉(反映)颜 色(的基本特征)。S 饱和度： 颜色渗入白光的程度(表示)颜色 深浅的程度。红 + 白光 粉红色 饱和度下降红 + 另一种颜色的光 色调发生变化三基色(RGB)的原理： 自然界常见的各种颜色光，都是由红(R)、绿(G)、蓝(B)三种颜色光按不同比例相配而成，同样绝大多数颜色也可以分解成红、绿、蓝三种色光，这就是色度学中最基本的原理三基色原理。 红色+绿色=黄色红色+蓝色=品红绿色+蓝色=青色红色+绿色+蓝色=白色 RGB和黑白电视信号不兼容，希望空中发射的信号转换成YUV信号。 当白光的亮度用Y来表示时，它和红、绿、蓝三色的关系可用如下方程描述： Y=0.299R+0.587G

3、+0.114B 3.1.2 彩色空间 RGB彩色空间 显示器需要的彩色空间2 . YUV 和 YIQ 彩色空间 PAL 制式使用YUV 彩色空间 NTSC制式使用YIQ彩色空间3. HSI彩色空间4. 其它彩色空间表示Y是亮度，UV和IQ是色差 1. RGB 空间任意颜色的光F，其配色方程可写成： F= rR+ gG+bB 其中r、g、b 为三个系数 rR、gG、bB为F色光的三色分量2 . YUV 和 YIQ 彩色空间 在 现 代 彩 色 电 视 系 统 中， 常 采 用 三 管 彩 色 摄 像 机 或 彩 色 C C D 摄 像 机 ，它 把 摄 得 的 彩 色 图 像 信 号 ， 经 分

4、 色 棱 镜 分 成 R 、G 、B 三 个 分 量 的 信 号 ，分 别 经 放 大 和 校 正得到RGB，再经过矩阵变换电路得到亮度信号Y、色差信号R-Y和B-Y，最后发送端将Y、R-Y及B-Y三个信号进行编码，用同一信道发送出去。这就是我们常用的YUV彩色空间。3333QFVI图3.-3 IQ轴与UV轴的关系U美国、日本等国采用的NTSC制，选用了YIQ彩色空间，Y仍为亮度信号，I、Q仍为色差信号，但它们与U、V是不同的，其区别是色度矢量图中的位置不同，如图所示，Q、I为互相正交的坐标轴，它与U、V正交轴之间有33夹角。3333QFVI图3.3 IQ轴与UV轴的关系U由图可知I、Q与V、

5、U之间的关系可以表示成： 用YUV和YIQ的好处： (1). 亮度信号Y解决了彩色电视机与黑白电 视的兼容问题。 (2). 大量实验表明，人眼对色差信号不敏 感，而对亮度信号特别敏感。 Y 带宽（PAL） （因为敏感） U、V 带宽1.3MHz (因为不敏感)(4). 量化比例 由于人眼对亮度信号敏感，选择量化的比例为： Y:U:V= 8:4:4 Y:U:V= 8:2:2 Y:U:V= 8:8:8 3. HSI彩色空间在HSI彩色空间中，人们常用H、S、I3个参数描述颜色特性，其中H表示色调（Hue），S表示颜色的饱和度（Saturation），I表示光的强度（Intensity）。用一个三维

6、空间的枣形立体图（见图），可以把颜色的这三个参量的特性更加形象的表示出来。白 黑亮度绿黄绿蓝绿绿蓝蓝亮 和 度紫饱和度色调黄橙红图3.4 颜色立体图4. 其它彩色空间表示彩色空间表示还有很多种，如CIE（国际照明委员会）制定的CIE XYZ，CIE LAB彩色空间，CCIR（Consultative Committee International Radio）制定的CCIR601-2YCbCr彩色空间。按照CCIR601-2建议，欧洲电视专家组将非线性的RGB信号编码成YCbCr，编码过程开始是先采用符合SMPTE-CRGB（它定义了三种荧光粉及一种参考白光，应用于演播室监视器及电视接收机标准

7、的RGB）基色作为校正信号。非线性RGB信号很容易与一个常量矩阵相乘而得到亮度Y和两个色差信号Cb和Cr。靠近中心轴的彩色，其亮度信号与CIEXYZ的Y成分的r校正形式非常接近，CCIR601-2YCbCr通常在图像压缩时选作彩色空间，而在通信中是一种非正式标准。3.1.3 彩色空间的转换其实现技术 RGB与YUV和YIQ之间的转换 HSI空间与RGB之间的转换1. RGB与YUV和YIQ之间的转换 Y 0.3 0.59 0.11 R U = -0.15 -0.29 0.44 G V 0.61 -0.52 -0.096 B Y 0.3 0.59 0.11 R I = 0.6 -0.28 -0.

8、32 G Q 0.21 -0.52 0.31 B 3. HSI空间 H：Hue 代表色调（纯度、颜色） S： Saturation 代表饱和度 I： Intensity 代表亮度 HSI彩色空间与RGB彩色空间之间的转换例: 黄色=蓝色 RGB处理黄蓝红143绿143蓝313131255RGB值组成黄色像素红色值143绿色值143蓝色值31新的RGB值组成蓝色像素红色值31绿色值31蓝色值255HSI处理黄蓝色调60饱和度180亮度105240180105HSI值组成黄色像素色调值60饱和度180亮度105新的HSI值组成蓝色像素色调值240饱和度180亮度105多媒体计算机系统涉及到多种彩色

9、空间，在CD-I系统中，支持的图像格式、视频方式有DYUV、RGB5:5:5、CLUT8、CLUT7、CLUT4、RL7以及RL3。其中DYUV方式与CCIR601-2YCbCr有密切联系；RGB5:5:5方式采用RGB彩色空间，RGB每个分量占用5位；CLUT8、CLUT7、CLUT4、RL7以及RL3采用的也是RGB彩色空间，它用彩色查找表（Color Look-up Table-CLUT，也叫调色板）进行映射和解码。在DVI系统中采用YUV彩色空间，它所支持的图像格式又涉及到YIQ、RGB彩色空间，其中RGB支持8位、16位和24位。综上所述，搞清楚彩色空间表示以及它们之间的转换，是多媒

10、体计算机彩色图形、静态图像以及动态图像（Video）处理算法的基础。3.1.4 彩色全电视信号 黑白全电视信号3. 彩色全电视信号 电视摄像机是一种广泛使用的视频和图像的输入设备，它能将景物、图片等光学信号转变为全电视信号，目前主要有黑白和彩色两种摄像机。3.1.4 黑白和彩色全电视信号 黑白全电视信号3. 彩色全电视信号1. 黑白全电视信号全电视信号主要由三个部分组成：图像信号复合消隐信号复合同步信号从时间上看全电视信号：每行时间为 64 s行消隐 图像 53.2s行同步信号 4.7 s行延迟 1.3 s 一帧 = 奇数场 + 偶数场 625行 场消隐 = 25 = 1611.8 s 场同步

11、 = 3 64 = 192 s 全电视信号3.1.4 黑白和彩色全电视信号 黑白全电视信号3. 彩色全电视信号3. 彩色全电视信号 在现代彩色电视系统中，通常采用YUV彩色空间或YIQ彩色空间，Y为亮度信号，它可以与黑白全电视信号兼容，U和V用载波频率SC调制加到亮度Y上，最后形成彩色全电视信号，如下式所示： CVBS = Y + UsinSCt + S (t)VcosSCt _ 在NTSC制系统中，U信号调制在副载波的零相位上，而V信号是固定地调制在90。的相位上的。在PAL制系统中，调制情况略有差别。U信号的调制与NTSC制相同，而V信号的调制是：第一行调制在90。的相位上（与NTSC制相

12、同，称为NTSC行）；下一行（同隔行扫描是下面的第三行）调制在270。的相位上（称为PAL行）；再下一行又回到90。的相位上。按此顺序，V信号调制相位逐行倒相180。 在PAL制系统中，调制情况略有差别。图示出了PAL制的平衡正交调制的倒相原理。根据图的矢量图，可写出PAL制色度信号Ch的表达式Ch = UsinSCt + S(t)VcosSCt （）式中，S(t)称为PAL开关函数，它是双极性矩形脉冲，其重复周期为行周期Th的两倍，幅度为+1和-1。PAL开关函数S(t)代表PAL制系统的根本特征，它的引入相当有效地克服了NTSC制系统中对信道微分相位敏感的缺点，这是PAL制取得成功的原因。

13、 最后将亮度、复合同步信号混合放大，形成PAL制彩色全电视信号。以100%幅度和100%饱和度(简写为100/100)的彩条信号为例的彩色全电视信号如图所示。 在75欧负载上，100/100彩条的彩色全电视信号各部分的电平标准（输入信号R、G、B、幅度为时)3.2.1 视频信号获取器的工作原理1. A/D变换和数字解码3. 窗口控制器 3. 帧存储器系统4. 数模转换和矩阵变换5. 视频信号和VGA信号的叠加6. 数字式多制式视频信号编码部分37图3.10 多媒体计算机视频信号获取器总体框图 381. A/D变换和数字解码 图3.11 视频模拟输入接口TDA 8708原理方框图393. 窗口控

14、制器 图3.12 PC Video窗口控制器 40 3. 帧存储器系统 帧存储器的主要作用有三个： (1). 从摄像机来的视频信号，经过A/D变换，数 字解码，在视频窗口控制器的控制下，将他 们实时的村到帧存储器，大约74ns存一个像 素数据。 (2). 彩色监视器每隔74ns要从帧存储器去一个像 素数据，经D/A转换，变成模拟的RGB信号， 供彩色监视器显示帧存储器中真彩色全屏幕 运动图像使用。 (3). 计算机可以通过视频窗口控制器，对阵存储 器的内容进行读写操作。414. 数模转换和矩阵变换 这部分由两个器件组成，即D/A转换器SAA9065和视频信号处理器TDA4680。5. 视频信号

15、和VGA信号的叠加 由于两路信号均为模拟信号，因此使用了模拟开关电路实现两信号的叠加。 色键：Color Key426. 数字式多制式视频信号编码部分 这部分只选用了数字或多制式视频信号编码器SAA7199。它是以数字方式进行视频信号编码的编码器，支持PAL和NTSC 两种制式。43 在设计制造视频信号获取器的过程中，为了调试硬件的正确性，并给用户提供方便的编程环境，还需要设计：诊断软件、在DOS和Windows环境下的演示软件，应用软件以及库函数。3.2.3 视频信号获取器的 诊断和驱动软件图视频信号获取器诊断调试软件框图 3.3.1 视频数字信号快速处理器的作用 3.3.2 基于DSP的视

16、频信号快速处理器 3.3.3 流水线结构的图像处理机 3.3 视频信号的实时处理3.3.1 视频数字信号快速处理器的作用数学运算 ：（1）点处理（2）二维卷积运算（5）统计量计算（4）坐标变换（3）二维正交变换举一个简单的例子，一个装配机器人的视觉系统，要在传送带上识别出所要的机械零件，确定该零件的位置，然后命令机械手把它抓起来，根据已有的装配工艺知识进行装配。相对来说，这是一个比较简单的计算机视觉问题，其计算理论及算法已经解决。具体的作法是计算机把摄像机摄到的图像数字化成一幅512 512 8bit的数字图像，然后把图像上的零件分割出来，抽取特征，进行识别匹配，确定几何位置，最后，命令机械手

17、完成抓取和装配的任务。处理一幅512 512 8bit的图像，把零件和背景、零件和零件分割出来的典型运算是进行 3 3的卷积（Sobel算子）。如果卷积是实时的（25帧/s），则运算速度要求为：512 512 9 2 25/s 118MOPS全部地完成上述任务，计算机所要进行的操作约为上述的10100倍，即要求计算机实时处理的速度为118011800MOPS。上述问题的算法已经解决，但是这样的运算速度在通用计算机上却难以实现。所以，在通用计算机上处理视觉信号，主要有下述两个局限性：一是运算速度慢；一是内存容量小。 为了解决上述问题，可以采用如下几种方案：（1）利用大型高速计算机组成通用视频信号

18、处理系统（2）小型高速阵列机（3）采用专用的视觉处理器基于DSP的视频信号快速处理器 现在人们已经认识到，要降低成本提高系统性能，满足实时视觉信息处理的要求，最好的办法是采用VLSI技术，设计专用的适用于视频信号处理算法的DSP（Digital Signal Processor）芯片。换句话说，对某一个具体问题，减少计算机不必要的通用性，增加专用的DSP芯片及并行、流水线结构，将会形成新一代的视频信号处理系统。1DSP结构3. 专用的DSP3基于DSP方法的视频信号 快速处理器的设计基于DSP的视频信号快速处理器1DSP结构DSP是一种集成度很高的数字信号处理器，主要用于语音、图像等信号的处理

19、。随着VLSI技术的发展，从1987年以来，DSP的产品越来越多，应用也越来越广泛。3.专用的DSP有些DSP芯片的结构和性能，非常适用于视觉信息低层次的处理，称为图像处理专用的DSP芯片。表DSP芯片比较 3基于DSP方法的视频信号快速处理器的设计图基于DSP的视频信号获取和快速处理器总体框图 A110按其功能可分为两大部分：卷积器后处理部件22举例：机器人视觉中的双目效应图 美国Aspex公司生产的流水线结构图象处理机PIPE(Pipelined Image Processing Engine)与传统的流水线结构的计算机相比,关键的不同是系统连接的灵活性和动态的重构能力。3.3.3 流水线

20、结构的图像处理机 1). “向前”通道( Forward Path )和“向 后”通道( Backward Path )及“递归” 通道( Recursive Path )有了连接灵 活性和动态的重构能力。 2). 六条视频总线 PIPE机特别适合完成下述几种视觉处理运算：1. 点处理3. 空间邻域处理3. 图像序列处理4. 布尔处理5. ROI（Region of Interest）运算24组成： (1). 视频接口(Video Interface Stage) (2). 输入级(Input Stage)和输出级 (Output Stage) (3). 模块处理级MPS (Modular P

21、rocessing Stage) MPS组成：有三个查找表（FLUT，RLUT，BLUT）两个ALU（ALUA和ALUB）组成一个3输入端的多功能的ALU两个帧存储器用做专用存储器一个输出的ALU 二维函数查找表TVF（Two Valued Fuction）(4). ISMAP 将视觉低层处理的结果从图像数据变换为符号数据，实现实时获取直方图、累加直方图、特征链以及各特征的指针链。(5). 控制级 由时序发生器、命令序列器以及计算机接口组成。3.4 图像文件格式及其转换3.4.1 静态图像文件格式3.4.2 动态图像压缩编码文件格式3.4.1 静态图像文件格式目前世界上静态图像文件格式比较多，除了我们将介绍分析的比较流行的六种之外，还有Utah RLE，PICT Version 2 （Macintosh），IFF（Interchange ），Sun Rasterfile，Cell array（GKS），Pixel array（CGI），CCITT Fax（T4）及RLE（Run-Length Encoding）等。下面将介绍比较流行的六种 1. 图形变换格式3. 标记图像文件格式3. 目标图像格式4. 位图5. PCX6. MMP1. 图形变换格式图形变换格式（Craphics Interchange Format,GIF）文件格式是由CompuServe公司在1987年6