数字音视频概述

1、北京信息科技大学吴韶波 第一章数字视频基础北京信息科技大学数字音视频技术的基本概念数字音视频技术的基本概念1.1数字音视频系统的组成数字音视频系统的组成 1.3数字音视频系统的应用与发展数字音视频系统的应用与发展1.4数字音视频技术的发展趋势数字音视频技术的发展趋势 1.5数字音视频技术的主要特点数字音视频技术的主要特点 1.2北京信息科技大学p 音频基础音频基础u声音声音物理特性、人的听觉特性、物理特性、人的听觉特性、p 视频基础视频基础u视觉视觉人类视觉系统、人类视觉系统、北京信息科技大学p音频音频u通常指正常人耳所能听到的，相应于正弦声波通常指正常人耳所能听到的，相应于正弦声波的任何频率

2、。的任何频率。p声音声音u是由材料振动产生的一种物理现象，通过空气是由材料振动产生的一种物理现象，通过空气等介质的传播，引起人的耳膜振动，并为人耳等介质的传播，引起人的耳膜振动，并为人耳所感知。所感知。北京信息科技大学p从物理学的角度来看，声音实际上是通过空从物理学的角度来看，声音实际上是通过空气等介质传播的一种连续的波，称为声波。气等介质传播的一种连续的波，称为声波。频率、声速和波长频率、声速和波长声调（声调（PitchPitch，音调），音调）响度（响度（LoundnessLoundness）音色（音色（TimbreTimbre）北京信息科技大学图图1 1 声强与声压的关系声强与声压的关系

3、北京信息科技大学p听觉的方向性听觉的方向性u人对声音方向的定位能力是由听觉的定位特性决定的。人对声音方向的定位能力是由听觉的定位特性决定的。u人耳对声音的方位非常敏感，能在大约人耳对声音的方位非常敏感，能在大约1 1度的范围内辨知声音的度的范围内辨知声音的方向，同时还可以判断声源离人耳的距离。方向，同时还可以判断声源离人耳的距离。u在测试环境中，听众坐在具有同样构造的两个扬声器前面，尽管在测试环境中，听众坐在具有同样构造的两个扬声器前面，尽管两扬声器的声音幅度相同，但听者定位右边扬声器的声音更强，两扬声器的声音幅度相同，但听者定位右边扬声器的声音更强，这是因为左边扬声器传输有接近这是因为左边扬

4、声器传输有接近15ms15ms的的时延时延。u当时延超过当时延超过50ms50ms时，听众感知到来自左边和右边扬声器两个不同时，听众感知到来自左边和右边扬声器两个不同声音事件。声音事件。u为弥补这一延时产生的影响，需增加该延时声道的幅度。为弥补这一延时产生的影响，需增加该延时声道的幅度。u设计立体声设备和指导放声布局及聆听方法时应充分考虑这一点。设计立体声设备和指导放声布局及聆听方法时应充分考虑这一点。北京信息科技大学p听觉的频率特性听觉的频率特性u声音信号的频率范围为声音信号的频率范围为20Hz20Hz20kHz20kHz。u单一频率的信号称为分量信号，由许多不同频率的信号单一频率的信号称为

5、分量信号，由许多不同频率的信号组成的是复合信号。组成的是复合信号。u它们的电平及频谱分布虽有差异，但有着相同的规律。它们的电平及频谱分布虽有差异，但有着相同的规律。u人类听觉对声音频率的感觉不仅表现为音调的高低，而人类听觉对声音频率的感觉不仅表现为音调的高低，而且在声音强度相同条件下对声音主观感觉的强弱也是不且在声音强度相同条件下对声音主观感觉的强弱也是不同的，即人类听觉的频率响应不是平坦的。同的，即人类听觉的频率响应不是平坦的。u由于外耳具有一定长度的耳道，会对某段频率产生共鸣。由于外耳具有一定长度的耳道，会对某段频率产生共鸣。北京信息科技大学p有些频率的声音人耳感觉很灵敏，很小的声强就能有

6、些频率的声音人耳感觉很灵敏，很小的声强就能感觉到，而频率很低的声音必须强度很高人耳才能感觉到，而频率很低的声音必须强度很高人耳才能感觉得到，这个频率段大约在感觉得到，这个频率段大约在3 35kHz5kHz。p因此人耳听到声音的响度与声音的频率有关。因此人耳听到声音的响度与声音的频率有关。p描述响度、声音声压级以及声源频率之间的关系曲描述响度、声音声压级以及声源频率之间的关系曲线称为等响度曲线。线称为等响度曲线。p等响度曲线是将听起来与等响度曲线是将听起来与1kHz1kHz纯音（基音）响度相纯音（基音）响度相同的各频率的声音的声压求得后用曲线连接起来的同的各频率的声音的声压求得后用曲线连接起来的

7、结果，又叫做响度的灵敏度曲线。结果，又叫做响度的灵敏度曲线。北京信息科技大学图图2 2 等响度特性曲线等响度特性曲线北京信息科技大学p等响度曲线与人的年龄以及人耳结构有关，从对该等响度曲线与人的年龄以及人耳结构有关，从对该曲线分析得出如下结论。曲线分析得出如下结论。u响度与人耳处的声压级有关。声压级提高，相应的响度随响度与人耳处的声压级有关。声压级提高，相应的响度随之增大。之增大。 u在在4 45kHz5kHz附近的声音听起来比较响，这是因为外耳道对附近的声音听起来比较响，这是因为外耳道对其产生共鸣。其产生共鸣。u图中的等响度线越向上越趋向平直，下部曲线变化较大。图中的等响度线越向上越趋向平直

8、，下部曲线变化较大。说明当声压级很高时，不同频率下的声音差不多一样响，说明当声压级很高时，不同频率下的声音差不多一样响，基本上与声音的频率无关。当声压级降低，等响度曲线低基本上与声音的频率无关。当声压级降低，等响度曲线低频区的变化率要大于高频区变化率，也就是在此区域内，频区的变化率要大于高频区变化率，也就是在此区域内，声压级略有变化，其低频声音响度级会有明显地变化。声压级略有变化，其低频声音响度级会有明显地变化。u等响度曲线中的下方虚线以下区域为不可闻区，表示虽然等响度曲线中的下方虚线以下区域为不可闻区，表示虽然人耳处存在一定的声压，却感觉不到。对于频率为人耳处存在一定的声压，却感觉不到。对于

9、频率为200Hz200Hz的声音，只有它的声压级高于的声音，只有它的声压级高于22dB22dB人耳才能听到。人耳才能听到。北京信息科技大学p听觉灵敏度听觉灵敏度u听觉灵敏度是指人耳对声压、频率及方位的微小变化的听觉灵敏度是指人耳对声压、频率及方位的微小变化的判断能力。判断能力。u当声压发生变化时，人们听到的响度会有变化。当声压发生变化时，人们听到的响度会有变化。例如声压级在例如声压级在50dB50dB以上时，人耳能分辨出的最小声压级差约为以上时，人耳能分辨出的最小声压级差约为1dB1dB；而声压级小于；而声压级小于40dB40dB时，要变化时，要变化1 13dB3dB才能觉察出来。才能觉察出来

10、。u当频率发生变化时，人们听到的音调会有变化。当频率发生变化时，人们听到的音调会有变化。例如频率为例如频率为1000Hz1000Hz、声压级为、声压级为40dB40dB的声音，变化的声音，变化3Hz3Hz就能觉察就能觉察出来，当频率超过出来，当频率超过1000Hz1000Hz、声压超过、声压超过40dB40dB时，人耳能觉察到的时，人耳能觉察到的相对频率变化范围（相对频率变化范围（ f f/ /f f）约为）约为0.0030.003。听觉灵敏度还与年龄有关。听觉灵敏度还与年龄有关。北京信息科技大学p研究结果表明：对于纯音，人耳能分辨出研究结果表明：对于纯音，人耳能分辨出280280个个声压层次

11、和声压层次和14001400个频率层次。个频率层次。p对于复音，人耳只能分辨对于复音，人耳只能分辨7 7种不同的响度层次和种不同的响度层次和7 7种不同的音调，共种不同的音调，共4949种响度和音调的组合。种响度和音调的组合。p这个数字接近我们在语言中可觉察到的音素数。这个数字接近我们在语言中可觉察到的音素数。p在高保真音响系统中，如果能将声音的畸变控制在高保真音响系统中，如果能将声音的畸变控制在人耳无法觉察的范围内便可以获得高保真的主在人耳无法觉察的范围内便可以获得高保真的主观听觉效果。观听觉效果。北京信息科技大学p掩蔽效应掩蔽效应u人耳的另一个听觉特性是掩蔽效应。人耳的另一个听觉特性是掩蔽

12、效应。u所谓掩蔽效应，即一个声音的存在会影响人耳所谓掩蔽效应，即一个声音的存在会影响人耳对其他声音的听觉能力，在听觉效果上似乎一对其他声音的听觉能力，在听觉效果上似乎一个声音掩蔽了另一个声音。个声音掩蔽了另一个声音。u频域掩蔽效应频域掩蔽效应u时域掩蔽效应时域掩蔽效应北京信息科技大学类类 别别名名 称称掩蔽出现时间掩蔽出现时间掩蔽持续掩蔽持续时间时间效效 果果同时同时掩蔽掩蔽同时掩蔽同时掩蔽与掩蔽声同时与掩蔽声同时同时掩声同时掩声在掩蔽声持续时间内，对被掩蔽在掩蔽声持续时间内，对被掩蔽声的掩盖最为明显声的掩盖最为明显非同时非同时掩蔽掩蔽超前掩蔽超前掩蔽在掩蔽声之前在掩蔽声之前20ms20ms由

13、于人耳的积累效应，被掩蔽声由于人耳的积累效应，被掩蔽声尚未被听到，掩蔽声已经出现，尚未被听到，掩蔽声已经出现，其掩盖效果很差其掩盖效果很差滞后掩蔽滞后掩蔽在掩蔽声之后在掩蔽声之后100ms100ms由于人耳的存储效应，掩蔽声虽由于人耳的存储效应，掩蔽声虽已消失，掩蔽效应仍然存在已消失，掩蔽效应仍然存在表表l l 时域掩蔽效应的分类及效果时域掩蔽效应的分类及效果北京信息科技大学p声波的特性及听觉的主观感受声波的特性及听觉的主观感受u生理声学认为，听觉形成的基本机理可以这样描述：由生理声学认为，听觉形成的基本机理可以这样描述：由声源振动发出的声波，通过外耳道、鼓膜和小听骨的传声源振动发出的声波，通

14、过外耳道、鼓膜和小听骨的传导，引起耳蜗中淋巴液和基底膜的振动，并转换成电信导，引起耳蜗中淋巴液和基底膜的振动，并转换成电信号，由神经元编码形成脉冲序列，通过神经系统传递到号，由神经元编码形成脉冲序列，通过神经系统传递到大脑皮层中的听觉中枢，产生听觉，感受到声音。大脑皮层中的听觉中枢，产生听觉，感受到声音。u听觉的这些基本特性决定着人们对声音的主观感受。听觉的这些基本特性决定着人们对声音的主观感受。u可闻声可闻声u听阈和痛阈听阈和痛阈北京信息科技大学p视频视频u主要指不断变化的电视图像，即动态图像，主要指不断变化的电视图像，即动态图像，或活动图像、运动图像或活动图像、运动图像p视觉视觉u光辐射刺

15、激人眼时，将会引起复杂的生光辐射刺激人眼时，将会引起复杂的生理和心理变化，这种感觉就是理和心理变化，这种感觉就是 。北京信息科技大学p人类视觉系统（人类视觉系统（HVS）u是人类获取外界图像、视频信息的工具是人类获取外界图像、视频信息的工具u是人类最重要、同时也是最完美的感知手段是人类最重要、同时也是最完美的感知手段u首先通过眼睛感觉观察来获取原始的场景信息，首先通过眼睛感觉观察来获取原始的场景信息，然后在大脑中加工处理，再综合其他已有的现然后在大脑中加工处理，再综合其他已有的现场信息，进而展开人类的视知觉智能推理活动场信息，进而展开人类的视知觉智能推理活动u研究包括光学、色度学、视觉生理学、

16、视觉心研究包括光学、色度学、视觉生理学、视觉心理学、解剖学、神经科学和认知科学等领域理学、解剖学、神经科学和认知科学等领域北京信息科技大学人眼是一个构造及其复杂而精密的光学信息处理系统，从解人眼是一个构造及其复杂而精密的光学信息处理系统，从解剖学看，人类视觉系统由眼球和视神经系统组成剖学看，人类视觉系统由眼球和视神经系统组成北京信息科技大学巩膜是一种不透明的膜，起保护眼球的作用巩膜是一种不透明的膜，起保护眼球的作用北京信息科技大学角膜坚硬而透明，角膜坚硬而透明，覆盖在眼睛的前覆盖在眼睛的前表面，光线由此表面，光线由此进入眼内进入眼内北京信息科技大学虹膜是在角膜后面，虹膜是在角膜后面，不透明，随

17、不同种不透明，随不同种族具有不同颜色族具有不同颜色北京信息科技大学虹膜中间有一个小虹膜中间有一个小孔叫瞳孔，在虹膜孔叫瞳孔，在虹膜环状肌的作用下，环状肌的作用下，瞳孔直径可调瞳孔直径可调（28mm），从而），从而控制进入人眼的光控制进入人眼的光通量，类似于相机通量，类似于相机的光圈的光圈北京信息科技大学瞳孔后面是扁球形的晶体，相当于相机的镜头，瞳孔后面是扁球形的晶体，相当于相机的镜头，在睫状肌的作用下，可以通过调节曲率来改变焦在睫状肌的作用下，可以通过调节曲率来改变焦距，使不同距离景象在视网膜上成像距，使不同距离景象在视网膜上成像北京信息科技大学视网膜由大量光敏视网膜由大量光敏细胞和神经纤维组

18、细胞和神经纤维组成，是人眼的感光成，是人眼的感光部分。光敏细胞通部分。光敏细胞通过视神经纤维连接过视神经纤维连接到大脑的视觉皮层到大脑的视觉皮层上，人们观察物体上，人们观察物体时，物体通过晶体时，物体通过晶体在视网膜上形成一在视网膜上形成一个清晰的像，光敏个清晰的像，光敏细胞受到光的刺激细胞受到光的刺激引起视觉，人就看引起视觉，人就看清了该物体。清了该物体。北京信息科技大学光敏细胞按形状可分光敏细胞按形状可分为：为：锥状细胞：分布在视锥状细胞：分布在视网膜中心部分，能辨网膜中心部分，能辨别光的强弱和颜色。别光的强弱和颜色。杆状细胞：分布在视杆状细胞：分布在视网膜的边缘部分，灵网膜的边缘部分，灵

19、敏度更高，但不能辨敏度更高，但不能辨颜色，夜晚观察用颜色，夜晚观察用北京信息科技大学黄斑区是视网膜上视觉最敏黄斑区是视网膜上视觉最敏感的区域，即视觉最清楚的感的区域，即视觉最清楚的区域。区域。北京信息科技大学p光源光源u自然光源：太阳和其他恒星自然光源：太阳和其他恒星u人工光源：火焰、火花、蜡烛、电灯、发光管、激光人工光源：火焰、火花、蜡烛、电灯、发光管、激光器等器等p人眼人眼对光的敏感程度对光的敏感程度与与光的波长（光的波长（ ）和和光辐射光辐射功率功率有关有关u可见光波长范围：可见光波长范围：380780nm380780nm北京信息科技大学p光谱效率函数光谱效率函数V(V( ) )u衡量人

20、眼对不同波长的光的敏感程度差别衡量人眼对不同波长的光的敏感程度差别p明视觉明视觉u日间视觉日间视觉u指人眼白天对各种波长的光的敏感程度差别指人眼白天对各种波长的光的敏感程度差别u即白天人眼视网膜的锥状细胞对光的响应即白天人眼视网膜的锥状细胞对光的响应u可用明视觉光谱效率函数可用明视觉光谱效率函数V(V( ) )来描述来描述p暗视觉暗视觉北京信息科技大学p暗视觉暗视觉u夜间视觉夜间视觉u指人眼在夜晚或微指人眼在夜晚或微弱光线下对光的敏感弱光线下对光的敏感程度程度u即白天视网膜的杆即白天视网膜的杆状细胞对光的响应状细胞对光的响应u可用暗视觉光谱效可用暗视觉光谱效率函数率函数V(V( ) )来描述来

21、描述北京信息科技大学p可见光谱可见光谱u单色光单色光：单一波长，只有一种颜色：单一波长，只有一种颜色u复合光复合光：由两种或两种以上波长的光混合而：由两种或两种以上波长的光混合而成的光，人眼的感觉是混合色，如自然光成的光，人眼的感觉是混合色，如自然光北京信息科技大学p亮度视觉u也称为也称为明暗视觉明暗视觉u光的能量越大，感受到的亮度越亮光的能量越大，感受到的亮度越亮u人眼对光的亮度感觉有关的参数：人眼对光的亮度感觉有关的参数：光强光强光通量光通量发光效率发光效率照度照度亮度亮度北京信息科技大学p人眼对光的亮度感觉有关的参数：人眼对光的亮度感觉有关的参数：u光强光强：发光强度，单位发光强度，单位

22、cdcd（坎（坎 德拉德拉 ）u光通量光通量：能为人眼所感受到的那部分光的辐射功率，单能为人眼所感受到的那部分光的辐射功率，单位位lmlm（流明）（流明）u发光效率发光效率：每瓦特消耗功率所发出的光通量，单位每瓦特消耗功率所发出的光通量，单位lm/Wlm/Wu照度照度：被照明的物体表面单位面积上所接收的光通量，被照明的物体表面单位面积上所接收的光通量，单位单位lx lx（勒（勒 克斯克斯 ）代表）代表1m1m2 2面积上均匀分布面积上均匀分布1lm1lm的光通量的光通量u亮度亮度：发光面在不同位置和不同方向的发光特性，单位发光面在不同位置和不同方向的发光特性，单位cd/cd/m m2 2北京信

23、息科技大学p彩色与视觉彩色与视觉u彩色是一种视觉信息彩色是一种视觉信息u人眼对颜色感觉的参量包括：人眼对颜色感觉的参量包括：亮度亮度色调色调饱和度饱和度北京信息科技大学p是指人眼对光的明亮程度的感觉，光源的是指人眼对光的明亮程度的感觉，光源的亮度正比于光通量亮度正比于光通量p物体的亮度不仅取决于物体反射（或透射）物体的亮度不仅取决于物体反射（或透射）光的能力，也取决于照射该物体的光源的光的能力，也取决于照射该物体的光源的辐射功率辐射功率p反射（或透射）光的能力越强，物体就越反射（或透射）光的能力越强，物体就越明亮明亮p照射物体的辐射功率越大，物体越明亮照射物体的辐射功率越大，物体越明亮2011

24、年秋季北京信息科技大学* * *亮度亮度北京信息科技大学p表示颜色的类别表示颜色的类别p彩色物体的色调取决于物体在光照下所反彩色物体的色调取决于物体在光照下所反射的光谱成分，不同波长的反射光使物体射的光谱成分，不同波长的反射光使物体呈现不同的色调呈现不同的色调p对于透射的物体，其色调取决于透射光的对于透射的物体，其色调取决于透射光的波长波长p彩色物体的色调既取决于物体的吸收特性彩色物体的色调既取决于物体的吸收特性和反射或透射特性，也与照明光源的光谱和反射或透射特性，也与照明光源的光谱分布有关分布有关北京信息科技大学* * *色调色调2011年秋季北京信息科技大学p指彩色光所呈现彩色的深浅程度（

25、或浓度）指彩色光所呈现彩色的深浅程度（或浓度）p对于同一色调的彩色光，其饱和度越高，对于同一色调的彩色光，其饱和度越高，它的颜色就越深它的颜色就越深北京信息科技大学p色度色度u指色调和饱和度的合称指色调和饱和度的合称u既反映了彩色光的颜色，也反映了颜色的既反映了彩色光的颜色，也反映了颜色的深浅程度深浅程度u非彩色光由于没有色度，只用亮度来描述非彩色光由于没有色度，只用亮度来描述p用亮度、色调和饱和度三个参量能准确用亮度、色调和饱和度三个参量能准确描述彩色光描述彩色光北京信息科技大学p立体视觉立体视觉u双眼立体视觉双眼立体视觉指人们看到的自然景物都是具有宽度、高度和深度指人们看到的自然景物都是具

26、有宽度、高度和深度的立体图像的立体图像主要原因：双眼视差和辐辏主要原因：双眼视差和辐辏u单眼立体视觉单眼立体视觉指单眼分辨景物深度所产生的立体感觉指单眼分辨景物深度所产生的立体感觉主要原因：为保证不同距离景物能在视网膜上成像，主要原因：为保证不同距离景物能在视网膜上成像，需要适当调节睫状肌，产生不同深度感觉需要适当调节睫状肌，产生不同深度感觉北京信息科技大学p亮度适应性亮度适应性p人眼觉察亮度变化人眼觉察亮度变化的能力的能力p色调对比效应色调对比效应p饱和度对比效应饱和度对比效应p面积对比效应面积对比效应p马赫效应马赫效应p视觉惰性视觉惰性p闪烁感觉闪烁感觉p视野与视觉视野与视觉p人眼的分辨率

27、人眼的分辨率p人眼的彩色分辨率人眼的彩色分辨率北京信息科技大学北京信息科技大学北京信息科技大学北京信息科技大学亦称亦称“马赫范得效应马赫范得效应”当亮度发生跃变时，会有一种边缘增强的感当亮度发生跃变时，会有一种边缘增强的感觉，视觉上会感到亮侧更亮，暗侧更暗。马赫效觉，视觉上会感到亮侧更亮，暗侧更暗。马赫效应会导致局部阈值效应，即在边缘的亮侧，靠近应会导致局部阈值效应，即在边缘的亮侧，靠近边缘像素的误差感知阈值比远离边缘阈值高边缘像素的误差感知阈值比远离边缘阈值高3434倍，倍，可以认为边缘掩盖了其邻近像素，因此对靠近边可以认为边缘掩盖了其邻近像素，因此对靠近边缘的像素编码误差可以大一些。缘的像

28、素编码误差可以大一些。北京信息科技大学北京信息科技大学人眼受到周期性光脉冲照射时，若重复的频率不太人眼受到周期性光脉冲照射时，若重复的频率不太高，则会产生忽明忽暗的闪烁感觉高，则会产生忽明忽暗的闪烁感觉临界闪烁频率临界闪烁频率：不引起闪烁感觉的光脉冲最低的重：不引起闪烁感觉的光脉冲最低的重复频率复频率光脉冲亮度越高，临界光脉冲亮度越高，临界闪烁频率也越高闪烁频率也越高亮度变化幅度越大，临亮度变化幅度越大，临界闪烁频率也越高界闪烁频率也越高北京信息科技大学p视野视野即头部不动时眼球向正前方注视，所能看到即头部不动时眼球向正前方注视，所能看到的空间范围。的空间范围。p视野也称周边视力，指黄斑中心凹

29、以外的视力视野也称周边视力，指黄斑中心凹以外的视力p正常人眼的最大范围约在左右正常人眼的最大范围约在左右3535 和上下和上下4040 ，最，最佳视野范围约左右佳视野范围约左右1515 和上下和上下1515 ，最大固定视野，最大固定视野约在左右约在左右9090 和上下和上下7070 ，头部活动时视野可扩展，头部活动时视野可扩展到左右到左右9595 和上下和上下9090 p视野还受背景色影响。视野还受背景色影响。北京信息科技大学p人眼的分辨力是指人眼对所观察的实物细节或图像细人眼的分辨力是指人眼对所观察的实物细节或图像细节的辨别能力，具体量化起来就是能分辨出平面上的节的辨别能力，具体量化起来就是

30、能分辨出平面上的两个点的能力。两个点的能力。u分辨力的定义是：眼睛对被观察物上相邻两点之间能分辨分辨力的定义是：眼睛对被观察物上相邻两点之间能分辨的最小距离所对应的视角的最小距离所对应的视角 的倒数，即分辨力的倒数，即分辨力= =u用用L L表示眼睛与图像之间的距离，表示眼睛与图像之间的距离，d d表示能分辨的两点间最表示能分辨的两点间最小距离，则有：小距离，则有： Ld1dL6036021北京信息科技大学p人眼的分辨力是有限的，在一定距离、一定对人眼的分辨力是有限的，在一定距离、一定对比度和一定亮度的条件下，人眼只能区分出小比度和一定亮度的条件下，人眼只能区分出小到一定程度的点，如果点更小，

31、就无法看清了。到一定程度的点，如果点更小，就无法看清了。p位置越近，分辨率越高位置越近，分辨率越高p静止物体分辨率高静止物体分辨率高p运动物体速度越快，分辨率越低运动物体速度越快，分辨率越低p水平运动比垂直运动分辨率高水平运动比垂直运动分辨率高北京信息科技大学p人眼对彩色细节的分辨力人眼对彩色细节的分辨力u人眼对彩色细节的分辨力远比对黑白细节分辨力低人眼对彩色细节的分辨力远比对黑白细节分辨力低p人眼对彩色色调的分辨力人眼对彩色色调的分辨力u对不同色调，人眼的分辨力不同，红黄之间的彩色色对不同色调，人眼的分辨力不同，红黄之间的彩色色调分辨力最高调分辨力最高p人眼对彩色饱和度的分辨力人眼对彩色饱和

32、度的分辨力u人眼对不同色调的饱和度变化的敏感程度不同人眼对不同色调的饱和度变化的敏感程度不同北京信息科技大学p建立视觉模型就是试图用光学系统的概念建立视觉模型就是试图用光学系统的概念来模拟某些视觉特性来模拟某些视觉特性p视觉信息处理模型视觉信息处理模型光学系统光学系统视网膜视网膜视觉通路视觉通路光信号电信号感知视频景物眼球作用区大脑作用区光电转换视频信息处理北京信息科技大学p黑白视觉模型黑白视觉模型低通滤波器低通滤波器对数运算器对数运算器高通滤波器高通滤波器模拟人眼模拟人眼的光学系的光学系统统反应视觉的亮度恒定现象，即当景物反应视觉的亮度恒定现象，即当景物背景亮度和对比度保持一定时，即使背景亮

33、度和对比度保持一定时，即使景物和背景的亮度在很大范围内变化，景物和背景的亮度在很大范围内变化，人眼对景物的亮度感觉仍然保持不变人眼对景物的亮度感觉仍然保持不变反应侧抑制反应侧抑制引起的马赫引起的马赫效应效应北京信息科技大学p彩色视觉模型彩色视觉模型I(x,y,I(x,y, ) )为彩色图为彩色图像像北京信息科技大学p彩色视觉模型彩色视觉模型3 3个彩色滤波器，个彩色滤波器，反映人类视觉三反映人类视觉三基色理论基色理论北京信息科技大学p彩色视觉模型彩色视觉模型反映视神经反映视神经对光强的非对光强的非线性响应线性响应北京信息科技大学p彩色视觉模型彩色视觉模型反映视觉通路上的反映视觉通路上的响应，分

34、为彩色输响应，分为彩色输出和亮度输出出和亮度输出北京信息科技大学北京信息科技大学p对相互对立的颜色对分别为红对相互对立的颜色对分别为红- -绿对、黄蓝绿对、黄蓝对和黑白对，反映了在视觉通路上的响应，对和黑白对，反映了在视觉通路上的响应，L L为亮度输出，为亮度输出，C C1 1C C2 2为彩色输出为彩色输出p式中式中abcabc为常数为常数*1*2*( , )( , )( , )lg( , )( , )( , )( , )lg( , )( , )( , )( , ) lg ( , )lg ( , )lg ( , ) R x yCa R x yG x yaG x yR x yCb R x yB

35、 x ybB x yLc aR x yG x yB x yc aR x yG x yB x y北京信息科技大学北京信息科技大学p三基色原理三基色原理u自然界的绝大多数彩色都自然界的绝大多数彩色都可以由三种不同的基色按不可以由三种不同的基色按不同的比例相加混和得到，合同的比例相加混和得到，合成彩色的亮度是这三个基色成彩色的亮度是这三个基色的亮度之和，色度（色调和的亮度之和，色度（色调和饱和度）则由三个基色分量饱和度）则由三个基色分量的比例决定的比例决定u基本要求：三种基色必须基本要求：三种基色必须是彼此独立的是彼此独立的北京信息科技大学p人类视觉系统对不同彩色的感觉具有相加人类视觉系统对不同彩色

36、的感觉具有相加混色的能力，并产生一种合成的彩色感觉混色的能力，并产生一种合成的彩色感觉u时间混色法：时间混色法：按一定顺序轮流将三种基色投射到同一平面上按一定顺序轮流将三种基色投射到同一平面上原理：人眼的视觉惰性和相加混色功能原理：人眼的视觉惰性和相加混色功能应用：场顺序制彩色电视应用：场顺序制彩色电视u空间混色法空间混色法u生理混色法生理混色法u全反射混色法全反射混色法北京信息科技大学p空间混色法空间混色法u将三种基色光同时分别投射到同一表面上的相将三种基色光同时分别投射到同一表面上的相邻邻3 3点，点，3 3点相距足够近点相距足够近u原理：人眼的分辨力有限和相加混色功能原理：人眼的分辨力有

37、限和相加混色功能u应用：彩色显像管应用：彩色显像管p生理混色法生理混色法p全反射混色法全反射混色法北京信息科技大学p生理混色法生理混色法u若左右两眼分别观察不同的颜色，则人眼感觉若左右两眼分别观察不同的颜色，则人眼感觉到的彩色不是两种单色光，而是这两种颜色的到的彩色不是两种单色光，而是这两种颜色的混合色混合色u应用：立体彩色电视机应用：立体彩色电视机p全反射混色法全反射混色法u将三种基色光以不同比例同时投射到一块反射将三种基色光以不同比例同时投射到一块反射表面，三种基色光产生全反射而相加混色形成表面，三种基色光产生全反射而相加混色形成混合色混合色u应用：投影电视（包括背投）应用：投影电视（包括

38、背投）北京信息科技大学北京信息科技大学p色度学u是研究彩色视觉（心理量）和光谱特性是研究彩色视觉（心理量）和光谱特性（物理量）的学科（物理量）的学科u包括：包括：CIE-RGBCIE-RGB彩色模型彩色模型XYZXYZ彩色模型彩色模型北京信息科技大学pCIE-RGBCIE-RGB彩色模型彩色模型北京信息科技大学pXYZXYZ彩色模型彩色模型北京信息科技大学pRGBRGB彩色显示模型彩色显示模型pCMYKCMYK彩色显示模型彩色显示模型北京信息科技大学pRGBRGB彩色显示模型彩色显示模型NTSC：Y= 0.299R + 0.587G + 0.114BPAL：Y= 0.222R + 0.707G

39、 + 0.071BRCIE 1.167 -0.146 -0.151 RGCIE = 0.144 0.753 0.159 GBCIE -0.007 0.059 1.128 BX 0.607 0.174 0.201 RY = 0.229 0.587 0.114 GZ 0.000 0.066 0.117 B北京信息科技大学北京信息科技大学pCMYKCMYK彩色显示模型彩色显示模型u采用相减混色法采用相减混色法u青色青色(C)(C)、品红、品红(M)(M)、黄、黄(Y)(Y)和黑和黑(K)(K)K=min（R，G，B）C=1-RM=1-GY=1-B北京信息科技大学北京信息科技大学2011年秋季北京信息

40、科技大学p彩色传输模型主要有彩色传输模型主要有YUVYUV、YIQYIQ和和YCYCb bC Cr r模型模型 与黑白电视兼容，人对亮度敏感度高、对色差敏感度低与黑白电视兼容，人对亮度敏感度高、对色差敏感度低与黑白兼容，信号传输的动态范围要满足亮度信号要求，别造成幅度失真。RGB空间空间YUV空间空间YUV 0.3 0.59 0.11-0.15 -0.29 0.44 0.61 -0.52 -0.096RGB=PAL：Y- 4.43MHz； U、V-1.3MHzY U V = 8 4 4 or 8 2 2北京信息科技大学YUV空间空间YIQ空间空间美日美日UVQIF33U = Q cos - I

41、 sinV = Q sin + I cosI = V cos - U sinQ = V sin + U cosNTSC：Q - 0.5MHz分辨红黄强： V = R-Y分辨蓝紫弱： U = B -Y 北京信息科技大学p反映了人的视觉系统观察彩色的方式反映了人的视觉系统观察彩色的方式pH H表示色调表示色调(Hue)(Hue)，I I表示亮度表示亮度(Inrensity)(Inrensity)，I I与彩色与彩色信息无关；信息无关；S S表示饱和度表示饱和度(Saturation)(Saturation)，H H和和S S分量与分量与人感受颜色的方式密切相关人感受颜色的方式密切相关北京信息科技大

42、学彩色空间的转换彩色空间的转换RGB空间空间HIS空间空间H (Hue)：色调色调S (Saturation)：色饱和度色饱和度I (Intensity)：亮度亮度白白黑黑IISH红红黄黄绿绿蓝蓝紫紫黄黄蓝蓝 - H (斜斜)更接近人的认识，可简化处理更接近人的认识，可简化处理黑白灰度、边缘处理黑白灰度、边缘处理 - I北京信息科技大学p视频表示p视频信息和信号的特点p模拟视频p数字视频北京信息科技大学p图像分类图像分类u按灰度等级：二值图像和多灰度级黑白按灰度等级：二值图像和多灰度级黑白图像图像u按图像的色调：黑白图像和彩色图像按图像的色调：黑白图像和彩色图像u按图像占空间维数：二维、三维和

43、多维按图像占空间维数：二维、三维和多维图像图像u按图像内容变化性质：静止图像和动态按图像内容变化性质：静止图像和动态图像图像北京信息科技大学北京信息科技大学北京信息科技大学北京信息科技大学北京信息科技大学北京信息科技大学北京信息科技大学北京信息科技大学p存储容量大，传输效率较高存储容量大，传输效率较高 数字音视频数数字音视频数据量大，在存储与传输的过程中必须进行据量大，在存储与传输的过程中必须进行压缩编码。音视频数字信号经过压缩后，压缩编码。音视频数字信号经过压缩后，可以在可以在68MHz68MHz的传输信道传输的传输信道传输2424套标准套标准清晰度电视（清晰度电视（SDTVSDTV）节目或

44、一套高清晰）节目或一套高清晰度电视（度电视（HDTVHDTV）节目，而一张压缩格式）节目，而一张压缩格式的的DVDDVD存储容量可达存储容量可达7GB7GB8GB8GB。北京信息科技大学p便于进行编辑加工便于进行编辑加工 传统磁带重复听传统磁带重复听某段音乐或观看某段画面时需不停地某段音乐或观看某段画面时需不停地倒带、快进，编辑过程也是顺序的线倒带、快进，编辑过程也是顺序的线性。数字音视频则不同，可以瞬时定性。数字音视频则不同，可以瞬时定位，非线性逻辑组织，还可以利用非位，非线性逻辑组织，还可以利用非线性编辑软件做特效。线性编辑软件做特效。北京信息科技大学p信息传输存储的可靠性高信息传输存储的

45、可靠性高 数字信号不会产生噪数字信号不会产生噪声和失真的积累，便于存储、控制、修改。数声和失真的积累，便于存储、控制、修改。数字音视频可以不失真的进行无数次复制，而模字音视频可以不失真的进行无数次复制，而模拟音视频信号每转录一次，就会有一次误差积拟音视频信号每转录一次，就会有一次误差积累，产生信号失真。模拟音视频长时间存放后累，产生信号失真。模拟音视频长时间存放后质量会降低，而数字音视频可以长时间的存放质量会降低，而数字音视频可以长时间的存放而没有任何失真。而没有任何失真。北京信息科技大学p有效保护信息和进行版权管理有效保护信息和进行版权管理 数字音视数字音视频可以方便地与密码及认证技术相结合

46、，频可以方便地与密码及认证技术相结合，便于实现信息加密便于实现信息加密/ /解密以及加扰解密以及加扰/ /解扰，解扰，适用于专业应用（军用、商用、民用）适用于专业应用（军用、商用、民用）或条件接收、视频点播、双向互动传送或条件接收、视频点播、双向互动传送等应用。等应用。北京信息科技大学p具有可扩展性，便于与其他数字设备融合。具有可扩展性，便于与其他数字设备融合。数字音视频易于与其它系统配合使用，与数字音视频易于与其它系统配合使用，与其他数字设备融合，在各类通信信道和网其他数字设备融合，在各类通信信道和网络上进行传输。易于集成化和大规模生产，络上进行传输。易于集成化和大规模生产，其性能一致性好，

47、且成本低。其性能一致性好，且成本低。 北京信息科技大学图图1-1 1-1 数字音视频传输模型数字音视频传输模型北京信息科技大学p信源为语音或视频信号采集设备；信源为语音或视频信号采集设备；p信源编码旨在通过对信源的压缩、加密、扰乱等处理，信源编码旨在通过对信源的压缩、加密、扰乱等处理，用最少的编码传递最大的信息量，即提高通信的有效性，用最少的编码传递最大的信息量，即提高通信的有效性，使信号更有效地传输和存储；使信号更有效地传输和存储；p信道编码主要用于提高可靠性，保证信号在传输或存储信道编码主要用于提高可靠性，保证信号在传输或存储的过程中尽量不出错，或出错后能够检错甚至纠错；的过程中尽量不出错

48、，或出错后能够检错甚至纠错； p信道可以是有线或无线信道可以是有线或无线p存储介质可以是磁盘、磁带、光盘等存储介质可以是磁盘、磁带、光盘等p信宿为音视频重放设备信宿为音视频重放设备北京信息科技大学p信息处理信息处理u主要包括信息获取，信息变换，信息特主要包括信息获取，信息变换，信息特征的抽取与选择、分类与识别，信息安征的抽取与选择、分类与识别，信息安全与授权等方面的内容。全与授权等方面的内容。北京信息科技大学p信息的数字化处理信息的数字化处理uDSPDSP技术通常是指利用计算机或技术通常是指利用计算机或/ /和专用和专用处理设备（或器件），对数字化的信号进处理设备（或器件），对数字化的信号进行

49、采集、滤波、检测、均衡、变换、调制、行采集、滤波、检测、均衡、变换、调制、压缩、降噪、估计等处理，以得到更能满压缩、降噪、估计等处理，以得到更能满足人们需要的信号形式。足人们需要的信号形式。u例如，对音视频信号的降噪处理的目的例如，对音视频信号的降噪处理的目的是减少原音视频信号中的噪声或干扰信息，是减少原音视频信号中的噪声或干扰信息，使信号变换成更便于人们识别和理解的形使信号变换成更便于人们识别和理解的形式。式。北京信息科技大学北京信息科技大学p是指把语音信号数字化并在数字状态下进是指把语音信号数字化并在数字状态下进行记录、传输、重放以及其他加工处理等行记录、传输、重放以及其他加工处理等一整套

50、技术。一整套技术。p研究对象是语音信息的获取、表示、传输研究对象是语音信息的获取、表示、传输与处理（编码、存储、变换、识别、综合、与处理（编码、存储、变换、识别、综合、理解）的方法、规律及其利用。理解）的方法、规律及其利用。北京信息科技大学p以物理声学、生理声学、心理声学、以物理声学、生理声学、心理声学、语言学、语音学为基础，涉及包括语言学、语音学为基础，涉及包括电声技术、电子技术、微电子技术、电声技术、电子技术、微电子技术、数字技术、计算机控制技术和精密数字技术、计算机控制技术和精密加工技术在内的多个学科领域。加工技术在内的多个学科领域。北京信息科技大学p在广播电视与消费类电子产品中的应在广

51、播电视与消费类电子产品中的应用用p在多媒体计算机中的应用在多媒体计算机中的应用北京信息科技大学图图1-3 1-3 广播电视和视听消费电子类设备和产品的数字化发展广播电视和视听消费电子类设备和产品的数字化发展北京信息科技大学图图1-4 1-4 多媒体计算机系统多媒体计算机系统北京信息科技大学u（1 1）会议业务）会议业务u（2 2）谈话业务）谈话业务u（3 3）分配业务）分配业务u（4 4）检索业务）检索业务u（5 5）采集业务）采集业务u（6 6）消息业务）消息业务北京信息科技大学p 多媒体应用主要包括以下方面。多媒体应用主要包括以下方面。（1 1）办公自动化。）办公自动化。（2 2）远程会议

52、。）远程会议。（3 3）交互式电视与视频点播。）交互式电视与视频点播。（4 4）交互式影院与数字化电影。）交互式影院与数字化电影。（5 5）出版。）出版。（6 6）信息查询。）信息查询。（7 7）数字化图书馆。）数字化图书馆。（8 8）家庭信息中心。）家庭信息中心。（9 9）远程教育。）远程教育。（1010）远程医疗。）远程医疗。（1111）协同工作。）协同工作。（1212）媒体空间与赛博空间。）媒体空间与赛博空间。北京信息科技大学p数字音视频技术领域的总体发展方向是数字化、高集成化、数字音视频技术领域的总体发展方向是数字化、高集成化、多功能化、智能化和综合化。多功能化、智能化和综合化。p数字

53、音视频技术是广播电视、计算机和通信技术发展、融数字音视频技术是广播电视、计算机和通信技术发展、融合、互相渗透的结果，而今，一种称为合、互相渗透的结果，而今，一种称为“信息电器信息电器（Information ApplianceInformation Appliance，IAIA）”的新理念被列入信息技术的新理念被列入信息技术开发的议程。开发的议程。p信息电器是指任何能够帮助我们上网获取信息、令人愉快信息电器是指任何能够帮助我们上网获取信息、令人愉快的装置，它涵盖的产品包括机顶盒、的装置，它涵盖的产品包括机顶盒、DVDDVD、HDTVHDTV、车载、车载电脑、手持电脑、掌上电脑、无线手机、游戏机

54、、网络计电脑、手持电脑、掌上电脑、无线手机、游戏机、网络计算机等。算机等。北京信息科技大学p 目前，国外音视频技术领域正在发展的主要技术包括如目前，国外音视频技术领域正在发展的主要技术包括如下几点。下几点。u压缩码率更高、算法更先进的音视频数字信号压缩编码、解码技压缩码率更高、算法更先进的音视频数字信号压缩编码、解码技术；术；u传输效率更高、传输质量更优的数字信号调制、解调技术；传输效率更高、传输质量更优的数字信号调制、解调技术；u加快已成熟的数字音视频技术产品的商品化，推广、普及高清晰加快已成熟的数字音视频技术产品的商品化，推广、普及高清晰度电视（度电视（HDTVHDTV）技术，通过卫星电视

55、直播接收、电缆电视传输）技术，通过卫星电视直播接收、电缆电视传输系统、地面广播等系统、地面广播等3 3个途径实现模拟电视向数字电视的过渡；个途径实现模拟电视向数字电视的过渡；北京信息科技大学p发展存储容量更大的存储媒体，例如高集成度的发展存储容量更大的存储媒体，例如高集成度的CMOSCMOS半导体存储器、固体存储器、蓝光技术的高密度光盘等；半导体存储器、固体存储器、蓝光技术的高密度光盘等；p发展新型显示器件，提高显示器件的清晰度、对比度、发展新型显示器件，提高显示器件的清晰度、对比度、亮度，降低成本，提高重显彩色色域，寻求新型平板显亮度，降低成本，提高重显彩色色域，寻求新型平板显示方式和新型发

56、光材料，除目前比较成熟的平面型阴极示方式和新型发光材料，除目前比较成熟的平面型阴极射线管之外，还有等离子显示屏（射线管之外，还有等离子显示屏（PDPPDP）、液晶显示器）、液晶显示器（LCDLCD）、有机发光二极管（）、有机发光二极管（OLEDOLED）型显示器等；）型显示器等；p（6 6）发展新型电声器件和数字音频技术，包括微传声器，）发展新型电声器件和数字音频技术，包括微传声器，基于传声器阵列的语言增强和说话定位技术、多声道回基于传声器阵列的语言增强和说话定位技术、多声道回声抵消技术等。声抵消技术等。北京信息科技大学（1 1）AVSAVS标准带动数字音视频业发展标准带动数字音视频业发展（2

57、 2）多媒体处理器成为移动音视频业）多媒体处理器成为移动音视频业竞争的焦点竞争的焦点（3 3）有机发光二极管（）有机发光二极管（OLEDOLED）显示）显示技术技术北京信息科技大学p 填空题填空题 (1) (1) 波长在波长在 _nmnm范围内的电磁波能够使人眼产范围内的电磁波能够使人眼产生颜色感觉，生颜色感觉， 称为称为 _。 (2) (2) 由不同光谱混合出相同色光的现象叫由不同光谱混合出相同色光的现象叫 _。 (3) (3) 发光体的颜色由它本身所发出的发光体的颜色由它本身所发出的 _确定。确定。 (4) (4) 不发光体的颜色与不发光体的颜色与 _的光谱和不发光体对的光谱和不发光体对照射光的照射光的 _、_特性有关。特性有关。 北京信息科技大学(5) (5) 光通量是按人眼的光感觉来度量的辐射功率，光通量是按人眼的光感觉来度量的辐射功率， 用符号用符