多媒体技术05-数字视频基本概念

第五章数字视频基本概念2023/1/15南京大学多媒体研究所2内容模拟视频数字视频数字视频的编辑计算机合成视频(计算机动画)一、模拟视频2023/1/15南京大学多媒体研究所41什么是视频视频(video)：随时间变化其内容的一组图象(24,25,30帧/秒)，又叫运动图象或活动图象(motionpicture)。常见视频信号：电视，电影，动画等.视频信号的特点：内容随时间而变化,伴随有与画面动作同步的声音(伴音),人类接受的信息70%来自视觉,其中活动图象是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频信息的处理是多媒体技术的核心。2023/1/15南京大学多媒体研究所5电视电视是当代最有影响力的信息传播工具!3种彩色电视制式:NTSC制(正交平衡调幅制),美国、加拿大，台湾、日本、韩国、菲律宾等采用PAL制(逐行倒相正交平衡调幅制),德国、英国，中国、朝鲜等采用SECAM制(顺序传送彩色与存储制),法国、苏联及东欧国家采用.2023/1/15南京大学多媒体研究所6电视图象摄取,传输和重现的过程

拍摄图像和播放图像都采用“光栅扫描”(rasterscan)的原理。摄象机摄取景物时，把自然景物的颜色分解为R,G,B三个分量在彩电信号传输中，用Y,C1,C2分别表示亮度信号和两个色差信号，C1,C2的含义与彩电的制式有关。电视接收机把Y,C1,C2信号重新转换为R,G,B进行显示.2023/1/15南京大学多媒体研究所7视频信号tWhite(0.714V)Black(0.055V)Blank(0.V)Sync(-0.286V)2023/1/15南京大学多媒体研究所8光栅扫描(rasterscan)隔行扫描(interlaced,电视图象采用)奇数场偶数场1帧图像逐行扫描(progressive,计算机显示图象时采用)2023/1/15南京大学多媒体研究所96252视频信号的空间特性575(PAL)485525(NTSC)verticalresolutionaspectratio(4:3or16:9)安全情节区和安全标题区Safe

action

areaSafe

title

area2023/1/15南京大学多媒体研究所102023/1/15南京大学多媒体研究所11视频信号的时间特性（1）动作连贯性感觉的要求：帧频>=15f/s；无闪烁感觉的要求：画面刷新速率必须>=每秒50次。

PAL制式：帧频为25帧/s,场频50场/s；NTSC制式：帧频是30帧/s,场频是60场/s电视扫描信号的行频：PAL：625x25=15.625kHz，周期为64μs;NTSC：525x30=15.75kHz，周期为63.5μs2023/1/15南京大学多媒体研究所12575625(4/3)*575视频信号的时间特性（2）模拟信号传输电视节目时的带宽：PAL制式是8.0MHz（亮度信号为5.5MHz，2个色度信号均为1.8MHz），NTSC制式是6.0MHz（亮度信号为4.2MHz，2个色度信号均为1.0MHz）。全屏光点总数:575*(4/3)*575=440kb(P)484*(4/3)*484=310kb(N)视频信号最高频率:440k*25/2=5.5MHz(P)310k*30/2=4.65MHz(N)2023/1/15南京大学多媒体研究所133电视信号的彩色空间（1）在彩色电视中，用Y、C1,C2彩色表示法分别表示亮度信号（Luminance或Luma）和两个色度信号（Chrominance或Chroma）。C1，C2的含义与具体的电视制式有关:电视制式C1的含义C2的含义NTSCIQPALUVCCIR601数字电视CrCb2023/1/15南京大学多媒体研究所14电视信号的彩色空间（2）YUV空间(PAL)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量

U=(B-Y)*0.493色度分量

V=(R-Y)*0.877YIQ空间(NTSC)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量I=0.6*R-0.28*G-0.32*B色度分量

Q=0.21*R-0.52*G+0.31*B(优点：与黑白电视兼容；有利于压缩信号带宽)2023/1/15南京大学多媒体研究所15电视信号的彩色空间（3）YCrCb是国际通用的CCIR601数字电视信号中使用的彩色空间，它由YUV彩色空间经过缩放和平移得到。Y值的额定范围在16-235之间，Cr和Cb在16-240之间，具体的转换公式如下：Y=(77/256)*R+(150/256)*G+(29/256)*BCr=(131/256)*R-(110/256)*G-21/256)*B+128Cb=-(44/256)*R-(87/256)*G+(131/256)*B+1282023/1/15南京大学多媒体研究所16电视信号的彩色空间（4）使用Y、C1，C2彩色空间的优点：①Y和C1，C2是独立的，因此彩色电视和黑白电视都可以使用，Y分量可由黑白电视接收机直接使用而不需做任何进一步的处理；②可以利用人的视觉特性来节省信号的带宽和功率，通过选择合适的颜色模型，可以使C1，C2的带宽明显低于Y的带宽，而又不明显影响彩色图像的质量。视频信号种类2023/1/15南京大学多媒体研究所18（1）复合电视信号复合电视信号(compositevideosignal)：由亮度、色度信号及同步信号复合而成的单一信号，也称为全电视信号.复合电视信号适合于进行远距传输，其质量称为VHS（家用级)。彩色空间转换RGB=>YUV图象信号编码信号复合RGBYUVCVBSVSyncHSync复合电视信号（模拟电视信号的编码）2023/1/15南京大学多媒体研究所190.01.254.835.756.0

NTSC复合电视信号的调制为便于电视信号远距传输，必须把三个分量信号以及同步信号复合成一个信号，然后才进行传输。CVBS=Y+I*Cos(Fsc*t)+Q*Sin(Fsc*t)伴音信号与视频信号也复合在一起传输。6MHz(NTSC)图象载波声音载波色度副载波音频…6MHz4.2MHz2023/1/15南京大学多媒体研究所20（2）分量电视信号为保证视频信号质量，近距离时可用分量视频信号(componentvideosignal)传输,分量信号是指每个基色分量(R,G,B或Y,U,V)作为独立的电视信号传输。(Betacam，广播级或专业级).视频节目制作时使用的是分量视频信号计算机输出的视频信号，是分量形式的视频信号。2023/1/15南京大学多媒体研究所21（3）S-Video信号

S-Video是亮度(包含同步信号)和色度(2个色度信号复合在一起)互相分离的一种电视信号，优点：①减少亮度信号和色度信号之间的交叉干扰；②不需要使用梳状滤波器来分离亮度信号和色度信号，这样可提高亮度信号的带宽。信号电平=1V阻抗=75ohms信号电平=0.3V阻抗=75ohms

S-Video使用单独的两条信号线分别传输亮度信号和色度信号，这两个信号称为Y/C信号。

S-Video使用4针连接器二、数字视频2023/1/15南京大学多媒体研究所231为什么使用数字视频？易于编辑、修改等操作处理用户接收的图像质量更好(可达演播室水平)有利于存储，信息复制不会失真有利于传输(抗干扰能力强)节省频率资源(占用频道较窄)可以通过公共电信网和计算机网传输可以与其它媒体组合使用可以生成描述信息（bitsaboutbits）,便于信息的检索和使用2023/1/15南京大学多媒体研究所242视频信号的数字化视频信号数字化过程:(8-10bits)滤波取样量化PCM编码数字视频信息模拟视频信号VUYUVY亮度信号的取样频率:13.5MHzU,V色度信号的取样方式有多种不同格式2023/1/15南京大学多媒体研究所25亮度信号的取样（CCIR601）ITU-RBT.601标准(CCIR601,美国称为D1标准)，对3种制式电视的取样频率和有效分辨率都作了统一规定。每一行的像素数目:PAL:13.5MHz=625×25×N=15625×N,

N=864NTSC:

13.5MHz=525×30×N=15734×N,

N=858有效（可显示）像素均统一为：720720pel(有效取样样本)12/16

pel132/122

pel水平扫描线(64us)蓝色为NTSC蓝色为NTSC2023/1/15南京大学多媒体研究所26色度信号的取样（CCIR601）人对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。色度信号的取样频率有4种:

格式取样频率平均每个像素的样本数4:4:4同亮度信号取样频率3样本/像素4:2:2亮度信号取样频率的一半2样本/像素4:1:1亮度信号取样频率的1/41.5样本/像素4:2:0亮度信号取样频率的一半,1.5样本/像素但隔行处理2023/1/15南京大学多媒体研究所27色度信号的4种取样格式4:2:2亮度信号色度信号4:4:44:2:04:1:12023/1/15南京大学多媒体研究所28

名称

亮度(Y)

色度(Cb,Cr)

(行数/帧)

(像素/行)(行数/帧)

(像素/行)取样格式CCIR6015767205763604:2:2CIF288360 144 1804:2:0QCIF144180 72904:2:0SQCIF96 12848644:2:0常用数字视频信号的规格(CCIR601＝ITU-R601)

亮度的取值范围:16(黑)-235(白)色度的取值范围:16-240宽高比（aspect

ratio）帧宽高比 4:3，16:9像素宽高比2023/1/15南京大学多媒体研究所29数字视频的记时当使用失落帧时间码时，系统对除了每十分钟以外的每分钟的头两帧重新赋给序号。Drop-frametimecode: 00;02;51;20Non-drop-frametimecode: 00:02:51:20为什么？如果计时基准为30fps： 30fps×60秒＝1800帧如果计时基准为29.97fps： 29.97fps×60秒＝1798.2帧对于一段1分钟的视频，30fps和29.97fps的视频帧数的差别为： 1800-1798.2＝1.8帧，或约为两帧2023/1/15南京大学多媒体研究所302023/1/15南京大学多媒体研究所313常见数字视频格式表6.6Windows和MacOS常用视频文件类型文件类型缩略语来源于创建者文件信息和编码平台.movQuickTimeMovieApple不仅有视频，还有纯音频QuickTime支持MIDI可以用QuickTime流传输服务器来进行文件流传输常用的编码包括：Animation、SorensonVideo、H.264、PlanarRGB和CinepakAppleQuickTime播放器，Windows和Mac都支持.aviAudioVideoInterleave常用的编码包括：微软RLE、IntelIndeoVideo和Cinepak主要在Windows上使用，但Apple的QuickTime播放器也可以播放AVI文件.rm可以有很高的压缩比允许根据网络连通速度来选择压缩级别可以用Real服务器进行流传输跨平台需要Real播放器.wmv主要在WindowsMediaPlayer上播放.mpg.mpeg对于DVD视频，可以将文件输出为DVDMPEG-2格式跨平台.flv支持Web服务器的累进下载在AdobFlashMedia服务器的支持下，可以流传输该文件SorensonSparkOn2VP6：支持alpha通道，即视频可以有透明控制H.264跨平台需要FlashPlayer来播放SWF文件，该文件调用或自己包含有FLV文件数字电视标准数字电视是用数据压缩技术和数字传输技术的远程通信系统。目前用的最多的是卫星数字电视、地面数字电视和有限数字电视。使用制式有美国ATSCDTV、欧洲DVB和日本的ISDB数字电视图像格式SDTVEDTVHDTV2023/1/15南京大学多媒体研究所32三、数字视频的编辑处理2023/1/15南京大学多媒体研究所34模拟视频编辑处理的方法

(线性编辑技术)后期节目制作:将不同节目源的素材和特技效果组合在一起,提高节目质量在一个“视频切换器”的控制下，根据“编辑点”,控制若干录放像机的工作，将几个素材组合到一条磁带上。从几个输入中选择适当的图像源，在两个图像源之间作基本的变换，创造和获得特殊效果。视频切换器编辑机素材A/BRollEditor切换控制台缺点：编辑过程复杂，出错后难以修改，磁带磨损严重，编辑次数受限制，影响质量。2023/1/15南京大学多媒体研究所35数字视频编辑系统

(非线性编辑器)组成：以计算机、视(音)频卡、SCSI硬盘和数字视频编辑软件为平台，实现数字视频的编辑加工。编辑过程:把电视节目素材存入计算机硬盘中，根据需要对不同长短、不同顺序的素材进行任意的编辑，同时加上字幕特技和各种动画，还能进行配音、配乐，最终方便快捷地一次性制成高质量的节目。computerGUIInterfaceCRTDisk2023/1/15南京大学多媒体研究所36非线性编辑系统的优点可以输入多种不同格式的视频素材、音频素材和静止图像、图形和计算机动画，完成多层画面的迭加；具有多个立体声音频通道，实现配音、配乐，图象声音能准确同步，可以完成多种声音特技效果。包含了数字特技机、字幕机、编辑机、调音台的功能。进行链接式编辑，仅对编辑点和特技效果作记录，并不进行不同节目片段的复制，因此编辑速度快，制作和修改方便，编辑精度可以精确到1帧。制作的节目可直接输出到数字分量录像机，也可进行D/A转换后输出到模拟录像机，更可存在视频服务器的硬盘中通过网络直接送播控中心播出。2023/1/15南京大学多媒体研究所372视频编辑软件常用视频编辑软件：①WindowsMovieMaker；②台湾友立公司的会声会影；③PinnacleStudio；④PinnacleEdition；⑤AdobePremiere。四、计算机合成视频(计算机动画)2023/1/15南京大学多媒体研究所39什么是计算机动画？计算机动画是采用计算机生成可供实时演播的一系列画面的一种技术。所生成的画面系列可在计算机显示屏上演示，也可转换成视频信息输出。与模拟电视信号经数字化得到的自然数字视频相比，计算机动画是一种合成数字视频。计算机动画综合利用计算机科学、艺术、数学、物理学和其他相关学科的知识，用计算机生成绚丽多彩的连续的虚拟画面，给人们提供了一个充分展示个人想像力和艺术才能的新天地。2023/1/15南京大学多媒体研究所40计算机动画分类SimulationAnimation三维动画二维动画2023/1/15南京大学多媒体研究所41计算机动画的历史1963年Bell实验室制作了第一部计算机动画片(二维)。三维计算机动画的研究始于七十年代初，八十年代中后期进入实用化。九十年代初，计算机动画应用于电影特技，如1993年“侏罗纪公园”取得轰动性效应，获得了该年度的奥斯卡最佳视觉效果奖。1996年，世界上第一部完全用计算机动画制作的电影《玩具总动员》上映,1998年放映的电影《泰坦尼克》中，船翻沉时乘客的落水镜头有许多是采用计算机合成的，从而避免了实物拍摄中的高难度、高危险动作。2023/1/15南京大学多媒体研究所42计算机动画的应用应用领域涉及娱乐、电视、教育和科研各方面,例如:影视领域中电影特技、片头制作、动画片制作、基于虚拟角色的电影制作等；商业：电视广告制作，电子商务；教育领域中的辅助教学、实验示教及集娱乐与教育于一体的教育软件；科学研究领域中，用于科学计算可视化，复杂系统工程中动态模拟；军事领域中的军事训练、作战模拟、训练模拟；娱乐行业，各种高档、大型游戏软件等。2023/1/15南京大学多媒体研究所43传统动画制作过程所谓动画，是指利用人的视觉残留特性使连续播放的静态画面相互衔接而形成动态效果。传统卡通动画的制作过程：导演将剧本分成一个个分镜头，由高级动画师确定各分镜头的角色造型，并绘制出一些关键时刻各角色的造型。由助理动画师根据这些关键形状绘制出从一个关键形状到下一个关键形状的自然过渡，并完成填色及合成工作。依次拍摄这一帧帧连续画面，就得到了一段动画片段。2023/1/15南京大学多媒体研究所44计算机动画制作过程计算机动画是在计算机中建立景物的模型、设置它们的运动、生成逼真图像并转换成视频信号的过程。三维计算机动画制作过程分以下几个阶段：（1）建模（造型）（2）确定颜色和材质(纹理)（3）设置灯光和摄像机位置（4）描述和设置动画要求（5）图像绘制（rendering）（6）输出动画结果2023/1/15南京大学多媒体研究所45动画制作方式OpenGLDirectX操作系统3dsmaxMayaFlashMX2023/1/15南京大学多媒体研究所46（１）建模使用建模工具直接进行建模patch可生成直纹面；skin可由多个不同的截平面线构造物体；revolve可由母线旋转成一个旋转体；boundary可由三条或四条边界构造曲面；round可直接生成三个面相交处不同半径的圆角。使用基本几何形体，如球、柱、锥、台、立方体等，通过调整曲面上的控制点或编辑点来进行所需要的造型，亦可通过布尔运算进行实体造型。2023/1/15南京大学多媒体研究所47(2)颜色和纹理的确定颜色的设定：确定中间色、高光色、自发光色、透明色、反射区颜色等。调整高光区大小，高光区与中间色区过渡、反射率、折射率、反射次数、折射次数等。使用本色贴图、高光区贴图、透明区贴图、白发光贴图、反射贴图、反射率贴图、粗糙度贴图、三维起伏贴图等。调整贴图参数，可得到金属质感，无高光非金属和高光非金属，自发光等质感。2023/1/15南京大学多媒体研究所48颜色和纹理的确定材质(纹理)的设定：提供许多纹理模板，可直接做为贴图使用，且调整方便，可以做材质渐变的动画。背景材质:输入的各种素材图像或纹理图像均可作为背景。软件本身提供了若干背景，如天空、地平面、云和太阳组成的自然环境等。2023/1/15南京大学多媒体研究所49（3）设置灯光和摄像机位置灯光照耀在物体表面,显现出物体表面的颜色和质感，然后通过虚拟相机得到最后的图像效果,这一步与确定颜色和材质交替进行。在场景中设置灯光的数量,类型和位置。光源的类型:环境光、直射平行光、点光、白炽灯光、线光和面光源。每种光源又有多种参数可调，能生成许多特殊效果。如光通过雾气的效果、光的棱镜效果等。设定虚拟摄像机的位置,以及推、拉、摇、移和变焦等摄像机运动。2023/1/15南京大学多媒体研究所50（4）运动的描述和设置动画是运动中的艺术，运动是动画的要素。运动（motion）指的是场景中任何一种系列的视觉变化，例如:景物位置、方向、大小和形状的变化，景物表面纹理、色彩的变化,虚拟摄像机运动,其它。2023/1/15南京大学多媒体研究所51（5）图像绘制（rendering）图像绘制有多种方法，最常用的是光线追踪法（Raytracing）和光线投射法（Raycastimg）。它们能自动计算光线在物体间的反射、折射、透明及物体阴影、浓淡，使画面更生动、更逼真。绘制的动画图像如果是电影用的，每一秒需24帧画面，则计算机必须绘制生成24xn帧图像（n是持续时间），如果是电视用的，则每秒需25或30帧画面。2023/1/15南京大学多媒体研究所52（6）输出动画结果为电视制作的计算机动画必须使用相应的视频卡把计算机图像转换成模拟视频信号，记录在广播级录像带上。如果是为电影制作的动画，则通过胶片机，把制作的动画图像输出到胶片上。2023/1/15南京大学多媒体研究所53小结：计算机动画与图形学场景造型：精度不必像工业设计那样高，但对造型工具的灵活性及景物运动的可控性提出了更高的要求。提出了针对动画应用而设计的造型技术，如隐函数曲面造型技术和Catmull-Clark离散曲面造型技术等。由于简单性和兼容性，多边形网格模型在计算机动画系统中得到广泛应用。绘制：随着动画技术的发展，传统的真实感图形绘制技术必须予以改造，使之满足动画的需要。2023/1/15南京大学多媒体研究所54运动控制的几种方法关键帧（Keyframing）计算法(ProceduralandSimulation)运动捕获技术重用以前的动作2023/1/15南京大学多媒体研究所55关键帧动画关键帧动画是基于动画设计者提供的一组关键帧，自动产生中间帧的计算机动画技术。关键帧动画制作的步骤:脚本设计角色定义关键帧指定中间帧生成2023/1/15南京大学多媒体研究所56脚本中定义一系列要发生的运动脚本设计(Storyboardlayout)2023/1/15南京大学多媒体研究所57定义动画中每个角色。可以是几何形状,如线或多变形，另外每个角色的运动也必须定义对象(角色)定义

Object(role)definitions2023/1/15南京大学多媒体研究所58关键帧说明

Key-framespecifications

关键帧是动画序列中某个时刻的一个详细描述，包括该时刻该场景中所有角色的位置(1) (2) (3) (4)2023/1/15南京大学多媒体研究所59

关键帧之间是中间帧，通常两个关键帧之间有3-5个中间帧生成中间帧

Generationofin-betweenframes2023/1/15南京大学多媒体研究所60结果2023/1/15南京大学多媒体研究所61通过计算进行运动控制运动控制方法 用于控制(描述)动画形体随时间而运动/变化（形状、样式、行为）的方法主要有:运动学（Kinematics）方法,动力学（Dynamics）方法，物理推导方法,随机方法,刺激一响应方法,行为规则方法,自动运动控制方法等。2023/1/15南京大学多媒体研究所62算法动画算法动画

运动使用变换表（如旋转、大小、位移、切变、扭曲、随机变换、颜色改变等）进行描述和控制，每个变换由参数定义，而这些参数在动画期间可按照任何物理定律（如运动学的和动力学定律）来确定，这些定律可以使用解析形式定义或使用复杂的过程如微分方程的解来定义。2023/1/15南京大学多媒体研究所63

AnimationhandlingVideopost2023/1/15南京大学多媒体研究所64