多媒体技术培训讲座

北京信息科技大学院计算机学院多媒体技术

主讲教师：侯凌燕

第一页，共八十页。22023/5/7课程目标理论掌握多媒体技术基础和原理应用掌握常用多媒体系统与工具的使用研究广泛涉猎多媒体技术领域的研究概况和最新进展，并针对某具体技术进行研究性学习第二页，共八十页。32023/5/7教学内容教学内容的不同视角概论与原理、技术及应用按媒体类型：文本、声音、图像、视频软件与硬件、单机与网络传统技术、新一代多媒体技术内容划分概述篇、文字篇、音频篇、图像篇、视频篇、应用系统篇、新技术篇第三页，共八十页。本课程的内容组织多媒体基础知识文字媒体听觉媒体图像媒体视频媒体媒体的回顾多媒体制作多媒体应用42023/5/7第四页，共八十页。52023/5/7实验内容需掌握多媒体应用软件音频声音编辑处理、流媒体中的语音技术图形图像图像编辑处理：网络动画：视频视频编辑处理：网络多媒体网站：流媒体：网络电台或电视第五页，共八十页。竞赛制作动画、游戏制作视频编、剪、集网站设计平面设计（图形处理）62023/5/7第六页，共八十页。本课程教学的目的是什么？面向科学研究与工作实践多学科的结合与交叉应用多媒体技术登堂入室之门——已经知道了什么,还有哪些不知道?72023/5/7第七页，共八十页。本课程学习方法理解课堂讲授内容发挥自学能力，在实践中学习可以利用的资源：（校内）思考与创新82023/5/7第八页，共八十页。本课程的知识来源课堂内容实验内容自学内容新知识的扩充92023/5/7第九页，共八十页。102023/5/7学习参考参考教材多媒体技术（电子版），李宁,多媒体技术教程，机械工业出版社《多媒体技术基础》，林福宗，清华大学出版社,:,,，清华影印，1997年第十页，共八十页。112023/5/7网上学习资源各大搜索引擎：各种学习资源

北大天网专业的网上全文数据库：期刊文献：维普中文期刊库其它收费期刊库：学校订购教育网站和学习论坛：技术方案网上图书馆：书籍超星、国家图书馆多媒体技术专业网站比如流媒体第十一页，共八十页。122023/5/7课程考核采用考试方式（60%）实验报告（15%）要求：打包为一个文档，在规定时间内提交。考勤、回答问题（15%）。作业（10%）第十二页，共八十页。课程答疑课时:上课:24学时(3-11周)上机:8学时答疑:时间:课后随堂答疑(10~17周)地址:教2-201、407提交作业教务处：网络教学平台要求：压缩后打包发送命名方法：学号_姓名_作业名称132023/5/7第十三页，共八十页。142023/5/7

:,,多媒体系统.

第十四页，共八十页。图象工程 图象工程三层次：第十五页，共八十页。图象工程 图象工程三层次：图象处理第十六页，共八十页。图象工程 图象工程三层次：图象分析椭圆：红色椭圆：大，远上部：兰色下部：绿色中部：几何体第十七页，共八十页。图象工程 图象工程三层次：图象理解椭圆：红色椭圆：大，远上部：兰色下部：绿色中部：几何体红色椭圆是太阳兰色的天空绿色的草地小路通向房屋清晨的郊外第十八页，共八十页。图象工程 图象工程与其他学科：第十九页，共八十页。202023/5/7第一章多媒体技术的概念内容提要绪论多媒体涉及的几个概念多媒体技术的研究与应用开发第二十页，共八十页。212023/5/71.1媒体的概念媒体的概念:"“，汉语词典：媒介,手段。如:传播媒体;教学媒体;视听媒体;印刷媒体计算机领域：承载信息的载体，信息传递和存储的最基本的技术和手段媒体在计算机领域中的两种含义存储信息的实体：磁带、磁盘、光盘等信息的载体：数字、文字、声音、图形和图像等第二十一页，共八十页。222023/5/7

媒体是指承载信息的载体第二十二页，共八十页。232023/5/7媒体的种类感觉媒体通过人的五官感受到的，如语音、声音、音乐等；图形、图像、动画、视频等；触觉、嗅觉等；表示媒体信息的存在形式和表现形式，以编码等形式来描述信息，定义了信息的基本特征如文本（码）、声音、图形、图像、视频等显示媒体（表现媒体）输出设备：显示器、打印机、扬声器等输入设备：键盘、摄像头、鼠标、扫描仪等第二十三页，共八十页。242023/5/7媒体的种类存储媒体存储数据的物理设备，如软盘、硬盘、光盘、磁带等传输媒体传输数据的物理设备，包括光纤、双绞线、同轴电缆等信息交换媒体?

(.).第二十四页，共八十页。252023/5/7第二十五页，共八十页。信息的多样化+处理技术获取（）、表现（）、记录（）、重放（）、创作（）262023/5/7第二十六页，共八十页。272023/5/71.1.2多媒体技术及其特点多媒体技术多种+媒体+技术多媒体（）融合两种以上媒体的人机交互式信息交流和传播媒体多媒体计算机技术计算机综合处理文本、图像、图形、音频和视频等多种媒体信息，集成为一个具有交互性的系统。说明：多媒体是信息交流和传播媒体多媒体是人机交互式媒体多媒体是以数字形式而不是模拟形式存储和传输的传播信息的媒体种类很多，如文字、声音、电视、图形、图像、动画等第二十七页，共八十页。282023/5/7声音运动图像静止图像文本图形动画时间/空间属性基于时间的连续基于空间的离散从显示世界捕获通过计算机合成来源多媒体的类型文本、声音、图形、图像、动画（运动图形）、视频（运动图像）等思考：还有别的类型吗？第二十八页，共八十页。292023/5/7任何类型信息的结合都可以被称作多媒体吗?问题在专业上使用多媒体这一术语时，通常包含至少文本、图形、图像中的一个，和音频或视频的信息这两方面。(,,)第二十九页，共八十页。302023/5/7多媒体的特征信息载体的多样性（多维化）人类对信息的接受和产生主要在五个感觉空间内，即视觉、听觉、触觉、嗅觉和味觉，其中前三者占了95%以上的信息量计算机以及与之相类似的一系列设备，都远远没有达到人类的水平，必须把人类的信息进行变形之后才能使用视觉65%20%10%2%3%味觉嗅觉触觉听觉第三十页，共八十页。312023/5/7多媒体的特征交互性交互可以增加对信息的注意力和理解，延长信息保留的时间当交互性引入时，活动本身作为一种媒体便介入了信息转变为知识的过程通过交互使用户介入信息过程：检索、虚拟现实……活动（）：倒放、加速、虚拟合成.……交互电视/点播电视不同层次的交互初级交互：提取信息，从数据库中检索素材中级交互：使用户介入在信息过程中，如改变信息高级应用：虚拟现实技术，完全进入到一个与信息环境一体化的虚拟信息空间第三十一页，共八十页。322023/5/7多媒体的特征集成性信息集成包含信息的多通道统一获取，多媒体信息的统一存储与组织，多媒体表现合成等各方面。设备集成硬件：具有能处理多媒体信息的高速及并行的系统、大容量的存储，适合多媒体多通道的输入输出能力及外设、宽带的通信网络接口软件：有集成一体化的多媒体操作系统、适合于多媒体信息管理和使用的软件系统和创作工具、高效的各类应用软件等在网络的支持下，集成构造出支持广泛信息应用的信息系统第三十二页，共八十页。模拟方式处理多媒体的不足易出故障——噪音、信号丢失、误差积累不适合计算机加工处理332023/5/7第三十三页，共八十页。342023/5/7多媒体处理的目的a.使能跨越各种不同网络和设备,透明地强化地使用多媒体资源第三十四页，共八十页。352023/5/7计算机通信大众传播多媒体信息系统0/1Text中文图形,图像声音影像视频MPC计算机网邮政电报电话ISDN信息高速ITV电影广播报纸印刷材料电视HDTV多媒体化过程数字化过程1.1.3多媒体技术的研究意义多媒体是技术和应用发展的必然第三十五页，共八十页。362023/5/7绪论为什么要多媒体？多媒体是技术与应用发展的必然1978：广播电影业、印刷出版业、计算机工业→2000：90%重叠

最早提出多媒体的厂家：,——————,————？第三十六页，共八十页。372023/5/7为什么要多媒体？

多媒体改善了人类信息的交流网络通信、传送（非理解）、突破可计算性的限制可计算性：形式化描述+算法+合理复杂的程度上用计算机解决问题多媒体缩短了人类传递信息的途径利用各种信息媒体形式，声、图、文的集成加速理解，提高接受能力用户自己选择最适用的表达方式第三十七页，共八十页。382023/5/7

为什么要多媒体多媒体改善了人类信息的交流用户及计算机交流的四种方式，每一种信息的表示和传递都各有不同机－机，人－机，机－人，人－人（经由计算机）机－机计算机之间通信是一门已经得到充分发展的学科，包括通过网络传送数据，存储数据以备后续的检索等。虽然已经开发了许多关于图像、声音的信息交换标准，但不同标准、不同程序和不同类型计算机之间的交流仍很困难多媒体数据对实时性、网络带宽和存储空间上有较大要求第三十八页，共八十页。392023/5/7

多媒体技术的研究意义多媒体改善了人类信息的交流人－机，机－人人与计算机之间的交互必须考虑两者的局限性为了使计算机发挥应有作用，必须遵循“可计算”的三个条件，即能用形式化的方法描述这个问题，能找到一个算法解决它，以及能以一个合理的复杂度在计算机上实现为了使用计算机，必须把人的思维翻译为串行计算机的机器指令，这种翻译过程是繁琐和机械的，技巧性很强用户接口工作会成为一个系统或一次研究成败的关键部分。多媒体的出现，将会在这个方面起重要作用第三十九页，共八十页。402023/5/7

多媒体技术的研究意义多媒体改善了人类信息的交流人－人（经由计算机）计算机起着高效信息传递媒介的作用，不必理解人与人交流通信中的全部内容，但需要计算机帮助人们有效地组织和表达信息计算机将支持更多地人与人交流的应用：从医学会诊、学术讨论的协同性工作，到私人通信、可视电话等个人间信息的交互如果计算机能够理解信息的含义，将显著地改变计算机所支持地人与人之间地交互方式，使之达到一个更高的水平，如自动语言翻译第四十页，共八十页。412023/5/7在用户及计算机交流的四种方式中，你认为未来发展应加强哪一种？问题第四十一页，共八十页。422023/5/7

多媒体技术的研究意义多媒体缩短了人类传递信息的路径文本、图像、声音等多媒体信息都是人类获取和传递信息极为重要的渠道多媒体技术使得信息的包装可以随意改变，根据需求选择最好的信息包装形式，这也是改善交流的重要方面娱乐生活等需要数字电视、3G（多媒体短信、手机电视）等第四十二页，共八十页。432023/5/71.2多媒体技术的发展历程计算机0，1通信大众传媒文本图象图形声音视频MPC邮政电报电话数字网ISDN信息高速报纸广播电影电视HDTVITV多媒体时代第四十三页，共八十页。442023/5/7第四十四页，共八十页。452023/5/71.2.1启蒙发展阶段1984年，美国公司创造了图形用户界面（），引入鼠标（）；1985年，公司推出多任务的图形操作环境；1985年，美国公司推出世界上第一台多媒体计算机，配备图形、音响、视频三个专用处理芯片；1986年，和两家公司联合推出，公布了光盘数据格式；第四十五页，共八十页。462023/5/7的功能(8370)动画制作芯片；用硬件显示移动数据，允许高速的动画制作显示同步协处理器控制25个通道的，使以最小的开销盘、声音和视频信息从28振荡器产生系统时钟为视频和扩展卡提供所有的控制信号为和扩展提供地址(8364)专用音响处理及外设芯片；(8362)专用的图形芯片第四十六页，共八十页。472023/5/73.多媒体计算机（）多媒体计算机硬件普通计算机硬件，存储设备多媒体（声音、视频）输入输出和处理设备多媒体通信传输设备代表性的多媒体硬件系统多媒体专用机世界上第一台系统，1985年，公司－I交互式多媒体系统，1986年，和公司数字视频交互系统，1989年，和公司多媒体板卡：声卡、压缩卡、视频捕获卡、电视卡等多媒体外设：扫描仪、数字相机、摄像机、打印机、传真机等多媒体处理芯片：信号压缩解压芯片、音乐合成芯片等第四十七页，共八十页。482023/5/7多媒体个人计算机性能标准3 ：8中央处理器：75，同等级X86硬盘容量：540 ：600，最大寻址时间200，声音卡：16数字声音，(波表)，显示器：640×480，65536色，视频播放 352×24030(352×28825)15 输入输出端口：，摇杆端口，串并联端口第四十八页，共八十页。492023/5/7第四十九页，共八十页。502023/5/71.3多媒体技术的研究内容—普通计算机转变成多媒体计算机要解决的关键技术视频音频信息的获取技术利用计算机产生彩色图形、静态图像和动态图像；利用彩色扫描仪，扫描输入彩色图形和静态图像；利用视频信号数字化仪把彩色全电视信号数字化。多媒体数据压缩编码和解码技术多媒体数据信息量大，冗余度高，存储空间占用大；压缩标准：，等。视频音频数据的实时处理和特技视频音频数据的输出技术第五十页，共八十页。多媒体技术的发展简史计算机：1944年发明电子计算机（巨人）；1974年组装第一台微机牛郎星(8080)；1976年&推出苹果电脑(6502)；1981年推出个人电脑(8088)。图形界面：1950年的林肯实验室推出显示器；1963年发明鼠标，1968年他公开演示视窗与人机界面、超媒体和群件；1972年设计出面向对象的语言，首创下拉式菜单，提出概念；1973年施乐公司的研究中心推出具有图形用户界面（键盘+显示器/鼠标+位图）的原型机；1984年公司推出计算机(6800)，在微机中引入图形界面；1987年8月公司在机中引入超级卡系统，使其成为多媒体计算机；1985年推出（的图形界面）；1985年11月推出1.0（机的图形界面），1990年5月3.0获得成功，1992年4月推出多媒体操作系统()3.1，1995年8月推出32位的95，1999年推出具有流媒体功能的2000，2001年推出功能强大的，计划2007年初推出具有3D用户界面且以人为本的新操作系统（远景）。第五十一页，共八十页。522023/5/7多媒体计算机（）多媒体计算机的软件组成多媒体软件的特点：运行于某种多媒体操作系统中；具有高度的集成性和良好的交互性分为四个层次：多媒体操作系统:管理动态画面和控制声像设备。专用或扩展数据准备工具：采集多媒体数据，如声音录制及编辑、图形图像扫描软件、视频采集软件、动画生成软件等多媒体创作工具：建立多媒体应用的软件工具。可分为基于描述语言、基于流程图、基于时间轴的创作工具三类多媒体应用光盘第五十二页，共八十页。多媒体系统与组织1985年公司推出世界上首套多媒体系统；1986年4月&推出多媒体系统；1987年3月公司推出交互式数字视频系统；1987年由美国的公司为电子游戏软件设计了第一块微机使用的声卡；1989年11月新加坡华人沈望傅的创新公司(..)开始推出声霸卡（）系列，成为机的事实标准；1989年3月将购得技术商品化，推出750系统（2机）；1990年11月、、等14个公司成立多媒体市场协会；1991年11月公布多媒体计算机标准，1993年5月，1995年6月（=传统+声卡/喇叭+光驱）；1993年8月召开首届多媒体国际会议。第五十三页，共八十页。542023/5/71.2.2标准化阶段20世纪90年代，多媒体技术从以研发为重心转移到以应用为重心1990年10月，微软提出1.0标准；1993年，,等公司组成，发布2.0；1995年6月，发布3.0此后，多媒体功能成为机的基本功能，标准不再发布。第五十四页，共八十页。552023/5/7其他标准和联合制定的国际标准声音编码标准静态图像的数字压缩编码标准：标准运动图像的压缩标准：系列标准面向可视电话和电视会议的视频压缩算法国际标准：H.26X标准对光盘存储系统的规格和数据格式发布了统一标准，特别是对流行的，和以它们为基础的各种音频视频光盘的各种性能都有统一规定第五十五页，共八十页。562023/5/7多媒体的研究内容多媒体信息的表示、组织与管理超媒体、多媒体系统数据模型、多媒体数据库与基于内容的检索技术多媒体数据存储技术大容量光盘存储多媒体信息和交互多媒体通信和与分布式多媒体系统多媒体应用开发：多媒体开发和编著系统多媒体的软硬件平台：如实时多任务操作系统，人机协同工作环境其它：虚拟现实技术、网络多媒体第五十六页，共八十页。目前多媒体研究的热点基于内容的多媒体处理多媒体标准人机交互环境虚拟现实研究（）572023/5/7第五十七页，共八十页。我们可从如下几个方面来认识多媒体技术的意义人类最重要的三大资源——材料（物质）、能源（动力）、信息（数据）；信息技术的四次飞跃——印刷术、广播电视、计算机、多媒体；多媒体与信息环境——信息质能公式E=2：信息环境E=多媒体m*计算机c*通信c=**计算机的发展方向：智能+多媒体+网络。例如，视频点播、网络游戏、虚拟现实、普适计算、穿戴电脑、智能家居、全能机器人等等；微软亚洲研究院的三个主要研究方向：人机界面、自然语言理解、多媒体技术，它们都与多媒体有关。第五十八页，共八十页。多媒体技术应用演示梁祝演奏与舞蹈20134虚拟现实2012第五十九页，共八十页。将来多媒体研究的热点是什么？高分辨化提高显示质量高速度化缩短处理时间简单化便于操作高维化二维、三维、四维……智能化提高信息识别能力标准化便于信息交换和资源共享602023/5/7第六十页，共八十页。612023/5/7多媒体信息大容量说明第六十一页，共八十页。622023/5/7多媒体的信息管理多媒体信息的数据量大、种类繁多、不规则，每种媒体间差别明显，又具有种种信息上的关联处理大规模多媒体数据的途径:扩展关系型数据库，多媒体数据库建立面向对象的数据库超媒体（）系统第六十二页，共八十页。632023/5/71.4多媒体技术的应用及发展前景多媒体技术的应用教育和培训咨询和演示娱乐和游戏管理信息系统（）视频会议系统计算机支持协同工作视频服务系统第六十三页，共八十页。642023/5/7

教育远程教育（）–教学视频通过宽带网访问数字多媒体图书馆科学与技术

天文学、环境科学医学诊断与治疗–提供多媒体数据库,,,.第六十四页，共八十页。652023/5/7

(组件)

多媒体创作

后期制作

身份认证第六十五页，共八十页。662023/5/7多媒体计算机的发展趋势进一步完善计算机支持的协同工作环境：通信、合作、协同智能多媒体技术：文字识别和输入、语言识别和输入、自然语言理解和机器翻译，图形的识别和理解，机器人视觉，智能多媒体数据库，基于内容的检索技术把多媒体信息实时处理和压缩编码算法集成到芯片中原则：压缩算法采用国际标准的设计；多媒体功能的单独解决变成集中解决；体系结构设计和算法相结合。第六十六页，共八十页。672023/5/7若干技术热点人机交互与多通道用户界面语音输入手写体输入自然语言理解虚拟现实及应用数字地球分布式虚拟现实技术基于图像绘制技术科学计算可视化及信息可视化视频分割及基于内容的视频检索视频流分割基于内容的视频检索：47标准及应用课题：如点播电视视频库信息家电多媒体网上传输的服务质量第六十七页，共八十页。682023/5/7多媒体技术和文化现象玩具总动员汽车驾驶培训旅游：旅游见闻、餐馆指南、在线翻译电子竞技：魔兽争霸、帝国时代等在大信息量视频和图像数据库中对目标可视对象进行搜索微信即时通信第六十八页，共八十页。692023/5/7研究兴趣介绍目前在多媒体领域的课题进展和研究兴趣基于内容的多媒体检索多媒体与模式识别：人脸、表情交互式多媒体技术3G中的多媒体通信技术多媒体安全技术网络游戏、数字娱乐第六十九页，共八十页。1.5本章小节内容与相关技术应用型——简单介绍媒体的基本属性，重点讲解各种用户级的多媒体素材和著作工具软件的使用如、、、3、、、、、、等；原理型——也介绍各类媒体的基本属性和多媒体的主要应用，但重点放在压缩算法、编码标准、设备系统和编程开发上。第七十页，共八十页。主要内容总结表示媒体（声、图形、图像、动画、视频）编码、压缩、标准超文本与超媒体存储（媒体文件、光存储）系统多媒体硬件多媒体操作系统多媒体数据库多媒体网络传输应用与开发标记语言与网页设计多媒体编程与开发多媒体著作工具多媒体应用第七十一页，共八十页。多媒体技术相关技术计算机硬件与设备：()、总线、芯片、显卡、声卡、接口、存储器设备：显示器、鼠标、话筒、喇叭、绘图仪、扫描仪、数字相机、数字摄像机、触摸屏、手写笔、操纵杆、键盘、数字眼镜、数字手套计算机学科：体系结构、操作系统、程序设计、数据库、网络通信图形学、图像处理、语音处理、计算机视觉、人机界面、技术人工智能、模式识别第七十二页，共八十页。其他学科数学：变换、小波分析物理：光学、声学电子：无线电、通信、广播电视、信号处理、编码技术心理学：视觉、听觉标准：、、、其他：广播电视、新闻出版、音乐美术、图书管理、„„第七十三页，共八十页。本章小结掌握：多媒体的概念媒体的种类多媒体的关键特性、多媒体技术的必要性。数学：变换、小波分析了解：多媒体技术的发展多媒体研究的热点多媒体研究的主要内容多媒体的典型应用。第七十四页，共八十页。课题讨论你能举例说明多媒体的实际应用例子(另举三个)如微信的语音输入、语音与文字的转换公司的翻译第七十五页，共八十页。课堂作业:多媒体技术的