多媒体图像处理_1_简介

1、多媒体技术与图像处理Multimedia Image Processing 参考书n多媒体技术基础（第三版）n多媒体技术基础（第二版）林福宗清华大学出版社2002年n多媒体技术基础与应用（网络版）林福宗清华大学出版社2000年教材多媒体技术基础及应用 （第二版） 鄂大伟 编著 高等教育出版社，2003 http:/ 参考书n多媒体计算机技术基础及应用钟玉琢、蔡莲红、李树青、史元春高等教育出版社面向21世纪课程教材1999年参考书n多媒体系统设计Prabhat K.Andleigh & Kiran Thakrar徐光佑、史元春电子工业出版社1998年参考书n多媒体技术：计算、通信及应用R

2、alf Steinmetz, Klara Nahrstedt清华大学出版社什么是多媒体？什么是多媒体？9Video日环食专题第一家独播剧晚婚魔兽世界-巫妖王之怒姚明科比爆粗口回应阿凡达花絮抢先MJThis is it铁齿铜牙纪晓岚第四部首播爱上琉璃苣女孩首播独家首播花木兰倔强的萝卜首播海地地震专题第一家央视Nobody酷6星客厅山寨新闻火星新闻10多媒体世界多媒体世界Search EngineSearch EngineImage SharingImage SharingVideo SharingVideo SharingSocial NetworkSocial NetworkNewsNewsI

3、MIM0.1B onlineMicroblogMicroblogE-commerceE-commerce1112To Summarize:To Summarize:多媒体的定义n多媒体多媒体（multimedia）是两种或者两种以上感觉媒体(声音、图像、图形、视频、动画、文字、数据、文件等)的组合。n广义广义: 是指多种信息媒体的表现和传播形式。n狭义狭义: 用计算机及其它设备交互处理多媒体信息的方法和手段，或指在计算机中处理多种媒体的一系列技术。n一 多媒体技术概述n二 音频处理技术n三 文本处理技术n三 图像处理技术n四 视频处理技术n五 多媒体搜索技术一 多媒体技术概述n提纲多媒体的基本

4、概念多媒体技术的发展与趋势多媒体技术的应用多媒体数据的特性与表现形式多媒体技术的研究内容多媒体计算机系统1.1多媒体技术的基本概念n媒体是一种信息的表现形式信息的实际载体：纸、磁盘、光盘、录像带和录音带等。信息的逻辑载体：文字、图像、图形、视频、 音频等。1.1多媒体技术的基本概念n按国际电信联盟(ITU)标准的定义，媒体分为五类感觉媒体表示媒体显示媒体存储媒体传输媒体感觉媒体(Perception)n感觉媒体直接作用于人的感官，使人直接产生感觉，帮助人们感知周围的世界。文字、声音文字、声音图像、视频图像、视频甜、酸、苦、辣甜、酸、苦、辣疼、冷、热疼、冷、热 、甜、甜？表示媒体(Represe

5、ntation)n表示媒体，为了有效的加工、处理和传输感觉媒体而人为研究和构造出来的媒体。文字、声音文字、声音图像、视频图像、视频甜、酸、苦、辣甜、酸、苦、辣疼、冷、热、疼、冷、热、 甜甜？表示媒体(Representation)n文本ASCII码、汉字国标编码GB、Unicoden图形GKS图形编码、CEPT或CAPTAIN标准n音频PCM、MP3、RA、WMAn图像JPEG、GIF、TIF、BMP编码n视频MPEG、H.26X显示媒体(Display)n感觉媒体和用于通信的电信号之间转换用的一类媒体，可分为输入显示媒体和输出显示媒体。显示媒体(Display)存储媒体(Storage)n用

6、于存放数字化的表示媒体的存储介质如硬盘、磁带、如硬盘、磁带、CD-ROM、DVD等等 传输媒体(Transmission)n能够将表示媒体从一处传递到另一处的物理传输介质，如同轴电缆、双绞线、光纤等。n根据与时间的关系可以将媒体划分为静态媒体静态媒体：信息的再现与时间无关，如文本、图形、图像等等连续媒体连续媒体：具有隐含的时间关系，其播放速度将影响所含信息的再现。如声音、动画、视频等。连续媒体的引入给传统的计算机系统、通信系统和分布式应用系统提出了更高的要求。媒体另外一种分类方法计算机与媒体之间的关系CPUOutputDeviceStorageInputDevice表示媒体存储媒体显示媒体显示

7、媒体感觉媒体感觉媒体表示媒体传输媒体多媒体的定义n狭义多媒体的概念包含几层含义：媒体的表示形式处理多种媒体的硬件设备存储信息的实体多媒体技术n利用计算机技术将多种媒体综合一体的技术，使之建立起逻辑连接，并对它们获取、压缩编码、编辑、加工处理、存储和展示。n多媒体技术多媒体技术就是把声音、文字、图像、视频等多就是把声音、文字、图像、视频等多种媒体和计算机集成在一起的技术。种媒体和计算机集成在一起的技术。n学科交叉：数字化信息处理技术、音频处理技术、图像和视频处理技术、计算机软件和硬件技术、人工智能和模式识别技术、通信和网络技术等。多媒体的关键特性n多样化多样化 ：文字、数字、声音、图像、图形、视

8、频等。n集成性集成性：多种信息媒体的集成和处理这些媒体的设备的集成。n交互性交互性：人的活动（activity）本身能作为一种媒体介入到信息转变为知识的过程。被动主动n数字化数字化：多媒体信息是以数字的形式而不是以模拟信号的形式存储和传输的。1.2多媒体技术的发展与趋势计算机计算机0，1通通 信信大众传媒大众传媒文文 本本图像图形图像图形声音声音视频视频MPC邮邮 政政电电 报报电电 话话数字网数字网ISDN信息高速信息高速报报 纸纸广广 播播电电 影影电电 视视HDTVITV多媒体时代多媒体时代1.2多媒体技术的发展与趋势n历史上的多媒体系统1984年美国Apple公司的Macintosh，

9、位图概念（Bitmap），图符用户接口，1987年Hyper Card1985年美国Commodore公司推出世界上第一台多媒体计算机系统 Amiga系统 1986年Philips/Sony推出交互式紧凑光盘系统CD-I1987年RCA公司推出交互式数字视频系统DVI到20世纪的90年代，MPC、JPEG、MPEG和H.26X标准等1.2多媒体技术的发展与趋势n当前发展多媒体信息存储：CD/DVD、下一代高清DVD、大容量硬盘 数据压缩技术网络技术提供多媒体信息的共享与远程传输数字音视频处理算法、硬件与系统多功能图像采集和处理系统，高分辨率或超高分辨率图像合成与显示系统新一代人机接口: 触摸屏

10、、三维鼠标、三维扫描仪、立体显示头盔、数据手套、无线鼠标自然语言理解、语音合成与识别技术具有多媒体处理指令的CPU高速发展1.2多媒体技术的发展与趋势1.2多媒体技术的发展与趋势n未来的主要发展趋势分布式、网络化、协同工作的多媒体系统。分布式、网络化、协同工作的多媒体系统。n尤其是在因特网上的可视电话、点播电视、电子商务、远程教学和医疗等方面迅速发展。以用户为中心，发展交互多媒体和智能多媒体技术与设备。以用户为中心，发展交互多媒体和智能多媒体技术与设备。n使人用日常的感知和表达技能，与计算机进行自然的交互，让计算机主动感知用户的交互意图，这包括了多通道人机交互技术，情感识别技术、生物识别技术和

11、无障碍的虚拟现实技术等。三电（电信、电脑、电器）通过多媒体数字化技术，相互渗透融合。三电（电信、电脑、电器）通过多媒体数字化技术，相互渗透融合。n 信息智能家电、移动办公等。1.2多媒体技术的发展与趋势n三电合一 三网合一电脑电脑 因特网 Web TV, Web Phone, Meeting, Business, Education, Diagnosis, .电信电信 通信网 有线电话网, 移动电话网, 卫星通信, 光缆通信, 可视电话电视电视 有线电视网 点播电视, 交互式电视,图文电视 数字电视, HDTV1.3多媒体技术的应用n娱乐n教育与培训n多媒体办公系统n多媒体通信系统n工业领域与

12、科学计算领域n医疗影像与诊断n咨询服务、多媒体设计、广告宣传、创意媒体n电子出版n影视特效、动漫2022-3-2238CHEN Junzhou图像处理Why Digital Image Processing?2022-3-2239CHEN Junzhou2022-3-2240CHEN JunzhouMultiple Camera System412022-3-22CHEN JunzhouImages and Videos are Everywhere .2022-3-2242CHEN JunzhouVideo is image sequence2022-3-2243CHEN JunzhouIf

13、 We Want If We Want 2022-3-2245CHEN JunzhouPhotoshop2022-3-2246CHEN JunzhouAfter Effect472022-3-22CHEN JunzhouIf You Want2022-3-2248CHEN JunzhouFish Drive the Car2022-3-2249CHEN JunzhouFlappy Bird Robot2022-3-2250CHEN JunzhouPhoto!Simulated color pencils!Simulated oil painting!source: Feng Xiao, EE3

14、68 class project, spring 2000. Image Processing Examples !Special Effects!2022-3-2251CHEN JunzhouImage Processing Examples !Pseudocolor enhancement for security screening!Source: Gonzalez+Woods, Fig. 6.24!2022-3-2252CHEN Junzhou2022-3-2254CHEN JunzhouDraw Image2022-3-2255CHEN JunzhouImage Processing

15、 Examples !Mosaic from 33source images!Mosaic from 21 source images!source: M. Borgmann, L. Meunier, EE368 class project, spring 2000. 2022-3-2256CHEN JunzhouDrag-and-Drop PastingDrag-and-Drop Pasting.hk/leojia/all_project_webpages/ddp/drag-and-drop_pasting.htmlExamples: Artist

16、ic EffectsnArtistic effects are used to make images more visually appealing, to add special effects and to make composite images60CHEN Junzhou2022-3-22Examples: Law EnforcementnImage processing techniques are used extensively by law enforcersNumber plate recognition for speed cameras/automated toll

17、systemsFingerprint recognitionEnhancement of CCTV imagesImages taken from Gonzalez & Woods, Digital Image Processing (2002)Image Processing Examples !License Plate Recognition !/1103.htm!http:/ JunzhouExamples: HCInTry to make human computer interfaces more natural

18、Face recognitionGesture recognitionnDoes anyone remember the user interface from “Minority Report”?nThese tasks can be extremely difficultImage Processing Examples !Face Detection !source: Henry Chang, Ulises Robles, EE368 class project, spring 2000. 2022-3-2264CHEN JunzhouFace recognitionWho is she

19、? Vision-based biometrics“How the Afghan Girl was Identified by Her Iris Patterns” Read the story Image Processing Examples !Biometrics: Iris recognition!Source: J. Daugman, U. Cambridge!2022-3-2267CHEN JunzhouImage CompressionYoyogi Park, Tokyo, October 1999. Photo by Alan Peters.Original image is

20、5244w x 4716h 1200 ppi: 127MBytes2022-3-2268CHEN JunzhouImage Compression: JPEGJPEG quality levelFile size in bytes2022-3-2269CHEN JunzhouJPEG quality levelFile size in bytesImage Compression: JPEG2022-3-2270CHEN JunzhouExamples: Industrial InspectionnHuman operators are expensive, slow andunreliabl

21、enMake machines do thejob insteadnIndustrial vision systems are used in all kinds of industriesnCan we trust them?Images taken from Gonzalez & Woods, Digital Image Processing (2002)Examples: PCB InspectionnPrinted Circuit Board (PCB) inspectionMachine inspection is used to determine that all com

22、ponents are present and that all solder joints are acceptableBoth conventional imaging and x-ray imaging are usedLogin without a passwordFingerprint scanners on many new laptops, other devicesFace recognition systems now beginning to appear more widelyhttp:/ recognition (in mobile phones)nThis is be

23、coming real: Microsoft ResearchPoint & Find, NokiaRobotics/NASAs Mars Spirit Rover/wiki/Spirit_roverApplications: RoboticsNatureRiver Cherwell, OxfordOptical character recognition (OCR)Digit recognition, AT&T labshttp:/ to convert scanned docs to te

24、xtIf you have a scanner, it probably came with OCR softwareLicense plate readers/wiki/Automatic_number_plate_recognitionThe Matrix movies, ESC Entertainment, XYZRGB, NRCSpecial effects: shape capturePirates of the Carribean, Industrial Light and MagicSpecial effects: motion cap

25、tureSmart carsnMobileyeVision systems currently in high-end BMW, GM, Volvo models By 2010: 70% of car manufacturers.DemoSlide content courtesy of Amnon ShashuaVision-based interaction (and games)Nintendo Wii has camera-based IRtracking built in. See Lees work atCMU on clever tricks on using it tocre

26、ate a multi-touch display! Digimask: put your face on a 3D avatar.“Game turns moviegoers into Human Joysticks”, CNETCamera tracking a crowd, based on this work.Vision in spacenVision systems (JPL) used for several tasksPanorama stitching3D terrain modelingObstacle detection, position trackingFor more, read “Computer Vision on Mars” by Matthies et al.NASAS Mars Exploration Rover Spirit captured this westward view from atop a low plateau where Spirit spent the closing months of 2007. Medical imagingImage guided surgery