多媒体内容分析与检索介绍

李国荣助教：许震中国科学院大学

计算机与控制学院2015.3.16多媒体内容分析与检索目录2教学目的参考书目现实中的多媒体技术应用实例多媒体技术简介课程教授内容与方式

学习本课程的知识准备成绩评定建议与我的联系方式教学目的3最基本目的是向对多媒体内容分析与检索技术领域感兴趣的学生提供领域背景知识，培养研究技能与能力。展现目前该领域研究所取得的部分成就.给有志于该领域研究的研究生提供丰富的选题素材，为进入独立研究阶段打下良好素质基础。在掌握理论同时，训练查阅、阅读英文文献能力，利用程序设计工具(c++,MATLAB)实现验证思想的能力。参考书目4《网上多媒体信息分析与检索》庄越挺，潘云鹤，吴飞编著清华大学出版社，2002.9参考书目《基于内容的视觉信息检索》章毓晋著科学出版社，2003.55参考书目《多媒体信息检索与管理》冯大淦，萧允治，张宏江著刘晓冬

译清华大学出版社，2009.116参考书目经典的英文文献Internet网知之为知之，不知搜索之！73.多媒体技术在现实中的应用及影响8网上多媒体数据安防娱乐通讯教育数字图像视频应用日益广泛，数据量大全球在2010年正式进入ZB时代，预计2020年达35.2ZB（约为35.2×1012GB）*，其中图像视频数据占主导地位图像视频数据占网络数据比例*数据来源于2012年IDC数据报告网上多媒体数据视频图片文本超过600万个视频并且每个月增长20%每秒钟有数千张图片被上传1010网上多媒体数据2011年上半年，我国微博用户数量从6311万迅速增长到1.95亿，半年新增微博用户1.32亿人，增长率高达208.9%（增长最快的应用），在网民中的使用率从13.8%提升到40.2%。11网上多媒体数据2011年1月21发布第一个微信版本，2012年3月底，微信用户突破1亿大关，2013年1月15日，腾讯微信宣布已达到3亿用户，仅仅两年的时间，微信成为了最热门的话题12多媒体应用之图片检索1313创意推动的多媒体产业100多年前，福特公司的创始人亨利·福特先生到处跑去问客户：“您需要一个什么样的更好的交通工具？”几乎所有人的答案都是：“我要一匹更快的马”。14创意推动的多媒体产业15创意推动的多媒体产业微博微信16创意推动的多媒体产业17创意推动的多媒体产业18网络多媒体数据的影响1919网络多媒体数据的影响1920网络多媒体数据的影响网络促使政权更迭—突尼斯、埃及政变（茉莉花革命）青年自焚Facebook等网络媒体推波助澜群众游行示威政权更迭维基解密网络关键字维基解密Facebook推特革命(Twitter

revolution）2121网络多媒体数据的影响2011伦敦骚乱2221网络多媒体数据的影响2011伦敦骚乱2321网络多媒体数据的影响2011.6.23北京突降暴雨网络事件现实事件新燕京七景：陶然碧波，安华逐浪，白石水帘，莲花洞庭，大望垂钓，二环看海，机场观澜。社会影响恶劣网络辟谣2424网络多媒体数据的影响郭美美事件25表哥事件26突尼斯事件启示27网络“是民主的滥觞，是自由的海洋；是专制的死敌，是独裁的噩梦。”最近的突尼斯和埃及发生的事件印证了这个看法。自去年底，一场看似突如其来的变革席卷了突尼斯这个北非小国。失业大学生自焚引发蝴蝶效应：执政23年的总统出走，政府瓦解，权利真空，暴力升级。这场被称为“茉莉花革命”的结局是：1月17日，突尼斯总理加努希宣布，突尼斯民族团结政府正式成立。执政党宪政民主联盟（RCD）仍有大量成员在新政府中担任要职，除加努希本人继续担任总理外，国防、内政、财政及外交部长均得以留任；而主要反对党的领导人也获得部分职位。新政府还成立了“政治改革高级委员会”、“清算贪污腐败和行贿受贿行为全国委员会”和“清算近期滥用职权行为全国委员会”三个专门委员会，宣布了一系列改革措施和重要决定，其中包括立即释放所有在押政治犯、立即承认所有政党的合法地位等突尼斯事件启示回顾这场突如其来的政局动荡，这个曾被认为是“平安无事”的北非小国一夜间土崩瓦解。为何在这么短暂的时间内突发这样的风云变幻？互联网在其中扮演了不可忽略的重突要作尼用斯。的这作政用变首告先表诉现我在们网：络对在于互贪联腐联政网权飞的速揭露发上展。、不少信普息通高民众度最膨初胀获取的时代，关于网突尼络斯已前经总统成本为•阿一里个贪国污腐家败发的生信息政多治来巨自“变维的基有解密力”推网手站。。该网网络站的大的量迅公猛开发展

的文件，使得关于本•阿里家族的各种腐败说法在民间广为流传，反政府情绪迅速蔓延。此使前，得民民众众对本的•知阿知里情家权族和的腐凝败聚已力早有得耳到闻空，“前维释基放解密—”—暴推露特出来每的天细都节都最会终发促布数使他百们走万上条街信头，息推，翻Y本o•u阿T里ub政e权上。每其分次钟则表都现会在上网上络传的1联0个络个作小用时上的。除视“频维。基解任密何”网一站外个，普社通交网公站民脸都谱在可这以场成群为众运信动息中的又的扮发演布了者联络和和传发播布平者台。的”作用自。媒新体加坡时代《联w合e早-m报e》di的a数”据显示，突尼斯脸谱的用户群庞大，每10个人当中就有一人拥有账号。当地时间21日发生的是为游行活动正式通过脸谱组织起来的成功范例。在突尼斯，年轻人通过非常重要的信息网络联络彼此，24小时不间断！在过去，如果你想组织一场抗议游行，必须到不同的地方，像大学、研究所这类地方散播信息。但是，之后，脸谱消除了这些障碍，在脸谱上，人们都是彼此的朋友。这样，如果你有2000个朋友，我有2000个朋友，这2000个朋友各有2000个朋友，这样信息就非常非常迅速地传播了。也就是因为这个缘故，所以，在突尼斯政局突变之前，该国政府对当地新闻媒体严格管制。然而短短几天内，网站上便出现了大量的用手机、相机及DV拍摄下的游行现场画面，不少当地人承认，网络媒体在这场政局突变中起到了推波助澜的作用。28自媒体时代29自媒体时代是指以个人传播为主，以现代化、电子化手段，向不特定的大多数或者特定的单个人传递规范性及非规范性信息的媒介时代，人人都有麦克风，人人都是记者，人人都是新闻传播者。这种媒介基础凭借其交互性、自主性的特征，使得新闻自由度显著提高，传媒生态发生了前所未有的转变。在互联网上，每一个账号，都像一个小小的媒体。发帖子、转微博、评新闻……信息、观点、态度便汇入了互联网的比特之海。自媒体——自我的小媒体，在近5亿网民、3亿微博的努力之下，焕发出巨大能量：境内50余家微博客网站，每天更新帖文达2亿多条。从郭美美的名牌手袋到故宫破碎的瓷盘，在进行舆论监督、反映社情民意上，自媒体发挥着重要作用。据统计，在2010年舆情热度靠前的50起重大舆情案例中，微博首发的有11起，占到了22%网上多媒体数据与现实的关系3030网上多媒体数据-事件结构化表示结构化：怎么理解？？义学习体智能3131网上多媒体数据-事件结构化表示32324.多媒体技术简介33多媒体技术简介34术语“多媒体”的理解研究问题与技术典型应用多媒体技术的技术内涵术语“multimedia”的理解Multimedia

means,

from

the

user’s

perspective,

thatcomputer

information

can

be

represented

through

audioand/or

video,

in

addition

to

text,image,graphics

and

animation.Multimedia

=

multiple

+

medium

???

Medium

is

generally

described

as

a

means

fordistribution

and

presentation

of

information.-for

example,

text,

image,

graphics,

speech,music,

video,

……35术语“multimedia”的理解36Media

can

be

classified

with

respect

to

different

criteriaPerceptionHow

do

human

perceiveinformation

in

a

computerenvironment?Visual

medium

&

auditorymediumRepresentationHow

is

the

computerinformation

coded?Text,image,audio,videoetc.PresentationThrough

which

medium

isinformation

delivered

by

thecomputer

or

introduced

in

it?Paper,screen

and

speaker;Keyboard,mouse,camera

,microphoneStorageWhere

will

the

informationbe

storedMicrofilm,floppy

disk

harddisk,

CD-ROMTransmissionOver

what

will

theinformation

be

transmitted?Coaxial

cable,fiber

optics,free

air术语“multimedia”的理解37

多媒体技术不是各种信息媒体的简单复合.它是一种把文本(Text)、图形(Graphics)、图像(Images)、动画

(Animation)和声音(Sound)等形式的信息结合在一起，并通过

计算机进行综合处理和控制，能支持完成一系列交互式操作的

信息技术.

多媒体技术有以下几个主要特点：

集成性、控制性、交互性、非线性、实时性信息使用的方便性信息结构的动态性“多媒体是一部永远读不完的书”研究问题与技术38多媒体数据压缩例子❏

An

uncompressed

video

conforming

to

the

PALstandard,

640*480

pixels/frame*3

bytes/pixels*25

frames/s=

23,040000

bytes/s,

half

an

hour

ofthe

video

streams

needs

41472,

000000

bytesMPEG-1,MPEG-2,MPEG-4,H.26x,JPEG,JPG2000，GSM,MP3

等研究问题与技术视频压缩编码标准的历史200119972005MPEG-11989

19932013下一代标准AVSMPEG-4

AVC/H.264MPEG-4MPEG-220092017年代39研究问题与技术40多媒体内容分析与检索基于内容的图像索引与检索基于内容的音频信息索引与检索基于内容的视频信息索引与检索面向多媒体信息检索的高维数据的索引用户与系统的交互查询模型多模式信息融合与检索研究问题与技术41超媒体与多媒体创作（Hypertext

and

MultimediaAuthoring）多媒体通讯（Multimedia

Communication）多媒体数字水印(Multimedia

Digital

Watermarks）虚拟现实与游戏(Virtual

Reality

and

Games)多媒多媒体内容分析与过滤典型应用42教育digital

library,

distance

learning

etc.娱乐digital

TV,

Games,

digital

Cinema,etc办公Video

phone,

video

conference,

etc.多媒体技术的技术内涵Informationtheory多媒体技术是一门融合多学科领域的综合技术，它涉及广泛的研究问题与内容.PatternrecognitionImageProcess&analysisNetworksAudioAnalysisGraphicsMultimediaTechnology43主流期刊和会议44Journals:IEEE

Transactions

on

MultimediaIEEE

Transactions

on

Circuits

and

System

for

Video

TechnologyACM

Transactions

on

Multimedia

Computing,

Communications,and

Applications……Conferences:MM:

ACM

MultimediaICME:

IEEE

International

Conference

on

Multimedia&ExpoWWW:

ACM

International

World

Wide

Web

Conference……5.课程讲授内容和方式45本课程拟讲授的内容与方式46

本课程主要是讲授探讨多媒体技术中的一个重要分支多媒体内容分析与检索，以及多媒体内容分析与过滤。

本课程针对文本、图片、视频、音频这四种基本的媒体类型，介绍相关的分析、索引与检索的基本技术。课程内容47基于内容的图像检索、检索模型文本特征及选择图像的特征（颜色、形状和纹理）相似性度量和性能评价图像检索的相关反馈视频内容结构化分析关键帧提取视频场景分析新闻视频结构分析视频检索的相关反馈音频特征提取音频内容分析—分割与识别本课程拟讲授的内容与方式48

本课程拟安排20%的课时以研讨的方式，结合讲授的内容讨论目前最新的研究动向，评价研究成果。

将采用多种作业方式，来强化训练、培养学生的综合科研素质，如编程实现、文献阅读与综述报告、分组工程等。6.课程前的准备49学习本课程的准备50本课程是一门