信息系统安全第章3

第四章多媒体信息存储与检索本章目录第一节引言第二节多媒体技术概述第三节多媒体数据模型第四节多媒体数据压缩技术第五节基于内容的多媒体检索技术信息存储与检索》第一节引言随着信息时代的到来，信息多元化程度加深，人们不再满足于单一的文本交流。多媒体技术的出现，使得信息的表达方式更生动、更容易被人们所理解，因此迅速成为信息存在的主要方式。信息存储与检索》第一节引言传统的信息检索系统只处理文本和非结构化的数据，信息是以离散的形式(如字符、数字等)存储在关系数据库中，并以结构化查询语言(SQL)或超链接来进行查询检索；而多媒体数据则是连续的、形式多样的、海量的信息，并且多媒体数据(如图像、视频)在不同的人眼中可能有不同的理解，要把所有不同的解释都用关键字(文本或数字)来表示显然是不可能的。另外，关键字不能有效地表示视频数据的时序特征，也不支持语义关系，因此需要开发出一种新的检索技术来检索多媒体数据。为了适应这一需求,人们提出了基于内容的多媒体信息检索思想。信息存储与检索》第二节多媒体技术概述4.2.1多媒体的概念14.2.2多媒体技术的关键特征24.2.3多媒体技术的主要研究内容3信息存储与检索》4.2.1多媒体的概念（一）媒体的含义“媒体”一词的含义很多，但在计算机领域中主要有两层含义：一是指信息的物理载体，如磁盘、磁带、光盘等；另一是指信息的表现或传播形式，如声音、文字、图像、动画等。根据国际电信联盟（ITU：InternationalTelecommunicationUnion）电信标准部推出的ITU-TI.374建议的定义，可以将媒体划分为如下五类：（1）感觉媒体（2）表示媒体（3）表现媒体（4）存储媒体（5）传输媒体信息存储与检索》4.2.1多媒体的概念（二）多媒体的含义在人们的日常谈论中，多媒体的“媒体”常常泛指“感觉媒体”，但多媒体技术所处理的“媒体”主要是指“表示媒体”，而“多”则表示信息表示媒体的多样化。现在的多媒体技术往往与计算机联系在一起，是指利用计算机技术把各种信息媒体综合一体化，使它们建立起逻辑联系，并进行加工处理的技术。所谓加工处理主要是指对这些媒体的录入、对信息进行压缩和解压缩、存储、显示、传输等。因此，多媒体不是“混媒体”。尽管包含的媒体元素很多，但并非机械地将他们拼凑在一起。信息存储与检索》4.2.2多媒体技术的关键特征多媒体技术主要体现出综合处理多种媒体信息的特点，包括信息载体的：（1）多样性（2）集成性（3）交互性（4）实时性（5）互补性这5个特性缺一不可。其中，多样性、实时性和互补性是基础，集成性是手段、方式或形式，交互性是核心或灵魂。信息存储与检索》4.2.3多媒体技术的主要研究内容多媒体技术的研究内容包括：多媒体数据处理技术，如多媒体数据模型、多媒体数据压缩、多媒体数据存储与检索技术等；多媒体数据传输技术，如多媒体网络技术、多媒体视频点播技术等；多媒体专用设备技术，如多媒体专用芯片技术、多媒体专用输入/输出技术等。本章内容将只对多媒体数据处理技术作出阐述。信息存储与检索》第三节多媒体数据模型4.3.1多媒体数据模型概述14.3.2图像的数据模型24.3.3音频的数据模型34.3.4视频的数据模型4信息存储与检索》4.3.1多媒体数据模型概述（一）多媒体数据模型的概念数据模型是数据库系统中的术语,用来表示实体以及实体间的联系。数据库的数据模型由三部分组成：数据库的数据结构、数据库操作集合和完整性规则集合。其中，最重要的部分是反映能够数据库逻辑结构的数据结构，因为数据模型的作用就是能清晰地表示数据库的逻辑结构，以便使用户更有效地存取数据。最著名的数据模型有层次模型、网状模型和关系模型。信息存储与检索》4.3.1多媒体数据模型概述（二）多媒体数据模型的体系结构一个完整的多媒体数据模型应该是对多媒体信息系统的信息和数据的内容、不同媒体对象或由它们合成的复合对象的表现、内容与表现之间的映射/对应关系进行组织结构上的抽象概括和规范描述的一个整体。内容多媒体应用多媒体信息元多媒体数据元表现上层脚本同步中层合成同步底层系统同步联系握手图4-1多媒体数据模型的体系结构资料来源：张维明，2002.多媒体信息系统.北京：电子工业出版社信息存储与检索》4.3.1多媒体数据模型概述（三）多媒体数据模型的种类多媒体数据模型的分类没有定则。基于不同结构不同层次，可以将其分为超媒体模型、时基媒体模型、基于媒体内容模型、文献模型和信息元模型等。基于模型的性质，又可以将其分为表现模型和同步模型。基于不同的建模方法，则可将其分为NF2数据模型、面向对象数据模型和对象-关系模型等。信息存储与检索》4.3.2图像的数据模型语义1语义2语义3语义n……语义表现层图像逻辑表示图像对象逻辑表示逻辑表现层物理表现层图4-2图像数据模型的层次化表现资料来源：张维明，2002.多媒体信息系统.北京：电子工业出版社信息存储与检索》4.3.3音频的数据模型音频信息也可以采用文本处理的方法，选择主题词、关键词对音频内容加以人工标引，揭示音频的主题内容及特征，例如对于一首歌曲，歌词就是它的内容描述。但这些仍属于传统文本处理的范畴，它与基于音频内容的特征处理完全不同。所谓基于音频内容的特征处理方法，就是针对音频信息的物理样本、基本属性等进行分析处理，通过数学与统计学方法来获得音频信息物理、听觉、语义等不同层次（或级别）上的特征，并揭示特征之间的相互关系。下面就介绍几个通过短时处理技术得到的比较常用而且重要的特征:（一）音调（二）响度（三）过零率（四）亮度（五）带宽信息存储与检索》4.添3.绳4视频怨的数网据模铅型视频男就是抱一组泳连续寇的静因态图恨像按检照时秩间的雄顺序件连续天更换值形成昆的动董画、躬影像铸等。晚简单吼地说送，视疼频数他据是星连续风的图岁像序和列。集在对绍视频延进行衡分类夫和检稿索之拍前，锋必须抛了解抓视频室的数鉴据结慌构。勾视频卡数据筋可用恒故事堡单元委、场殃景、损镜头吹、帧谜来描动述。嗓对于瞎视频魂文件塑来说责，我围们也煮可以岛利用伶与处贪理图取像和写音频津相同席的方堤法，防进行辅视频锈外部死特征绞信息田的文豪本著碌录，如以实带现简番单的姥初级浸检索球。然堆而，暑与图捕像、桑音频片一样冬，只巧有对永基于届视频复内容嘴本身指进行妥处理秤才能标获得衔更有潮效的应检索溪。信息债存储草与检妄索》4.秀3.席4视频驳的数兼据模餐型视频故事单元1故事单元2……故事单元n场景1场景2……场景m镜头1帧镜头2帧镜头3帧图4-3视频的分层结构描述资料来源：张维明，2002.多媒体信息系统.北京：电子工业出版社信息孔存储恐与检动索》第四购节怜多丸媒体剥数据串压缩望技术4.4.1数据压缩技术概述14.4.2图像压缩的标准24.沈4.帽3音频便压缩阅的标班准34.4.4视频压缩的标准4信息芬存储甩与检怜索》4.塞4.奇1数据脖压缩恒技术戴概述（一狸）多穷媒体销数据膊压缩烫的必售要性给和可街能性一般怨说来迫，多搂媒体嚷数据故中存袜在的朱数据幕冗余宋类型麦主要有有以趁下几龄种：（1）空丽间冗革余（2）时抬间冗颠余（3）结袄构冗誓余（4）视善觉冗润余（5）听诵觉冗肺余（6）知租识冗她余信息呀存储懒与检风索》4.捷4.专1数据贤压缩腿技术惧概述（二乖）多顺媒体口数据摇压缩垫的基怀本要糠求对多债媒体汁数据馒进行奴压缩期处理考需要禁两个医过程脑。一迈是编件码过可程，情即将笑原始朽数据陈经过魄编码帜进行既压缩旦，以驻便于驴存储汪和传欺输；框另一晶是解藏码过侦程，夹对编祖码后衫的数陶据进滩行解绒码，鱼还原窑为可怨以使庄用的走数据块。对短数据烧进行谁压缩央处理肆一般宣具有割以下签基本补要求烫：（1）可泊还原（2）压呼缩比舒高（3）重企现质拜量好（4）计顾算成筹本低（5）实服时性界好信息恶存储释与检穿索》4.台4.忌1数据涨压缩和技术厘概述（三自）多厌媒体宁数据渐压缩筑方法嫁的分静类（1）按雁照压种缩方登法是摊否产咐生失慨真分碧类根据便解码屿后数春据与客原始斑数据必是否汪完全河一致剑进行呼分类葡，压赞缩方变法可慈被分踪蝶为有除失真背编码仰和无血失真躁编码丛两（2）按峡照压飘缩方铃法的壤原理肌分类根据单编码窜原理膛进行药分类锻，大教致有锤预测花编码费、变绿换编阿码、万统计接编码相、分誉析-合成没编码粗、混物合编葱码和撕其他躬一些峡编码绕方法倡。其左中统寄计编正码是巨无失浸真的交编码瓶，其摆他编舍码方央法基共本上专都是捧有失豆真的石编码搬。信息铁存储碌与检柔索》4.逆4.嘴2图像闲压缩虽的标崭准（一旦）JP槐EG坛20从00压缩向标准垂简介国际当标准格化组被织（IS鬼O）和敬国际狠电工飘协会坑（IE捎C）联朽合成茎立了累一个陕联合叉图像爆专家瓶组（Jo洁in吵t扶Ph康ot订og不ra欣ph骑ic介E柄xp隔er机ts宏G尼ro表up，简馋称JP晕EG），疤经过5年艰育苦而泉细致藏的工示作，斑与19像91年3月提观出了IS滚O据CD炊IO瞧91特8号建议议草粮案——多灰拢度静予止图卵像的劝数字欢压缩悄编码隶，该唤草案哀经批厌准成惹为IS焰O1残09泥18标准魔，即偷通常弊所说很的JP疼EG标准膨。JP窑EG标准见是一绑个适精用于剧彩色膛和单态色多泳灰度闹的静护止数阻字图米像的凳压缩秋技术译标准尼。信息距存储浅与检寻索》4.旧4.犬2图像雹压缩魂的标辫准（二剧）JP粪EG快20敬00的基莫本结者构源图像数据正变换量化熵编码压缩图像数据（a）编码器源图像数据逆变换量化熵解码压缩图像数据（b）解码器存储或传输图4-4JPEG2000的基本结构资料来源：林福宗，2002．多媒体技术基础．北京：清华大学出版社信息搬存储累与检吹索》4.齿4.捞2图像壮压缩练的标旋准（三炼）JP戒EG亦20族00的特窃点（1）压撞缩比路高（2）支种持无冲损压剧缩（3）支铲持渐巡寿进式闭传输（4）可守自定础义“荷感兴域趣区纱域”（5）可伪以描驾述多触种色秀彩模扫式（6）图扎像处守理简絮单信息感存储舞与检忠索》4.循4.策3音频陈压缩座的标彼准（一双）音萌频压误缩编迟码的材基本滤方法（二根）电粉话质太量的漂语音叙压缩浸标准（三牲）调膊幅广焦播质拳量的但音频耻压缩迎标准（四皇）高秘保真青立体跳声音暮频压渔缩标锣准信息焦存储仔与检昼索》4.驴4.甘4视频躲压缩亲的标尖准视频质压缩幕的一哗个重昼要标堪准是MP广EG，即异运动毁图像朱专家忘组（Mo它vi廊ng蛇P驴ic坟tu惰re步E棵xp族er池t纽奉Gr良ou释p）。凳该专驼家组较成立侦于19愉88年，学在国掠际标迟准化薄组织城（IS墓O）和牌是国萍际电仍工委远员会触（IE射C）的羽管辖晒之下狸。该笨组织哄现已过公布核的MP歇EG标准脖如下贼：信息傻存储贩与检袋索》4.忧4.流4视频祥压缩德的标梳准MP庆EG锐-1（IS谨O/泳IE麦C1分11储7），19匪93年8月公书布，肾其全窃称为去“适领于约1.签5M岸b/泪s以下链数字传存储歉媒体远的运派动图湖像及油伴音呼的编旱码”斑所谓赌数字距存储寒媒体刮（DS搂M）是咐指常援见的湿数字汗存储由设备消，如CD订-R效OM、DA弓T、硬跑盘、蔽可写浊光盘售等。末该标疮准也挽适于拘远程援通信炼，如忙综合规业务屿数字手网、昏局域烟网等鞭。MP逗EG牧-1标准般包括MP景EG系统泄（IS读O/混IE研C1显11帅72美-1）、MP龄EG视频吵（IS多O/度IE嫂C1侍11选72它-2）、MP裙EG音频锅（IS投O/匠IE菊C1虏11饮72柳-3）和馅测试贯验证哀（IS膜O/防IE恳C1藏11吩72设-4）四盖大部毙分内秆容。信息冈存储盏与检屡索》4.衡4.判4视频嘱压缩挠的标瓜准MP倒EG恶-2（IS耀O/云IE要C1谨38债18），19留94年11月公日布，甩其全悲称为类“运茄动图皆像及导其伴水音通唉用编榜码”协。适研用于滔多媒六体计普算机且、多凳媒体稼数据哈库、顷多媒兽体通唉信、床常规创电视干数字软化、吗高清阻晰度阴电视誓（HD枯TV）及宴交互帮式电楼视（IT率V）等昆领域何。MP刊EG牧-2标准界包括MP叫EG系统守、MP迎EG视频扎、MP彻EG音频迫和一淹致性苍四大每部分估内容赢，它开克服姑并解请决了MP乔EG伯-1标准辆不能示满足煎的日映益增娱长的绩多媒英体技总术、号数字虑电视父技术伐、多枕媒体蹦分辨交率和黄传输永率等董方面茧的技塞术要察求的龙缺陷档。信息哨存储绿与检集索》4.朗4.秀4视频旺压缩于的标画准MP形EG泳-4（IS驴O/盛IE考C1瓣44盐96）,1着99张9年1月公安布版宣本1（V1愈.0），顺同年12月公啊布版肤本2（V2吊.0）。黄该标售准的忍初衷械主要绢是面算向电恭视会弓议、妈可视右电话芒等超确低码汉率的房诚压缩违编码吃需求确，在诞制定诊过程日中，MP扑EG组织换深深赞感受半到人定们对舱媒体差信息告，特梦别是联对视旨频信稠息的挺需求竖由播求放型反转向疲基于台内容犯的访份问、鲁检索刃和操六作。MP蚀EG晕-4与MP奔EG匙-1、MP嫌EG通-2等有编很大盼差异触，它紫为多庆媒体汽数据凳压缩戚编码耗提供粪了更愉为广地阔的援平台歇，它值定义垒的是口一种液格式医、一侍种框杆架，幕而非圣具体止算法熔，它掀希望闹建立艇一种旋更自收由的送通信屋与开狠发环北境。徐于是MP押EG悉-4的新追目标歌为：省支持乌多种绣多媒皱体的墙应用贵，特龟别是贼多媒让体信伪息基横于内趁容的磨访问闯和检登索，持可根屋据不肉同的肠应用筐需求蝴，现滑场配依置解叶码器返。编前码系局统也征是开嫩放的汽，可蛛随时铲加入楼新的股有效奥的算给法模习块。倚该标项准适淹用于乘多媒仅体In详te吹rn斗et、视已频会或议和菌视频刑电话柳、交荒互式钟视频介游戏端、多壳媒体毁邮件以、基略于网针络的劣数据阔服务桃、光馅盘等追交互脸式存似储媒冲体、炒远程露紧急捷事件悄系统踩、远哪程视洋频监金控及触无线框多媒乱体通定信等障。信息鞠存储兼与检打索》4.谦4.蒙4视频却压缩嫩的标骨准MP汗EG艰-7，于20祝00年11月公辱布，倦其全品称为叫“多辨媒体敲内容泄描述排接口晴”。擦它将渴为各劫种类次型的冈多媒闸体信类息规竖定一幅种标束准化僻的描场述，凝这种子描述氏与多词媒体选信息绸的内贺容一垫起，茎支持岭对用晌户感充兴趣燃的图盼形、追图像溜、3D模型馅、视快频、其音频巧等信怪息以蓄及它粮们的削组合弊的快旦速有宣效查寇询，李满足马实时倚、非课实时倒以及给推-拉应录用的蚁需求延。MP获EG纺-7只规胖定信次息内忧容描沙述格续式，疼而不惹规定究如何火从原咳始的下多媒绣体资维料中吐抽取香内容浆描述谈的方锄法。MP蝇EG修-7的应净用领欣域有脏数字竟图书滑馆、策多媒陵体目荐录服沾务、毒图像薯分析段、音枕乐词扣典、饼教育膏、多窝媒体咐编辑仅、多吧媒体拼业务晶引导他等。信息己存储倚与检杏索》第五证节束基傍于内腰容的蠢多媒旨体检欠索技佩术4.占5.稻1基于保内容臣的多嗓媒体匆信息悬检索拌原理14.5.2基于内容的图像检索24.尾5.搜3基于维内容至的音个频检派索34.5.4基于内容的视频检索4信息过存储翼与检恶索》4.厨5.微1基于训内容僻的多古媒体斧信息葡检索膨原理（一苍）基其于文发本的练多媒膜体信来息检叉索的港局限寨性目前降，常彼用的同多媒帐体信符息检何索方屠法是嗓基于席文本霉的多横媒体登信息率检索士方法继（Te药xt最-B哗as井ed搂R株et魔ri虎ev票al，简雁称TB倡R）。地该方弓法是厅针对灶多媒违体的飞物理搬及内欣容特刃征，知抽取培出关膊键词平进行街著录天或标感引，幻玉建立脚类似雅于文错本文菌献信任息检描索系灶统的弱索引休数据疼库。祸这样取，多钻媒体忽信息祝检索佳实际英上就蔬转化初成为妈对多伪媒体涌信息阅进行巴描述治的关窝键词领检索秩。常庙用的扣抽取连关键紧词的愈字段兆有文堵件名驼或目例录名垄、多躺媒体林标题剪、多造媒体凤周围彼文本市信息氏或解波说文赠字等此。信息真存储朋与检投索》4.婶5.冲1基于舟内容防的多奶媒体滋信息宫检索米原理基于蔬文本弦的多越媒体提信息获检索河方法狠的主其要优励点是述技术典简单咐，标害引和拍检索听方便仿。它植的实缩慧质就弊是文收本检辉索，床只是短检索普结果糟和输杯出形柿式不耳同而偏已，拢因此河它的趴应用奸与实孩施方贡式简握单，奇实现世成本黎也比惹较低纲。信息颗存储访与检铲索》4.签5.绳1基于环内容波的多限媒体肠信息武检索艘原理然而熊，这任种检张索方填式的观应用趣是有球局限瓶性的脱。首甜先，散它不圣能真厕正反喝映信因息的宵内容冬。这湖种检歇索采从用文搭本来母表达全多媒购体的画内容管，检艳索对歇象的往不一乌致决走定了恩在这象种信极息传和递过黑程中俗必定旧会有厅大量惹信息碍的丢役失，化这样锣就不惜可能泄完全肆反映层信息漫的内融容；学其次余，多裹媒体酒信息龟是一装种抽警象程精度很饼大、岛随意采性很赌强的妥信息绢，缺皇乏一争般意肿义上民的规驼范性卖，同仰样的开信息锅不同外的人齐会有鬼不同北的理灶解，透这样遮便会北使得返在用端文字法描述席多媒撑体信谊息时业，不稼可能宪做出稍一个绞非常绞准确惨而完府整的刊描述嚷。信息阁存储斑与检炒索》4.签5.怎1基于价内容鹅的多蒙媒体乱信息鬼检索碑原理（二塌）基盏于内谷容的注多媒糕体信瓦息检厦索的奏特点宪及应牺用所谓谋基于忍内容园检索顾（Co东nt险en乐t-此Ba躬se准d拥Re有tr塑ie烈va神l，简撒称CB间R），指就是搞从媒铲体数救据中布提取允出特煎定的括信息施线索娱，然煮后根路据这粒些线级索从依大量给存储员在数矮据库沙中的骑媒体货中进劫行查闲找，臂检索女出具晶有相灾似特刺征的陈媒体忌数据俱出来搏。从技乞术上棚将，督基于慨内容雨的多价媒体制信息筑检索大具有经如下期特点鼓：（1）直扩接从岭媒体图内容鱼中提稍取特膝征线恭索。信息过存储锯与检少索》4.挤5.杂1基于道内容摊的多默媒体拴信息寺检索带原理（2）基她于内诞容的更检索创是一察种近疤似匹浸配，谱与传栽统信洗息检鉴索的棕精确坚匹配讯方法缸有明依显不袜同。（3）特疫征提贵取和舌索引详建立芝可由齿计算歇机自皇动实刺现，报避免北了人邪工描酱述的庸主观漏性，墨也大传大减觉少了苗工作意量。（4）整汁个过弹程是呼一个苹逐步案筛选洪和不盟断求丛精的明过程纪。信息救存储贿与检芬索》4.暖5.调1基于待内容键的多差媒体炎信息眼检索语原理（三蹄）基窝于内叔容的碎多媒念体信匹息检或索系捎统的呀体系给结构媒体数据1媒体特征媒体数据2媒体特征……媒体数据n媒体特征多媒体数据库用户检索接口多媒体数据特征提取插入模块知识辅助模块查询模块图4-7基于内容的多媒体信息检索系统的体系结构资料来源：张维明，2002.多媒体信息系统.北京：电子工业出版社信息洋存储拆与检将索》4.分5.匙1基于钥内容冈的多洒媒体嫁信息栗检索院原理（四凉）基蛾于内巨容的与多媒朽体信道息检翁索的朵流程剩和指筝标否是用户查询需求说明示例描述计算特征并进行相似性匹配返回一组检索结果是否满意？结束修改检索说明从检索结果