视频云资源汇聚服务技术研究与应用1

PAGE2PAGE5视频云资源汇聚服务技术研究与应用（一）课题背景进入互联网时代，企事业单位、政府组织和个人生成的信息总量急剧膨胀。对于来源繁多的信息资料，专业人士根据信息的格式加以划分，将其分为结构化信息和非结构化信息两大类。结构化信息是可以数字化的数据信息，可以方便地通过计算机和数据库技术进行管理。无法完全数字化的信息称为非结构化信息，如文档文件、图片、图纸资料、缩微胶片等。这些资源中拥有大量的有价值的信息[1]。现在这类非结构化信息正以成倍的速度增长，据统计，目前结构化信息占信息资源总量20%，而包括文本、文档、电子邮件、网页、图像、图形、音频、视频等多媒体信息，非结构化信息占据总量80%[1]，根据行业估计结果，超过85%的商业信息来源以非结构化形式表现，虽然许多企业都拥有数据库管理系统，但只有不到5%的非结构化数据进行了数字化管理[2]。"搜索和数据库发展到了今天，人们早已达成一种共识，未来的信息将更多的由非结构化信息构成，非结构化信息的处理存在着更多的成长空间，非结构化信息技术促成的产业规模也将比数据库的产业规模更为庞大[3]"。如何整合、访问、分析、挖掘和利用这些海量信息资源，成为各行各业（包括航空航天、经济金融、电信、工业控制、图书档案、科学研究、工程设计、因特网等）增强组织机构业务核心能力的一个关键。（二）课题介绍1、资源汇聚服务介绍随着网络信息与服务应用趋于海量，互联网上广泛的信息共享和信息应用逐渐受到数据海量、分布异构、处理复杂、使用繁琐等问题的制约。针对这些问题迫切需要新的解决方案和核心技术来管理整合以及处理海量分布的各种应用信息，从而建立协同的工作环境实现更广泛的服务种类之间的聚合。满足日益增长的用户体验需求。聚合[4-5](mashup)是在复杂异构的网络环境下整合内容和服务的有效方式。通过把松散的互联网资源和服务集成起来提供创新的增值的应用服务，国内外已有很多对聚合技术的研究。聚合服务定义，是指利用运营商的技术和平台，聚集多领域的资源和能力，整合各种信息、内容和应用，将不同主题提供的业务与服务有机的结合在一起，“一站式”地提供给客户，从而满足客户泛在化和一体化的需求，并为客户创造额外价值的一种服务。2、视频播放服务质量（QOS）介绍视频质量有三个要素：感觉和听觉、网络传输完整性、用户访问所需内容方便性。下图显示了主要网络行为和相关性能指标。A）QoE体验质量用户感观体验；数学模型(如MOS)可以给予视频分析预测感观质量；其他重要QoE因素包含图像冻结和黑屏B）QoS服务质量体现网络传输性能；规范ETSITR101290提供了对MPEG丢失和服务类型参数的详细描述；其他指标同样可以表示包延时和抖动C）会话控制分析用户视频趋势和网络响应；视频流协议分析可以诊断网络性能；同时，该分析可以进行商业智能，掌握视频点播趋势。（三）资源汇聚服务研究内容1、P2P资源的搜索对等网络（Peer-to-Peer，简称P2P）是一种网络模型，在这种网络中所有的节点都是对等点，各个节点具有相同的责任与能力并协同完成任务。P2P网络中用户在个人计算机之间直接进行资源和服务的共享，而不是像传统的客户端/服务器（C/S）结构那样需要经过服务器的介入和服务。在P2P网络中，每台个人计算机同时充当服务器和客户端的角色，当需要其他计算机的文件或者服务时，两台计算机直接建立联系，本机是客户端。而当响应其他计算机的资源要求时，本机又成为提供资源与服务的服务器。通常这些资源和服务包括：文件的共享与交换。目前常用的P2P网络的分类方法根据其拓扑结构分为结构化P2P网络、松散结构化P2P和非结构化P2P网络。结构化P2P网络是指网络拓扑结构固定，典型代表是Napster，这类网络提供了文件逻辑地址和文件存储地址之间的映射关系，从而保证有效路由，并保证最终找到目标节点，而非结构化P2P网络中，节点之间是任意连接的，资源的放置无任何规律。与结构化P2P网络搜索相比，非结构化P2P网络搜索效率较低，资源确定性比较差，这也使得非结构化P2P网络的搜索算法一直是人们研究的重点。本地资源存储存储的视频信息，要求以视频流的形式通过网络接口发送给客户端，响应客户的交互请求，并保证视频流的连续输出。然而视频信息具有实时性要求，其一、必须以恒定的速率播放，否则会引起画面的抖动;其二、在视频流中包含的多种信号必须保持同步，如画面的配音必须与口型一致等。视频数据的存取方式，将直接影响视频服务器提供的交互服务，如快进和快倒等功能的实现。此外，视频具有数据量大的特点，一般的文件系统在处理实时多媒体文件时，已无法满足视频信息的高容量、高读写速率的需求[6]。视频行业对存储系统的性能有明确的指标要求，除了磁盘读写速度、空间利用率等量化指标外，还要求提供高效的索引机制，支持对视频数据的快速检索和播放控制。具体地讲，视频存储的功能和性能需求包括以下几方面[7-8]:(l)可靠的视频索引和存储CDN数字视频系统通常包含多个相互独立的分发点，分布在各分发点处的设备包含采集数据，由视频服务器对图像数据进行压缩编码存储在大容量存储设备中，并通过IP网络传输到监控中心或远程终端，通过网络实时观看、实时操控。由于存在多个视频源，存储设备必须具有实时接收和存储多路视频的能力;同时，还当具备处理并发访问的能力，能够同时为多个用户提供视频检索、下载和在线浏览服务。高可靠性和高FO速率是视频对存储设备最基本的要求。检索速度是衡量存储系统性能的关键指标之一。视频文件在存储设备上的高效布局、失效恢复机制及磁盘优化调度[9]，能够增加存储系统的可靠性和检索的速度。另一方面，视频数据包含大量的结构信息及语义信息，视频监控的每个通道在不同时间内可能设置不同的录像参数，如编码格式、分辨率、亮度、对比度、色度等;根据触发方式，还会产生定时、手动、报警等不同类型的录像，录像参数的改变往往与特定的操作或事件相联系。在视频数据存储过程中，对这些信息加以注解，将对数据检索提供很大的帮助。(2)分布式视频服务CDN数字视频系统为分发点或远程终端提供视频的浏览、检索、回放等功能。带宽是因特网上的有限资源，使用帧间压缩产生的视频编码形成连续的位流，网络视频信息是一种多媒体实时数据，在Internet上的传输有严格的时间限制，通常要求高带宽、低延时和低抖动。为实现灵活的播放控制，如开始、暂停、快在为一个新客户提供服务前，多媒体服务器必须使用准入控制算法来决定一个新客户的加入是否与正在服务的客户连续播放请求相冲突。文献[17]提出基于观察的准入控制算法和自适应准入控制算法。弹性丢失JPEG和MPEG算法[18]，利用人类的感觉容忍性和视频流的空间和时间冗余来近似地重构失效存储在磁盘上的资料。基于校验的失效恢复算法[17]，使用视频流的顺序特性来减少RAID数组的联机恢复开销。集成多媒体文件系统[19]的提出旨在支持多种数据类型的存储和检索，将不同的技术集成到文件系统是一个挑战，极大地加大了文件系统的复杂性。（五）技术方案

非结构化数据管理系统——视频存储结构

建立非结构化数据管理系统——视频存储结构，支持非结构化数据的视频统一建模、信息抽取、查询处理，实现体系结构可扩展性，实现多种存储方式，支持网络分布式环境下海量非结构化数据中视频的处理、支持管理功能。(六)课题计划1、2012年09月-2012年11月，查阅有关文献资料，明确课题的目标。确定到底是做资源存储还是QOS视频质量，还是都写进来。2、2012年12月-2013年02月，参阅所需各种资料，熟悉存储各种方法，提出新的、高效的可用算法。3、2013年03月-2013年06月，将所提出的新型算法编写成程序，为未来的测试做下基础。同时准备所需要测试的准备工作，比如服务器，以及随机大量视频资源用于测试。4、2013年06月-2013年09月，将程序在机器中测试，总结经验，对算法的优缺点进行总结。5、2013年09月-2013年11月，进一步完善所作的工作，完成毕业论文。参考文献[1]拓尔思(300229)研究报告/report/20110629/41fad6c1-b410-5664-b974-a3fe8b314390.html[2]王东临,/co138/co197/article.html?id=67517[3]韦升阳,ECM:在系统中提炼信息./ewk2004/ewkArticles/520/Article35001.html.2006-1-[4]MiahSJ,GammackJ，Amashuparchitectureforwebend-userapplicationdesigns[C]//2ndIEEEInternationalConferenceonDigitalEcosystemsandTechnologies.Phitsanulok,Thailand:IEEEComputerSociety,2008:532-537.[5]BenslimaneD,DustdarS,ShethA.Servicesmashups:thenewgenerationofwebapplication[J].IEEEInternetComputing,2008,12(5):13-15.[6]/zh-tw/非结构化信息[6]蔡明，任绮年，易剑光.视频监控系统中的视频存储系统的设计与实现.江南大学学报(自然科学版),2003,2(2):115-l18,123[7]李立群.嵌入式视频存储和检索系统的设计与实现.中国人民解放军信息工程大学硕士学位论文,2006[8]刘富强.数字视频监控系统开发及应用.机械工业出版社,2003[9]PrashantJ.Shenoy,PawanGoyal,SriramS.Rao,HarriekM.Vin.SymPhony:AnIntegratedMultimediaFileSystem.InProceedingsoftheACM/SPIEMultimediaComputingandNetworking.ACM,NewYork,1998:124-138[10]陆正武.面向流媒体应用存储系统的研究与实现.华中科技大学硕士学位论文,2004[11]Anderew5.Tanenbaum著,陈向群,马洪兵译.现代操作系统.机械工业出版社,2005[12]邓伟.存储的前世今生—存储设备对比及应用.中国交通信息产业,2007(7):101-102[13]张雪明.基于嵌入式Linux的网络存储的实现和研究.北京邮电大学硕士学位论文，2005[14]谭志虎.附网存储一种新的网络存储方案.电子计算机与外部设备,1999(l):3,4[15]EricBurgener.StorageAreaNetworks:ThefabricofSANSloomsinyourfuture.IEEEComputer,1998(3):87-89[16]PrashantJ.Shenoy,HarriekM.Vin.EfficientStripingTechniquesforMultimediaFileServers.InProceedingsofNOSSDAV’97,St.Loius,MO,,ExtendedversionavailableasTechniealReportTR96-27，DePt.ofComputerSciences,Univ.ofTexasatAustin.1997.5:25-36[17]PrashantJ.Shenoy,HarrickM.Vin.Cello:ADiskSchedulingFrameworkforNextGenerationOperatingSystems.ACMSIGMETRICSPerformanceEvaluationReview,1998,26(l):44-55[18]HarrickM.Vin,PawanGoyal,AlokGoyal,An