后修改版中文题目基于素材价值评估模型电台分级存储系

，两年的生活让我掌握了许多专业的知识并且对生活和工作都有了更加深入的领悟和体会。在离开校园的最后的日子里对身边陪我走过最后一个学生时期的所有老师和表达我深深地感谢。，也一直得到的帮助和支持感谢平时在学习和生活上对我的关心和对我的和帮助，能成为您的学生，我觉得非常的幸运。，。感谢我的另一位导师老师。老师一直非常，对待我也非常有耐心。不管是找工作、写还是平时的学习和生活，当我遇到和问题的时候老师都会十分耐心的帮我分析问题，解决问题老师在工作和科研上也非常的认真和细心，真的让我受益匪浅。是您带领我进入领域，学到了很多专业知识，并且为我指明了研究方向。从的选题到完成，王琦老师给予了我非常大的帮助，百忙之中仍然抽出时间认真审阅，为我的论，。、、此外，还要感谢的老师、伏老师、老师和老师的帮助和指导，以及项目组的等各位同学在项目和谢我的父母对我的和学业上的支持感谢学院的各位老师两年来对我的帮助、、据价值评估模型和迁移控制策略相结合等使得在尽可能不影响系统运行的比LFU、LRU、LFU-Aging等算法，验证该迁移算法的优势。关键字：分 StudyonDataMigrationTechnologyinRadioHSMSystemBasedonMaterialValueEvaluationModelCurrently,thedigitaltransformationofradiostationsinvariousregionsisinfullswing,thebusinessscaleofbroadcastingstationcontinuingtoexpand,inwhichthestoragetechnologyhasrunthroughtheentireprocessofproduction,broadcastandmaterialsavingofradioprograms.Usershaveputforwardhigherrequirementsforstoragemanagementoftheprogrammingbroadcastinganditsmaterial.Inordertoconformtothedevelopmentoftheindustry,allmajorradiostationshavebeguntostudyanddesignprogramstoragemanagementsystemabletomeetthenewrequirements.Andtheaudioandfilesofmaterialsofradioprogramproducingsystemtendtobefeaturedbyhighrate,largedatavolumeandhighdemandsecurityandothers,thusforthesakeofconsiderationsinallaspectssuchassafety,efficiency,economyandothers,hierarchicalstoragemanagementsystemofbroadcastingstationisdesignedanddeveloped.Thesystemismainlyusedtounifiedstoragemanagementofprograms,etc.inprogramproducingsystemofbroadcastingstation,andtodividedataofprogrammaterials,productionoffinishedproducts,finishedproductsandsystembackupsintodifferentstorageareasbytheirdifferencesinheatofaccessandlogicalattribution,whichhasalsosecurityofdatawhileizingspaceutilization.Therefore,intermsofthestoragemanagementinbroadcastingstation,thestudyofrankeddatamigrationalgorithmandthedesignofstoragemanagementsystembasedonthealgorithmhaveconsiderablesubstantialresearchvalue.Thispaperhasstudiedanddesignedthehierarchicalstoragemanagementsystemofradio,anin-depthstudyofdatamigrationtechnologyinhierarchicalstoragesystemarchitecture,andhasproposedthehierarchicalstoragesystemofradiobasedonmaterialvaluationmodel.Firstly,ithasmadeanoverviewofthecurrentmainstreamnetworkstoragetechnology,includingtheintroductionofbasicstoragemediumandmainstreamnetworkstoragetechnologyandthecomparisonbetweenthetwo.Also,ithascomparedthecurrentperformanceofeachstoragemedium,introducingtechnologyoftieredstorageanddatamigration,andhasyzeddatamigrationstrategies,includingtheysisofhigh-lowwaterlevelmethodbasedonstoragespaceandCachereplacementmigrationalgorithmbasedondataaccessrate.Secondly,centeringonthebusinessprocessesofradioprogramming,thispaperhasmadeysisofthemainfeaturesofhierarchicalstoragemanagementofbroadcastingstation,conductingacomprehensivein-depthstudycombinedwiththeactualneedsofthestation.Intheresearchanddesignofthesystem,takingintoaccountthespecialrequirementsofsomestationsforstoragemanagement,ithasimprovedandexpandedstoragemanagementschemewhileensuringthatstoragemanagementsystemcanprovidestoragemanagementservicesforprogramproductionsystem,andconductedanin-depthresearchofdatamigrationbetweenhierarchicalstorageFinally,focusingondetailedintroductionofthecoreresearchpointofthisarticle,namely,basedontheideaofinformationlifecyclemanagement,thispaperhasdesignedvaluationmodelofradiomaterial,bymeansofcombinationsbetweenmanualmigrationandautomaticmigration,andbetweenvaluationmodelofmaterialdataandmigrationcontrolstrategy,soastofurtherimprovethehitprobabilityofhigh-performanceonlinestoragedeviceswithoutaffectingthesystematicoperationasmuchaspossible.Furthermore,ithastestedthealgorithmandhasmadecompassionamongalgorithmsofLFU,LRU,LFU-Agingandsoforthtoverifythesuperiorityofthismigrationalgorithm.:HierarchicalStorage,DataMigration,DataValue,致 ..................................................... 第1章绪 课题研究背景及意 课题研究现 电台管理现 分级技术国内外现 主要研究工 结 第2章电台技术分 电台主要介 磁带 光盘 磁 磁盘阵列 电台主要技术概 2.2.1架 内嵌式.........................................直接附加...................................网络附属.....................................区域网 架构分析比 分级技 分级概 （On- 近线（Near- 离线（Off- 分级的必要 分级数据迁移算法和策略分 基于容量的高低水位阀值 基于数据率的缓存替换 基于信息生命周期管理的数据价值评定 迁移算法比 本章小 第3章电台分级管理系统分析与设 系统概 3.2制作系统子模块划分和交互概 分级管理系统模块划 电台管理业务设 系统分析与设 功能设 数据库备份和还 手动迁移管 制作部门设 回收站删 分级数据迁移技 系统层次划 本章小 第4章基于素材价值评估模型的数据迁移技 信息价值评 信息生命周期管理过 信息生命周期管理实施架构与步 信息价值评 元数据设 素材价值评估模 素材价值评估模型设 素材价值评估模型的实 素材数据迁移控 基于素材价值评估模型的迁移策略的实 降级迁 升级迁 本章小 第5章系统运行结果与迁移算法性能测 测试方 系统运行结 本章小 第6章结束 参考文 第1章绪论多信息在制作和系统中得到了广泛的运用因此如何有效合理地这些多文件变得越来越重要各大广播电台对于需求的痛点正是如何去高代价去实施数字化改造[1]。如何高效地广播电台内音频素材等文件是对广播电台管理系统的设计和运行的巨大在实际的电台管理系统中多种多样的设（如：的差异性。并且，广播电台实际业务对于素材等文件的存取是不均匀的，某些频率较高的数据可能只占总数据量的一半不到大多数数据是不常用的数据[2]。将数据全部在高性能的设备上会造成严重的资源浪费，显然很不合理所以合理并且自动化地将不同价值的素材等文件于不同性能的设备上，成为了广播电台去解决实际问题的关键之处。分级管理负载实施进行有效并能够按照不同区域介质特性进行智能地自动化优为了应对电台音频数据这些特点各电台陆续开始对原有传统广播系统储化改造，与世界先进制作和管理技术接轨[4]。电台的素材文件是具备生命周期属性的在其存在的不同的时期有着不同的价值频率最高时期一般来说是在素材刚产生的一段时间内或者某些特产品来实际上是没有必要的因为这样性价比太低会造成资源浪费。储成本，提高设备的使用率。因此，进行分级是有必要的。在数据价值较大的素材时，采用昂贵的介质和技术，因为这些数据往往是率比较高的，以此来确保数据快速可用。随着时间或其他因素的影响，素材被的机率下降到一定程度的时候，可以将这些素材迁移到较经济的近线设备中。为了保证设备和近线设备上数据的安全性还应该再增设离线电台分级管理系统的技术是数据迁移技术近线设备作为磁盘合理的方式智能的将需要回调的温数据从近线设备上迁移到到工作级级之间调度的问题从而实现把适当的素材在适当的时间以合理的代价在合储管理系统对广播电台素材管理具有很大帮助针对电台素材等文件的电台管理现、随着广播事业的不断发展，电台规模不断增大，频道形式日益增务的管理需求，但仍存在问题[6]。、目前国内专业的广播电台制作软件提供商如英夫美迪数字技术等，虽然其制作管理软件的管理子系统功能完善，台常规的制作流程将素材等文件通过FTP或共享路径等方式直接存于文件服务器中对于某些对管理有更高要求的电台并不能很好这样的数据大量的在成本较高的介质中会造成资源对于诸如此类的特殊情况面向对制作系统提供管理的管理系统而言未分级的管理并不能很好的解决电台大容量的问分级技术国内外现：括虚拟化、基于素材文件频率的缓存替换迁移算法、基于容：目前主要由各大厂商主导这些技术的研究EMC的CelerraFileMover辅助平台之间无人值守和用户透明的数据迁移的策略迁移软件辅助平台和项目管理服务[7]2005年发布了信息生命周期管理解决方案和解决方案，包括管理软件和硬件设备平台。目前，主要有三种类型分级管理系统，有基于逻辑卷的分级系统、基于块的分级系统和基于文件的分级系统三种类型的系统都有着各自的优势，但是也都存在着一定的不足之处[8]。目前使用最广泛的分级系统是基于文件的分级系统，这种分级方式被很多公司实现并采用。He等人所分级系统是一种基于面向对象概念所设计的文件系统[9]。SanBoost 数据迁移量，进行迁移条件为用户达到一定次数[10]。一般来讲，客户端和的热度信息是以量来去表示的并且每个逻辑卷也可能会有不一样的大台特点的。基于块的分级系统，目前只有Compellent这一家公司实现能需求的基础上对管理系统进行扩充和完善。第一章主要介绍电台分级管理的背景、现状，以及的主要研究第二章概述并分析了分级技术和当前电台主流的网络技术，包括电台基本介质和主流网络技术的介绍和比较介绍了分级的相关技值法和基于数据率的缓存替换迁移算法所进行的研究。第三章按照制作的业务流程和管理系统与制作系统的交第四章详细介绍系统涉及的技术——电台素材价值评估模型的设计，第五章对系统中的迁移算法进行了性能的测试，并对进行分析，作第2章电台技术分电台主要介随着传统的IT技术在专业广电行业内的不断渗透，素材的制作和及素材的技术均发生了根本性的变化，在这之中，起到了关键性作用的是存储技术的发展，介质作为技术发展的硬件基础，作用更是不容忽视的。下面就各介质的对比和应用做了简单的介绍和总结。磁带磁带库的优势在于具备数据量大的特性[13]，并且在人为占用方面和备份的效率上也拥有着无与伦比的优势。在网络系统中，磁带库通过区域网络SAN（StorageAreaNetwork）系统可以无缝接入网络从而形成网络系统，因此可以给企业的数据提供非常有力保障。相对来说，会更容易实现通过磁带镜像技术的多磁带库备份功能，磁带库是数据仓库和ERP等大型网络应用中非常合适的对应设备能够较轻易地完成数据和数据备份的工作。另外磁带介质代价比较低但是数据保存时间却非常长久性价比高，已广泛应用于各行各业。包括：医疗行业、金融行业、广播电视业、各大校企馆、检测资源以及航洋大数据等。光盘；低，不会增加过多企业成本速度较快；采用非接触式的方式来和写入信息，因此过程中不会损坏光盘，所以使用相对磁带介质较长；对保；线和离线的管理也更为方便。2.1比较 光盘 磁带素素 的安全 较 较50-1003-8TBTB磁磁盘是一种圆盘形载体，是带着磁性物质的数字化信息的设备[15]。以用来读写数据的[16]。需要特别的是，磁盘两个磁头并不是同时进行读写I/O性能和吞吐量是不能ATA指令系统的IDE用于SCSI指令系统的并行SCSI用于SCSI指令系统的串行SCSI用于SCSI指令系统的IBM串行SCSI接用于SCSI指令系统的并且承载与FC协议的串行FC磁盘阵列RAIDRedundantArraysofIndependentDisks的缩写。RAID是由很多个容量较小、价格相对便宜、速度相对较慢、稳定性较高的磁盘所组成的磁盘阵列组从而可以提供比单个磁盘更高的性能，2.2是常用的几种RIAD级别2.2RAID无有有有无无有有有33N-N-架广播电台多信息的规模以及未来对扩展能力的需求直接决定了存储构架的选择[18]。目前，大体上存在这四种方式：内嵌式（EmbedddStorge，ES）、直接附加（rthdStrge，S）、网络附属存储（tworkhdSytem，S）和区域网络（Storgeratwok，S）。内嵌式内嵌式（EmbeddedStorage，ES）就是服务器中内嵌着的，例如：PC、笔记本电脑、、平板电脑等设备都是应用的这种模式。从某种意义来量和存取性能也受服务器性能制约。而且ES这种架构下，只要服务器和器直接附加直接附加（DirectAttachedStorage，DAS）是一种采用独立的外接式存储设备，并通过接术将外置设备通过连接电缆直接到服务器上。DAS将服务器和器进行分离，这样就可以把设和多个应用服务器相连通过高速接口等技术可以提升存取的时间当数据量有限且对性能需求没有那么高的时候，直连式可以满足大部分系统的需求。但是，当系统中数据量日益增长需要不断地加入新的设备的时候如何对直连式存结构也决定了对每个设备的存取的服务器数量是受到限制的[19]。特别是在广播电台的应用环境中当很多用户同时进行I/O时服务器处于能上的瓶颈。DAS2.1所示。2.1DAS网络附属网络附属（NetworkAttachedStorage，NAS）是指带有集中式文件系统功能的盘阵，它是技术与网络技术结合到一起的结构。NAS作为一种NAS中存取数据，因此对服务器来说可以减少系统开销。NAS为异构平台使用统一系统提供了解决方案由于NAS只需要在一个基甚至可以使用免费的LINUX解决方案，成本只比直接附加略高。NAS存在由于数据通过普通数据网络传输，因此易受网络上其它流量的影响由于数据通过普通数据网络传输因此容易产生数据泄漏等安全问题只能以文件方式而不能像普通文件系统一样直接物理数据NAS2.22.2NAS交换机、磁盘阵列前端、盘阵后端、磁盘等。在FC技术已经成功地将传统上的磁盘阵列改造成为了彻底网络化传输的FC磁盘阵列之后，无论从盘阵到主机的通路还是盘阵后端控制器都被彻底地网化了尤其对盘阵后端的更是一个惊人的创举[20]。目前一般的SAN提供2Gb/S4Gb/S的传输数率，同时SAN网络独立于数据网络存在因此存取速度很快另外SAN一般采用高端的RAID阵列，使SAN的性能在几种专业方案中傲视群雄。SAN由于其基础是一网络，因此扩展性很强，不管是在一个SAN系统中增加一定的空间还是增加几台使用空间的服务器都非常方便。通过SAN接口的磁带机，SAN系统可以方便高效的实现数据的集中备份。SAN作为一种新兴的方式，是未来技术的发展方向，但是，它也存在一些缺点：需要单独建立光纤网络，异地扩展比较SAN2.32.3SANDAS方案。对于中小型商业企业，服务器数量比较少，有一NAS方案。对于大中型商业企业，SAN是较好的选择。电台使用的服务器相对比较集中，且对系统性能要求极高，因此可考虑采用SAN方案。下图为各结构对比图。图2.4结构对比分级技分级概不经常的数据自动移到层次中较低的层次大大减少非重要性数据在一性、频次、成本等指标，分别存放在相应的设备上[22]。在分级存储设备上，适合那些需要经常和快速的程序和文件，具备存性能卓越、存取速度快的优点，相应的价格也相对昂贵[23]。一般来说是作为工作级的来使用的也就是说需要让区中的数据和设备时刻保持的状态，可以随时和修改数据，以此来满足应用服务器或数据库对数据快速的实时性需求。一般来说，往往采用的是高速FC磁盘阵列或SSD等高性能的设备，这些设备存取速度非常快，性能优秀，但是价格昂贵，代价较大[24]。近线（Near-随着不同用户需求的变化和细分人们逐渐地发现二级模式也就是与离线的方式，已经变得不能非常好地满足某些用户对更进一步的需求了那么在这两个区域之间变有了大量的空白的需求近线的概念正是在这样的需求驱动下产生了近线是指将一些不常用的数据存放在相对存储设备而言较为低速的设备上一般是指一些性能和价格介于高速FC磁盘阵列与磁带之间的磁盘设备[5]。近线在应用上的外延相对来说是比较广泛的其主要定位于客户和离线之间的一些应用近线管理将那些量并不大的数据存放在性能较低的设备上这类设备是具备传输率高、寻址快速特性的那一类设备[26]。一般来说，按着二八原则，不常用的温数据占总数据量的比热数据大的多,因此需要近线设备在需要容量上相对设备来说更大。离线（Off-大多数情况下是用来对区和近线区中的热数据和温数据进行备份,步的细分。离线通常采用磁带作为介质,其速度相对来说较低，不分级的必要1、改善目前多电子文件的管理现状。使用分级，可以改善前面所述的多电子文件管理的现状，如可实现统一管理、自动归档(迁移也可以认为是归档的式)、自动回唤等。2、不断扩充多电子文件的空间。随着时间的流逝，多电子文件的容量将不断增多，利用增加近或离线载体，可不断扩大空间。3、降低多电子文件的成本。多电子文件如果全用磁盘阵列来成本控制，会使各单位的多电子文件管理处于进退两难状态。4、实现多电子文件的自动归档。信息量的增多，会造成管理的复杂程据迁移规则，从而实现多电子文件的自动归档5、便于对多电子利用、多电子文件实现分级后，对于和近的文件可方便地直接而用户来不必知道其具体的位置和层分级数据迁移算法和策略分期管理的价值评定法、基于频率的缓存替换法（FIFO，LRU，Size-only，Space-time和File-aging[27]等space-time算法根据文件上次使用间隔和文件大小乘积来分级[28]。File-aging算法则综合上次时间、大小以及迁移值来GreedyDualSizeAlgorithms替换迁移算法则是根据文件的时效性、大小和ExpectValue（预期价值）给出文基于容量的高低水位阀值数据可以迁入到磁盘的必备条件是有足够的剩余空间[30]。在分 管理中，在于介质存取速度快、性能较高的费用代价较大，并且空间，当设备有足够的剩余空间时，也就是空间饱和度处于中低水位基于数据率的缓存替换提高设备的利用率也就是如何将旧数据替换出去从而为新数据预留空间，这一类算法的的原理是通过分析数据的历史并且充分借鉴虚拟内存页面置换的思想，从而实现数据在设备间的迁移。缓存替换迁移算法的策略核LRU、LFU、MRU、LFUDA、LRV、GDSFMFU等。其中最典型的就是LRU（Least-Recently-Used）LFU（Least-Frequently-Used），以及两者的改进算法LRFU，LRU-K，LFU-Aging等。、由StorageTek公司首先提出来了信息生命周期管理的管理思想，经过一段时的生命周期有一个从产生保护迁移存档到回收的完整的生命过程、何把合适的数据，在合适的时刻，在合适的介质上。在CIO的一项显示，60%IT数据的业务价值是很难评估的。从大的方面来说，比如电信、银直是研究人员的重题信息价值评估的准确与否直接影响到数据的分，进而影响到整个系统的性能。从目前国内外研究现状来看，关于信息化造成很大的。、使用的时间、使用频率量、使用目的以及数据在未来一段时间、导数据在分级系统中合理的迁移。基于空间的高低水位法，该方法重点考虑的是磁盘空间的饱和度，是否有充足的磁盘空间是数据迁移的先决条件系统时刻每级磁盘的使用情况，以便在合适的时候将数据的频率由低到高排序，启动迁移程序，将频率低的数据迁移至低一级设备，使得磁盘空间得以最大利用。但是该方法虑数据由高级想低级迁移的策略却没有提出数据有低级向高级存问频率在某一时间段内呈震荡状态如果在一段时间内数据频率低而被迁移到低级设备上后，当具体应用中该数据频率出现周期性提高，数据却无法回迁到高级设备上，造成数据效率低下。另外，高低水位法还存在这样问题，高级磁盘饱和度达到高水位时，要对磁盘空间中的数据按照频甚至影响数据的有效。基于频度的缓存置换算法通过分析借鉴数据的历史情况将旧数据迁移到近线设备，为新数据腾出空间。常见的算法有LRU，LFU以及两者的改进算法LRU-K和LFU-Aging等，算法改进后解决了原有算法存在的突出问题例如LRU只考虑数据时间的局部变化而没考虑到数据的全局性LRU-K作为LRU的改进使得数据的时间更贴近全局；同样LFU-Aging作为LFU的改进，解决了LFU算造成磁盘污染等问题。虽然以上算法都能保证高性能设备的空间几乎没有剩余，实现高性能设备空间利用率最大化，对于具有周期性的数据来说该算法不能完成周期性数据由低级设备回迁到高级设备显然不利于数据的有效进而影响整个系统的性能。 ，基于生命周期的价值评估法该算法综合考虑了数据的时间和频率，从而确保大多数的数据命中于设备避免数据在各级设备之间来回迁移，造成系统震荡。但是，估值过程要考虑到数据的使用情况，其中频率是必不可少的考虑因素，因为每天数据的次数都在变化，因此每一天数据都会有一个不同的频率系统需要记录每一个文件每一天的次数，如果系统数据量比较庞大，那么记录每个文件每天的次数，系统开销会很大，进而影响系统的性能灵活却牺牲了系统开销和性能。因此选择一个合适的频率计算方法显得格外重要。，本章概述了当前主流的网络技术，包括基本介质和主流网络技第3章电台分级管理系统分析与设随着广播电台自动化系统在各频率下应用的不断发展，制播网络不断扩大。为了构建一个高效、安全、可靠的系统，使各个频率的资料等资源能够实现更好的共享需要一个更具灵活性的机制来规范配置管理系统，广播电台分级管理系统作为制作系统的子系统负责对制作部门的，对各个频道的各制作部门相应各类区的空间设定和。一方面，广播电台制作系统不间断的运行需求使系统需要具备极高的稳定性；另一方面，广播电台内素材内容的丰富和多化以及信息量持续不断的增加需要系统具备极高的安全性如何在满足用户业务习惯的基础上实现大量素材文件的分级管理实现信息的安全化是目前电台管理系统首要考虑的问题。储管理系统和制作管理系统以及权限管理系统结合在一起共同组成了电台制作系统并且系统提供的管理服务和制作管理系统的业务流程关因此本章首先从管理系统和另外两个系统的交互的角度出发，分析系统的需求，接着，介绍了分级系统的设计与实现。系统的迁移策3.1权限控空空分 空工程管 再编分管发3.1（1）制作管理系息公告五个功能模块。制作业务流程如果图3.2所绿否提是否是打打否上打图3.2制作业务流（2）除用户、用户锁定与等操作。3.3所示。用用用户组管用户方式通过用户组-角色获得权方式用户权限直接分用户组角色分操作权角色权限分角3.3，、户主要是电台用户中的管理员用户分级的概念对于管理员用户来说要尽可能的透明，因此从管理员对系统功能和业务的需求的角度出发分析管理系统应主要分为制作部门设置模块路径配置模块、回收站管理模块、备份还，、下面将从上述的两个角度将分级管理系统划分为电台管理业务部分和自动分级数据迁移两部分部分首先介绍电台管理业务的设计与实现，接着对分级数据迁移技术进行了分析与设计。电台管理业务设系统分析与设当管理员登陆管理系统的时候，分级的概念对于管理员用户来说是“半透明”的。管理员在系统中所做的操作面向区，例如，当执行配置的素材在接下来被到的可能性是非常高的这个时候如果允许管理员将路径且会使得管理员用户对于系统的管理逻辑变得复杂区和近线区的管理模块主要负责制作部门的对各频道各制作部门相应各类对独立，可作为单独的子系统进行设计和开发，同时对外提供管理服务QueryStorageSevice。管理主要完成对各频道、各制作部门下的各类区门素材成品区、制作成品区、成品区。材”的层次进行划分。用户工程区的逻辑结构如图3.4所示。频频用户用户工程工程工程工程次进行划分。制作成品逻辑结构如图3.5所示。频频制作部门制作部门子部门子部门子部门子部门素材成品素材成品素材成品素材成品素材成品素材成品素材成品素材成品图3.5制作成品逻辑结频道区类包括：频道公共素材区、频道制作成品区、频 成品区、频道工程区制作部门区类包括：部门公共素材区、部门制作成品区、部门成品表3.1路径规区类 路径规用户工程用户工程 个人素材成品 素材成品素材成品 制作成品 成品成品 频 成品名门各成品区的空间大小分配等操作；材区、制作部门各成品区的路径及空间大小；功能设行备份和还原的操作。下面介绍数据库备份还原的业务流程和关键代码。3.6开开选择数据证方连接数据登陆Sql验结结执行备份/还3.6手动选择迁移文件电台制作系统用户对于素材文件的存在着不素材此时位于离线区的时候此时就需要管理员手动将用户所需可能某些素材文件会被分级系统认定为低价值文件因而位于近线或者离线区中此时管理员应该提前将离线区中的素材回迁到区中供用户使用而位于近线区的素材在接下使得系统IO频繁，系统性能下降。对应着某个区域或者专题的文件此模块也可以用来实现备份和在非工作时段和系统IO非期的时候再进行迁移。3.7开开结3.71、部门IDID的生成，由于频道下的制作DeptInfoIDID由其所在的频道ID和递增序号构成递增序号长度是201开始依次递增；子部门ID由其属的父部门ID和递增序号构成。部门ID3.8所示。2222递增序父部门递增序父部门子部门3.8ID部门ID使用过程SetDeptID生成，为说明生成过程，现将部门信息DeptInfo中与部门ID3.2部门级别，1为父部门，2查询并三个变量@deptCount：频道channelID@brotherCount：父部门为@paraID@maxBrotherID：频道channelID下，父部门为@paraID的最大部门如果@deptCount0，即该频道下没有部门，则@deptID@channelID*100+1，过程结束；否则，继续执行；1ID 如果@brotherCount0，即该父部门下没有子部门，则@deptID@channelID*10000@paraID100)*1001，否则@deptID=@maxBrotherID+1。部门ID3.9输入参是否是否是否是否是否 @deptID@channelID*10000+(@paraID%100)*100+@deptID@deptID=@channelID*100+3.9ID2NewDeptForm实现添加制作部门的全部功能，该类有以下ChannelStaffTree和父部门用户树ParaDeptStaffTree的加载；AddStaffDeptMap()，根据用户信息列表StaffList和部门ID，通过调用门映射表StaffDeptMapInfo中； alArea()StaffList，为每个用户创建个人素根据要添加的部门类型和频道实例化窗口类NewDeptForm调用SQLProcedureHelper.P_SetDeptID()方法执行过程SetDeptID获得新DeptID；DeptBLL.AddDeptInfo()DeptModel插入到部门DeptInfo中；调用 alArea()方法，为部门用户创建个人素材区和工程区调用CreateProductArea()IsDelete字段标识是否删除，并将要删除的工程、成品信息插入到回收表RecycleInfo表中。如果想实现真正意义上的删除，需使用回收站管理中的彻底系统使用RecycleDelete()RecycleIDRecycleBLL.GetRecycleInfo()方法获得该资源的回收信息RecycleDataTable；根据RecycleDataTable获得服务器位置StoragePath、资源来源Source、源SourceID；DeleteRecycleResource()方法，删除该资源的物理磁盘资源。为保障系根据服务器位置StoragePath实例化类信息类DirectoryInfo并调用Delete()删除资源，此步骤如果出错，则抛出异常，并返回成功删除物理文件，返回TrueDeleteRecycleDB()根据资源RecycleID，调用RecycleBLL.DeleteRecycle()，删除根据资源来源Source和源SourceID，调用相应的工程/成品逻辑类中的删除3.10解析解析获得StoragePath、Source、获取资源DeleteRecycleResource()方DeleteRecycleResource()方删除出是否报告用错误信否返回是结结DeleteRecycleDB()方实例化类返回返回3.10从区域划分的角度分析，系统区分为三个级别：区域、近线区域和离线区分别对应三类介质区是工作级的，一般来说制作系统的用户直接操作的文件均位于此区中该区保存着的数据是经常会被的热数据。近线区是作为区的二级区，保存着大量的不常的温数据。而离线也就是脱线，除了作为三级 分级区 备份/还（热数据数 离 （备份数据移近 备份/还（温数据数据迁备份/图3.11分级区域备份/本节对分级模块进行介绍，具体迁移技术的详细设计放在了第四章来讲括：元数据管理模块、价值评定模块、迁移控制模块、价值模块。元数据管确定素材文件的价值迁移控制模块接受迁移指令并执行素材文件在不同设备之间的迁移；模块用于监视分级3.12性的设计，以及触发元数据信息更新的事件。文件的数据价值。文件价值判定模块的在于如何对素材文件进行价值判化的快慢、剩余空间，文件等因素。合理的文件迁移时间间。文件系统模块收集素材文件的价值变化信息，并对触发信息价值变化的事件进行响应进行价值模块包括设备容量和价值。特性的作用是实时捕获数据价值变化，包括数据创建，修改删除等操作值估算模块。当没有数据操作时，数据系统就挂起，不占用CPU资源。从而减小系统的开销。而容量模块要实时的磁盘剩围后，会立即触发迁移操作。解决容量瓶颈问题，以保证设备性能的稳定性。低于该范围最小值，会造成空间的浪费，系统提示可以向该级设备迁入新的数据，保证设备的性价比较高。。InterfaceUILayerBLLLayerDAL3.13所示。表示层表示层业务逻辑层数据层3.131、表示层Form类的各种界面窗口类，如主界面窗口类、新建工程窗口类、权限管理窗口类、管理窗口类等。2、业务逻辑层3、数据层数据时，采用抽象工厂模式结合.Net反射的思想，数据层的设计结构如3.14所示。抽抽象数 层数 数 数 …数据数据…数 层数 抽象工业务逻辑XML文图3.14数据层设计结其中，抽象数据层（IDAL）是对各种数据库操作的抽象；数据访IDAL中类的对象；具体数据层则实现与具体数据库的交互，如SQLSercer模式结合.Net反射思想使得数据层结构更清晰，更易于扩展。4的业务功能。再详细设计了电台管理的业务后，对分级第4两个属性可以精确计算数据的价值结合迁移过程控制策略以及基于空间高数据保留在高性能区域的设备中供服务器从而实现系统整体性能可以自动的将数据迁移到合适的平台上因此需要去建立一个素材价值评估确判断和分级设备之间数据的自动数据迁移。本章介绍基于素材价值评估模型的分级系统中数据迁移技术的设计和信息生命周期管理过、电台中的素材数据并非生而，某一些素材可能更为重要，其的会随着时间的推移而逐渐降低除非对素材数据的价值级别进行适当的控制，否则对数据的搜索将会导致管理效率的不断降低判定数据价值级别的一个有效方法是对数据进行信息生命周期管理(InformationLifecycleManagement，ILM)。ILM理念认为信息像生物一样具有生命以及生命周期，会随着在生命周期中所处的阶段不同而起起落落，素材信息的生命周期可以划分为6个阶段：创价值。随着信息价值所发生的变化，有必要将信息转移到不同的介质上。根 、创ILM的管理过程可以分为创建、保护、利用、迁移、归档和销毁六个阶段，4.1所示。创迁归保销迁归保销据得以有序进行的前提条件。在这里要注意级别高的数据的安全防护，较低级别的数据，虽然很少被到，但也应该好好保护。数据阶为了实现所数据的价值，数据必须是能够提供对外服务的。不同的数据价值对应着不同地需求。高价值高活跃度的数据需要能够实时的到，价值活跃度较低的数据需要能够随时到，低价值低 值较低活跃度较低的数据是存放在离线区中的，该类文件对用户不数据迁移就是使数据在不同的设备之间移动，从而达到优化资源分配，降低成本的目的。这也正是本文所研究的内容。通过制定优化的数据迁移策略，实现数据在各级设备之间的无缝迁移，使数据迁大容量的设备上，以降低总体拥有成本。数据归档能保证那些虽然价值不是很高，但对于用户仍然具有一定的作用，或者说目前来说价值不是很高，将来很可能被用到的数据的妥善保管，防止被无意破坏。此类数据是存放在离线区域中的，当用户有请求的时候一般需要通过管理员手动进行回迁操作。数据销毁是按照电台的要求、规定、法律、程序对没有保留和保存价值的素材数据进行回收或销毁，从而降低电台总拥有成本，提高信息生命周期管理实施架构与步。为实现信息生命周期管理的全部优势需要考虑下面的问题平台：即的介质，用户可以根据自己不同的需求，来选择相应的设备，如快速设备或者是慢速设备等。。1)管理软件：即用于对平台的管理，如添加设备，删除存4.2为信息价值随时间变化的4.2选择策略，实行分级网络化。策略是信息生命周期管理的图4.3分级区数据价值变信息的工具。是指将信息到网络或介质，以及用于数据备份、镜像技术、异步等的工具选择。对ILM系统业务而言数据信息的价值高低来安排合适的设备，例如本文所设计同时，为了使重要的信息得到保护，同时控制了一般信息的成本，本文给出了法确定电台内素材数据的价值。信息价值评信息价值的评价是ILM是多级中必不可少的重要部分评价方法是否准确和合理直接影响了整个级系统的优劣但评定数据价值时需考虑的因素很多如何选择和综合权衡这些因素是一个难点。另外，目前还没有数据价值评定方法优劣的标准。传统的价值评定方法很简单，考虑因素单一，准确度较差，也没有考虑适应度。差异不能准确评估数据的价值还有是基于策略的数据价值评定方法一是在准确度方面评值考虑了因素除了通过间隔的而有的方法还融合人工智能和控制论的方法通过反馈调节提高价值评定的准确度。二是在适应度和依赖度方而，由于策略是根据外部经验人、率量、素材大小以及素材在未来一段时间的可能性，在价值评估过程中综合考虑这些因素才能得到精确的数据价值根据价值指导数据在分级系、：、、本文就是利用了元数据的这能。文件的元数据包括文件名、文件大小、电台分级管理系统中文件的管理问题。因此需要配置元数据管理服务器，也就是MDS（MetaDataServer）来管理所有的元数据文件。电台分级管理系统中的文件元数据应当包括素材记录素材位置素材文件大小、素材文件读写频率。元数据管理结构图如图4.4所示：、、4.44.1所示。4.1 素材文件名 素材文件频 最后一次时 否则为归档记录对应的 用户 频道4.2是元数据事件和响应方式。4.2 建立建立工程素材文件事素材文件事 修改或素材文件最后以此修改修改素材事和 素材价值评估模型设M（MetaProperty）和预期价值EV（ExpectedValue），4.1所示。MP是文件迁移的先决条件，包括文件大小Size，文件时间Time，文件读写频率Frequency，文件量Counter。通过使用这些素材固有的参数来计算素材的MP价值，MP预见文件的可能性。EV值越高，的可能性越大，反之亦然，EV值的可以通过计算用户之间的相似性得到。数据FileXMP值可以这样计算：MP(FileX)=1/Size+Time+Frequency (4-4.5素材价值评估模型的在选择好素材价值评定模型的分析 后，需要对参数进行定义并量化文件大小Size，对于电台分级系统而言，区一般采用高性能的FC磁盘阵列作为工作级设备，如果较大的素材文件在区文件时间Time，结合LRU算法的思想，创建或最近使用过的定义4.1素材文件被创建以后，每次的时间集合是t1,t2,...,tn，记当前时间为t，那么这些时间点距离当前时间的长度是tt1,...,ttn，以此设以上时间长度为T1,T2,...,Tn。文件FileX的Time值为:T

11

...

（4-ni1n

定义4.2文件的读写频率用R和W表示，那么数据FileXF值为其中kw是读补偿系数，kr是写补偿系数，它们表示设备在读写操作时间代价上的比值，Wi和Ri表示文件FileX被创建以后每次的读写频率，N表素材量Counter，用户数量是文件价值高低的直接体现，文件被定义4.3文件X 量称作Counter每一 记录，UD2表示不同用户 算素材文件的用户数量。Ccounter

素材数量越大素材价值也会越大（5也就是说，计算FileX的用户和没有FileX的用户的相似性，有着高的相似性的用户被看做FileX的潜在用户，潜在用户数量被称作FileX的预期u定义4.4如果用户u数据i，则ui

1uiu

0,n为两个用户据的数量，，代表u和v的程度。用户u和v的相似性可以被表述成假设FileX的用户用U来表示，其他用V来表示，那么Uu1,u2,...,un Vv1,v2,...,vm 计算U和V元间的相似性，可以得到一个相似矩阵用V'来表示，那么：V'为与u相似的用户。V'的总数是用户u

FileX 每个子EV的和是FileX的EV112342345634在集合V'VvvvvV'vvvv,那么vv112342345634重复计算了，但是重复用户应该只计算一次才对，因此FileX的预期价值可DValue，DValue是数据迁移的基础。是调节参数，取值范围为模式并不能适应电台系统的需求数据迁移控制策略的重点和难点就是如何尽可能减少数据迁移对整个馈机制来实现数据价值。价值反馈流程图如图4.6所示开开否迁移结价值反4.6利用反馈控制机制，随着电台制作系统的运行，用户进行的时候，价值的变化通过价值模块及时通知并更新迁移队列过程为当降级迁移时，设备中过的所有数据价值的变化将价值较低的数据加入到降级迁移的迁移队列；当升级迁移时近线设备中过的所有数据价值的变化随着的进行当数据价值高于设备中价值排在第60%的数，文将基于容量的高低水位阀值法和前文中设计的素材价值模型有机的结合4.3水阀值（剩余空间迁入控迁出控降级迁有了空间水位阀值控制表以后，下面，开始分析完整的数据迁移流程。区迁移到近线区的迁移称为降级迁移，方向为自上而下，结合电台业务排序，由价值靠后（20%）4.7为降级流程图间水间水位阀区计开是否小于是量获取素材素材插入降级队结4.7结结束Step2：MDS，提取素材数据的元数据信息，并记录下来Step3：结合公式（4-2）计算时间TStep4：结合公式（4-3）计算数据的读写频率FStep5：结合公式（4-4）计算用户的量CStep8：计算素材的数据价值DValueStep9DValue进行价值排序Step11：数据迁移控制，并通过价值模块通知元数据管理模块更新元据升级迁第一种，基于用户请求，例如当使用制作系统的用户进行请求服务开开 素材素材文件存在于升迁移队列素材文件存在于近区命设迁移过程制结移出迁移队素材文件处 储4.8{else}{if（文件正在迁移命中于区域else{迁移过程控制，并通过价值模块通知元数据管}}case(素材文件处于近线区域中{}价值排在第60%的数据为X，那么将近线区中的价值高于X的素材文件数4.9所示。开开MDS时率是否结储量价4.9Step1：价值模块判定是否需要启动升级迁移线结束Step2：MDS，提取素材数据的元数据信息，并记录下来Step3：结合公式（4-2）计算时间TStep4：结合公式（4-3）计算数据的读写频率FStep5：结合公式（4-4）计算用户的量CStep8DValueStep9DValueX的DValue{}Step11：数据迁移控制，并通过价值模块通知元数据管理模块更新元数本章首先分析了基于周期管理的概念，基于此思想设计了素材价值评估第5本章对基于素材价值评估模型的电台分级系统中的关键迁移技术进行用模拟仿真用户行为测试的方式来进行创建两个逻辑卷作为分级系统架构模型，分别对应区和近线区。价系统性能的关键就在于用户的素材文件数据位于区的概率因此本文将基于素材价值评估模型的迁移算法和LRU（LeastRecentlyUsed）、改进算法）等算法进行了区的对比测试，验证其高效性。定义5.1=命中次数/IO总请求越高代表算法越有效，用户的数据位于设备的可能性越模拟用户IO以不同用户（模拟10个用户）登陆制作管理系统，模仿制作系统用户的操作，生成一定量的素材等文件。生成的文件作为系统的初始文件，并记录下用户的顺序和操作。进一步模拟制作系统用户的行为包括参照某些电台的实际单进行制作模拟。接着模拟部分随机的读写操作。记录下用户的将模拟的用户行为作为IO负载，分别在不同容量的区下计算素在LRU、LFU、LRU-2、LFU-Aging等算法模型下对数据进试，计算，并和本文所涉及的迁移算法进行的比较。执行上述步骤，创建两组不同容量级别的测试数据。结果如下图5.1各迁移算法在第一组IO负载下磁盘5.2各迁移算法在第二组IO负载下磁盘根据以上两张图的可知在两组模拟的制作系统用户行为的IO结构中将大多数的命中于