电视台媒资存储系统研究

1、哈尔滨工业大学工程硕士学位论文开题报告研究生李文哲入学时间2014年3月导师温东新论文题目电视台媒体资产存储系统设计院(系)计算机工程领域媒体、IT开题报告日期2015 年10月31日研究生院培养处制目录1. 课题来源及研究的目的和意义 1.1课题来源1.2国内外研究状况 11.3研究的目的和意义2. 主要研究内容 2.1媒资存储网络架构 2.1.1媒资系统拓扑结构2.1.2 DAS、NAS SAN存储网络对比分析 2.2核心在线存储的技术要求与功能分析 2.2.1 硬件要求2.2.2 不同RAID级别的可靠性、可用性 2.2.3 Store next File System (SNFS)2.

2、3媒资及电视台其他系统发展趋势 3. 研究方案3.1技术路线3.2关键技术3.3技术措施3.4技术条件4. 进度安排及预期达到的目标 4.1进度安排4.2预期达到目标5. 研究过程中可能遇到的困难和问题及解决措施. 错误！未定义书签。6 .主要参考文献 1.课题来源及研究的目的和意义1.1课题来源本课题来自黑龙江电视台媒体资产管理系统升级改造项目，对其中存储网络 部分进行研究、设计。1.2国内外研究状况国内大多电视台的媒资系统仍在建设当中，对其中存储设备的应用基本 相同，基于各电视台特点有所不同。黑龙江电视台媒资系统起步较早，目前 已经正式工作数年，对不同存储设备在其中的意义有深刻了解。离线存

3、储方面国内同行业主流采用LTO数据流磁带库(LTO5,LTO6),随着蓝光盘技术的发展，蓝光磁带库等一些其他离线存储产品也加入竞争。在 线存储方面非常成熟基本都是用磁盘阵列，但随着闪存盘的价格降低，将来 一定会有闪存阵列出现在媒资系统中。数据库存储介质方面，目前磁盘阵列 仍是主流，但由于媒资系统是一个不断积累，用户查询量大，信息量大的系 统，闪存数据库是将来的发展方向。1.3研究的目的和意义媒体资产管理(媒资，Media Asset Management,简称 MAM系统是是对各种类型媒体资料数据，如视音频资料、文本文件、图表等进行全面管理的 完整解决方案。电视台对素材处理一般分为采、编、播、

4、存。采即用录像机、 照相机、录音笔、互联网采集等方式收集素材；编即使用非线性编辑软件对 采的素材进行二次加工，使其方便观众理解，取其精华、去其糟粕；播就是将编辑好的素材通过播出系统传入千家万户的电视机前。存作为媒体资产管 理系统的主要功能，其目的是将现有的影视节目进行数字化或数据化，并采 用适当的方式编码，再记录到成熟稳定的媒体上，达到影视节目长期保存和 重复利用的目的，以满足影视节目的制作、播出和交换的需要。各种存储设 备可以说是媒资系统的核心所在。媒资系统中存在着多种类型的存储设备， 如离线存储设备，在线存储设备，数据库存储等，以其不同的特点在媒资系 统中起着重要的作用。结合黑龙江省电视台

5、的媒资升级改造项目，对媒资系统存储设备的可用 性、可靠性、可维护性、可服务性进行研究与讨论。2. 主要研究内容2.1 媒资存储网络架构2.1.1 媒资系统拓扑结构媒资系统拓扑结构图，图 1所示。采用SAN+NAS勺存储网络方案。图 1 媒资系统拓扑结构图光纤链路部分：光纤交换机博科 5100 (1) 与 5100(2) 在中心机房，博科 300 在上载机房。 博科 300通过两根 300 米长勺单模光纤链路，分别接入 5100 (1) 与 5100(2) 。 离线存储 STK 磁带库有 8 个驱动器，分别接入两台 5100。在线存储 EMC NVX 5500 勺 A 控与 B 控各通过 4 根

6、光纤接入两台 5100。其中 A1,A2,B1,B2 接 5100(1) ， A3,A4,B3,B4 接 5100(2) 。NAS服务器、流媒体服务器、下载归档服务器、转码服务器等对带宽要求 高勺中心机房服务器通过光纤接入两台5100，以直接访问在线存储。 形成 SAN存储网络。上载机房中， 14 台上载站点通过光纤连接到博科300，通过虹桥卡将采集到勺信号直接上传到在线存储 NVX5500。以太链路部分：有中心机房勺核心交换机Cisco 7609 和上载编目机房勺接入交换机。所 有的中心机房服务器，都接在媒资核心交换机上，编目站点、上载站点、审核站点接在上载机房的接入交换机上。非光纤站点及非

7、光纤接入服务器需要访问存储中内容时，通过挂在NAS访问。外系统，如播出系统、全台网、制作网需要从媒资中上下载高清素材时，通过对应的NAS服务器获得。2.1.2 DAS、NAS SAN存储网络对比分析作为目前三种常见的存储方式，被广泛应用于企业存储设备中，他们有着各自的特点。一、DAS存储特点（直连存储）DAS这种存储方式与我们普通的PC存储架构一样，外部存储设备都是直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部份，DAS存储方式主要适用于小型网络、地理位置分散的网络和特殊服务器上。DAS已经存在了很长时间，并且在很多情况下仍然是一种不错的存储选择。由于这种存储方式在磁盘系统和服

8、务器之间具有很快的传输速率，因此，虽然在一些公司中一些新的SAN设备已经开始取代 DAS,但是在要求快速磁盘访问的情况下，DAS仍然是一种理想的选择。更进一步地，在DAS环境中，运转大多数的应用程序都不会存在问题，所以你没有必要担心应用程序问题， 从而可以将注意力集中于其他可能会导致问题的领域。二、NAS存储特点（网络直连存储 ）NAS（网络附加存储）方式则全面改进了以前低效的DAS存储方式。它采用独立于服务器，单独为网络数据存储而开发的一种文件服务器来连接所存储 设备，自形成一个网络。这样数据存储就不再是服务器的附属，而是作为独 立网络节点而存在于网络之中，可由所有的网络用户共享。同时NAS

9、存储真正做到了即插即用，并且部署起来也相对灵活，再加上管 理成本低，是目前企业选择较多的，但它同时也有存储性能低和可靠度不高 等缺点。三、SAN存储(光纤存储)SAN存储是基于光纤介质，最大传输速率达17MB/S的服务器访问存储器的一种连接方式，同时 SAN也是最昂贵和最复杂的存储选项，SAN存储方式创造了存储的网络化，存储网络化顺应了计算机服务器体系结构网络化的趋势，SAN的支撑技术是光纤通道 (FC Fiber Channel)技术，它是 ANSI为网络和通道I/O 接口建立的一个标准集成，FC技术支持 HIPPI、IPI、SCSI、IP、ATM等多种高级协议，其最大特性是将网络和设备的通

10、信协议与传输物理介质隔 离开，这样多种协议可在同一个物理连接上同时传送。IP SAN 与 FC SAN 对比如今的SAN解决方案通常会采取以下两种形式：光纤信道以及iSCSI或者基于IP的SAN光纤信道是SAN解决方案中大家最熟悉的类型，但是，最近 一段时间以来，基于iSCSI的SAN解决方案开始大量出现在市场上，与光纤 通道技术相比较而言，这种技术具有良好的性能，而且价格低廉。相对于IPSAN,FCSAN勺弱点是明显的。它无法使存储设备随它在 In ternet 上运行，从而无法满足应用前端对存储数据“随时随地”的要求。FCSAN的物理覆盖也有限。同时，受限于国内昂贵的租用价格，也许只有中国

11、的电信运 营商可以用得起远距离的 FCSAN而IPSAN最显着的特点就是具有价格低廉以 及无限长度扩展的优势。它的价格是FC无法比拟的，尤其是当用户需要较长的传输距离时，IPSAN的优势就不言而喻了。这些使iSCSI的发展成了必然，其市场价值是很多服务器和存储厂商看中的，也是无法承担FCSAN高成本光纤基础结构的市场客户所看中的。通过集SCSI、以太网和TCP/IP等技术于一身，IPSAN的优点可以概述为：建立在常见和稳定的工业标准上，IT工作人员对IP技术熟悉，容易接受和实施；由于 TCP/IP协议附件减少了聘请专业人员的需要，所以安装和 维护成本较低，使用iSCSI创建SAN架构，企业总体

12、拥有成本更低；由于减 少了不同的网络和布线，使用常规以太网交换机而不必专用光纤通道交换机， 很大程度提高了互操作性和成本；传播更为便捷。可以在全球IP网络上进行以太网传输，实际传播距离没有限制；速度已经提高到10Gbit，将可以和FC网络速率相媲美，甚至更快。SAN真正的综合了 DAS和 NAS两种存储解决方案的优势。例如，在一个很 好的SAN解决方案实现中，你可以得到一个完全冗余的存储网络，这个存储 网络具有不同寻常的扩展性，确切地说，你可以得到只有NAS存储解决方案才能得到的几百T字节的存储空间，但是你还可以得到块级数据访问功能， 而这些功能只能在 DAS解决方案中才能得到。对于数据访问来

13、说，你还可以 得到一个合理的速度，对于那些要求大量磁盘访问的操作来说，SAN显得具有更好的性能。利用 SAN解决方案，你还可以实现存储的集中管理，从而能够 充分利用那些处于空闲状态的空间。更有优势的一点是，在某些实现中，你 甚至可以将服务器配置为没有内部存储空间的服务器，要求所有的系统都直 接从SAN(只能在光纤通道模式下实现)引导。这也是一种即插即用技术。SAN确实具有这些伟大的优点，那么，SAN的缺陷在哪里？ SAN有两个较大的缺陷：成本和复杂性，特别是在光纤信道中这些缺陷尤其明显。使用光 纤信道的情况下，合理的成本大约是1TB或者2TB大概需要五万到六万美金。从另一个角度来看，虽然新推出

14、的基于iSCSI的SAN解决方案大约只需要两万到三万美金，但是其性能却无法和光纤信道相比较。在价格上的差别主要 是由于iSCSI技术使用的是现在已经大量生产的吉比特以太网硬件，而光纤 通道技术要求特定的价格昂贵的设备。DAS NAS和SAN存储的主要区别从连接方式上对比，DAS采用了存储设备直接连接应用服务器，具有一定 的灵活性和限制性；NAS通过网络(TCP/IP,ATM,FDDI )技术连接存储设备和应用服务器，存储设备位置灵活，随着万兆网的出现，传输速率有了很大的提高；SAN则是通过光纤通道（Fibre Cha nnel ）技术连接存储设备和应用服 务器，具有很好的传输速率和扩展性能。三

15、种存储方式各有优势，相互共存， 占到了现在磁盘存储市场的70%以上。2.2核心在线存储的技术要求与功能分析根据电视台媒资系统的特殊性，对在线存储设备的可靠性、可用性有以下需求：1）具备8个以上主机连接通道，通道接口标准8Gb/s光纤通道，所有主机连接通道采用模块化端口设计2）双活动RAID控制器，每控制器内存不低于8GB3）硬盘：支持 600GB 10k rpm FC 磁盘、600GB 10k rpm SAS 磁盘、600GB15k rpmSAS 磁盘和 3TB 7200 rpmSATA 磁盘4）系统容量要求：SATA磁盘容量270TB5）要求说明RAID级别，支持 RAID0、1、3、5、1

16、0、6,硬盘冗余备份方式，并提供5%的冷备盘，每年磁盘故障率低于5%6）磁盘阵列前端带宽 2GB/S7）磁盘阵列在内部物理硬盘重建状态下能够保持正常的IO速度无明显下8）风扇和电源采用多冗余，热更换9) 采用行业标准 19英寸机架10) 磁盘阵列支持配套的图形化管理与配置工具软件11) 管理软件：随机配置存储管理软件；配置 LUN屏蔽软件，提供在线性能监控12) 磁盘阵列本身具有容错特性、支持在线动态磁盘扩充，动态卷扩充13) SAN 支持：支持 通用 FC 交换机14) 支持以下 OS ： IBM AIX， HP Unix ， Windows， linux ， Solaris ，可与 sto

17、rnext 等文件系统良好兼容15) 95 块 3TB SATA 盘 90 块上线，包含配套盘箱、电源和连接线等相关配件2.2.2 不同 RAID 级别的可靠性、可用性RAID是“ Redundant Array of Independent Disk” 的缩写即磁盘阵列的意思。 RAID 就是把硬盘做成一个阵列，而阵列也就是把硬盘进行组合配置起 来，做为一个整体进行管理，最关键的是这个阵列的磁盘之间具有冗余容错 处理，这样可提高磁盘之间相互的安全性和稳定性，不存在“单点”硬盘现 象，也就说不会让某些硬盘读写频繁，其他的硬盘可能数据交换较少的现象， 从而提高硬盘的安全性，同时磁盘的整体管理会提

18、高读写速度，使硬盘的利 用发挥到最大。针对可靠性、可用性对不同的RAID级别进行研究。常用的RAID级别有：RAIDO即无差错控制的带区组，就是将N块硬盘，当一块硬盘来用，比如是两块硬盘，使用RAIDO阵列配置，则是将数据平均的分成两部分，分别写在两块硬盘上，很明显，这样做的效果，就是极大的提高了读写速度，但 其致命的弱点是，各硬盘之间数据没有校验功能，一旦其中任何一块硬盘出 现问题，则整个数据不能被恢复。所以RAIDO能有效提高读写速度但是不能保证数据安全。RAID1即镜象结构，也就是一半空间用来存储，一半空间是用来备份的。但实际数据并不是单独存储在某一半硬盘。RAID1的读写数据并没有提高

19、，属于正常的读写速度。 RAID1的磁盘空间使用率只有 50%是一种不计成本，不 能提高读写性能，只为数据安全。RAID3即带奇偶校验码的并行传送，RAID3是在RAID2的基础上做了一个升级，只能查错不能纠错，其读写方式同RAIDO,并行处理，速度很高，不同于RAID 2，RAID 3使用单块磁盘存放奇偶校验信息，如果一块磁盘失效，奇 偶盘及其他数据盘可以重新产生数据。如果奇偶盘失效，则不影响数据使用。RAID 3对于大量的连续数据可提供很好的传输率，但对于随机数据，奇偶盘 会成为写操作的瓶颈。利用单独的校验盘来保护数据虽然没有镜像的安全性高，但是硬盘利用率得到了很大的提高，为n-1。实际应

20、用中也非常之少，一般而言属于研究类或试验室的理论上的的RAID level ，在我们实际商业应用中非常少。RAID5可以理解为是 RAID 0和RAID 1的折中方案。RAID 5可以为系统 提供数据安全保障，但保障程度要比RAID 1低而磁盘空间利用率要比RAID 1高。RAID 5具有和RAID 0相近似的数据读取速度，只是多了一个奇偶校验信 息，写入数据的速度比对单个磁盘进行写入操作稍慢。同时由于多个数据对应一个奇偶校验信息，RAID 5的磁盘空间利用率要比RAID 1高，存储成本相对较低，是目前运用较多的一种解决方案。RAID6可以理解为 RAID5的升级方案。与 RAID 5的不同之

21、处于除了每个 硬盘上都有同级数据 XOR校验区外，还有一个针对每个数据块的XOR校验区。当然，当前盘数据块的校验数据不可能存在当前盘而是交错存储的，具体形 式见图。这样一来，等于每个数据块有了两个校验保护屏障（一个分层校验， 一个是总体校验），因此RAID 6的数据冗余性能相当好。但是，由于增加了一个校验，所以写入的效率较RAID 5还差，而且控制系统的设计也更为复杂，第二块的校验区也减少了有效存储空间。基于电视台媒资系统对数据安全以及性能的要求以及对成本的考虑，最终数据存储划分为 Raid6，源数据存储划分为 Raidl。2.2.3 Store next File System （SNFS）

22、SN文件系统，是由多个某操作系统能识别的最大卷（对于32位的windows就是2TB,或者比较大的卷），组合成Stripe Group，再由实现不同功能的 Stripe Group组合在一起的文件系统。一个SN文件系统，对于 SN的客户端来说，就是一块可以本地连接的本地硬盘。一个SN文件系统，需要由3种StripeGroup 构成，分别是 META JOURNAL DATA META Stripe Group 最小应具备 一个不小于100GB的LUN； JOURNALStripe Group最小应具备一个不小于 50GB 的LUN DATA Stripe Group所包含的LUN最好一样大，且

23、数目最好是 2或4的倍数。（经验上一个Stripe Group 包含4个LUN时的性能最好，所以建议一个Stripe Group 最多包含4条LUN也可以为2条LUN）一般，一个SN文件系统将由 1 个 META Stripe Group , 1 个 JOURNAL Stripe Group 和多 个 DATA Stripe Group 构成。 可根据具体项目所需访问带宽，安全系数， 维护难度等纬度来设计。双活 RAID 控制器等其他技术的优势研究。2.3 媒资及电视台其他系统发展趋势随着时间的推移，媒资系统中资料越来越多以后，对各种存储设备的维 护，保养费用，资料管理难度，需要的人力成本进行

24、分析。展望媒资系统中 存储设备的发展方向。媒资、制作网、播出等现有网络的资源如何进行虚拟 化，数据中心设立（私有云）的设想。分析数据中心、虚拟化的优点与劣势。3.1技术路线3.研究方案电视台媒资系统存存储设备的研究RAID LUN 块3.2关键技术私有云、虚拟化等容量发展趋势风扇、热搭建电视台媒体资产的存储系统需要的关键技术有:FC SAN存储网络，用以保证资料在离线存储中快速、稳定地传送到在线 存储中；带宽要求高的服务器与站点能高效访问在线存储。NAS存储网络，为编目站点和其他系统提供稳定带宽，后期扩容简洁方便，建设成本低。双活RAID控制器、RAID6、RAID1，保证在线存储磁盘阵列高效

25、、稳定。虚拟化，分布式存储技术等。3.3技术措施采用SAN+NAS存储网络方案，保证系统稳定的前提下节约成本，降低实施的复杂度。采用磁盘阵列技术使得前端带宽输出不小于2GB/S，保证磁盘阵列在内部物理硬盘重建状态下能够保持正常的IO速度无明显下降。3.4 技术条件硬件设备有万兆以太交换机、光纤交换机、200T存储设备、50台服务器、100 台工作站点。经验丰富的现场人员和远程技术支持人员共同完成系统搭建。4. 进度安排及预期达到的目标4.1 进度安排2015 年 9 月2015 年 11 月查阅资料，整理参考文献。2015 年 11 月2016 年 2 月 完成电视台媒资系统存储网络部分。2016 年 2 月2016 年 5 月 完成磁盘阵列关键技术研究。2016 年 6 月2016 年 9 月 完成对未来电视台数据中心、虚拟化的设计及 关键技术研究。2016 年 9 月 2016 年 10 月 撰写毕业论文