GPFS在中央电视台制作系统中的应用与实现

1、GPFS 技术在央视制作系统中的应用与实现作者:中央电视台 刘玓从 2002年至今,中央电视台先后完成了面向新闻制作的业务系统、面向节目存储的音像资 料馆系统以及面向体育节目制作和播出的业务系统等。 2003年底中央电视台联合松下公司、 大洋公司开始共同建设基于 P2半导体存储技术的经济频道节目制作业务系统一期。本系统首次采用了 GPFS+千兆以太的网络存储架构来实现各种业务数据的存储及传输,这 在中央电视台以至国内广播电视行业内均属先例。 该网络存储架构的传输链路完全基于千兆 以太技术, 并通过以太捆绑技术充分保证传输带宽和传输安全。 经实际运营阶段的观察, 其 性能满足系统原设计预定指标并

2、存在相当的扩展裕度。一、 GPFS 定义及框架GPFSGeneralParalletFileSystem ,即通用并行文件系统。基于 AIX 或 linux 操作系统的并行文件系统(GPFS 允许使用者共享分布在多个节点和多 个磁盘上的文件。 它允许并行的应用程序同时从 GPFS 节点组 (nodeset 中的任何节点访问 相同或不同的文件(节点组 nodeset 被定义为一组运行相同版本 GPFS 的节点 。 图 1为其基本框架。二、优点及特性1. 高性能的并行文件系统GPFS 文件系统的设计目标就是使数据分布在一个集群中的所有节点上,允许应用程序通过 标准的 UNIX 文件系统接口来访问数

3、据。 大多数的 UNIX 文件系统被设计在单一服务器环境下使用,在这一环境下,增加文件服务器也不会提高特定的文件存取的性能。 GPFS 被设计 成通过将 I/O分布在多个硬盘提高性能, 通过日志和复制的方式提高可靠性, 和通过增加节 点的方式提高系统的可扩展性。 基于其特性, 可以将其应用到中央集中存储架构当中, 这就 使得我们的系统能够承担成千上万的高码率并发冲突。 将服务器以及存储本身的节点连接起 来的技术,使得广播电视行业用户在视音频制作的时候可以应用本身的高吞吐量和高数据。2. 虚拟化的分区经济频道节目制作业务系统在设计中要求采用开放标准的存储架构, 使得系统可以支持层级 存储。 本系

4、统中设计了节目在线制作存储区、 媒体资产在线缓冲区和基于数据流磁带库的近 线存储区。而 GPFS 分区化管理在存储本身是逻辑化的, 而非物理化。 数据文件的存储位置和数据文件 本身位置指针关联, 这就使得数据文件根据工作流模式在分区间进行迁移的时候, 并不是真 正数据拷贝迁移,而是数据文件本身位置指针内容的改变。虚拟化分区的特性使我们能够将数据文件本身和工作流程的关系分离, 意味着不需要在存储 管理流程设计的时候把工作流程和数据文件紧紧的捆绑起来, 不需要因为迁移管理服务器的 服务器主机性能、网络带宽限制或者安全等因素制约,而增加成本。并且在 GPFS 存储的两 级数据迁移效率得到大幅提升。通

5、过图 2可以简单的表达刚才提到的含义。 图 23. 冗余性GPFS 在文件结构表上对于存储数据本身和文件系统本身是共存的结构,这一特点使得访问 和锁定对于节点永远是可用的, 所以基本不存在单点故障的可能性, 其安全性和可靠性在文 件系统级别上已经能够得到保证。4. 同质性客户端无论是 NIFS 系统或者是苹果的 AFP 系统的文件协议,或者是 CIFS 的系统,对于 GPFS 这样的文件系统来讲都是等同性的, 所以它们可以用同样的结构访问 GPFS 文件系统。5. 缓存管理每一个 GPFS 的节点都有独立的缓存管理空间, 使得不同客户端通过不同的节点访问时, 都 有自己的缓存空间,令访问速度大

6、大提高。6. 支持 SANergy 客户端同时支持 SANergy 和非 SANergy 客户端。三系统实际运行状态如图 3所示。 图 3此次经济频道节目制作业务系统一期使用两个 IBMP630服务器作为 GPFS 节点, AIX 操作 系统。每个 GPFS 节点配备 8个以太网网卡,作为一组捆绑,通过以太网络和前端工作站连 接。 GPFS 节点后端通过 FCChannel (每个节点 6个 FCHBA 连接后台存储。另外,为了部 署便捷以及传输性能需求, CCTV 首次使用了 10G 以太网技术, 作为传输主链路, 用于 GPFS 核心、各类服务器和工作站的通信和数据传输。GPFS 服务器本

7、身的高性能、节点捆绑满足高并发量数据读写特点,此系统两个 GPFS 节点 可为工作站提供 3Gbps 的极限并发写带宽和 4Gbps 的极限并发读带宽。很好的满足了这些 工作站实时编辑、实时上下载功能。系统实际运行过程中, GPFS 结合千兆以太网络的存储架构很好地支持 15台精编(每台读 带宽 150Mbps 、 6台上载(每台写带宽 50Mbps 、 4台配音(每台读带宽 150Mbps 、 3套 演播室录制(每台写带宽 50Mbps 、 30套粗编(每台读带宽 2.4Mbps ,两台广告编辑(每台读写带宽 200Mbps 、 8个编目 (每台读带宽 800Kbps 、 1台转码 (每台读

8、带宽 100Mbps 、 1台打包(每台读写带宽 200Mbps 等功能工作站的数据读写。业务系统实际运行过程中, GPFS 结合千兆以太网络的存储架构很好地支持 15台精编(每 台读带宽 150Mbps 、 6台上载(每台写带宽 50Mbps 、 4台配音(每台读带宽 150Mbps 、 3套演播室录制(每台写带宽 50Mbps 、 30套粗编(每台读带宽 2.4Mbps ,两台广告编辑 (每台读写带宽 200Mbps 、 8个编目(每台读带宽 800Kbps 、 1台转码(每台读带宽 100Mbps 、 1台打包(每台读写带宽 200Mbps 等功能工作站的数据读写。该系统在建设完成后很好

9、地满足了节目部门的制作需求,确切提高了节目制作的效率。 四、建设过程中注意事项1. 线缆的选购和铺设若 GPFS 节点使用六类线捆绑(不是光纤连接交换机。需要注意:由于视音频制作业务要 求数据响应的实时性, 因此对于以太网络电气性能指标较高。 在大型存储和服务器集中部署 的情况下,虽然以太链路测试指标符合国际标准, GPFSNODE 到交换机之间的以太链路依 然容易受到电磁干扰, 视音频流数据的传输就存在丢包或者延时。 通过测试和实际使用, 建 议将该段的以太链路采用成品屏蔽六类线直连替代(中间不经过线架 ,并且最好做好线槽 屏蔽工作。客户端利用光纤和六类线连接交换机千兆端口, 作为传输链路同

10、 GPFS 直接实时传输高码率 视频数据。由于以太网并不像 FC 技术是为了大块数据传输而设计,些许的外界因素影响都 可能导致数据传输的不稳定。 因此, 在线缆的选择和铺设上一定要严格根据以太网千兆传输 的标准进行质量控制, 以防止由于链路的衰减或电气性能不满足造成数据传输的不稳定。2. 微码的匹配问题GPFS 存储系统的微码包括两个方面:硬盘本身的 firmware 以及 GPFS 本身的 firmware 。如 果硬盘组中的各硬盘 firmware 不一致,或者 GPFS 的 firmware 不适配,都会造成数据读写 的不稳定。 在系统试运行阶段, 曾出现视频数据传输抖动现象, 造成了用

11、户无法进行正常的 编辑和下载工作。在经过一系列的分析处理、 IBM 工程师在对系统作了相应版本升级之后, 系统的传输效率得到明显的改善,数据从核心到客户端的传输正常平均延时小于 70ms 。因此建议在系统调试阶段一定要注意硬盘组 firmware 的一致性, 以及选择成熟稳定的 GPFS 服务器 firmware 版本。3. 网络环境的适配由于前端客户端采用单以太网传输。 并且需要 GPFS 节点作捆绑。 以太网交换机的性能非常 重要。在经济频道节目制作业务系统的建设过程中, 我们曾经发现过 GPFS 读写为 1Gbps 的瓶颈现象,经过测试发现,瓶颈在 CISCO 交换机端口分配上。测试现象

12、为:经过 IBM 工程师的调 试, GPFSNODE 端的本地 IO 已经达到 380MBps , 但是在网络上进行写测试, 只能达到 1Gbps 的带宽。经过咨询 CISCO 工程师以及查阅大量资料得知, CISCO4506的 24口千兆铜缆模板每 4个 相邻端口共享 1G 带宽,共 6G 带宽,双工模式理论值达 12G ,如图 4所示。 图 4同理, CISCO4506的 48口千兆铜缆模块每 8个端口共享 1G 带宽,共 6G 带宽,双工模式 理论值达 12G 。为了确认该现象,我们项目组共同做了以下测试:测试之前GPFS 两个 NODE 与 CISCO4506的 48口千兆铜缆模块连接

13、方式如图 5。 图 5测试结果:访问每个 NODE 的读、写最大带宽分别为 1Gbps ,符合 CICSO 工程师的解释。 测试一将 GPFS 的两个 NODE 移至 CISCO4506的 24口千兆铜缆模块上,连接方式如图 6。 图6 测试结果：访问每个 NODE 的写入最大带宽为 2Gbps，同样符合 CISCO 工程师的解释。 测试二 将 GPFS 的两个 NODE 如图 7 所示连接，即每个 NODE 享用 4G 带宽。 图7 测试结果：GPFSNODE1 的写入带宽可以压到 290MBps，即 2.3Gbps。 以上两个测试结果表明，之前的带宽瓶颈确实发生在交换机的端口分配方式上。因

14、此， 在其他项目中如果采用 GPFS，最好选择背板性能较高（满足传输带宽） ，端口都是线速的 交换机。如果交换机端口共享，需要特别注意端口的分配，不要分配到捆绑到一组的端口， 以防止由于端口带宽共享引起捆绑带宽达不到性能要求或者影响并发工作站读写 GPFS 的 性能。交换机要支持使用 802.3ad 或思科私有捆绑协议对端口绑定。 在调试阶段和试运行阶段要不断查看交换机连接端口参数状态， 以避免可能由于交换机工作 状态不正常而引起数据传输的不稳定。 总的来说，GPFS 结合千兆以太网络的存储架构，对实际项目建设有着非常实在的意义： 首先，系统建设和网络管理的成本大大降低。由于中央电视台的办公平台的地域性的分散， 铺设光纤网络 （包括光纤介质和楼层光纤交换机） 再加以客户端光纤网卡和文件共享软件的 成本，投入成本非常昂贵。而单以太网络结构则不同，网络铺设成本低，客户端无需另外的 投入（如今的主流计算机主板基本已经集成千兆网卡） 。而且使得文件系统和存储系统一体 化，部署简单，不必像之前采用 sanergy 或 storenext 技术需要两套甚至三套网络的支