大禹文件系统介绍(7.16)课件

1、大禹文件系统 The DayuFS每18个月产生的数据 = 以往数据总和数据“摩尔定律”存储又不够了！存储领域的现状与问题数据总量巨大数据增长迅速数据的管理和访问难度增大数据可用性和可靠性要求普遍提高现有存储系统的问题拥有成本高高昂的构建成本高昂的管理维护成本系统扩展困难技术存在瓶颈（垂直扩展模式的问题）成本难以控制可用性问题突出易于出现单点故障功能/接口单一需要整合各种第三方软件实现高级功能存储系统的发展趋势高可扩展的海量存储高容错、高可用经济的系统构建成本自动管理，自动修复管理和运行成本低功能/接口丰富复制，快照，备份，检索等市场需要新一代存储系统！解决方案基本思路：使用冗余的低成本硬件和

2、智能软件来构建高可用、高可靠、低成本的海量存储系统。解决方案（要素）低成本组件业界标准的低成本硬件：通用服务器，普通SATA硬盘开源Linux系统和平台支撑软件低成本网络互联（以太网）弹性架构 （Scale out）高可扩展的分布式架构，可适应不同规模的需求容量，性能两个维度上按需扩展。（搭积木式构建和扩展）智能软件软件方式保证系统的高性能、高可用性、高可靠性自动管理、自动修复目标应用（数据密集型应用）多媒体服务（如视频、音频、图片等）数据备份与归档（近线存储）视频监控数据存储医学影像数据企业内部文件系统存储服务提供商科学计算（如核物理、地球物理、石油勘探等） 目标客户中小型Internet服

3、务提供商 (ISP)电信运营商媒体机构（如电视台等）传统企业IT部门政府、医院、学校等云存储服务运营商 (在线备份)系统架构特点分析(续)高可靠、高可用文件级别的多副本复制文件副本自动同步基于策略的副本定制智能的副本存放（基于性能、容错等因素）数据完整性自校验 (checksum)没有单点故障特点分析 (续)易于管理单一命名空间方便的资源添加/删除/更换副本自动修复系统状态监测与事件通知特点分析 (续)丰富的访问接口特点分析 (续)灵活的SQL查询支持SELECT *FROM metadata, usermetadataOn metadata.oid=usermetadata.oidWHERE

4、 name LIKE %.jpgAND ukey LIKE locationAND udata LIKE BJ查询所有位置为北京的JPG文件应用举例(医疗影像数据存储)应用举例(视频监控)同类产品分析（传统存储系统）竞争对手产品方案不足之处EMCIBMHPNetApp等DASNASSAN传统的块级存储系统构建成本高昂（采用专用的硬件设备）可扩展性差（采用垂直扩展模式）系统维护和运行成本可观内置功能有限CFSPanasasLustreObjectStore分布式文件系统可扩展性和可用性有限内嵌的高级功能有限性能、可靠性以及资源利用率有待进一步验证同类产品分析（新型存储系统）竞争对手产品方案不足之

5、处GoogleYahooMSN GFSBigTable等分布式文件系统目标应用和目标客户不同（侧重于Web应用和开发平台，直接面向用户） 不对外销售（利用其存储平台来构建技术壁垒，减少在Web应用领域的竞争者）目标应用单一（针对其特定业务，不通用）开源社区HadoopMogileFS分布式文件系统 性能差（尤其是元数据性能）可靠性和稳定不足。（开源软件）仅针对定业务，不通用。 如， 不支持文件重写，无通用的文件接口（NFS/CIFS）等。AmazonNirvanixBAmazon S3CloudNAs云存储服务商业模式不同（只提供云存储服务，不销售存储产 品，利用其内部存储平台来构建技术壁垒）

6、数据安全和保密问题EMCParaScaleAtomsParaScaleFS分布式存储系统性能、可用性、广域支持等关键指标还有待考证产品刚刚发布，不成熟，只有少量客户性能对比 (DayuFS vs Hadoop DFS )性能对比 (DayuFS vs Hadoop DFS )性能对比 DayuFS vs Hadoop DFS 部署模式软件 + 硬件 模式统一提供经过认证的硬件DAYU预先安装，无需配置调优纯软件模式客户自行提供硬件设备需要安装DAYU，并进行配置和调优配置举例设备名称配置参数数量IO服务器DELL PowerEdge R210 (1U规格)Xeon X3430 2.4GHz4G

7、B ECC内存250G SATA II 磁盘 x 1, SAS双口HBA卡8x SATA DVD-ROM,千兆网卡8JBOD盘阵DELL PowerVault MD 1000 (15盘位, 3U规格)151TB SATA II 7200转可热插拔磁盘 8元数据服务器DELL PowerEdge R610 （2U规格）四核 Xeon E5506 2.13GHz32GB ECC内存146G SAS 磁盘 x 2,8x SATA DVD-ROM ，千兆网卡2交换机Cisco SLM 2024 千兆无阻塞24口可网管1机柜1面向大规模应用配置（120TB、高性能）配置举例 (续)设备名称配置参数数量服务器(IO服务器和元数据服务器)DELL PowerEdge R210 (1U规格)Xeon X3430 2.4GHz4GB ECC内存250G SATA II 磁盘 x 1, SAS双口HBA卡8x SATA DVD-ROM,千兆网卡4JBOD盘阵DELL