CML流动数据结构

1、DELL Compellent流动数据结构介绍李 辉 存储技术顾问Hui_L主要内容 CML历史 今天用户需求变化 流动数据结构 CML功能介绍Compellent历史背景CompellentCompellent的背景的背景 2011年加入DELL “第三代存储”的领导者 美国IDG和信息世界2010年度最佳企业级存储 Forbes 2010年度全美25家高科技企业 遍布35个国家的数千家企业用户FBIFBI加入加入DELLDELL之前之前 康贝公司成立于2002 年，总部位于美国的明尼苏达州，是纽约交易所上市公司（代码：CML） 2010 年度Forbes 全美25 家高科技公司排名中Com

2、pellent 居第三位。同时入选的公司还有Google 和Apple 等。 Compellent 获2010 年度 VMWorld最佳奖项用户今天的需求用户需求的变化用户需求的变化 非结构化数据的管理 快照克隆只是少数高端产品才有的功能 911之后人人都在谈论容灾 十年前没有分层的需求 等等用用户的需求户的需求“动态”分层自动化管理智能化后台基础架构存储规划和设计性能和容量一个客户的存储规划一个客户的存储规划需要前期细致的调查和详细的规划需要前期细致的调查和详细的规划应用名称应用名称重要性重要性数据量数据量RAID类型类型硬盘数硬盘数分区分区A类应用类应用1一线应用一线应用5.5TB1+03

3、6300GB 15K FC虚拟分区虚拟分区1A类应用类应用2一线应用一线应用6.2GB1+0虚拟分区虚拟分区1A类应用类应用3一线应用一线应用1.9TB1+012300GB 15K FC虚拟分区虚拟分区1共共48块块300GB 15K FC硬盘，另外配置硬盘，另外配置2块块spare硬盘，共硬盘，共50块块B类应用类应用1二线应用二线应用2.1TB58400GB 10K FC虚拟分区虚拟分区2B类应用类应用1二线应用二线应用354GB5虚拟分区虚拟分区2B类应用类应用2二线应用二线应用12GB52400GB 10K FC虚拟分区虚拟分区2B类应用类应用3二线应用二线应用3.8GB5虚拟分区虚拟

4、分区2B类应用类应用4二线应用二线应用50GB5虚拟分区虚拟分区2C类应用类应用1三线应用三线应用48.5GB525400GB 10K FC虚拟分区虚拟分区3C类应用类应用2三线应用三线应用6TB5虚拟分区虚拟分区3临时应用临时应用三线应用三线应用82GB537400GB 10K FC虚拟分区虚拟分区3克隆空间克隆空间一线应用克隆一线应用克隆15TB5虚拟分区虚拟分区3共共72块块400GB 10K FC硬盘，另外配置硬盘，另外配置2块块spare硬盘，共硬盘，共74块块Compellent流动数据结构弹性弹性高效高效灵活灵活文件，块，文件，块，对象数据对象数据存储，分层，存储，分层，均衡负载

5、均衡负载本地恢复本地恢复复复制制/ /容灾容灾/ /恢复恢复备份备份归档归档云云数据：智能，优化，从客户端到云数据：智能，优化，从客户端到云。适合的数适合的数据据、适合的地、适合的地点点、适合的时、适合的时间间、适合的成、适合的成本本戴尔的流动数据架构推动创新，创造价值推动创新，创造价值11EqualLogicEqualLogic20072007虚拟虚拟iSCSI SANSiSCSI SANSExanetExanet20102010可扩展文件系统可扩展文件系统OcarinaOcarinaNetworksNetworks20102010重复数据删除和重复数据删除和数据压缩数据压缩Compelle

6、ntCompellent20112011多协议、自动分多协议、自动分层的企业级存储层的企业级存储RNA NetworksRNA Networks20112011内存虚拟化内存虚拟化AppAssureAppAssure20122012新一代数据防护新一代数据防护软件软件1. 1. 并购并购: : 选择正确的技术12QuestQuest2. 集成集成: 将新的技术能力集成到整个产品线中Fluid File Fluid File SystemSystem（流流动文件系统动文件系统）NX3600NX3600PowerVaultPowerVaultEqualLogicEqualLogic数据压缩数据压缩

7、DX ObjectDX ObjectCompellentCompellent重复数据删除重复数据删除和数据压缩和数据压缩DR4000DR4000Fluid File Fluid File SystemSystem（流流动文件系统动文件系统）FS7600FS7600Fluid File Fluid File SystemSystem（流流动文件系统动文件系统）FS8600FS860013客户价值客户价值 理念理念横向扩展设计横向扩展设计更高的更高的ITIT灵活性灵活性原生云集成原生云集成确保业务弹性确保业务弹性创新许可证创新许可证高度一致的数高度一致的数据拥有者体验据拥有者体验数据效率最大化数据

8、效率最大化动态数据分层动态数据分层协同增效协同增效效率最大化效率最大化自我防护自我防护143. 3. 创新创新: : 打造全新的用户体验Compellent流动数据结构的关键技术Compellent虚拟架构Compellent基于“块”管理磁盘空间突破了传统存储在磁盘RAID组内划分逻辑卷的限制Compellent 的逻辑卷可横跨系统中每个磁盘，从而优化性能。优势：并发架构提供更高优势：并发架构提供更高IOPS和带宽。和带宽。传统SAN存储结构示意图第三代SAN存储 Compellent 结构示意图控制器控制器1控制器控制器2高速区高速区RAID1015K FC磁盘磁盘半活动区半活动区RAID

9、510K FC磁盘磁盘低速区低速区RAID57.2K SATA数据抽取平台非结构化数据办公自动化系统数据卷1数据卷2数据卷317自动数据分层自动数据分层(Data Progression) 要点把活动数据直接存入高速盘 （比如SSD或FC盘）非活动数据块将被逐步自动挪入低成本磁盘（比如SATA盘）而且各个分级存储区融为一体，透明地共存于同一逻辑卷中支持数据库、邮件数据库、文件系统 对客户的价值保证系统高性能保证大量数据低成本在线急剧降低存储成本一个客户的存储规划一个客户的存储规划需要前期细致的调查和详细的规划需要前期细致的调查和详细的规划应用名称应用名称重要性重要性数据量数据量RAID类型类型

10、硬盘数硬盘数分区分区A类应用类应用1一线应用一线应用5.5TB1+036300GB 15K FC虚拟分区虚拟分区1A类应用类应用2一线应用一线应用6.2GB1+0虚拟分区虚拟分区1A类应用类应用3一线应用一线应用1.9TB1+012300GB 15K FC虚拟分区虚拟分区1共共48块块300GB 15K FC硬盘，另外配置硬盘，另外配置2块块spare硬盘，共硬盘，共50块块B类应用类应用1二线应用二线应用2.1TB58400GB 10K FC虚拟分区虚拟分区2B类应用类应用1二线应用二线应用354GB5虚拟分区虚拟分区2B类应用类应用2二线应用二线应用12GB52400GB 10K FC虚拟

11、分区虚拟分区2B类应用类应用3二线应用二线应用3.8GB5虚拟分区虚拟分区2B类应用类应用4二线应用二线应用50GB5虚拟分区虚拟分区2C类应用类应用1三线应用三线应用48.5GB525400GB 10K FC虚拟分区虚拟分区3C类应用类应用2三线应用三线应用6TB5虚拟分区虚拟分区3临时应用临时应用三线应用三线应用82GB537400GB 10K FC虚拟分区虚拟分区3克隆空间克隆空间一线应用克隆一线应用克隆15TB5虚拟分区虚拟分区3共共72块块400GB 10K FC硬盘，另外配置硬盘，另外配置2块块spare硬盘，共硬盘，共74块块为什为什么可以流动？么可以流动？19元数据Metada

12、ta 创建、存取和更改 存取频度 磁盘类型/RAID层次智能数据移动引擎无性能冲击什么是元数据？描述数据的数据Key attributesKey attributesrecorded at writerecorded at writeData virtualized andData virtualized andmanaged at block levelmanaged at block levelMore efficient management of data at disk levelMore efficient management of data at disk levelMetad

13、ataMetadataFC10KFC10KRAID10RAID1012:05:0912:05:09Data Progression 技术First TIER RAID 10/RAID 5AABCDDPC1C1Data ProgressionSecond TIER RAID 5Inaccessible DataAccessible AgedReplayCBP21Compellent快道技术(FastTrack)普通磁盘技术Compellent快道技术最活活跃的业务数跃的业务数据据被自动、透明自动、透明地分配到性能最好的磁盘外道空间磁盘外道空间活跃数据非活跃数据存储分层技术的演进22B.C.E.

14、- “Before Compellent Era” “Compellent时代之前” BCE10K10K7K7K手动自动分层技术的演进23BCE10K10K7K7KCompellent EraAutoDedupeDedupeFast TrackFast Track7K7K10K10K15K15KMLCMLCSLCSLCHostHostFast TrackFast Track7K7K10K10K15K15KMLCMLCSLCSLCHostHostFast TrackFast Track7K7K10K10K15K15KMLCMLCSLCSLCFast TrackFast Track7K7K10K1

15、0K15K15KSLCSLCFast TrackFast Track7K7K10K10K15K15K7K7K10K10K15K15KDedupeDedupeFast TrackFast Track7K7K10K10K15K15KMLCMLCSLCSLCHostHostManualSLC SLC 还是还是 MLCMLC？ 最理想的固态盘分层最理想的固态盘分层读密集型数据自动移动到MLC固态盘上写密集型数据保留在SLC固态盘上由Compellent 自动管理冷数据移动到7200 RPM 磁盘上最佳数据分层能力$RAID 10$RAID 5RAID 5RAID 5RAID 5$RAID 6RAID

16、6Read IntensiveRead IntensiveEnterprise SAS SSDEnterprise SAS SSD7.2K SAS 7.2K SAS Write Intensive Write Intensive Enterprise SAS SSDEnterprise SAS SSDTier 1Tier 1Tier 2Tier 2Tier 3Tier 325闪存优化解决方案的实现基础：闪存优化解决方案的实现基础：读取优化(RO) MLC固态硬盘的引入闪存优化Storage Center 6.4增强功能 跨多种固态硬盘类型的自动分层 写入密集型(WI) SLC固态硬盘和读取优化

17、(RO) MLC固态硬盘12个可配置插槽，适用于6x 400GB WI固态硬盘、6x 1.6TB RO固态硬盘或1TB 7200 RPM硬盘6件装1.6TB RO固态硬盘6件装400GB WI固态硬盘SC220 2U 24驱动器闪存盘柜驱动器闪存盘柜闪存盘柜优化解决方案全闪存解决方案或混合解决方案全闪存解决方案或混合解决方案 SC8000控制器 光纤通道：16Gbps和8Gbps iSCSI：10Gbps和1Gbps FCoE：10Gbps 使用SC220闪存盘柜构建混合解决方案 目前仅作为新款SC8000系统的一部分进行销售2个6件装1TB 7200 RPM6件装 RI6件装 WI6件装 R

18、I6件装 WI6件装 RI6件装 WI6件装 RI6件装 WI6件装 RI6件装 WI全闪存全闪存全闪存全闪存混合混合闪存配置选项28Compellent磁盘价位的闪存 机架单元减少76% IOPS提高50% 延迟缩短90% 价格降低56% 更少的电源和制冷分层闪存的优势空间节省24个 固态硬盘（6*400G WI+18*1.6T RO）工作负载要求：工作负载要求：40,000 IOPS30TB原始存储容量$XXX26U15K物理硬盘264个15K 146G物理硬盘$X6USSD29 企业存储管理器和回放管理器 数据调度 远程即时回放 精简复制 Live Volume 第三方集成站点站点A站点

19、站点B容量优化容量优化闪存优化闪存优化闪存优化闪存优化远程复制远程复制容量优化容量优化卓越的性能与功能卓越的性能与功能丰富的企业级存储功能30Dell Compellent出色的存储平台Dell Compellent优优化的单位容量成本化的单位容量成本$/GB & $/IO$/GB & $/IO在单一的平台中通过平衡性能和容量获得更低的总体拥有成本统一存储管理统一存储管理一个存储管理平台管理多层存储解决方案复制复制在不同的存储系统间复制关键业务数据企业级支持企业级支持屡获殊荣的企业级支持分层技术分层技术在不同的SSD层和物理磁盘层直接自动移动数据扩展性扩展性使用SSD盘或者物理

20、磁盘扩展以满足存储需求31全新SC280高密度盘柜成本和容量优化层成本和容量优化层每盘柜容量每盘柜容量336TB336TB主流存储解决方主流存储解决方案中最高的机架案中最高的机架密度密度密度比传统2U 3.5英寸盘柜高2.8倍占用更小的空间，降低运营成本占用更小的空间，降低运营成本在采用2个Compellent Storage Center的48RU空间中包含2PB的存储容量*基于2013年2月对SC280与同类2U 3.5英寸硬盘盘柜进行比较的戴尔内部分析。SC280 Specifications2 抽屉设计： 42个驱动器/抽屉 可热插驱动器 可热拔驱动器5U2个SC280每环路盘柜数42

21、x 4TB（168TB原始容量）84x 4TB（336TB原始容量）最少/最大驱动器数3.5英寸4TB 7200RPM驱动器类型5U（机架单位）密度与同一环路上的SC280盘柜兼容SC280与其他盘柜在不同的环路上共享相同的HBASC200/SC220旧式Xyratex 6Gb SAS盘柜兼容性兼容性支持的控制器：SC8000系列最大盘柜数：每系统5个SC280盘柜（400个活动驱动器、1.6PB的原始容量）每个SC280 支持4个备用驱动器配置配置Dell Storage热插拔电源： 2 个电源 5个风扇全新SC280高密度盘柜3333Compellent提供出色的经济价值利用利用Compe

22、llentCompellent闪存优化解决方案，满足对高闪存优化解决方案，满足对高I/O性能和低延迟的需求性能和低延迟的需求 加速应用程序性能，适合OLTP、数据仓库和VDI等业务关键型工作负载 相较其他闪存优化解决方案，成本最多低80% 获益于平台上各种专门针对出色可扩展性和运营效率而设计的企业级存储功能磁盘价位的闪存： 价格仅是同类全闪存系统 的1/5 价格仅是同类混合系统的 1/2 节省机架空间，缩短延迟， 减少能耗 提高IOPSCompellent其他特性35全模块化硬件架构全模块化硬件架构 无缝连续扩展随时随意增加硬盘 无需停机!性能自动提升无缝的系统扩展和系统间扩展在线的企业级扩展

23、在线的企业级扩展您知您知道吗？道吗？DELL独家拥有业界唯一的可以延续扩展的单型号系统. 自动条带化 无需人工拷贝 无需中断的变更管理36延续性投资保延续性投资保护护 永不需要“铲车式升级”融入未来的架构设计融入未来的架构设计您知您知道吗道吗? ?2003年美国俄亥俄州立大学购买的产品可以继续运行今天最新功能软件，并于2010年初扩充了SSD硬盘.消除技术风险 随时混合使用多种技术无需中断的控制器软件升级今天的投资得到“未来的保证”大幅提高利用率高利用率精简配置的优势精简配置的优势 不需要预分配 快照是精简配置 “精简”数据迁移使用更少的物理磁盘 自动恢复可用空间 对应用程序的使用无限制您知道

24、吗？您知道吗？100% 的Compellent 客户使用精简配置功能。获得专利的自动化分层存储技术获得专利的自动化分层存储技术自自 2005 2005 年以来在生产中得到验证的技术年以来在生产中得到验证的技术 自动将非活动数据的细化数据块移至更低成本的磁盘 在驱动器的外缘存储最常访问的数据购买更少和较少的昂贵驱动器您知道吗？您知道吗？我们 81% 的升级订单只需采购经济实惠的高容量驱动器。 无缝集成快照和复制 发挥 SSD 的性能，无需中断内存库持续数据保持续数据保护点护点基于回放的体系结构的优势基于回放的体系结构的优势消除备份窗口您知道吗？您知道吗？对快照数量没有限制。 空间利用率高 冻结指

25、针 不预先分配空间 回放可自动向下移动到更低成本的磁盘 删除的任意一个，都可得到保存 集成常用应用程序 非常适合于测试/开发、VM、从 SAN 启动、一致性组精简复制精简复制复制精简促进节约复制精简促进节约规模合适的恢复成本，可满足 RPO/RTO 目标您知道吗？您知道吗？68%的 Compellent 客户将其数据复制到另一个站点。圣地亚哥伦敦拉斯维加斯 卷是精简的，复制也是精简的 带宽和管理的成本显著降低 仅对更改的数据块进行复制（无重复） 完成复制只需 6 次单击操作 不预先分配空间 一键式自动恢复 灾难恢复测试 不会出现停机活动卷活动卷动态业务连续性动态业务连续性规模合适的恢复成本，可

26、满足 RPO/RTO 目标您知道吗？您知道吗？可创建、删除或更新的活动卷的数量没有限制。 作为存储管理程序，主动为两个阵列同时提供存储 构建一个共享存储网格，并作为一个整体管理 提供存储灵活性，连续的数据访问和高可用性 存储随 VM 移动 完全集成，无设备或服务器代理补充内容：Compellent SC8000硬件概览 42FS8600 (2)FS8600 (2)SC220 (1)SC220 (1)SC200 (1SC200 (1) )SC8000 (2)SC8000 (2)前视图前视图后视图后视图SC8000 控制器43 SC8000 SC8000 的增强功能的增强功能融合了已经成熟的 Co

27、mpellent 体系结构与弹性戴尔硬件设计的优势 提供更大内存和更高性能实现具有更高能源和冷却效率的解决方案以节省运营开支新新一代一代 Compellent Compellent 存储中心存储中心 SAN SAN 进一步拓展了进一步拓展了存储中心存储中心 的益处的益处高效、敏捷和具有弹性的平台内置智能功能和自动化功能无需断代式升级，永久许可固态硬盘、SAS 和 FC 驱动器技术FC、iSCSI 和 FCoE 前端互连Compellent 新一代控制器和盘柜44 新一代存储中心控制器新一代存储中心控制器 (SC8000) (SC8000) 面向未来，基于戴尔硬件全新设计 2U、双插槽、双处理器控制器 更高的性能和更大的系统内存多协议前端 光纤通道：8Gb（很快会支持 16Gb） iSCSI：10Gb、1Gb FCoE：10 Gb支持现有的 SAS 和 4Gb FC 盘柜 新一代扩展盘柜新一代扩展盘柜（SC200SC200& &SC220SC220）全新设计，更适用于存储中心 2U/12 3.52U/12 3.5英寸英寸 6Gb SAS 6Gb SAS 新功能：支持在 3.5 英寸盘柜中使用 2.5 英寸固态硬盘 2U/24