中科蓝鲸存储解决方案.doc

蓝鲸存储解决方案建议书 中科蓝鲸存储解决方案天津中科蓝鲸信息技术有限公司2011年06月22日目 录1前言41.1关于中科蓝鲸41.2中科蓝鲸的优势与承诺51.3存储系统设计原则62应用存储系统总体方案设计72.1项目应用背景72.2应用存储结构选择82.2.1 das存储结构分析82.2.2 nas存储结构分析82.2.3 san存储结构分析102.2.4 以蓝鲸bwfs 为核心的集群存储系统分析113存储方案建议143.1建议方案拓扑图143.2建议方案配置143.3方案描述143.4应用效果153.5方案优势193.5.1高性能193.5.2扩展性和兼容性213.5.3高可靠性213.5.4高可用性233.5.5异构跨平台共享233.5.6高可维护性243.5.7低碳存储25 -26-获得更多信息请访问： ；或致电或来信：北京市海淀区科学院南路6号0550，100080 2006 版权归中科蓝鲸所有，中科蓝鲸保有以上内容最终解释权及所述内容更改不另行通知之权利，本文提及之商标，均属其合法注册公司所有。版权声明本文件包含记述天津中科蓝鲸信息技术有限公司有关开发、实现策略及方法的信息，其知识产权归天津中科蓝鲸信息技术有限公司所有并受有关法律的保护。未经天津中科蓝鲸信息技术有限公司书面许可，不得以任何商业目的复制、引用或转用本文件的信息内容，否则天津中科蓝鲸信息技术有限公司公司将严正追究其法律责任。1前言1.1关于中科蓝鲸天津中科蓝鲸信息技术有限公司（以下简称“中科蓝鲸”）是国内领先的新一代网络存储产品和解决方案供应商，致力于协助解决用户应对信息化飞速发展环境下数据存储量、访问量以及数据管理复杂度迅速提升所带来的挑战，通过提高业务效率并降低拥有成本为用户持续创造价值和潜在增长。中科蓝鲸是中科院国有控股的中美合资企业，公司作为科学院与天津市院地合作重点示范项目创办于2007年，诞生在曾孵化出联想、龙芯、曙光等高新技术领军企业的国立科研机构、有着中国计算机事业摇篮之称的中科院计算所，其核心研发支撑机构是中科院计算所存储分中心。中科院计算所存储分中心前身是国家高性能计算机工程技术研究中心，1997年成立，2001年主要的研发方向集中到网络存储技术上来。到目前为止，存储分中心已成为国内存储行业的权威研究机构之一，拥有一支近两百人的研发团队（一半以上成员具有硕士以上学历），为国家输送研究生和培养网络存储科研骨干人才近百名，在国内外一流学术刊物与会议上发表论文50余篇，申请国家发明专利技术42项（授权24项），软件著作权13项。同时，存储分中心是“灾备技术国家工程实验室”、“中关村开放实验室”的挂靠单位之一，也是存储产业技术创新战略联盟和数字视频产业技术创新战略联盟创始成员单位。中科院计算所存储分中心分别于2007年荣获兵器工业科技进步三等奖、国防科学技术进步三等奖。2008年荣获北京市科学技术二等奖等多项重大科学技术奖项。2009年存储分中心承担了国家科技部863科技计划重大专项“pb级高性能海量存储系统的研制和应用示范”，成为国家海量存储前沿技术研发与产业化工作的重要支撑机构。数字媒体方面，蓝鲸存储产品已在全国100多个电视台推广应用，打入了冬季奥运会、世博会和亚运会，并且远销美国、德国、俄罗斯、西班牙等国家，好莱坞的几部巨片制作也采用了蓝鲸存储产品。中科蓝鲸将以此为契机，不断超越自我，为用户价值的更大提升和民族存储产业的振兴做出更大贡献。1.2中科蓝鲸的优势与承诺1. 数字媒体项目成功经验蓝鲸存储经过10年的产业化，已经在数字媒体、信息服务、科学计算、制造仿真、勘探数据计算与分析、遥感信息处理等应用获得成功，尤其是数字媒体方面，蓝鲸存储产品已在全国100多个电视台推广应用，打入了冬季奥运会、世博会和亚运会，并且远销美国、德国、俄罗斯、西班牙等国家，好莱坞的几部巨片制作也采用了蓝鲸存储产品，这些数字媒体项目方面的成功经验对本项目具有重大的借鉴意义。2. 中科蓝鲸是中国科学院所属的高新技术企业，作为蓝鲸存储的产业化基地是在中国科学院与天津市政府开展院地合作的背景下，在天津地方政府的支持下，由中科院计算技术研究所、北京中科储天信息技术有限公司、天津海泰科技投资管理有限公司等单位共同出资成立的。蓝鲸存储以其优秀的信息服务素质、良好的与客户沟通的理解能力和以客户为中心的优秀服务质量，在国内存储系统的建设中形成了优秀的产品和服务，赢得了良好的声誉。3. 各股东在存储领域专业背景优势保障了中科蓝鲸的存储专业能力：a) 中科院计算所创建于1956年，是中国第一个专门从事计算机科学技术综合性研究的学术机构。也是我国第一台通用数字电子计算机，第一台磁存储器，第一枚通用cpu等诸多第一的诞生地，是我国计算机事业的摇篮，具有雄厚的技术实力，蓝鲸存储的发祥地。b) 美国飞康软件公司falconstor，成立于 2000年的美国上市公司，是存储业界领先的数据保护专业厂商，持续数据保护cdp技术的开创者与领导者，创新的数据保护技术cdp/vtl获得业界的公认并被广泛采纳。c) 中科储天是中科院计算所下属产业化公司，作为蓝鲸存储产业化的种子公司，在较短的时间内通过良好的产品与完善的服务体系获得了飞速的发展，获得了06年存储创新奖，07年存储产品奖等诸多奖项。获得了科技部创新基金，中关村园区专项等若干项目立项支持，赢得了数十家大型存储用户的认可。4. 中科蓝鲸作为蓝鲸存储产业化基地，依托中国科学院计算技术研究所，北京中科储天等股东雄厚的技术背景，建立了素质优秀的网络存储技术人员组成的专业存储系统研发、建设与服务队伍，将为项目的建设提供专业优质的服务。 蓝鲸存储解决方案建议书1.3存储系统设计原则根据技术与市场的发展趋势和用户需求，存储系统建设遵循以下原则：1. 先进性：采用的技术必须具有国际一流的水平，切实可行并容易实现；遵循国际标准和国内外有关的规范要求；符合存储、计算机和网络通讯技术的最新发展潮流，尽量采用成熟的产品。2. 实用性：针对实际应用的特点和用户应用系统的瓶颈，系统设计应有的放矢，符合业务的实际需要；系统配置既要强调先进性，也要注重实用性，尽量采用在信息服务应用中已被验证的实用产品与技术。3. 可扩展性：考虑今后的发展，在存储容量、性能、可管理性等方面都要具有高的可扩展性；在系统选型、物理布局、网络带宽、线路敷设、处理能力、管理能力、软硬件接口等方面充分考虑系统扩展的简便、快捷和节省投资。4. 灵活性：能够适应多功能、开放型的要求，提供符合国际标准的软件、硬件、通讯、网络、操作系统和数据管理系统等方面的接口和工具，使系统具有良好的灵活性和兼容性；系统参数配置少，调整少，自动化程度高，使用方便，操作简单，易于扩容，易于变换各种工作模式。5. 安全性：强调环境、操作系统、应用软件、计算机网络、存储设备等诸多方面的安全性，系统本身以及各子系统应当是安全健壮的，具有很高的容错能力，也经得起来自网络的各类攻击，甚至能够承受普通的灾害。6. 可靠性：在规定条件和时间内完成用户所要求的功能，能长期稳定的工作；结构简单，连接点少，可靠性高；对工作条件和工作环境要求较低；系统启动快，掉电后再来电或网络传输中断后再恢复正常，系统恢复工作迅速；故障率低，维护维修方便；7. 经济性：性能价格比在同类系统和条件下达到最优。2应用存储系统总体方案设计2.1项目应用背景电视台原存储由磁带库组成，由于时间较长并且不利于存储保管，并且随着业务不断发展，其存储规模也逐渐增大，所以由磁带库转为更安全、更稳定的磁盘阵列存储系统是必然发展趋势。考虑到原有25年的数据容量，磁盘阵列存储系统可用容量要求200tb，并且可兼容原有光纤盘阵。前端非编工作站及媒资服务器共20台，要求存储系统支持光纤直连，以满足数字媒体高带宽、低延迟的性能要求。另外还有100台工作机处理日常工作业务。2.2应用存储结构选择存储结构的选择将会很大程度上影响存储系统的实现的效果，下面结合项目的情况来看选择什么样的存储结构更适合本项目。目前，应用较为广泛的主流网络集中存储技术主要分为das、nas、san（fc、ip）等三种形式，本方案在构建存储平台时，建议采用以san为核心的高性能集群存储体系。其主要是因为：2.2.1 das存储结构分析在das存储结构中，各个工作站通过i/o总线连接存储设备，并管理存储资源的使用，也就是一般来讲的“单机工作站”。每个工作站不能直接使用其他工作站的存储设备，只能通过cifs二次共享、ftp、scp等完成数据的共享。das单机具有明显的缺点，包括：1）各个工作站独立管理其存储资源的使用，存储资源共享困难或者二次共享性能较差。2）存储设备通过i/o总线连接，扩展能力受限于i/o总线的能力。存储设备很难独立于工作站扩展，限制系统的扩展能力。3）存储资源扩展要求计算资源的同步扩展，导致系统管理成本的剧增。4）数据共享不方便。基于das的缺点分析，对于应用存在以下问题（1） 存储设备扩容困难，无法应对日益剧增的数据量（2） 数据存储在单一磁盘中，发生损坏后恢复成本很高（3） 数据只能由单一工作站或服务器使用，无法共享所以我们不建议在本项目中采用das存储方式。2.2.2 nas存储结构分析nas主要通过nas头来挂接卷并在nas上建立文件系统，为每个处理资源提供逻辑和物理都集中的存储方式，也就是一般来讲的“nas网编”。对于nas存储结构而言，其主要采用以太网cifs协议传输数据，由于工作站通过映射网络文件夹的方式实现网编，主要弊端在于cifs协议带内传输速度慢容易卡机且无法采用多台nas头同时提供统一命名空间服务，也无法实现多台存储设备的性能聚合，其数据读写性能具有一定局限性。同时，在系统扩展方面也较差，每增加1台nas设备将采用新命名空间，无法扩展原有命名空间，无法与原有设备统一管理。如下所示：在nas系统中，存储设备被连接到一台专用或兼用的服务器或工作站（通常被称为nas网关）上，通过nfs（network file system网络文件系统）或cifs（common internet file system通用因特网文件系统）向局域网中的其它工作站提供文件级的数据共享服务。如上图所示，nas系统结构简单、使用方便、架设成本也较低，但由于所有针对该存储的访问必须通过nas网关来完成，当数据量很大或性能要求特别高或共享访问节点比较多时，作为nas网关的服务器硬件本身必然成为瓶颈。根据我们在大量实际应用中的测试结果显示，nas或nas网关在生产环境中不能够很好的满足用户的需求。 近年来出现了nas集群，部分弥补了传统nas的上述缺点但扩展性仍然不足，但是成熟的nas集群产品少，性价比较低。不少厂商都在国外，从服务方面讲，国内没有原厂商服务团队，给用户带来系统维护风险。基于nas的缺点分析，对于应用存在以下问题（1） 由于nas在结构上具有性能瓶颈，所以无法满足大规模应用（2） nas虽然可以通过增加设备进行扩容，但无法在同一命名空间实现扩容，只能通过增加盘符和目录来实现。对软件应用的连续性会产生影响（3） nas机头发生故障后，所有连接的后端存储设备不能继续提供存储服务。存在单点故障，对业务连续性产生影响所以nas只能满足较小规模低档次的应用，不能适用于有一定规模档次的应用，不建议本项目采用nas结构。2.2.3 san存储结构分析san为工作站挂接自己的逻辑卷，并采用本地文件系统的方式，物理集中，逻辑分离存储的方式。对于san而言，其数据传输完全基于fc链路或者ip块级链路，为用户提供了一个能够有效满足未来增长需求的可扩展的灵活架构，不仅在i/o带宽上能够很好的发挥san盘阵的性能，从而提供高带宽的存储服务，支持高性能的数据读写，而且还能够满足其他服务器共享访问磁盘阵列的带宽要求。同时，在扩展性方面，不仅能够通过增加与之相连的san客户端或者io节点的数量，从而为san网络中各服务器、工作站提供聚合san存储带宽、为以太网中各个主机提供聚合io带宽，而且方便用户日后的基于同一种存储架构模式下的系统扩展与升级，如增加磁盘存储空间、扩展近线磁带库存储，满足用户海量数据集中、统一存储管理的要求，降低管理成本与管理难度。尽管san具有上述多种优点，但是从协议本身而言，无论是fc san设备还是ip san设备都仅能为主机提供基于磁盘块的访问接口，不能提供文件级数据共享，使得各个应用之间难以通过san实现数据内容的共享，无法实现业务流程的连续。所以单纯使用san产品不能满足应用存储系统的要求。2.2.4 以蓝鲸bwfs 为核心的集群存储系统分析综上所述，nas是一种比较能够实现文件级共享访问的存储方式，但nas最大的问题就是，由于受到nas其物理组成(例如:控制器性能，总线性能，磁盘驱动器的数量，所连接服务器的数量，内存大小，nas头的性能等)的限制，以及功能上的局限(例如:支持文件系统的容量，元数据和数据处理通路的耦合，快照或复制的数量等)，造成了存储系统瓶颈的出现。 如何在san的基础架构上为用户提供方便使用的文件级共享访问能力，又可以避免nas网关在性能上的瓶颈，充分发挥san的高性能并发数据访问能力，成为存储一体化设计必须解决的核心问题，蓝鲸文件系统（bwfs）可以为san上文件共享提供高性能的解决方案。作为国内第一个自主知识产权的文件系统，经过了近十年的研发和不同行业用户的实际应用，bwfs采用了带外存储访问配合元数据服务的方案，分别有bwstor csa和bw两个系列的产品。所有挂载bwfs的主机都能够通过san（ip或fc的）访问共享的存储设备，由元数据服务（meta data servce）负责为应用服务中所有的主机数据访问操作进行协作，对共享文件系统提供统一的支持。可以看到，既便在以太网应用方式下，元数据服务器虽然和nas网关一样，为所有访问文件系统的主机提供共享访问的支持，但其并不位于数据通路上，主机发出的读写请求可以直接通过高速的fc或ip san网络直接发送到存储设备上。在这种情况下，元数据服务器不再成为整个系统io的瓶颈，从而极大地提高了io带宽、数据访问的并行性和io的可扩展性。在文件系统层面上，bwfs提供符合posix语义的文件访问接口，并兼容nfs的文件共享语义，可以向几乎所有的应用程序提供二进制兼容性。在bwfs环境下，可以大大提升整个系统的文件共享规模，使得bwfs可以保证数百台以至上千台主机的无阻塞并发访问。在存储设备的管理上，bwfs采用支持多卷聚合的虚拟化体系结构，通过条带化或线性分配的方式将存储设备提供的物理卷虚拟化为文件系统使用的逻辑卷。此外，bwfs通过在不同存储设备之间进行条带化访问，可以提供更高的访问带宽，以充分满足存储一体化设计所带来的并发访问带宽的需求。在bwstor系统内部，可以通过持续数据保护、数据冗余等独立模块实现对系统的快照、持续保护、数据冗余等数据保护功能；并且通过与第三方备份、迁移系统整合可以实现各种级别、按需选择的数据保护方案以实现：按需保护用户的信息资产；蓝鲸bwfs san文件系统把后端的存储设备虚拟成一个统一的全局命名空间，使得各个独立的存储设备空间能够充分的、有效的利用，同时实现了容量、数据文件的无缝共享，发挥了各个存储设备的聚合性能。基于以上分析，蓝鲸存储基于非线性编辑应用有以下特点：（1） 蓝鲸bwfs采用元数据“带外”传输，极大提高存储性能（2） 蓝鲸bwfs通过增加盘阵可实现同一目录/盘符容量无缝扩展，并且对前端非线性应用无任何影响（3） 蓝鲸bwfs可对前端应用提供文件级共享，满足多台非线性编辑服务器同时工作（4） 服务器和盘阵均为双控结构，各关键部件均可冗余，保证业务的连续性和数据的安全性。（5） 专业的团队提供强大的本地化服务，对突发事件能够及时响应。因此，针对本项目情况，我们推荐采用基于san存储架构设计的网络存储基础平台加上先进的蓝鲸bwfs san文件系统的虚拟化，可高性价比的满足本项目应用存储系统的需求。3存储方案建议3.1建议方案拓扑图3.2建议方案配置 根据项目要求，配置中科蓝鲸的bwstor bw3200存储系统，具体配置清单如下：1. 1套bwstor csa5000元数据控制器2. 2台fc盘阵控制柜3. 6台fc盘阵扩展柜4. 2台io节点5. 126块2tb sata 企业级磁盘3.3方案描述1. bwstor csa5000和fc盘阵组成存储集群直接接入光纤交换机，提供高性能共享存储系统；非编工作站、媒资服务器、io节点均通过光纤交换机和以太网交换机与bwstor csa5000高性能共享存储系统连接。工作机通过以太网与存储系统相连。2. bwstor csa5000高性能共享存储系统集成蓝鲸san文件系统bwfs，非编工作站和媒资服务器均安装bwfs客户端，可根据权限以本地盘符的方式访问文件级统一命名空间，对存储系统进行并发访问，而且所有非编工作站和媒资服务器均通过光纤直接共享存储系统中数据，充分发挥光纤高带宽，低延迟的特点，提高了效率。 3. io节点可以把共享存储空间通过以太网二次导出，100台工作机可通过io节点直接访问共享存储空间，无需安装光纤卡，降低系统成本。4. 存储系统支持灵活的权限配置，可以根据不同用户层设置只读、读写两种访问模式，提高数据安全性。5. fc盘阵为双控制器结构，每台fc控制柜配置4个4gb光纤通道，完全满足12台工作站需要带宽。6. 2台fc控制柜和6台fc扩展柜共配置126块2tb sata企业级硬盘，满足项目200tb可用容量需求。7. 存储系统支持原有光纤盘阵，bwstor csa5000可以把原有光纤盘阵整合到新存储系统中，合理利用原有资源。8. 系统具有良好的可靠性和冗余措施，bwstor csa5000由2台元数据控制器组成，当其中1台发生故障后，另1台会自动接替系统服务，最大程度保证业务时效性。9. 随着规模、容量的不断增加可以通过在线添加扩展柜的方式，扩展系统的容量、io带宽和负载能力。10. 针对应用的专有优化确保系统具备良好的实时性，符合应用对时延的苛刻要求。3.4应用效果bwstor csa5000在使用方式上坚持“以人为主”，界面简明易懂，管理员能够在短时间内上手操作，极大的缩短培训时间，降低培训成本。 1. 在web浏览器的地址栏中输入bwfs mdc的服务ip地址http:/:，即可访问bwfs登录界面。2. 进入首页后在页面的左侧目录树中点击“配置向导”，进入配置向导的界面。3. 在“配置向导”中，对配置文件系统各步骤都有具体说明，如果没有特殊需求则依次点击下一步，即可完成文件系统配置。4. 以windows为例：安装客户端后加载服务器的导出路径，就可以在windows操作系统中看到和本地磁盘一样的盘符。l 在前端应用中，蓝鲸文件系统只是显示为一个盘符，多个服务器可同时使用蓝鲸盘符，从而实现文件级共享。例如：在windows共享空间中拷贝一些文件。l 在linux客户端挂载共享空间后，可以查看并读取在windows共享空间拷贝的文件。l 在mac客户端也可以挂载共享空间，查看并读取在windows共享空间拷贝的文件。l bwstor csa5000支持各种异构平台，从而达到平台间文件级共享，对于前端应用无局限性，极大提高了前端应用效率。3.5方案优势3.5.1高性能l 本方案采用带外（out-of-band）数据传输架构，有效地解决并发访问时存储系统的i/o带宽瓶颈问题，为应用提供高效的数据访问和查询效率。l 在本方案中蓝鲸存储系统的整体io性能为系统中所有磁盘阵列的聚合性能，可以随着磁盘阵列数量的增多系统的整体io性能、负载能力呈线性增长。l 蓝鲸存储系统采用了独立的元数据卷和日志卷的结构，元数据卷和日志卷的读写操作均以事务处理类随机访问为主，独立的元数据卷和日志卷有利于对其采用与数据卷不同的io策略，单独将元数据卷配置为面向iops优化，将数据卷配置保留为面向throughput优化，可以明确地区分两类数据流，在不影响系统最大数据吞吐率的前提下获得更好的并发访问与大规模文件查找性能。l 针对视频、流媒体应用做性能优化，高于同类产品4倍的写性能，流畅支持千路视频码流并发写入l 支持对标准fc san网络进行文件虚拟化以实现和san相近带宽的文件并发访问性能，能以fc直连客户端的方式为客户端提供4gb以上的文件级共享性能；3.5.2扩展性和兼容性l 存储系统支持应用平台从小规模到大规模的平滑扩展、无缝升级，存储容量可根据实际的应用按需购买，真正保护用户的投资，规模的扩展可分为工作站节点的扩展和容量的扩展： 工作站节点的扩展：可以在线增加工作站节点，只需要把工作站节点的网络与bwstor存储系统所在网络连通并进行简单配置即可完成扩展，无需进行系统的停机，不会中断业务的运行，扩展后，应用系统的整体服务能力会得到提升以支撑前端应用的高效运行。 容量的扩展：容量的扩展可以分为纵向扩展和横向扩展两种，纵向扩容是通过在线添加扩展柜的方式进行容量扩展，横向扩容是通过在线添加从柜的方式进行扩容，这两种扩容方式，都不需要停止当前的业务，扩容后对应用没有任何的影响，而且随着容量的不断增加，存储系统的整体io带宽、负载能力呈线性的增长。l 存储系统具有强大的可扩展能力，支持32tb的巨型文件，存储空间最大支持1792tb，支持上亿规模的目录和文件数量。l 充分发挥集群存储优势，具有良好的系统负载平稳性，既能在单文件单通道情况下挥单通道最高性能，又能在多文件多通道情况下发挥聚合性能，可实现随着标准存储设备数量的线性增加，存储系统的聚合带宽性能呈线性增加，采用分布式结构，具有卓越的扩展能力。l 支持多种设备，广泛支持多种品牌多种型号通用san存储设备，合理利用原有资源，以降低升级成本。3.5.3高可靠性bwstor存储系统采用关键部件冗余技术，独立的元数据控制器具备高可用性支持、全链路冗余新特性，提高业务持续运行能力，并具备在线扩容，提供自动负载均衡，自动存储数据，灾难恢复等特性，把数据安全性提升至最高保障。l 蓝鲸bwstor存储系统提供了数据的高保密性，只有被授权的用户才能访问权限内的数据文件。l 存储设备采用的硬盘、电源、风扇等冗余部件以及自动的故障修复、容错能力，消除单点故障的同时为数据的安全性又提供了可靠的存储介质；而且重连机制使得网络断流恢复后数据可以续传写入，并配合bwstor csa故障检测与修复，充分保证整个系统7*24小时的稳定运行。l 元数据控制器采用冗余架构设计，并通过多种机制来判断元数据服务故障，一台元数据控制器出现故障，另一台会自动接管其服务，保证整个系统的持续稳定运行。l 支持软件网络容错，当网络意外中断恢复后，网络容错实现应用层透明的数据无损传输。l 支持文件系统的故障检测与修复，对系统异常掉电等故障所造成的文件系统损坏，进行检测与自动修复，减少意外情况造成的损失。l 同时借助日志技术，bwstor存储系统可以在保证性能的同时，最大可能的保证数据的完整性与一致性，缩短因意外掉电或系统故障所带来的业务中断时间。3.5.4高可用性l 支持raid0、1、5、6、10，支持全局热备l 支持缓存镜像，可以为