云平台存储四种场景的自动化设计

一、前言伴随着大数据、云计算浪潮的汹涌发展，越来越多金融行业选择业务整体上云。如何在保障云平台存储安全性、可靠性的同时降低运维成本，是所有企业必须思考的命题。本文将从云平台存储自动化的角度，介绍某金融企业在上云过程中，如何结合自动化配置，强化上云的规模效应和成本递减效应，安全、稳定的降低运维成本。二、云平台存储的优势目前业界在云平台存储的选择上，常见的方案有集中式SAN/NAS存储与分布式存储。生产环境在选择存储方案时，需要兼顾性能和成本，一般需结合业务场景，将各种存储方案加以组合应用。如业务系统的虚拟机云硬盘、NFS一般采用NAS存储，数据库使用SAN存储，文件备份使用分布式存储等。通过对云平台存储平台的自动化设计，有机地将业务场景与存储方案相结合，实现云平台存储的安全、可靠落地。既能满足业务的发展需求，又能降低运维成本。三、关键点和挑战云平台存储平台的建设，需要针对不同业务场景，挑选合适的存储方案。因此云平台存储平台整体设计上，既要最大程度降低数据和基础架构风险，又要具备灵活的部署选项和高速扩展性。在自动化的设计方面，同样要考虑兼容业界不同的软硬件接口。从硬件的磁盘介质层，到操作系统的文件系统层，如何实现云平台存储资源的动态容量管理、自动化调度等，是云平台存储平台自动化设计的关键点和挑战之一。四、自动化设计在云平台存储的自动化设计上，主要考虑面向业务的存储服务交付。如虚拟机相关文件系统、NFS相关文件系统、数据库表空间相关文件系统，以及这类存储服务的自动化扩容场景。下面结合目前企业常用的四种自动化场景进下介绍：场景一：虚拟机存储自动化配置业务上云之后，普遍需要解决虚拟机的批量部署问题。在虚拟机文件系统的自动化设计上，基于OpenStack的Cinder模块接口、Shell脚本以及批量自动化工具（Ansible）的结合，实现规模化、自动化的虚拟机文件系统的初始化。简要设计逻辑如下（图1）：图1:虚拟机存储自动化配置1）调用OpenStackNova模块接口，创建计算资源；2）调用OpenStackCinder模块接口，创建存储资源；3）调用批量自动化工具，在虚拟机上通过Shell脚本将硬盘初始化，创建卷组、逻辑卷到可用的文件系统。该方案能够快速实现计算及存储资源的高效交付。场景二：NFS存储自动化配置NFS文件系统用在多个用户之间共享公共文件系统，在业务规模较大时，同一个NFS需要挂载的节点多，既需要考虑访问安全性，又需要考虑管理的便捷性。基于OpenStack的Manila模块接口、Shell脚本以及批量自动化工具（Ansible）的结合，实现NFS文件系统挂载。简要设计逻辑如下（图2）：图2:NFS存储自动化配置1）调用OpenStackManila接口，创建NFS目录创建；2）调用OpenStackManila接口，设置NFS白名单；3）调用OpenStackNeutron接口，实现NFS网络访问开通；4）调用批量自动化工具，在虚拟机上通过Shell脚本实现NFS目录挂载。该方案同时支持新增NFS白名单及挂载功能，满足业务的纵向扩展。场景三：数据库表空间存储自动化配置数据库高IO的特性，在选择存储时，不同于计算几点采用的NAS存储方案，一般选择IO性能更高的SAN、SSD或本地磁盘的存储方案。基于Kubernetes的数据库容器化设计与SAN、SSD或本地磁盘封装接口结合，具备极好的鲁棒性，可以满足数据库的高可用及性能要求。简要设计逻辑如下：1）调用Kubernetes接口，初始化数据库容器；2）调用封装的磁盘接口，执行SAN、SSD或本地磁盘的存储分配；3）调用批量自动化工具，通过Shell脚本实现容器的文件目录挂载及数据库初始化；4）调用批量自动化工具，搭建数据库复制关系。该方案在在面对数以千计的数据库需求时，既能实现表空间的自动纵向扩容，还支持实例规格的自动纵向扩容。场景四：云平台存储容量自动化配置在企业日益讲究成本及精细化运维管理的背景下，云平台存储的容量动态管理能力，是云平台存储必须具备的功能之一。通过云监控与云平台存储容量的整合，实现基于容量数据的存储全自动化扩容。以上提到的虚拟机存储、NFS存储、数据库表空间存储，均支持自动化扩容。简要设计逻辑如下：1）云监控实时监控文件系统使用情况；2）基于容量水位，自动推送云平台存储扩容策略；3）基于自动化流程，实现存储服务的自动化扩容。云平台存储的容量管理，按照最小化存储资源交付，一方面实现了存储成本的节约，避免浪费；另一方面与监控及容量管理的结合，能够及时满足业务发展的需求。五、总结在上云后的规模化运营时代，传统金融企业通过云平台存储的自动化平台设计，加速企业上云的速度，既能满足基础服务快速交付（