MinIO分布式存储技术预研报告

1、1.前言简介MiniO是在Apache License v2.0下发布的对象存储服务器。它 与Amazon S3云存储服务兼容。它最适合存储非结构化数据, 如照片，视频，日志文件，备份和容器/ VM映像。对象的大小 可以从几KB到最大5TB。MiniO服务器足够轻，可以与应用程序堆栈捆绑在一起，类似于 NodeJS, Redis 和 MySQL。3）一种高性能的分布式对象存储服务器，用于大型数据基础设施。 它是机器学习和其他大数据工作负载下 Hadoop HDFS的理想 s3兼容替代品特点Minio使用纠删码erasure code和校验和checksum来保护数据 免受硬件故障和无声数据损坏

2、。即便丢失一半数量（N/2）的硬盘, 仍然可以恢复数据。研目的检验在分布式部署条件下,minio在多种实验环境下的数据的安全 性。研环境序号系统系统用户软件版本虚拟机资源cpumemdisk1centos7.6RootMinio RELEASE.2020- 05-08T02-40-49Z2C4G/dev/vda2centos7.6RootMinio RELEASE.2020-05- 08T02-40-49Z2C4G/dev/vda3centos7.6RootMinio RELEASE.2020-05- 08T02-40-49Z2C4G/dev/vda4centos7.6RootMinio RE

3、LEASE.2020-05- 08T02-40-49Z2C4G/dev/vda环境部詈系统初始化1）关闭防火墙2）关闭 selinux3）关闭 NetworkManager下载minio二进制包curl -O HYPERLINK https:/dl.min.io/server/minio/release/linux-amd64/minio https:/dl.min.io/server/minio/release/linux-amd64/minio安装 miniochmod +x miniomv minio /usr/bin/创建节点export在minio的4个节点上各创建1个export,

4、为了方便理解给每个 export取名为/data_+ip地址的最后一位数，最后生成的export如 下表所示：序号主机ipExport名称1172.16,150.5/data_052172.16,150.14/data_143172.16,150.21/data_214172.16,150.24/data_24编写运行脚本cat minio_startup.sh#!/bin/bashexport MINIO_ACCESS_KEY=Admin#Geostar,5export MINIO_SECRET_KEY=Super#Geostar,5/usr/bin/minio server HYPERLI

5、NK /data_05http:/172.16,150.14/data_14 /data_05http:/172.16,150.14/data_14http:/172.16,150.21/data_21http:/172.16,150.24/data_24 &chmod +x minio_startup.sh启动 minioecho “sh /root/minio_startup.sh /etc/rc.localchmod +x /etc/rc.localendpointMinIO正确程序启动后，每个节点都会生成一个endpoint访问地 址，实验环境下的地址信息如下：5.研实验5.1,实验5

6、.研实验5.1,实验1序号主机ipMinIO endpoint1172.16,150.5http:/172.16,150.5:90002172.16,150.14http:/172.16,150.14:90003172.16,150.21http:/172.16,150.21:90004172.16,150.24http:/172.16,150.24:9000实验目的：验证在minio分布式主机全都活动状态下，minio分布式存储的安全性 实验过程 登陆任意minio节点的endpoint，输入MINIO_ACCESS_KEY 和MINIO_SECRET_KEY，创建一个bucket目录，取名

7、为test。如下图所示：上传一个docker_practice.pdf文件后,去往其他endpoint上查看, 可以观察到其他endpoint上都会存有一份相同的文件。如下图所示：访问linux文件系统，在所有节点的export目录下会有一个test 文件夹，并存放有一个相同的pdf文件。如下图所示：roothost-172-16-150-5 -# U roothost-172-16-150-5 -# U total 0d rwxr-xr-x. 2 root root 35 May roothost-172-16-15Q-5 -# I/data_E)5/test/14 12:19 docker

8、practice,pdf实验结果：在minio分布式主机都活动状态下，任意节点上传的文件都会在其他节点下保存一份，同时在endpoint页面下查看正常。实验2实验目的：验证在minio分布式主机异常状态下，minio分布式存储 的安全性实验过程：依次关闭minio节点，直到剩下最后一个活动节点，观察 endpoint下pdf文件状态。1）当关闭一台主机的条件下，其余节点的endpoint上的pdf是可观 测的。同时所有节点的export的test路径下pdf文件未丢失。2）当关闭二台主机的条件下，其余节点的endpoint上的pdf是可观 测的。同时所有节点的export的test路径下pdf

9、文件未丢失。3）当关闭三台主机的条件下，最后一个节点的endpoint上，未观测 到pdf文件。但所有节点的export的test路径下pdf文件未丢失。实验结果：在minio分布式主机异常状态下,至多丢失一半数量（N/2） 的硬盘，任然可以在剩余的endpoint页面下观测到上传文件。实验3实验目的：验证在minio分布式异常主机状态恢复后，minio分布式 存储的安全性实验过程依次恢复三台主机,直到所有主机的minio程序运行正常， 观察endpoint下pdf文件状态。1）当恢复一台主机的条件下，只有一台主机的endpoint上的pdf文 件是可观测的。同时所有节点的export的tes

10、t路径下pdf文件未 丢失。2）当恢复两台主机的条件下，所有主机的endpoint上的pdf文件是 可观测的。同时所有节点的export的test路径下pdf文件未丢失。3）当恢复三台主机的条件下，所有主机的endpoint上的pdf文件是 可观测的。同时所有节点的export的test路径下pdf文件未丢失。实验结果：在minio分布式异常主机恢复状态下，当正常状态的硬盘 数量N/2的时，可以在任何正常节点的endpoint页面下观测到上 传文件。实验4实验目的：验证在minio分布式异常主机状态下，节点删除文件时， minio分布式存储的安全性实验过程：依次关闭minio节点，直到剩下最后一个活动节点，观察 在一个节点删除文件后，剩余endpoint下pdf文件状态。1）当关闭一台主机的条件下，任意节点上删除pdf文件，则除关闭 的主机外，其余主机上的pdf文件都会被删除，包括endpoint页 面和export路劲下。如果此时关闭主机恢复正常，则关闭主机 endpoint页