MinIO分布式存储技术预研报告

前言简介MinIO是在ApacheLicensev2.0下公布的对象存储效劳器。它与AmazonS3云存储效劳兼容。它最适合存储非构造化数据，如照片，视频，日志文件，备份和容器/VM映像。对象的大小可以从几KB到最大5TB。MinIO效劳器足够轻，可以与应用程序堆栈捆绑在一起，类似于NodeJS，Redis和MySQL。一种高性能的分布式对象存储效劳器，用于大型数据根底设施。它是机器学习和其他大数据工作负载下HadoopHDFS的抱负s3兼容替代品特点Minio使用纠删码erasurecode和校验和checksum来保护数据免受硬件故障和无声数据损坏。即便丧失一半数量〔N/2〕的硬盘，仍旧可以恢复数据。预研目的o性。序号系统序号系统系统用户软件版本虚拟机资源1centos7.6RootMinio RELEASE.2020-05-08T02-40-49Z2centos7.6RootMinio RELEASE.2020-05-08T02-40-49Z3centos7.6RootMinio RELEASE.2020-05-08T02-40-49Z4centos7.6RootMinio RELEASE.2020-05-08T02-40-49Z2C4G/dev/vdacpumemdisk2C4G/dev/vda2C4G/dev/vda2C4G/dev/vda环境部署系统初始化关闭防火墙selinuxNetworkManager下载minio二进制包curl-Os://dl.min.io/server/minio/release/linux-amd64/miniominiochmod+xminiomvminio/usr/bin/创立节点export在minio的4个节点上各创立1个export，为了便利理解给每个export取名为/data_{+ip地址的最终一位数}，最终生成的export如下表所示：序号ipExport1172.16.150.5/data_052172.16.150.14/data_143172.16.150.21/data_214172.16.150.24/data_24编写运行脚本catminio_startup.sh#!/bin/bashexportMINIO_ACCESS_KEY=Admin#Geostar,5exportMINIO_SECRET_KEY=Super#Geostar,5/usr/bin/minio server “://172.16.150.5/data_05“://172.16.150.5/data_05“://172.16.150.14/data_14“://172.16.150.14/data_14“://172.16.150.24/data_24“://172.16.150.24/data_24&chmod+xminio_startup.sh

“://172.16.150.21/data_21“://172.16.150.21/data_21minioecho“sh/root/minio_startup.sh”>>/etc/rc.localchmod+x/etc/rc.localendpointMinIO正确程序启动后，每个节点都会生成一个endpoint址，试验环境下的地址信息如下：序号ipMinIOendpoint1172.16.150.5://172.16.150.5:90002172.16.150.14://172.16.150.14:90003172.16.150.21://172.16.150.21:90004172.16.150.24://172.16.150.24:9000预研试验1试验目的：验证在minio分布式主机全都活动状态下，minio分布式存储的安全性o节点的MINIO_SECRET_KEY，创立一个bucket名目，取名为test。如以下图所示：docker_practice.pdfendpoint可以观看到其他endpoint访问linux文件系统，在全部节点的export名目下会有一个testpdf试验结果：在minioendpoint2试验目的：验证在minio分布式主机特别状态下，minio分布式存储的安全性试验过程：依次关闭minio节点，直到剩下最终一个活动节点，观看endpointpdfendpointpdfexporttestpdfendpointpdfexporttestpdf当关闭三台主机的条件下，最终一个节点的endpointpdfexporttestpdf试验结果minio〔N/2〕endpoint3试验目的：验证在minio分布式特别主机状态恢复后，minio分布式存储的安全性试验过程minioendpointpdfendpointpdf件是可观测的。同时全部节点的exporttestpdf丧失。endpointpdfexport的test路径下pdfendpointpdfexport的test路径下pdf试验结果：在minio数量>N/2的时，可以在任何正常节点的endpoint页面下观测到上传文件。4试验目的：验证在minio分布式特别主机状态下，节点删除文件时，minio试验过程：依次关闭minio节点，直到剩下最终一个活动节点，观看endpointpdf当关闭一台主机的条件下，任意节点上删除pdf文件，则除关闭的主机外，其余主机上的pdf文件都会被删除，包括endpoint面和export路劲下。假设此时关闭主