《虚拟化与云计算技术应用实践项目化教程》 课件 项目6 网络存储搭建和使用

虚拟化与云计算应用实践

项目化教程

项目6网络存储搭建和使用

学习目标知识目标了解存储系统网络架构；了解分布式存储技术。技能目标掌握Openfiler安装和配置；掌握NFS和iSCSI存储搭建和使用；掌握HDFS和MooseFS搭建和使用。通过本课程的学习你将可以项目引导网络存储搭建和使用随着存储技术的不断发展和完善，企业的IT技术架构正从以服务器为中心逐渐向以数据存储为中心的方向演变。不断增长的数据量也让传统的基础架构、数据存储方式面临新的挑战。在本项目中，重点介绍基于文件系统的存储和基于设备的存储，拓展存储虚拟化知识。主流的存储架构技术知识准备任务实施14安装Openfiler存储平台使用Openfiler搭建NFS存储123使用Openfiler搭建iSCSI存储HDFS安装配置和使用2分布式存储技术5MooseFS安装配置和使用1主流的存储架构技术主流的存储架构技术包括直连式存储、网络接入存储和存储区域网络。1．直连式存储（Direct-AttachedStorage，DAS）2．网络接入存储（Network-AttachedStorage，NAS）3．存储区域网络（StorageAreaNetwork，SAN）2分布式存储技术分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还易于扩展。常见的分布式存储系统包括HDFS、MooseFS等。1．HDFSHDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，Hadoop三大核心子项目还包括资源管理系统YARN、分布式计算框架MapReduce。2分布式存储技术2．MooseFSMooseFS是一款具有冗余容错功能的分布式文件系统。它把数据分散在多台服务器上，确保一份数据多个备份副本，对外提供统一的结构。MFS分布式文件系统由元数据服务器，元数据日志服务器，数据存储服务器，客户端等几部分组成。项目实施任务6-1安装Openfiler存储平台任务6-2使用Openfiler搭建NFS存储任务6-3使用Openfiler搭建iSCSI存储任务6-4HDFS安装配置和使用任务6-5MooseFS安装配置和使用需要完成的任务：项目实施包括6个具体任务。本项目包括使用veth、实现桥接、NAT模型，安装openvswitch，使用OVS管理网桥及创建gre隧道。

Project任务实施1安装Openfiler存储平台Openfiler是一款开源免费的存储管理操作系统，通过web界面管理磁盘。Openfiler支持流行的网络存储技术，如IP-SAN和NAS，支持iSCSI、NFS、SMB/CIFS及FTP等协议。从Openfiler官网下载OpenfilerNAS/SANAppliance,version2.99镜像，这个镜像基于RHEL6定制，内核使用2.6.32，提供的是x86_64位版本。（1）参考安装RHEL6的步骤在VMwareWorkstation中安装Openfiler2.99。安装模式有图形界面和文本界面安装模式两种选择。（2）安装完成，从光驱中取出安装镜像，单击“Reboot”重新启动计算机。（3）Openfiler的默认用户名为openfiler，密码为password（4）在浏览器输入29:446/开启Openfiler的Web界面。这里29为当前Openfiler操作系统的ip地址，446为服务端口任务实施2使用Openfiler搭建NFS存储在本任务中，通过VMwareWorkstation为Openfiler添加一块1G磁盘作为NFS共享磁盘。接下来在Openfiler中执行创建物理卷、创建卷组、创建逻辑卷、共享设置策略、网络访问控制策略、启动服务、测试等操作步骤。（1．创建物理卷（1）单击Openfiler页面中的“Volumes”选项。在页面右侧的功能列表区中点选“BlockDevices”，页面左侧显示的“BlockDeviceManagement”用来对物理磁盘进行管理。在BlockDeviceManagement中的/dev/sdb是新添加的1GB磁盘。单击“/dev/sdb”进入创建分区界面。（2）在“Createapartitionin/dev/sdb”页面中，单击“create”创建默认的物理卷分区。（3）新创建的分区/dev/sdb1即为物理卷。2．创建卷组单击Openfiler菜单栏，在volumessection里选择VolumeGroups，对卷组进行管理。在管理界面可以看到前面创建的物理卷/dev/sdb1。（1）勾选要添加到卷组的物理卷/dev/sdb1，给即将创建的卷组取个名字vg1，单击“Addvolumegroup”按钮将物理卷/dev/sdb1添加到卷组vg1中。（2）卷组vg1信息查看。3．创建逻辑卷（1）在卷组vg1上创建逻辑卷。在volumessection里选择“AddVolume”进入添加逻辑卷界面。首先在“SelectVolumeGroup”中选择卷组vg1，然后单击“Change”按钮。（2）在界面中“Createavolumein‘vg1’”中填上希望创建的逻辑卷的名称、逻辑卷描述、需要分配给该逻辑卷的大小以及逻辑卷的文件类型等，单击“Create”按钮创建逻辑卷。注意暂时不要选择block类型，选择的XFS和Ext*等类型可以即刻在逻辑卷上创建文件，对外提供文件共享服务。4．共享设置策略（1）Openfiler中的“Shares”选项是对文件进行共享设置。单击逻辑卷，弹出创建逻辑卷子文件夹的选项。输入文件夹名称data，单击“CreateSub-folder”，创建子文件夹。任务实施2使用Openfiler搭建NFS存储（2）单击文件夹data，弹出界面上还可以创建更多的子文件夹并设置共享。单击“MakeShare”按钮进入共享设置。（3）进入共享设置页面后，可以选择“ShareAccessControlMode”或“Hostaccessconfiguration”两种模式。选择ShareAccessControlMode，这种模式又包括包括Publicguestaccess和Controlledaccess。选择后单击“Update”按钮。5．网络访问控制策略（1）单击“System”选项，在右侧出现的功能列表中选择“NetworkSetup”。（2）“NetworkSetup”用于设置网络访问策略。每一个策略都可以针对主机IP地址或网段进行权限设置，达到控制访问目的。这里设置访问策略名为share，Network/Host的.代表允许网络中的所有主机都访问共享存储空间，单击“Update”按钮更新策略。6．启用和启动共享（1）单击Openfiler的Services，选择启用和启动CIFSServer和NFSServer，其状态分别变为Enable和Running。（2）返回Openfiler的“Shares”共享设置策略。可以发现“Hostaccessconfiguration”选项中出现了share策略，将NFS选项下的权限改成RW，单击Update按钮。这里的修改会写入Openfiler的/etc/exports文件。7．测试NFS共享存储的可用性（1）在RHEL8上查看Openfiler上的NFS共享情况。（2）RHEL8挂载Openfiler上NFS共享目录。（3）在RHEL8上创建一个大小为1MB的文件d，测试共享存储可用。任务实施3使用Openfiler搭建iSCSI存储Internet小型计算机系统接口（InternetSmallComputerSystemInterface，iSCSI）是2003年IETF（InternetEngineeringTaskForce，互联网工程任务组）制订的一项bcm5722ISCSI网卡标准，用于将SCSI（SmallComputerSystemInterface）数据块映射成以太网数据包。1．iSCSI工作过程当iSCSI主机应用程序发出数据读写请求后，操作系统会生成一个相应的SCSI命令，该SCSI命令在iSCSIinitiator层被封装成iSCSI消息包并通过TCP/IP传送到设备侧，设备侧的iSCSItarget层会解开iSCSI消息包，得到SCSI命令的内容，然后传送给SCSI设备执行；设备执行SCSI命令后的响应，在经过设备侧iSCSItarget层时被封装成iSCSI响应PDU，通过TCP/IP网络传送给主机的iSCSIinitiator层，iSCSIinitiator会从iSCSI响应PDU里解析出SCSI响应并传送给操作系统，操作系统再响应给应用程序。里解析出SCSI响应并传送给操作系统，操作系统再响应给应用程序。2．SCSI启动器从本质上说，iSCSI启动器是一个客户端设备，它连接到服务器提供的某一服务，并发起对该服务的请求。如果利用iSCSI创建RAC，iSCSI启动器软件需要安装在每个OracleRAC节点上。iSCSI启动器可以用软件实现，也可以用硬件实现。软件iSCSI启动器可用于大部分主要操作系统平台，可以使用iscsi-initiator-utils

RPM中提供的免费LinuxOpen-iSCSI软件驱动程序。iSCSI软件启动器通常与标准网络接口卡（NIC）（大多数情况下是千兆位以太网卡）配合使用。硬件启动器是一个iSCSI

HBA（或TCP卸载引擎（TOE）卡），它本质上只是一个专用以太网卡，其上的SCSIASIC可以从系统CPU内卸载所有工作（TCP和SCSI命令）。iSCSI

HBA可以从许多供应商处购买，包括Adaptec、Alacritech、Intel和QLogic。3．iSCSI目标SCSI目标是iSCSI网络的“服务器”组件。它通常是一个存储设备，包含所需的信息并响应来自一个或多个启动器的请求。任务实施3使用Openfiler搭建iSCSI存储本任务中将Openfiler作为iSCSItarget服务器。在此需要执行创建物理卷、创建卷组、创建逻辑卷、配置网络访问、设置iSCSI服务，创建iSCSI目标等6个步骤。步骤1：创建物理卷。在VMwareWorkstation里为Openfiler添加4块20GB硬盘，通过浏览器连接Openfiler，在菜单栏选择Volumes后在所在页面右侧单击BlockDevices，可以看到安装了系统的硬盘sda，上一个任务的NFS硬盘sdb，以及新添加的4块新硬盘sdc、sdd、sde、sdf步骤2：创建卷组。（1）单击对应的硬盘如/dev/sdc等创建分区，用这4个硬盘做软RAID。选择RAIDarraymember类型，单击create按钮，其余3块盘做同样操作。（2）在右侧单击SoftwareRAID，选择RAID-5（parity），勾选新添加的4个分区，其中3个分区建立RAID，1个分区备用。单击“Addarray”按钮创建RAID-5阵列md0。（3）单击右侧VolumeGroups，勾选/dev/md0，设置卷组名称iscsi_vg0并单击“Addvolumegroup”按钮，添加卷组。步骤3：创建逻辑卷。（1）在页面右侧单击“AddVolume”，选择卷组iscsi_vg0，单击“Change”按钮。（2）在显示的页面上添加卷名iscsi_lv0，大小设为10240MB，类型选择为block，单击“Create”按钮。（3）创建完成后的iscsi卷。步骤4：配置网络访问。单击Openfiler菜单栏System，在NetworkSetup中添加网络策略test，允许IP地址访问。单击“Update”按钮。步骤5：启动iSCSI服务。单击菜单栏Services，启动iSCSITarget服务。任务实施3使用Openfiler搭建iSCSI存储步骤6：创建iSCSI目标。（1）选择菜单栏Volumes。单击右侧的iSCSITargets，在弹出的页面中，在TargetConfiguration添加新的iSCSITarget，这个TargetIQN码是系统自动生成的，只需单击“add”按钮即可。（2）LUN映射。选择LUNMapping，单击“Map”按钮，挂载iscsi卷。（3）网络ACL。选择NetworkACL，设置Access为Allow，允许放行，单击“Update”按钮。（4）CHAP认证。选择CHAPAuthentication，添加CHAPusertotarget，这里用户名为user1，密码输入12位密码，单击“Add”按钮。4．Windows7连接iSCSI目标（1）依次打开Windows7控制面板-→系统和安全-→管理工具,打开iSCSI发起程序。（其他Window版本发起iSCSI连接稍有差异）第一次打开iSCSI发起程序，会提示需要开启iSCSI服务，直接单击“是”即可。（2）在iSCSI发起程序属性面板中依次单击发现-→发现门户，填写服务器IP地址，选择默认端口，再单击“高级”按钮，在高级设置窗口输入CHAP登录信息，单击确定按钮。返回到iSCSI发起程序窗口，切换到目标，单击“刷新”按钮就可以看到iSCSI目标名称，此时iSCSI目标状态为不活动。（3）依次单击连接→高级，添加CHAPusertotarget完成后，单击“确定”按钮。（4）打开Windows7计算机管理中的磁盘管理，对挂载上来的10GB磁盘进行格式化后即可正常使用。任务实施4HDFS安装配置和使用本任务在主机hadoop1、hadoop2、hadoop3节点上部署HDFS文件系统，其中NameNode部署在hadoop1节点，SecondaryNameNode部署在hadoop2节点上，DataNode部署在hadoop3节点上。基础环境如表6-1所示。节点号主机名Ip地址角色1hadoop192NameNode2hadoop293SecondaryNameNode3hadoop328DataNode任务实施4HDFS安装配置和使用（1）分别修改三台主机的主机名及主机的hosts文件，并确认三台机器之间的连通性。（2）清除各节点iptables规则，关闭firewalld。（3）配置java环境（同步完成hadoop1、2、3节点）。（4）让环境变量生效，测试JDK是否有效。（5）安装hadoop环境。（6）完成hadoop安装后，可以通过浏览器访问hadoop对应的服务。通过绑定host的方式访问hadoop1:50070或者直接访问92:50070/。（7）访问YARN。网址为92:8088/。任务实施5MooseFS安装配置和使用通过本任务了解MooseFS组件功能，并掌握MooseFS文件系统的安装、配置和集群管理。在VMwareWorkstation中模拟4台机器，主机名、角色、网络配置等基础环境要求情况如表6-2所示。主机名IPCPU内存磁盘角色RHEL8-1282核4GB50GBmasterRHEL8-2292核4GB50GBmetaloggerRHEL8-31302核4GB50GBchunkerRHEL8-4131

2核4GB50GBclient任务实施5MooseFS安装配置和使用（1）在任务开始前，请确认各节点ip地址是否设置好，并检查彼此之间的连通性。（2）修改hosts文件，以便通过主机名访问。（步骤2、3、4、5在RHEL8-1、RHEL8-2、RHEL8-3、RHEL8-4均设置）（3）从MooseFS官网上下载gpgcheck文件，核验gpg签名确保软件下载使用的安全。（4）编辑MooseFS.repo文件，