高校超融合云数据中心-实施方案

1、高校超融合云数据中心实施方案目录 TOC o 1-3 h z u HYPERLINK l _Toc524982144 1、前言 PAGEREF _Toc524982144 h 3 HYPERLINK l _Toc524982145 1.1、项目建设目标 PAGEREF _Toc524982145 h 3 HYPERLINK l _Toc524982146 1.2、项目设备清单 PAGEREF _Toc524982146 h 3 HYPERLINK l _Toc524982147 1.3、项目规划 PAGEREF _Toc524982147 h 4 HYPERLINK l _Toc5249821

2、48 1.4、项目实施拓扑 PAGEREF _Toc524982148 h 5 HYPERLINK l _Toc524982149 1.5、项目地址规划 PAGEREF _Toc524982149 h 5 HYPERLINK l _Toc524982150 2、项目实施方案 PAGEREF _Toc524982150 h 7 HYPERLINK l _Toc524982151 2.1、平台服务器 PAGEREF _Toc524982151 h 7 HYPERLINK l _Toc524982152 2.2、安装VMware vCenter6.0 PAGEREF _Toc524982152 h

3、11 HYPERLINK l _Toc524982153 2.3、部署vSAN PAGEREF _Toc524982153 h 25 HYPERLINK l _Toc524982154 2.4、交换机配置 PAGEREF _Toc524982154 h 31 HYPERLINK l _Toc524982155 2.5、基础防护搭建（飞塔FG3240C） PAGEREF _Toc524982155 h 32 HYPERLINK l _Toc524982156 2.6、基础防护搭建（F5双机配置） PAGEREF _Toc524982156 h 42 HYPERLINK l _Toc5249821

4、57 2.7、基础防护搭建（VDP） PAGEREF _Toc524982157 h 51 HYPERLINK l _Toc524982158 2.8、USB集中管理器 PAGEREF _Toc524982158 h 52 HYPERLINK l _Toc524982159 3、项目实施日志 PAGEREF _Toc524982159 h 56 HYPERLINK l _Toc524982160 3.1 2016年12月27日 PAGEREF _Toc524982160 h 56 HYPERLINK l _Toc524982161 3.2、2016年12月28日 PAGEREF _Toc524

5、982161 h 57 HYPERLINK l _Toc524982162 3.3、2016年12月29日 PAGEREF _Toc524982162 h 58 HYPERLINK l _Toc524982163 3.4 、2016年12月30日 PAGEREF _Toc524982163 h 59 HYPERLINK l _Toc524982164 3.5、2017年1月4号 PAGEREF _Toc524982164 h 601、前言本项目旨在利用超融合软件定义技术，为全校智慧教育项目提供集中管理的分布式支撑平台，避免目前教育信息化建设过程中由于各单位分散建设而造成的重复投资和资源闲置浪费

6、。同时，为下一步教育信息资源的集中交换打好基础。本项目建设总体目标是：建设一套符合信息技术发展潮流、先进、高效、可靠、安全的教育信息系统虚拟支撑平台。系统架构处于业界领先水平，未来可支持重要业务系统的应用级和数据级异地容灾，能够支撑全市当前以及未来教育信息化业务发展的需要。1.1、项目建设目标本项目搭建超融合数据中心，其中包括硬件、软件、系统融合调测，与目前已有的系统对接融合。为保证该项目性能，本项目为一体化系统整体交付。整体采用“池”化设计，具体包括五大子系统：计算池、网络池、存储池、安全及优化池、专用虚拟管理平台，具有高效、弹性、安全的特性，确保虚拟化数据中心各项子系统之间的有效衔接和完整

7、性，且可以实现业务不停机的平滑升级，同时具备良好的可扩展性。1.2、项目设备清单序号系统名称内容数量单位1基础平台服务器四路4U标准服务器8台2云操作系统云操作系统软件1套3分布式存储系统分布式存储管理软件16CPU4基础平台交换万兆网络交换设备2台管理交换机2台虚拟分布式交换机1套5基础平台安全防护虚拟防病毒1套虚拟数据保护1套应用交付设备2台6USB集中管理器统一管理USB设备1套7云服务平台运维管理平台1套1.3、项目规划基础平台服务器采用八台超微四路服务器，通过vSAN存储虚拟化软件来提供容灾的存储环境，虚拟化方面采用VMware vSphere6.0与vSAN。云操作系统配置一套虚拟

8、化软件（VMware vSphere6.0）作为云计算操作系统软件。分布式存储管理软件（VMware vSAN），支持多个独立的服务器本地存储组成一个可以共享的存储资源池，本次将服务器配置的24个600GB SSD和72个4TB磁盘组成分布式存储池，统一为服务器提供存储空间，并且能够提供给其他需要存储空间的服务器使用。能根据不同的性能层面创建存储池，支持全SSD盘配置模型和SSD+HDD混合部署模型。基础平台交换采用锐捷万兆主备VSU模式进行数据流量及vsan存储网络流量负载；锐捷千兆用于主机及带外网管管理。基础平台防护采用飞塔（FortiOS 3240C）针对虚拟化环境，实现防病毒保护，要求

9、该软件直接部署在虚拟化操作系统底层，无需其他操作系统，无需安装客户端，即可提供实时病毒过滤功能；支持对病毒文件的放过、清除和隔离动作。数据保护采用VMwareVDP直接运行于虚拟化平台之上，无需其他OS支持。应用交付设备采用F5 LT3600，实现全面的负载均衡功能。包含静态和动态负载均衡方法，可定制的基于应用层的健康检查方式，基于应用层的会话保持方式。USB集中控制器采用网络共享 USB 设备的硬件解决方案，通过网络远程使用加密狗等USB设备。云服务平台（VMware vCenter）针对云数据中心计算池、网络池、存储池及安全与优化池，提供统一的管理平台，提供本地及远程方式下对体系架构中的硬

10、件及软件的访问、资产管理、配置、诊断、监控、故障检测、审核及统计数据收集工作等。该云管理平台软件可扩展实现未来本地与容灾端双活云数据中心的集中管理。1.4、项目实施拓扑1.5、项目地址规划类别ip地址子网掩码网关Vlan用户名备注vCenter0351administratorvsphere.localESXI node 011351root机柜09 从下往上数第一个服务器VSAN vmk 011352IPMI node 011353adminESXI node 022351root机柜09 从下往上数第二个服务器VSAN vmk 022352IPMI node 022353adminESXI

11、 node 033351root机柜09 从下往上数第三个服务器VSAN vmk 033352IPMI node 033353adminESXI node 044351root机柜09 从下往上数第四个服务器VSAN vmk 044352IPMI node 044353adminESXI node 055351root机柜10 从下往上数第一个服务器VSAN vmk 055352IPMI node 055353adminESXI node 066351root机柜10 从下往上数第二个服务器VSAN vmk 066352IPMI node 066353adminESXI node 077351

12、root机柜10 从下往上数第三个服务器VSAN vmk 077352IPMI node 077353adminESXI node 088351root机柜10 从下往上数第四个服务器VSAN vmk 088352IPMI node 088353adminUSB SERVER00351adminRG万兆交换机主01351VSURG万兆交换机备02351VSU管理交换机 主03351admin管理交换机 备04351adminF5 均衡负载 主05351adminF5 均衡负载 备06351admin飞塔防火墙07351adminVDP08351root2、项目实施方案2.1、平台服务器2.1.

13、1服务器配置设备为四路4U机架式服务器，配置2个 Intel Xeon E7-4800 v3系列处理器，每个处理器主频1.9GHz、核数10、三级缓存25MB；配置至少512GB DDR4 ECC内存；配置1个120GB容量SSD盘，配置3个400GB容量热插拔SSD盘，配置9个4TB容量SATA 7.2k转速3.5英寸热插拔硬盘； 服务器连接端口为2个万兆光纤网口，分别连接至两台锐捷万兆交换机（RG-S6220-24XS）, 2个支持10Gb和1Gb以太网接口分别连接至两台锐捷管理交换机（RG-S2910-24GT4SFP-UP-H），用于服务器管理。2.1.2服务器系统8台超微四路服务器安

14、装Esxi 6.0，安装流程如下：首先制作ESXI 引导U盘，然后在超微服务器USB口插上该U盘。进入安装欢迎界面，回车打开服务器电源进行安装。引导完成后如下图，选择Esxi光盘，回车进入安装欢迎界面，回车按F11，接受软件license协议，安装位置选择，默认，回车选择键盘类型，回车输入系统密码，回车安装确认信息，按F11安装完成，回车，重启机器按F2进入配置管理网络选择configure Management Network,回车选择IP configure，回车输入ip，掩码，网关，回车，确认网络修改信息，按Y确认.2.2、安装VMware vCenter6.02.2.1、安装VMwar

15、e Client Integration Plug-in插件打开ISO文件，在VCSA目录下面有两个VMware Client Integration Plug-in（for windowsfor OS X），本例使用Windows版本，双击安装VMware Client Integration Plug-in 6.0.0同意许可确认安装目录安装完成安装2.2.2、导入VCSA虚拟模板至ESXi物理主机 回到光盘根目录同意导入点击安装同意许可输入目标ESXi的IPFQDN，帐号和密码确认设置VCSA的root密码，（这里需要设置强密码）选择部署模式设置SSO密码（这里也同样需要强密码）选择部署

16、规模选择存储路径选择数据库（本例使用默认配置）配置VCSA网络为了方便管理，本例将VCSA的SSL打开确认安装信息正式安装可以在ESXi主机上看到正在部署OVF模板耐心等待VCSA启动过程至此，部署完成部署完成后，登陆vsphere client 2.3、部署vSAN2.3.1、Esxi主机新建vSAN网络、首先登陆web client界面中，选中Esxi主机，、单击vsan网络后，编辑设置进入，勾选 vsan流量以及vmotion流量，如下图2.3.2、打开vSAN在集群中选择管理，在虚拟SAN标签下点击编辑勾选打开虚拟SAN2.3.3、添加磁盘组依次点击磁盘管理创建新磁盘组添加闪存以及HD

17、D将所有服务器的硬盘依次添加2.3.4添加虚拟机存储策略点击创建新虚拟机存储策略新虚拟机策略名称创建规则集完成创建至此完成部署VSAN登陆vsphere client查看是否有vsandatastore 共享存储2.4、交换机配置2.4.1、建设目标：本项目基础平台交换采用锐捷万兆主备VSU模式进行数据流量及vsan存储网络流量负载；锐捷千兆用于主机及带外网管管理。其中锐捷万兆交换机分别连接8台超微服务器、两台F5 LT3600、飞塔（FortiOS 3240C）、上行连接通过万兆单模光纤线至学校原有核心交换机。两台交换机通过40G线缆，采用VSU虚拟为一台。锐捷千兆交换机分别连接至8台超微服

18、务器、两台F5 LT3600、飞塔（FortiOS 3240C）、USB server的管理口，上行通过千兆网线连接至学校交换机，用于所有设备管理。2.4.2、锐捷万兆交换机配置主要配置事项：配置vsu 将2台万兆交换机合并为一台使用，使用2根40G线互联配置上联至核心万兆交换VSU 锐捷1810，4个万兆端口捆绑上联配置存储及业务数据端口，均为trunk口2.4.3、锐捷千兆交换机配置主要配置事项：配置ESXI管理端口，均为trunk口配置IPMI带外网管口，均为access口配置两台千兆交换机捆绑互联2.5、基础防护搭建（飞塔FG3240C）2.5.1、飞塔FG3240C飞塔FG3240C

19、通过光纤线连接至锐捷万兆交换机，用于安全保护，管理口连接至锐捷千兆交换机，便于统一管理。接口图示：ID接口类型描述1USB MGMTUSB mini-B用户管理2CONSOLERJ-45控制口，用于 CLI3USBUSB可用于备份，3G 卡 moderm.4MGMT1,2RJ-45专用管理口，非硬件加速口5Ports1 - 12SFP +万兆 SFP 接口7Ports 13 - 28RJ-45千兆 SFP 接口2.5.2配置、登录初始登录接口 port1 或 internal，初始登录 IP 地址为 9默认账号 admin,密码为空，建议使用最新的谷歌，火狐 3.6 以上版本或 IE8 浏览器

20、。初次登陆为英文界面，可以进入 System-Admin-Settings,Language 选择 Simplified Chinese密码修改可以进入系统管理-管理员设置-管理员，选择 admin 账号进行密码修改，另在 该页面可以添加信任主机,指定允许主机对 FortiGate 的访问。、配置文件管理1）配置备份飞塔防火墙可以通过 web 页面或者 CLI 命令行对配置文件进行备份，同时系统也会自 动保存历史配置文件，便于配置文件的恢复。点击“备份”按钮，将配置保存到本地计算机，选择需要保存的路径。如果配置文件需要 加密保存，选择“加密配置文件”，输入密码，保存下来的文件则以加密的方式存放

21、；恢 复配置的时候需要提供相应的密码。也可以将盘插入设备的 USB 口，保存到盘。2）系统自动备份 每次配置修改后，当管理员退出时系统会自动保存配置文件，可通过如下方式查看。如下图，点击修订（Revisions）双击要查看的相关日志的历史文件。2.5.3、恢复配置可以通过如下两种方法来实现配置文件的恢复。1)恢复手动保存的配置文件2)选择要还原的配置文件点击“恢复”，系统载入相应的文件，自动重启。2.5.4系统管理恢复出厂配置Fortigate # execute factoryreset，回车后选择 y。清除系统密码密码重置步骤：1)连上串口并配置好；2)给设备加电启动（必须断电后重启）；3

22、)启动完 30 秒内从串口登陆系统，用户名为：maintainer；4)密码： bcpb序列号（区分大小写）；如：bcpbFW81CM39096003645)在命令行下执行如下命令重新配置“admin”的密码：2.5.5 管理员管理修改管理员密码WEB 页面：系统管理管理员设置管理员，编辑 admin 用户，选择 change password，按提示操作。 建立新的管理员点击“创建新的“输入用户名，密码，访问表，信任主机，双因子认证。 信任主机问题如果所有的管理账户都添加了可信主机，则只有可信主机的 IP 地址范围可以访问 防火墙，包括 PING. 如果希望 ping 包不受限制，可以添加一

23、个没有任何管理权限的账 户，其可信主机不做任何限制。2.5.6、系统OS维护、WEB 页面系统升级打开如下页面：、上传新的 OS点击“升级”按钮，进入 OS 升级页面：从本地电脑中选择要升级的文件，确定后系统会重启，并启动新的。2.5.7、飞塔防火墙策略配置、防火墙对象可以直接对策略内引用的地址和服务对象进行编辑。由于飞塔防火墙是面向对象的配置 方法，当修改一个地址后，所有引用该对象的策略都会因为引用该对象而自动改变。如果仅修改一条策略内的对象，则通过建立新的对象来实现。 如果想修改某个对象，来实现所有与该对象关联的配置自动更新，直接编辑对象即可。、定义 IP 地址配置页面：地址名称： 用于标

24、识。 颜色：用于区分，归类 类型：支持如下类型fqdn基于域名 ()geography根据 IP 所属地理位置 (,根据地址归属地区的数据库决定，如 China) ipmask地址和掩码 （/8, /）iprange地址范围( -100 ) wildcard不规则掩码( / )接口：接口地址的管连接口， 任意则该地址可以被基于接口的地址所引用，如果指定 具体的接口，则该地址对象在策略中只能被该接口所使用。2.6、基础防护搭建（F5双机配置）全面的负载均衡功能。包含静态和动态负载均衡方法，可定制的基于应用层的健康检查方式，基于应用层的会话保持方式。设备通过千兆网线连接至锐捷

25、万兆交换机用于全面负载均衡，管理口连接至锐捷千兆交换机，用于统一管理。两台F5设备通过互联实现双机配置。2.6.1设置管理、设置管理地址BIG-IP 3600应用交换机具备8个10/100/1000M自适应的网络接口及二个光纤接口.10/100/1000 interface 8个10/100/1000 M 自适应的网络接口Gigabit fiber interface 2个1000M 多模光纤接口Serial console port 一个串口命令行管理端口Failover port 一个串口冗余状态判断端口。Mgmt interface 一个10/100M管理端口BIG-IP上电开机以后，首

26、先需要通过机器前面板右边的LCD旁的按键设置管理网口(设备前面板最左边的网络接口)的IP地址。管理网络接口有一个缺省的IP地址，一般为45。、登录理BIGIP有两种方式,一种是基于WEB的https管理方式，另一种是基于ssh的命令行管理方式。除特别配置外，采用WEB的管理方式即可。WEB登录方式如下：在管理员的IE地址栏内输入BIGIP设备的IP地址，45、初始化设置BIG-IP 1上的平台(Platform)通用属性设置2.6.2双机配置第一步，登陆F5管理界面，选择F5双机模式。SystemPlatformconfiguration下，需要完成相关配置：管理口IP地址、主机名、双机模式、

27、时区。为避免出错，在双机模式下，两台F5设备的管理口IP需要设置为不同IP地址，主机名也需要明显区分。不同于V10支持两台F5设备同步，V11支持多台F5设备同步，即集群模式。在此模式下，其中一台F5设备为主机，其他数台设备为备机。注意，所有设备的时区必须统一，误差不超过180秒。第二步，更新证书。在主备机模式下，V11采用信任证书完成同步，因此每台F5设备需要有自己的证书。第三步，为双机划分Vlan。注意，此Vlan专为双机同步而设置，因此F5设备上的Vlan设置必须一致。第四步，为双机配置selfip。类似于上一步骤中的vlan配置，selfip同样是为双机同步而设置，值得注意的是，F5设

28、备的selfip必须设置不同地址，以便双机同步时容易识别。Selfip默认30位掩码，即52。注意，V11版本下portlockdown默认为Allow None，此处需要手动配置为Allow all/default。第五步，不同于V10版本，V11版本双机同步、切换、镜像在DEVICE Management配置。点击下图中红色矩形框中证书，第六步， 验证证书，等待同步。第七步，设置对端地址，获取对端信任证书，等待同步。以上六步需要同时在主备机上进行配置。第八步，将需要同步的F5设备加入信任组，同时交换证书。第九步，点击同步，完成双机同步配置。完成HA配置后，可以通过console或者ssh登

29、陆到每台设备上就可以看出设备处于active或者standby状态；也可以在web任何一个页面的左上角看出设备处于active或者standby状态；2.7、基础防护搭建（VDP）直接运行于虚拟化平台之上，无需其他OS支持。2.7.1、部署OVA模板前提条件 vSphere 主机 5.0 或更高版本。 vCenter Server 5.5 或更高版本。 请从 vSphere Web Client 登录到 vCenter Server 来部署 OVF 模板。 如果您无法连接到 vSphere WebClient，请确认 vSphere Web Client 服务是否已启动2.7.2、初始化配置

30、您必须已从 vSphere Web Client 登录到 vCenter Server。 数据存储区中存在足够可用空间。2.8、USB集中管理器网络共享 USB 设备的硬件解决方案，通过网络远程使用加密狗等USB设备2.8.1、产品说明软件功能支持VMWare 和 Microsoft的虚拟环境 + 协议兼容 USB over network 客户端 + 设备管理 + 软件更新 + 系统监控；2.8.2、使用方法USB Server 的默认IP是45 ，如果网络环境不同，需要修改。进入管理界面的“网络配置”修改登录IP。、将USB设备连接至管理器、在使用 USB Server 共享 USB 设备

31、的时候会使用到 Fabula Tech 公司的 USB Over Network 客户端，需要安装到使用 USB 设备的计算机上。下载好 USB Over Network 以后，双击运行。出现如下图所示。、安装完成以后，桌面会出现至此，安装全部完成。2.8.3、设备管理、登录打开浏览器输入 IP 地址（如下图所示）， 进入登录界面（如下图 A），然后在对话框中输入用户名和密码。系统默认的用户名和密码是： admin 和 888888 。 默认的密码用户可以登录进管理界面后进行更改。 USB Server 的登录 IP 固定为 HYPERLINK 45 45、网络配置此栏目用以列出已配置好的网卡

32、名称、 IP地址、子网掩码、等信息。 点击修改按钮进入网卡配置界面。显示网卡名称，添加允许访问本机的网段或者指定IP地址以及子网掩码，选择最大传输量和引导方式。配置选“ dhcp” 需要有“ dhcp” 服务器，选“ static”需要填写“ IP地址”、“子网掩码”、“网关地址”。、设备配置此栏目用以列出 USB Server 的端口使用状态，是否需要共享和权限控制。点击“权限控制”会进入如下图 D-1界面，如图所示。“权限控制” 可以控制 usb 设备只对指定 IP 的计算机可见， 其它机器看不到该设备。 IP 地址可以使用通配符， 子网范围等方式设置。 具体的配置规则可以查看“ IP地址

33、填写规范和实例” 。、设备连接点击快捷方式，点击连接，即可连接至USB设备。3、项目实施日志项目实施时间：2016年12月27日-2017年1月4日。3.1 2016年12月27日项目日报项目名称大学项目合 同 号阶段负责人项目状态实施中任务阶段实施实施单位开工日期2016/12/27实施进展情况8台服务器，2台万兆交换机，2台千兆交换机，2台F5，1台USBserver，1台飞塔防火墙等设备上架服务器设备上电，测试安装ESXI 目前存在问题问题1：在开始安装部署ESXI 过程中，目前发现一台服务器对SSD的识别存在问题，更换SSD至其他节点，目前暂时正常，需留意观察是否后期正常明日工作要点设备加电服务器ESXI加电安装锐捷交换机配置需要解决的问题服务器无法开机问题服务器无法识别SSD问题观察意见反馈用户代表：日 期：3.2、2016年12月28日项目日报项目名称大学