物联网工程设计与实施第4章-数据中心设计

1、第4章 数据中心设计高性能计算机选择 服务器选择存储系统设计云计算服务设计机房工程设计1/524.1 数据中心设计的主要任务(1)设计高性能计算机系统。(2)设计服务器系统。(3)设计数据存储系统。(4)设计核心网络。(5)设计机房。(6)设计机房装修方案。 2/524.2 设计方法(1)分类设计(2)找有资质的公司协助设计 3/524.3高性能计算机选型高性能计算机的作用 运行用户程序提供云计算服务高性能计算机的结构SMPMPP集群4/52SMP计算机Symmetrical MultiProcessingCPU/Cache互联结构I/O内存CPU/CacheCPU/Cache5/52SMP计

2、算机主要特点是：共享存储器系统对称性单地址空间每一CPU具有本地缓存caching利用存储器实现CPU之间的通信主要用途：运行串行性较强的程序，例如数据库系统程序没有充分并行化：实现指令级并行选择要求：单个CPU的处理能力对最终性能的影响大，应尽量选择主频高、流水线多、可并行执行线程多的CPU。6/52MPP计算机MPP：Massively Parallel ProcessorsP/CMP/CBus / CrossBarNICP/CMP/CBus / CrossBarNICHigh-Speed Network(HSN)Disk，I/ODisk，I/ODisk，I/O7/52MPP计算机专用高速

3、互联网8/523D TorusMPP计算机四类节点：计算节点：承担计算功能，数量最多。I/O节点：负责对外完成I/O功能，包括对网络存储系统的访问。服务节点：执行公共的系统调用。系统节点：执行开关机、调试等功能。9/52MPP计算机结构特点分布式存储分布式I/O每个节点有多个Processor和Cache(P/C)及本地存储器局部互联网（早期：总线；现在：CrossBar等）通过NIC与HSN相连可扩展性较好用途科学计算、工程计算网络服务系统管理：节点独占式调度以提高性能10/52集群计算机将一组相互独立的计算机（称为节点），利用高速通信网络组成的一个单一的计算机系统，并以单一系统的模式加以管

4、理 三种组装方式：11/52独立式独立的计算机放在书架一样的机架上12/52机架式独立的计算机封装成扁平状，放在机柜中13/52刀片式每台计算机称为一个刀片，插在刀箱中刀箱内集成网络、电源等刀箱刀箱刀片主板14/52集群节点三类：管理节点：完成作业调度、其他节点监控、与用户交互的功能。计算节点：完成具体的计算、处理等功能。I/O节点：实现对共享外存的控制。15/52集群内部互联通常组成三个网络：计算网络：包括计算节点、管理节点，通常用高速网络互联。管理网络：包括所有节点，用于分发命令、收集状态，实现管理功能。I/O网络：包括I/O节点、计算节点等，主要完成对共享外存的I/O操作。计算网络：In

5、finiband，GbeI/O网络：Infiniband，Gbe管理网络：Gbe16/5217集群的典型结构Infiniband交换机校园网交换机管理节点DL385节点1100M管理交换机1000M数据交换机节点19节点1100M管理交换机1000M数据交换机节点19节点1100M管理交换机1000M数据交换机节点19节点1100M管理交换机1000M数据交换机节点19I/O节点1I/O节点nFC交换机GPU异构集群GPU（Graphic Processing Unit）用于图形图像处理（显卡）通用计算的功能(GPGPU)，达GPGPU2880核、5Tflops计算能力。CPUGPUDataD

6、ata计算计算/等待任务/指令结果18/52集群的特点与适用领域特点：节点独立可扩展适用：高并行性的科学与工程计算高吞吐量的网络计算，如各种网络服务器不适合用作数据库服务器 19/52高性能计算机的CPURISCIACISCVLIM高性能计算机的其它技术内存：ECC，电池应急管理EMP网络监控热插拔20/52高性能计算机的作业调度系统LSF（Load Sharing Facility）-Platform-IBMPBS Pro（PortableBatchSystem ）-NASAGridview21/524.4 服务器选择 服务器基本要求（1）性能要稳定（2）以够用为准则（3）应考虑扩展性（4）

7、要便于操作管理（5）满足特殊要求（6）配件搭配合理（7）理性看待价格（8）售后服务要好22/52服务器配置与选择要点 1数据库服务器硬件：优先级为内存、磁盘、处理器软件：Oracle，DB2，SQL Server，PostGreSQL，MySQL，Access23/52服务器配置与选择要点 2Web服务器硬件：优先级为网络系统、内存、磁盘系统、CPU软件：Unix, Linux, Windows; WebLogic, Tomcat+Appache,24/52服务器配置与选择要点 3文件服务器硬件：优先级为网络系统、磁盘系统和内存软件：Lustre，GPFS，GFS25/52服务器配置与选择要点

8、 4邮件服务器硬件：优先级为内存、磁盘、网络系统、处理器 5. FTP服务器26/524.5 存储设备选型磁盘接口类别 SATASCSISASFC 27/52磁盘阵列RAID0 28/52磁盘阵列RAID1 29/52磁盘阵列RAID3 （N+1）30/52磁盘阵列RAID5 31/52磁盘阵列RAID10（1+0） 32/52磁盘阵列33/52RAID级别RAID 0RAID 1RAID 3RAID 5RAID 10别名条带镜像专用奇偶位条带分布奇偶位条带镜像阵列条带容错性没有有有有有冗余类型没有复制奇偶校验奇偶校验复制热备盘选项没有有有有有读性能高低高高中间随机写性能高低最低低中间连续写性

9、能高低低低中间需要的磁盘数一个或多个只需2个或2N个三个或更多三个或更多只需4个或2N个可用容量总的磁盘的容量只能用磁盘容量的50%(n-1)/n的磁盘容量，其中n为磁盘数(n-1)/n的磁盘容量，其中n为磁盘数只能用磁盘容量的50%典型应用无故障的迅速读写，要求安全性不高，如图形工作站等随机数据写入，要求安全性高，如服务器、数据库存储领域连续数据传输，要求安全性高，如视频编缉、大型数据库等随机数据传输要求安全性高，如金融、数据库、存储等要求数据量大，安全性高，如银行、金融等领域磁带34/52单盘容量持续传输率(MB/s)介质寿命（年）LTO2.5TB14030DLT1.6TB14015-30

10、IBM TS11301TB16015-30存储体系DAS (Direct Attached Storage，直接附加存储)存储设备通过电缆（通常是SCSI接口电缆）直接连接服务器。I/O（输入/输入）请求直接发送到存储设备称为SAS（Server-Attached Storage，服务器附加存储） 适用：地理分散存储与应用必须直连35/52NAS(Network Attached Storage) 直接与网络介质相连用户通过网络来访问类似于一个通用的文件服务器 NAS是通过网线连接的磁盘阵列，具备磁盘阵列的所有主要特征36/52SAN(Storage Area Network) 通过专用高速网

11、将一个或多个网络存储设备和服务器连接起来的专用存储系统37/52SAN(Storage Area Network) FC SANIP SANIB SANSAN 与NAS的区别： SAN的文件管理系统分别在每一个应用服务器上NAS是每个应用服务器通过网络协议使用同一个文件管理系统（NAS有自己的文件系统管理）38/524.6 云计算服务云计算的思想是将桌面上的计算移到基于服务器集群和大型数据库的面向服务的平台关键技术：虚拟化。将多个虚拟机复用在同一硬件机器上的体系结构方法和技术虚拟机：通过软件模拟的、具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统应用Guest OS应用Gues

12、t OSVirtualization layer (VMM)HardwareVM应用OSHardwareRM39/52云计算的实现模式IaaSPaaSSaaS效果：租用40/524.7 机房工程设计供电与UPS系统设计电力容量：设备+空调+照明+冗余电力配置：220V，380V地线UPS：负载设备计算负载：1VA=0.8W供电时间：？小时特殊功能：失电关机EPS：空调41/524.7 机房工程设计供电与UPS系统设计电力容量：设备+空调+照明+冗余电力配置：220V，380V地线UPS：负载设备计算负载：1VA=0.8W供电时间：？小时特殊功能：失电关机EPS：空调42/52制冷系统设计43/

13、52制冷系统设计44/52制冷系统设计需要的制冷量=A+B+C+D+E+FA外部设备发热量计算 Q860N（kcal/h） N：用电量（kw） ：同时使用系数（可取0.2）860：功的热当量45/52制冷系统设计B主机发热量计算Q860Ph1h2h3 （kcal/h） P：总功率（kw） h1：同时使用系数(0.95) h2：利用系数(0.9) h3：负荷工作均匀系数(0.85) 46/52制冷系统设计C照明设备热负荷计算 QCP （kcal/h） P：照明设备的标称额定输出功率（w） C：每输出1w的热量（kcal/h.w）日光灯为1.0 47/52制冷系统设计D人体发热量 Qnq （cal/h） n：人数 q：每人发热量(102cal )48/52制冷系统设计E围护结构的传导热 QKF（t1-t2）（kcal/h） K：围护结构的导热系数（kcal/mh），普通混凝土1.4 F：围护结构面积（m） t1：机房内温度（） t2：机房外的计算温度（） F墙体面积+地面面积+楼顶面积 t1-t215，按最高温度计算 49/52制冷系统设计F换气及室外侵入的热负荷及其它热负荷根据面积、是否有新风装置估算（100m2，无新风时可估算为5000kcal ）50/52消防系统设计七氟丙烷气体灭火自动控制：探测器发出声、光报警信号，同