大数据服务器技术探索与实践

肖德芳

defang.xdf@阿里巴巴技术保障部

高级技术专家大数据服务器技术探索与实践Agenda

大数据云计算对服务器挑战

天蝎整机柜服务器

天蝎在阿里的实践－alirack挑战DT时代我们需要什么样的基础设施？whyrackserver？挑战天蝎项目应景而生。。。－Green，EnergyConservation－moreefficency－lowercost大容量高性能海量规模天蝎Roadmap完成天蝎技术规范V1.0完成天蝎V1.0整机柜的联合开发与测试小规模验证与优化3.02017年2.02013~2015年1.02012年完成天蝎技术规范V2.0完善子系统设计与验证规范制定相关接口规范（包括接口类型、信号、协议、API等）节点与机柜解耦，技术上实现节点的混插互换引入机柜级电池UPS服务器资源的进一步融合引入硅光电等技术，机柜即资源计算、存储、网络资源灵活定义天蝎整机柜服务器架构天蝎整机柜服务器管理架构统一管理PSU、FAN、Node子系统；资产自动发现与定位；PSU效率；节点功耗监控；温度监控；服务器配置信息；延迟开机；节点开、关机、重启操作；~更多功能参见《RMCCLI规范》天蝎1.0Rack主要特点模块化设计机柜模块、电源模块、散热模块、管理模块、网络模块、服务器节点；最大程度复用现有技术标准机柜尺寸、标准U等；集中电源双路输入、PSUN+N冗余、12VDCBusbar直供服务器；风扇墙散热集中共享、RMC独立控制、N+1冗余、独立维护；集中管理独立RMC，支持电源、风扇、节点的监控和管理；节点多样性节点独立设计，满足不同配置需求；123456主要创新点机柜规格2100mm、2300mm两种机柜高度规格；内框尺寸充分利用内部空间，统一内框为21英寸；U高度每U的高度比标准U增加2mm，天蝎U单位（46.5mm）；机柜背板升级机柜背板功能，并实现热插拔功能；节点&机柜解耦服务器节点与机柜系统解耦；散热优化散热策略，明确定义风扇的尺寸，统一为140*38规格；123456天蝎2.0Rack机柜级BBS（电池UPS）支持双路或单路市电直供；2SU高度、宽带538mm、深度<850mm，

直接安装在机柜的服务器节点空间；提供220VAC逆变输出，供TOR供电；容量2.2KWH，15分钟恢复，负载8.8KW

10分钟恢复，负载可达12KWRMC集中管理BBS电池节点混插互换完善定义TBP和RBP的PIN脚功能、电气、和通信协议；定义RMC与BMC的通信协议和命令接口；节点和整机框架解耦，支持不同厂商的节点与rack混插互换；RMCIPMI命令规范定义完整IPMI命令集，兼容CLI；可管理RMC、RBP、PSU、FAN、Node、log等123天蝎2.5Rack天蝎2.5

Rack机柜级电池UPSBatteryBackupSystem供电效率的优势双路UPS市电&HVDC双路市电直供效率：88%*90%=76%电源框HVDCUPSUPS电源框效率：(94%+94%*94%)/2=91%效率：94%传统UPS与天蝎BBS

传统UPS机架BBS建设空间UPS需要独立的UPS室，空间较大；高压直流需要独立的电池室或独立的电池柜；不需要独立的空间，只需利用服务器机架竖向多余空间；交付速度UPS需要进场安装接线；高压直流需要结合列头柜进行穿插接线；电池系统不需要二次接线；系统可靠性UPS一旦故障需要专业厂家售后维修，时间1~2天；故障影响面机房级别；高压直流一旦故障修为时间约为半天；故障影响面机房包间级别；机架式电源系统中PSU故障，BBS故障等只需机房运维人员进行更换插拔安装，时间约为小时级别；故障影响面机架级别；PSU可靠性标准服务器具有2个电源，实现N+N冗余；天蝎服务器具有2N冗余；机架式电源在PSU实现2（N+1）冗余下，即使市电断1路，并且PSU损坏2个，PSU+BBS依然能够保证服务器运行一段时间；电池运维按照一年为周期进行充放电测试；测试需要花费人力和时间；锂电池无记忆效应，不需要进行充放电测试；即使需要测试也只需要电脑指令进行整个测试过程；电能指标在低负载率下UPS和高压直流的效率较低，谐波性能较差；多级转换造成电能浪费；减少电能转换次数，市电直供提高电能效率；可以按照单机柜负载实际配置后备电池数量；整机柜服务器供电系统架构天蝎PSU；沿用天蝎2.0的电源，实现高效率电能转换；电池后备系统（BBS）12VBBS与Busbar电气连接，实现机柜级不间断供电；逆变电源（选配）满足交流交换机不间断供电；天蝎整机柜上的BBSBBS规格指标高度96mm（2SU）；宽度538mm（21inch）；深度小于850mm；后备时间：15min；8.8kw负载支持在线热拔插维护；市电掉电后切换至BBS供电时间小于10ms；更多信息详见《天蝎整机柜服务器技术规范》version2.5天蝎3.0展望机柜内部高速互联光纤交换资源虚拟池化Rack与MDC无缝结合MDC集成Rack散热系统，Node->Rack->MDC整体散热优化Rack内置电池方案天蝎3.0概念原型ServerA3ServerA2ServerA1ServerB4ServerB3ServerB2ServerB1HDDSSDNVMNetIOMEM计算资源池高速缓存资源池存储资源池IO接口资源池ServerX2ServerC4ServerC3ServerC2ServerC1ServerX1提高灵活性提高利用率降低能耗GPU&FPGA异构计算资源池整机柜服务器技术标准成果《天蝎整机柜服务器技术规范version2.5》《天蝎整机柜服务器RMCIPMI规范》《天蝎整机柜服务器RMCCLI规范》alirack在阿里的应用ADM＋Ali