版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
服务器技术基础课程(D101T)曙光培训认证体系-技术人员适用刘传斌曙光信息股份有限公司目录服务器基础概念
定义与分类 常用名词解释服务器系统技术低端服务器小型机和二代小型机大型计算机和机群什么是服务器?从理论定义来看,服务器是网络环境中的高性能计算机,它侦听网络上其它计算机(客户机)提交的服务请求,并提供相应的服务。为此,服务器必须具有承担服务并且保障服务质量的能力。更浅显地来讲,其实服务器与个人电脑的功能相类似,均是帮助人类处理信息的工具,只是二者的定位不同,个人电脑(简称为PersonalComputer,PC)是为满足个人的多功能需要而设计的,而服务器是为满足众多用户同时在其上处理数据而设计的。而多人如何同时使用同一台服务器呢?这只能通过网络互联,来帮助达到这一共同使用的目的。因此服务器首先是承担众多的应用服务,其次是面向众多人,再者只有置于网络环境中才有存在的价值。服务器在网络中的位置服务器可以说是网络上的核心节点,是提供各种应用系统的载体。服务器的部署越来越集中,一般集中部署在网络中心或者数据中心,大部分用户都设有专门的机房。服务器越来越集约化,机架式服务器以及刀片服务器逐渐成为主流产品。服务器与存储结合越来越紧密,共同构成IT系统的核心。服务器的分类按CPU数单路2路4路8路16路32路64路按指令集RISCX86EPIC按应用类型邮件数据库FTPWeb按功能计算型I/O型其它服务器的分类没有一个统一的标准。从多个纬度来看服务器的分类可以加深我们对各种服务器的认识。按CPU类型分类(1/3)RISC架构
RISC:“ReducedInstructionSetComputing”,精简指令集计算。 它的指令系统相对简单,只要求硬件执行很有限且最常用的那部分执令,大部分复杂的操作则使用成熟的编译技术,由简单指令合成。 目前一些高端的计算机采用RISC架构,比如IBM的Power系列,HP的Alpha系列和PA-RISC系列,SUN的UltraSPARC系列,MIPS公司的MIPS处理器。 通常RISC服务器搭配专有的Unix操作系统,各个厂商软硬件的专属性很强。 以下列举最新的硬件和软件信息。
IBMPower5/Power5+:IBMAIX5L(5.2) SUNUltraSPARCIV/IV+:Solaris10 HPAlphaServer:HPTrue64Unix、OpenVMS HPPA-RISC8800:HP-Unix11i按CPU类型分类(2/3)CISC架构
CISC:“ComplexInstructionSetComputing”,复杂指令集计算。 从计算机诞生以来,人们一直沿用CISC指令集方式。在CISC微处理器中,程序的各条指令是按顺序串行执行的,每条指令中的各个操作也是按顺序串行执行的。顺序执行的优点是控制简单,但计算机各部分的利用率不是最好。由于这种执行系统的指令不等长,指令的条数比较多,编程和设计处理器时都比较麻烦,但基于CISC的指令架构系统设计的软件应用已非常普遍,所以微处理器一直都在走CISC的发展之路。
CISC架构的服务器主要以IA架构(IntelArchitecture,英特尔架构)的服务器为主,市场上最大的两家处理器厂商就是Intel和AMD。 通常所说的x86平台也就是CISC架构。按CPU类型分类(3/3)EPIC架构(VLIW)
EPIC:“ExplicitlyParallelInstructionComputing”,显示并行指令集计算。 采用这一指令系统的处理器就是Intel基于IA-64架构的Itanium系列。
EPIC和VLIW有很大的关系。VLIW的英文名称为“VeryLongInstructionWork”,中文名为“超长指令集字”,它是美国的Multiflow和Cydrome公司于20世纪80年代设计的体系结构,目前主要应用于Trimedia(全美达)公司的Crusoe和Efficeon系统的处理器中,AMD64处理器系列也借鉴了这一指令系统。而Intel最新的IA-64架构的EPIC(显示并行指令计算)也是从VLIW指令系统中分离出来的。目录服务器基础概念
定义与分类 常用名词解释服务器系统技术低端服务器小型机和二代小型机大型计算机和机群常用名词解释(1/2)PC服务器
通常是指基于Intel或者AMD处理器的通用服务器 由于PC服务器是从微型计算机发展而来,和PC都采用相同的体系结构,因此就称为PCServer。x86服务器
X86指令集是Intel为其第一块16位CPU(i8086)专门开发的,IBM1981年推出的世界第一台PC机中的CPU—i8088(i8086简化版)使用的也是X86指令,同时电脑中为提高浮点数据处理能力而增加了X87芯片,以后就将X86指令集和X87指令集统称为X86指令集。由于IntelX86系列及其兼容CPU(如AMD等)都使用X86指令集,所以就形成了今天庞大的X86系列及兼容CPU阵容。 因此目前的PC服务器阵营都可以称为x86服务器。IA-32
IA-32(IntelArchitecture),英特尔体系架构,英特尔从486开始采用,也就叫X86-32架构,在同一时间内可以处理32位二进制数据。后来其它厂商兼容此架构的也叫IA-32架构。常用名词解释(2/2)IA-64
IA-32服务器在发展到8路Xeon服务器以后,体系结构已经开始成为制约服务器性能提高的瓶颈。因此,HP和Intel自1994年开始合作开发IA-64架构的处理器,希望通过把HP在RISC领域的十年工作经验和超长指令字结合起来,在微处理器级上改进性能,以增加指令级上的并行性。就是代号为安腾(Itanium),IA-64就是指安腾处理器,现在是Itanium2。x86-64
有时会简称为“x64”,是64位微处理器架构及其相应指令集的一种,也是Intelx86架构的延伸产品。“x64”最先由AMD设计,推出时称为“AMD64”,后来Intel也推出了类似的64位架构,称为“EM64T”,业内就将当前的AMD64和IntelEM64T的产品统称为x86-64,很多软件都有针对x86-64平台的专用版本。PC服务器是国内厂商关注的重点处理器(Processor)芯片组(Chipset、SystemBoard)内存(Memory)硬盘(Disk)I/O插槽(Bus)网络(Net)电源(Power)输入输出设备(CD、Floppy、Keyboard、Mouse)外设接口(Port)机箱等附件(Mechanical)PC服务器主要组成部件目录服务器基础概念服务器系统技术
处理器技术
芯片组及主板技术
内存技术
硬盘及RAID技术
其它硬件技术
操作系统等基础软件低端服务器小型机和二代小型机大型计算机和机群PC服务器CPU的发展历程1995年Intel推出了第一款PC服务器或者工作站用的处理器。2003年之前一直都是Intel一家独大,以至于PC服务器统称为IA架构(英特尔架构)。2003年AMD推出了划时代意义的AMD64架构,称为x86-64体系,打破了Intel的垄断地位。CPU的几个关键参数(1/2)主频
主频也叫时钟频率,单位是MHz/GHz,用来表示CPU的运算速度。CPU的主频=外频×倍频系数。很多人以为认为CPU的主频指的是CPU运行的速度,实际上这个认识是很片面的。CPU的主频表示在CPU内数字脉冲信号震荡的速度,与CPU实际的运算能力是没有直接关系的。当然,主频和实际的运算速度是有关的,主频仅仅是CPU性能表现的一个方面,而不代表CPU的整体性能。外频
外频是CPU的基准频率,单位也是MHz/GHz。外频是CPU与主板之间同步运行的速度,而且目前的绝大部分电脑系统中外频也是内存与主板之间的同步运行的速度,在这种方式下,可以理解为CPU的外频直接与内存相连通,实现两者间的同步运行状态。外频与前端总线(FSB)频率很容易被混为一谈,下面的前端总线介绍我们谈谈两者的区别。前端总线频率
前端总线(FSB)频率(即总线频率)是直接影响CPU与内存直接数据交换速度。由于数据传输最大带宽取决于所有同时传输的数据的宽度和传输频率,即数据带宽=(总线频率×数据带宽)/8。CPU的几个关键参数(2/2)
外频与前端总线(FSB)频率的区别:前端总线的速度指的是数据传输的速度,外频是CPU与主板之间同步运行的速度。也就是说,100MHz外频特指数字脉冲信号在每秒钟震荡一千万次;而100MHz前端总线指的是每秒钟CPU可接受的数据传输量是100MHz×64bit÷8Byte/bit=800MB/s。缓存
缓存是指可以进行高速数据交换的存储器,它先于内存与CPU交换数据,因此速度很快。L1
Cache(一级缓存)是CPU第一层高速缓存。内置的L1高速缓存的容量和结构对CPU的性能影响较大,不过高速缓冲存储器均由静态RAM组成,结构较复杂,在CPU管芯面积不能太大的情况下,L1级高速缓存的容量不可能做得太大。
L2
Cache(二级缓存)是CPU的第二层高速缓存,分内部和外部两种芯片。内部的芯片二级缓存运行速度与主频相同,而外部的二级缓存则只有主频的一半。L2高速缓存容量也会影响CPU的性能,原则是越大越好。 在一些高端处理器中还有L3缓存,也是为了提高处理器读取数据的效率。制造工艺
指在硅材料上生产CPU时内部各元器材的连接线宽度,一般用微米/纳米表示。微米值越小制作工艺越先进,CPU可以达到的频率越高,集成的晶体管就可以更多。目前Intel和AMD的都已经达到了95纳米、65纳米的制造工艺,明年将达到45纳米的制作工艺。CPU最新热点技术概览64位技术
之前的RISC平台全是纯64位架构,包括后来的Itanium 03年AMD推出兼容32位的x86-64,大家才开始讲64位,05年下半年就全部是64位了 目前AMD凭借基于AMD64的Opteron在服务器市场达到了20%~25%以上的份额双核技术、多核技术
01年IBM的双核Power4、04年HP双核PA-8800、SUN双核UltraSPARCIVAMD已经在推第二代SocketF的双核,Intel的代表则是第三代的WoodCrest Intel在2006年底推出了四核心芯片,AMD在2007年第二季度推出其它技术
90nm制程转向65nm、45nm制程 高缓存(双核Xeon每核2MBL2或者4MB共享缓存) 防病毒(AMD的NXbit、Intel的ExecuteDisableBit) 省电(Intel的DBS按需转换技术、AMD的PowerNow!)Intel的几项技术和最新产品线优势
1、特定软件3Dmax、Maya、Office、Photosho较明显提升性
2、适合多任务批处理工作
3、WindowsXP经过优化劣势
1、单任务性能下降
2、出错几率增大
3、大多程序没有经过优化Intel超线程技术-HT双核给操作系统和应用层提供物理的两个处理内核,而超线程是虚拟的内核超线程是把一个物理处理器。对操作系统而言,看成两个逻辑处理器,用以提高处理器的利用率–Intel的方法在超线程模式,CPU的缓存被“逻辑的处理器”划分,每一个逻辑处理器占用一定容量的缓存,而在AMD的双核中,每个物理的核独占自己专有的缓存采用超线程技术的处理器仍然无法解决前端总线的瓶颈,而AMD的双核技术基于直连架构并不是所有的应用程序都能从超线程技术中获益双核与超线程的比较Intel官方是给EM64T这样定义的:EM64T全称ExtendedMemory64Technology,即扩展64bit内存技术。EM64T是IntelIA-32架构的扩展,即IA-32e(IntelArchitectur-32extension)。Intel为支持EM64T技术的处理器设计了两大模式:传统IA-32模式(legacyIA-32mode)和IA-32e扩展模式(IA-32emode)。在支持EM64T技术的处理器内有一个称之为扩展功能激活寄存器(extendedfeatureenableregister,IA32_EFER)的部件,其中的Bit10控制着EM64T是否激活。在IA-32e扩展模式下也有两种模式:兼容模式和64位模式。但其中只有64位模式是真正的64bit计算。此时处理器才能利用64bit指令操作来支持64bit内存寻址,还可以进行双精度(64bit)整数运算。
在不同模式的转换中,处理最大的变化便是寄存器的改变。64bit与32bit定义的最大不同就是在寄存器上。Intel64位技术-EM64TDemand-BasedSwitching(按需切换技术):通过EIST(EnhancedIntelSpeedStepTechnology,增强型英特尔SpeedStep技术)实现DBS,动态调整处理器电压和内核频率,支持软件电源管理特性,使系统在获得优异的应用特性的同时降低平均功耗;EIST(增强型英特尔Speedstep技术)可让系统动态调整处理器电压和内核频率,从而降低能耗而减少产生的热量,降低能量消耗和能源成本。EIST同时要求兼容的CPU、BIOS和OS。Intel节能技术IntelServer平台最新产品线类型单路双核/四核PentiumD800系列90nmPentiumD900系列65nmXeon3000系列基于Core核心单路Xeon双核Xeon3200系列基于Core核心单路Xeon四核双路双核/四核XeonDP双核基于Prescott核心的PaxvilleDPXeon5000系列基于Prescott核心的DempseyXeon5100系列基于Core核心的WoodcrestXeon5300系列基于Core核心的Woodcrest四路双核Xeon7000系列PaxvilleMP双核Xeon7100系列TulsaMP双核安腾Itanium29000系列双核或者单核PentiumD系列Xeon3000/3200系列Xeon5300系列Xeon5000/5100系列Xeon7000/7100系列处理器号架构高速缓存时钟速度前端总线功率系统类型四核双核超线程技术†7150N65纳米16MBL3
2x1MBL23.50GHz667MHz150瓦多路
√√7140M65纳米16MBL3
2x1MBL23.40GHz800MHz150瓦多路
√√7140N65纳米16MBL3
2x1MBL23.33GHz667MHz150瓦多路
√√7130M65纳米8MBL3
2x1MBL23.20GHz800MHz150瓦多路
√√7130N65纳米8MBL3
2x1MBL23.16GHz667MHz150瓦多路
√√7120M65纳米4MBL3
2x1MBL23GHz800MHz95瓦多路
√√7120N65纳米4MBL3
2x1MBL23GHz667MHz95瓦多路
√√7110M65纳米4MBL3
2x1MBL22.60GHz800MHz95瓦多路
√√7110N65纳米4MBL3
2x1MBL22.50GHz667MHz95瓦多路
√√704190纳米2x2MB3GHz800MHz无多路
√√704090纳米2x2MB3GHz667MHz无多路
√√703090纳米2x1MB2.8GHz800MHz无多路
√√702090纳米2x1MB2.66GHz667MHz无多路
√√IntelItanium2系列IntelXeonDP平台三代双核的发展(1/2)IntelXeonDP平台三代双核的发展(2/2)IntelXeon四核处理器5300系列(Clovertown)采用两颗Woodcrast芯片封装在一起的做法,因而5300系列依然采用的是先进的酷睿微体系架构。实现内装四核后,5300系列处理器比5100系列处理器有40%~60%的性能提升。价格和无缝升级才是Clovertown最强的杀手锏,5300系列的价格会和高端的5100系列价格相差无几,且和5100共用一个平台。AMD的几项技术和最新产品线AMD崛起——AMD64架构CPU01MBL2CacheSystemRequestInterfaceXBARMemoryControllerHT0HT1HT2单核结构CPU01MBL2CacheCPU1SystemRequestInterfaceXBARMemoryControllerHT0HT1HT21MBL2Cache双核结构AMD双核增强病毒防护(EVP)是一项内嵌于AMD64处理器中的硬件功能。通过结合Windows系统中的数据执行预防技术,EVP不仅可以识别特定的恶意代码,尤其是那些执行缓存溢出攻击的代码,还可以防止它们在整个系统中自我复制和扩散。据微软的统计,目前的病毒有超过50%是基于“缓冲溢出”漏洞对系统进行破坏的。AMD64处理器配合微软操作系统,阻止“缓冲溢出”型病毒(如蠕虫病毒、振荡波…)发作,使原来的病毒变成没有危害的程序,同时阻断了病毒在互联网上的传播。WindowsXPSP2Windows2003ServerSP1Windows2003Serverx64以及以后的版本……AMD增强防病毒技术AMDServer平台最新产品线基于SocketF的第二代双核Opteron建立在一致的架构上,能够降低总体拥有成本一次性转换到新插槽基础架构从双核无缝升级到四核处理器,同时不增加散热量持续领先的每瓦性能高性能、低功耗DDR2内存一致的95瓦设计功耗和更低功耗选项泽领先的x86虚拟化技术AMD虚拟化™
(AMD-V™)硬件辅助支持行业领先的直连架构AMDQuad-CoreOpteron(1/4)CPU0512KBL2System
Request
Interface
XBARMemoryControllerHT0HT1HT22MBL3CacheCPU1512KBL2CPU2512KBL2CPU3512KBL2FeatureCore4L164KB(D)+64KB(I)/CoreL2Cache512KB/CoreL3Cache2MB
ShareTDP95WProcessorTechnology65nmHyperTransportYesMemoryControllerYes(DDRII667-800)AMD-VTechnologyYesGPGPUTechnologyYes增强节能技术YesSocketLGA1207Intel处理器技术详解AMDQuad-CoreOpteron(2/4)Intel处理器技术详解AMDQuad-CoreOpteron(3/4)整合内存控制器LowerPowerconsumptionIntegratedmemorycontrollerpowerincludedinprocessorpowerbudgetvs.22wattsto
~48wattsrequiredbyexternalmemorycontrollers!真正四核设计Toincreaseperformance-per-wattefficienciesusingthesamethermaldesignpower直联架构ProvidesfastI/OthroughputI/OdirectlyconnectedProvidesfasterCPU-to-CPUcommunicationCPUsdirectlyconnectedIntegratedmemorycontrollerdesignedforreducedmemorylatencyandincreasedperformanceMemorydirectlyconnectedHELPSREDUCETRADITIONALx86ARCHITECTUREFRONT-SIDEBUSBOTTLENECKS高级处理技术Silicon-on-InsulatorProcessFasttransistorswithlowpowerleakage-helpsreducewastedpowerandheat优化电源管理的增强AMDPowerNow!™T技术Dynamicallyreducespowerusedbycoresbasedonworkload
foranupto
75%savingsinpower
perprocessoratCPUidle!AMDQuad-CoreOpteron(4/4)目录服务器基础概念服务器系统技术
处理器技术
芯片组及主板技术
内存技术
硬盘及RAID技术
其它硬件技术
操作系统等基础软件低端服务器小型机和二代小型机大型计算机和机群芯片组(Chipset)是构成主板电路的核心。一定意义上讲,它决定了主板的级别和档次。计算机主板芯片组一般由北桥(NorthBridge)芯片和南桥(SouthBridge)芯片组成。但是到了后来就不以南、北桥划分了,但原理上并无本质区别,G/MCH(Graphics&MemoryControllerHub)图形/内存连接中心芯片——北桥ICH(I/OControllerHub)I/O设备连接中心芯片——南桥FWH(FirmWareHub)固件重心芯片——BIOS芯片1、北桥:是处理器和高速设备之间的联系纽带,如内存、PCIExpressx16、AGP8x、高速的PCI-X等设备2、南桥:是负责完成相对低速的系统设备的连接,如I/O设备、IDE、SATA、USB2.0、32Bit的普通PCI插槽,甚至是声效等芯片主板芯片组早期Intel平台芯片组(1/2)早期Intel平台芯片组(2/2)Intel3000/3010芯片组3000:支持1个PCI-Ex8端口3010:支持2个PCI-Ex8端口和1个PCI-Ex16端口Intel5000P/5000V芯片组经济型双路:5000V高性能与大容量双路:5000P工作站:5000XIntelE8500/E8870芯片组E8870:安腾2E8500/8501:Dual-CoreXeonMP7000/7100围绕AMD平台的芯片组支持AMDOpteron2000主板的例子华硕KFN5-DSLI主板采用nForceProfessional3600和nForceProfessional3050芯片组的搭配超微H8DA8-2主板采用nvidiaMCP55Pro和nvidiaIO-55芯片组泰安S3992主板采用ServerWorksHT2000和HT1000的组合技嘉3AESV主板采用的芯片组为ServerWorksHT2000和HT1000的组合ArimaNM460主板采用的芯片组为nVidianForcePro3600和NECuPD720404的组合目前90%以上的AMD平台芯片组都来自nVIDIAAMD后期可能会推自己的芯片组AMD刚收购了ATIAMD近期推出了AMD690芯片组目录服务器基础概念服务器系统技术
处理器技术
芯片组及主板技术
内存技术
硬盘及RAID技术
其它硬件技术
操作系统等基础软件低端服务器小型机和二代小型机大型计算机和机群80286时代
内存才被使用80386时代
FPMRAM,快页内存486和早期奔腾
EDO内存一代经典SDRAM
PC-100、PC133生不逢时RDRAM
Intel想独揽,成本太高再续经典DDR
在信号的上升沿和下降沿均传输信号,双倍速率今日主流DDR2/FBDIMM内存
每次预取4位数据,而不是DDR的2位
Intel平台推Free-BufferedDIMMDDR2SDRAMDDRDDR2内存的发展(1/3)内存的发展(2/3)内存的发展(3/3)从近年内存速率的发展趋势看,DRAM的数据率约3年翻一倍服务器系统的性能需求要求内存容量每2年翻一倍DDR2的优势
性能更好:DDR2拥有2倍于标准DDR内存的4bit预独取能力 功耗更低:DDR2采用FBGA封装具有更好的电气性能和散热性
DDR2电压从DDR的2.5V/2.8V降到了1.8V
更新技术:OCD(Off-chipdrivers),ODT(OnDieTerminator,PostCAS)DDRIIvsDDRIDDR的限制DDR每通道最大负载数随着DRAM速率的上升而减少DDRSDRAM采用基于SSTL(SerialStubTerminationLogic)的总线结构
STUBBUS引起的阻抗不连续对高速信号影响尤其明显,因而DDR速率越高,其每通道所允许搭载的DIMM也越少,进而影响到内存容量的提升Fully-BufferedDIMM内存FB-DIMM的推出正是为了弥补DDR总线结构的这一缺憾。FB-DIMM的DIMM槽之间采用点到点连接,从而从根本上避免了STUB,因而大幅度提高了每通道的带载能力。
所有信号(数据、地址、控制)都先经过BUFFER
将内存的读和写分开,读走Northboun指令和写走Southboun
将控制器和内存结构分离,保证了向后兼容,以后速率的UPDATE
只要升级BUFFER及DRAM即可,而结构保持不变AMB芯片AavancedMemoryBuffer
AMB主要工作有:与北桥控制器连接,令数据在AMB与控制器之间传送,
并对信号进行同步和驱动AMB还负责数据的串-并联转换和读写控制AMB之间可以相互通讯,从而实现多个模组间的点到点互连AMB是FB-DIMM核心器件,选取高质量的AMB是FB-DIMM性能的保证。Fully-bufferedDIMM内存的优劣势
采用点到点拓扑,避免了STUBBUS弊端,允许多通道,多负载,极大的提升了系统的内存容量
读和写分开走不同通道,并在速率设计上和DDR2DRAM匹配,使得总体数据带宽是DRAM的1.5倍,大大提高了数据的传输效率
简化,降低布线难度:PIN脚少(有效69),LANE-LANE间不用线长匹配,方便走线
以上所有优势的取得都和AMB的采用有关,但也正因为AMB的使用,导致了主板电源设计的复杂,并使系统功耗增加
AMB同时还引入了额外的延迟,降低了内存的性能AMB的尺寸很大(24.5mm*19.5mm),限制了FB-DIMM在刀片服务器上的应用ECC内存技术
ErrorCheckingandCorrecting
逻辑上保证数据的安全 性能会下降2%Registered技术
带寄存器的模组——稳定命令/地址信号、隔离干扰 物理上保证内存系统的稳定工作 目前服务器上大多是RegisteredECC类型的内存ChipKill内存技术
ECC只能纠正1比特的错误数据
ChipKill技术可以纠正4个比特的错误数据 最先出现在IBM的机器上,现在很多国内外厂商都被授权使用内存热备内存镜像内存热备内存镜像服务器专用内存技术目录服务器基础概念服务器系统技术
处理器技术
芯片组及主板技术
内存技术
硬盘及RAID技术
其它硬件技术
操作系统等基础软件低端服务器小型机和二代小型机大型计算机和机群IDE
规格:ATA-100、ATA-133甚至是ATA-150
容量:40G/80G/120G/160G/200G/250G/300G/400G
转速:7200rpm,缓存:2MB或者8MBSATA
串行IDE,采用串行技术进行数据传输
SATA-1(150MB/s)---SATA-2(300MB/s)---SATA-3(600MB/s) 容量:80G/120G/160G/200G/250G/300G/400G/500GSCSI
规格:Ultra320,外部数据传输率320MB/s
转速:10000rpm和15000rpm
容量:36G/73G/146G/300G SCSI硬盘及设备的接口:标准68针、高密68针、68针VHDCI、80针主流硬盘一览(1/2)SAS
串行SCSI,起始速率3Gbps,以后还会有6Gbps和12Gbps的产品
SAS可以兼容SATA
有2.5英寸和3.5英寸
2007年已经在一些高端用户开始普及 基于SAS的盘阵也已经大量上市FC FC硬盘的内部机械结构和SCSI几乎一样
FibreChannel技术提高了性能和可扩展性 目前FC硬盘多用在磁盘阵列 容量多为146G/300G主流硬盘一览(2/2)SATAUltra320SASFCAL性能1.5Gb/s3.0Gb/s3.0Gb/s3.0Gb/s计划12Gb/s4.0Gb/s计划16Gb/s连接性1米12米8米15米1个设备15设备128设备用扩展器最多16256个设备127个设备环或环交换只可接SATA设备只可接SCSI设备可接SATA和SAS设备只可接FC设备可用性单端口硬盘单端口硬盘双端口硬盘双端口硬盘单机点对点多机共享多机点对点多机共享或点对点SATA/SCSI/SAS/FC硬盘比较主轴转速
IDE、SATA:7200rpm SCSI、FC:10000rpm、15000rpm内部数据传输率
目前主流硬盘的内部数据传输率都在30MB/s~60MB/s之间单碟容量
增加容量,提高性能缓存
缓存越大,性能越好,一般有2MB、8MB甚至是16MB平均寻道时间
硬盘机械性能的重要指标,例如大于8ms的SCSI硬盘就不要考虑硬盘关注的技术参数SAS硬盘的优势优势1:兼容SATA,背板可以共用,提供用户多样选择,节约成本优势2:通过Expander,可连接的硬盘数量急剧增大优势3:点对点拓扑,使数据传输速率高,却更加稳定优势4:更少的传输信号,更细的线缆,更小的插头,提升了机箱散热,更加容易构建高密度硬盘阵列SAS硬盘的连接常见RAID级别RAID0
—DatastripingwithoutparityRAID1
—DiskmirroringRAID2—ComplexerrorcorrectionRAID3—Parallel-transfer,paritydriveRAID4—Concurrentaccess,dedicatedparitydriveRAID5
—Concurrentaccess,distributedparityRAID6RAID1+0
—DiskmirroringanddatastripingwithoutparityRAID技术RAID0—DiskStripingI/O性能提高没有考虑数据安全“VOD存储应用”“图形工作站”RAID技术:RAID0RAID1—DiskMirroring读性能提高磁盘冗余提高数据安全50%有效磁盘容量成本提高“OS安装磁盘”RAID技术:RAID1RAID1+0—StripedMirror-sets允许最大两个硬盘失效提高性能增强数据安全硬盘容量只有一半“核心数据库”RAID技术:RAID1+0RAID5—DistributedDataGuarding
最小3块硬盘校验数据分散在各盘N-1有效容量看中可用性看中成本看中性能RAID技术:RAID5IBMRAID1E/5E/5EE
RAID5E和RAID5+热备盘是不一样的
NetAPPRAID-DP
配置2块用于奇偶校验的硬盘HPRAIDADG和RAID5DP
都是和RAID6相类似的技术,为了防止两块硬盘出错
RIAD5ERIAD5+热备盘一些新的RAID级别HOSTRAID
用BIOS软件实现的“软RAID”
零通道RAID卡
利用主板上的SCSI接口,设计更紧凑 没有SCSI芯片,降低成本 应用更灵活更经济单通道RAID卡
1个SCSI通道,工作组级和部门级服务器的首选双通道RAID卡
2个SCSI通道 更大的Cache,高端用户的首选SCSIRAID的实现集成SATARAID
多数新的主板都集成有SATARAID0、1、5、10SATARAID卡
4口SATARAID卡
8口SATARAID卡SATARAID的实现目录服务器基础概念服务器系统技术
处理器技术
芯片组及主板技术
内存技术
硬盘及RAID技术
其它硬件技术
操作系统等基础软件低端服务器小型机和二代小型机大型计算机和机群PCI&AGP
64bit/66MHzPCI:533MB/s AGP8X:2.1GB/sPCI-X
PCI-X1.0:1GB/s(66/100/133MHz—533/800/1066MB/s)
PCI-X2.0:4.26GB/sPCI-Express
点到点的串行连接技术:10GB/sPCIPCI-XPCI-EI/O插槽PCI-X2.0规范也出来了PCI-X266266MHz2.1GB/sPCI-X533533MHz4.2GB/s各种I/O插槽速率对比PCI-Express五种规格x1,x2,x4,x8,x12,x16中。其中x4,x8和x12三种规格是专门针对服务器市场的,而x1,x2以及x16这三种规格则是为普通电脑设计的。PCI-Express和PCI不同的是实现了传输方式从并行到串行的转变。PCI-Express是采用点对点的串行连接方式,这个和以前的并行通道大为不同,它允许和每个设备建立独立的数据传输通道。不用再向整个系统请求带宽,这样也就轻松的到达了其他接口设备可望而不可及的高带宽。PCI-Express是今后主流ATX标准
PC和最低端的服务器上用
SSI标准
EPS规范:单电源供电的中低端服务器设计
TPS规范:适用于180瓦~275瓦的系统用于N+1冗余 MPS规范:针对4路以上CPU的高端服务器单独使用,也可冗余 DPS规范:电源是单48V直流电压输出的供电为简化电信用户的供电方式冗余电源工作方式 正常工作:各输出一半 出现故障时:全部转向另一个
服务器电源目录服务器基础概念服务器系统技术
处理器技术
芯片组及主板技术
内存技术
硬盘及RAID技术
其它硬件技术
操作系统等基础软件低端服务器小型机和二代小型机大型计算机和机群大型主机
IBMzSeries:z/OS、OS/390、Linux、z/VM、TPF、VSE/ESA等
UnisysClearPath:MCP、OS2200
Unix服务器
IBMpSeries:AIX5L、Linux(Turbo、SuSE)
IBMiSeries:OS/400(i5/OS)、AIX5L、Linux(RedHat、SuSE)、Windows
SUNSunFire:Solaris10/9/8
HP9000:HP-Unix11i
HPAlphaServer:HPTru64Unix、OpenVMS、Linux
SGIOrigin:SGIIRIX(用的是MIPSR14000A处理器)各类服务器操作系统简介(1/2)PC服务器
Windows:Windows2000/Windows2003/Windows2007(Longhon) Linux:有很多Distribution,知名的商业版本有Redhat、Turbo、SuSE、红旗Linux等
Unix:SCOUnixWare和OpenServer、Solaris、FreeBSD等安腾服务器
HPintegrity动能服务器:HP-UX、OpenVMS、Windows、Linux
富士通PRIMEQUEST:Windows、Linux
SGIAltix系列:SGIAdvancedLinux、SuSELinux各类服务器操作系统简介(2/2)Windows32bitEditionWindowsNTServer4.0Windows2000Server——文件、打印、Intranet、联网Windows2000AdvancedServer——LOB(在线商务)、电子商务Windows2000DatacenterServer——大型关键应用:OLTP(联机事务处理)、数据仓库、ASP(应用服务提供商)和ISP(Internet服务提供商)WindowsServer2003StandardEditionWindowsServer2003EnterpriseEdition(现在卖的是R2版本)WindowsServer2003DatacenterEditionWindowsServer2003WebEditionWindowsSmallBusinessServer2003——StandardEdition/EnterpriseEdition服务器操作系统——Windows(1/2)Windows64bitEditionForItanium2WindowsServer2003EnterpriseEditionforItanium2WindowsServer2003DatacenterEditionforItanium2ForAMD64、IntelEM64TWindowsServer2003Standardx64Edition
支持1-4路处理器和32GB内存WindowsServer2003Enterprisex64Edition
支持1-8路处理器和1TB内存WindowsServer2003Datacenterx64Edition
支持8-64路处理器和1TB内存
现在卖的也都是R2的版本,语言包是需要额外安装的。服务器操作系统——Windows(2/2)RedHatLinux原先的版本Redhat7.0/8.0/9.0(支持截止到2004年3月30日)后期的版本(V2.1/V3.0/V4.0)
RedHatEnterpriseLinux家族
RedHatEnterpriseLinuxAS——高级版、大型应用
RedHatEnterpriseLinuxES——中型应用
RedHatEnterpriseLinuxWS——小型服务器和工作站
RedHatDesktop——桌面客户端
TheFedoraProject——私人免费研究计划最新的发行版本是V5.0(Kernel2.6.18)不再区分AS、ES和WS,分为“服务器”和“高级平台”服务器操作系统——RedHatLinuxSUSELinux原先为欧洲领先的Linux操作系统厂商,后被Novell收购在美洲和欧洲市场非常强劲,尤其是企业级市场现最新版本SUSELinux10(2006年7月上市)
Desktop:SuSELinuxEnterpriseDesktop10 Server:SuSELinuxEnterpriseServer10
号称是划时代的版本,犹如Windows那样易安装配置,拥有美观的用户界面。内核版本为2.6.16另外还有OpenSUSE用于个人开放研究服务器操作系统——SUSELinuxTurboLinux亚洲领先的Linux操作系统厂商之前有Turbo6.5/7.0/8.0和GreatTurbo10现最新版本服务器操作系统——TurboLinux红旗Linux国内领先的Linux操作系统厂商在政府行业非常有优势现最新版本服务器操作系统——红旗LinuxUnix:SCOSCO是x86领域最流行的Unix操作系统SCO有UnixWare和OpenServer两个系列产品现最新版本
SCOUnixWare7.1.4/7.1.3/7.1.1(在国内使用最多的版本)
SCO
OpenServer
6/5.07/5.06(在国内使用最多的版本)Unix:SUNSolaris号称x86平台上最强大的Unix操作系统,最新的Solaris10是全免费的Unix:FreeBSD最具学院派分生产版本和新技术展示版现最新版本 生产版本:Release6.2,之前的有6.1/5.4
新技术展示版:Release5.2.1服务器操作系统——UnixMicrosoftSQLServerSQLServer2000SQLServer2005(支持64bit)Oracle(甲骨文)Oracle8/8iOracle9iOracle10gSybase较新的版本是ASE15IBMDB2多用在商业智能、数据挖掘领域Informix2001年被IBM并购,成为IBM的一条数据库产品线MySQL/PostgreSQL
Linux下用的比较多的免费数据库产品主流数据库达梦数据库(DM)武汉华工达梦数据库有限公司openBASE东软集团神舟OSCAR数据库北京神舟航天软件技术有限公司金仓数据库管理系统KingbaseES北京人大金仓信息技术有限公司iBASE北京国信贝斯软件有限公司国产数据库BEAWebLogicIBMWebSphere东方通金蝶/Oracle/Microsoft/SUN/Borland/中创软件/中关村科技主流中间件中间件(MiddleWare)是基础软件的一大类,属于可复用软件的范畴。顾名思义,中间件处于操作系统软件与用户的应用软件的中间。中间件在操作系统、网络和数据库之上,应用软件的下层,总的作用是为处于自己上层的应用软件提供运行与开发的环境,帮助用户灵活、高效地开发和集成复杂的应用软件。前三家占据了国内市场超过70%的份额目录服务器基础概念服务器系统技术低端服务器
什么是低端服务器
PC服务器与高端PC的区别
低端服务器的分类小型机和二代小型机大型计算机和机群低端服务器概念<8个处理器低端服务器<128个处理器大型主机32-128个处理器中型主机PC服务器是高性价比、高通用性服务器系统的象征!低端服务器:介于小型机和高端PC机之间,处理器个数在8个以内的一种计算机。低端服务器往往就是指2-4CPU的PC服务器(X86服务器)8-32个处理器小型主机1个处理器PC低端服务器特点1高通用性2高性价比3高扩充性4高可用性5高稳定性低端服务器与高端PC机的区别Question:
在小型局域网中,经常会使用高端PC替代服务器作为网络节点,高端PC是否可以替代服务器?Answer:
不行,低端服务器和高端PC机还有不少的区别服务器的优势性能高服务器比PC更可靠的持续运行能力、更强大的存储能力和网络通信能力虽然低端服务器的表面技术规格表面上和高端PC机相同,但是低端服务器的SCSI配置、多网卡设计和内存的高扩展性提供了更高的性能稳定性好PC机通常只是像人们一样保持每天8小时的工作,而且即使偶尔死机,我们也不会太在意而对于服务器,要求低端服务器保证7×24的工作,而且很少出现因为温度、电压、数据传送等因素引起的宕机故障。所以低端服务器全部采用了专业的服务器主板、专业的服务器电源、ECC内存、特殊的散热系统和专业的服务器机箱等保证整个服务器系统的稳定性。扩展性好低端服务器无论在电路设计还是机箱结构设计上都为扩展留下了大量的空间。它们的PCI插槽数目、存储器托架数量会明显高于“斤斤计较”的PC机。可管理性强服务器之所以可以成为企业信息处理的核心,其可管理性也是相当重要的。这是一个由软硬技术共同保证的指标,同样成为区隔服务器与PC的鸿沟。服务器管理功能可以监控系统的电压、风扇和温度状态,保证系统出现故障及时通知网管人员或者及时排除,保证服务器系统的可管理性。专业的技术服务服务器的服务PC机的服务和服务服务器的优势降低用户的总体拥有成本(TCO)服务器的价格虽然比PC高,但是由于由于服务器的特点会降低用户的安装成本、运行成本、管理成本、维修成本,也就是所谓的TCO
硬件采购成本一般只占总拥有成本的20%-30%
总拥有成本(TCO)应该越来越受到高端核心领域决策主管的重视!服务器的优势目前一些PC服务器厂家按服务器级别分类入门级
单路服务器 使用的处理器和相关部件接近PC
区别于PC的地方在于机器设计和部件选型方面更加考虑高性能和稳定性工作组级
低端两路服务器 在主板(芯片组)选型等方面一般使用稍低端芯片组 例如很多机型配置了SATA硬盘部门级
主流两路服务器市场上出货量最大的一类机器,很多厂商机器的配置规格都很相近企业级
四路及其以上服务器市场上大部分的RISC服务器(小型机)也都属于企业级服务器按机箱结构分类塔式
也叫立式或者台式 随着用户机器数量的增加以及集中部署,塔式机型在市场上的销量在减少。机架式
1U/2U/3U/4U/5U/……/12U 1U=1.75英寸=4.445CM
符合“19英寸机架”的标准规格,19英寸=48.26CM可塔式可机架式
可以非常灵活地塔式摆放或者变换成机架式 一般需要配置塔式机架式转换套件目录服务器基础概念服务器系统技术低端服务器小型机和二代小型机
什么是小型机,什么是二代小型机
二代小型机出现的背景
曙光二代小型机
二代小型机的应用领域大型计算机和机群什么是小型机<8个处理器低端服务器8-32个处理器小型机<128个处理器大型主机32-128个处理器中型主机小型机≠RISC服务器!小型机是高性能、高可靠服务器系统的象征!小型机英文名叫做Server,小型机其名是国内的习惯称呼。它是介于大型主机和PCServer之间,其价格远低于大型主机,性能高于PCServer,处理器个数在8-32之间一种高性能64位计算机。什么是二代小型机二代小型机不是采用RISC处理器,而是X86架构的处理器CPU数在8-32之间,SMP架构能同时支持Linux和Unix操作系统和RISC小型机一样,具有高稳定性、高可靠性、高性能为了有别与传统的“RISC小型机”,在其前面增加“二代”两个字RISC小型机的特点高运算处理能力HighPerformance高可靠性Reliability高服务性Serviceability高可用性Availability1、采用8-64颗处理器,实现多CPU协同处理功能;2、配置超过32GB的海量内存容量;3、系统设计有专用高速I/O通道。1、延续了大型机、中型机的高标准的系统与部件设计技术;2、采用高稳定性的UNIX类操作系统。能够实时在线诊断,精确定位出根本问题所在,做到准确无误的快速修复。多冗余体系结构设计是小型机的主要特征,如冗余电源系统、冗余I/O系统、散热系统等。RISC小型机的缺点管理难度大可扩展性差程序可移植性差价格昂贵每一种小型机自成体系,需要特殊的操作系统与应用程序,即使是通用应用,也因操作系统的专一性,导致通用应用在不同UNIX操作统管理大相径庭。由于系统体系结构限制,其扩展性难以与PCServer相比,几大厂家的发展态势不明朗小型机独有的体现结构,基本上不能实现异构系统的程序移植,即使是不同时期的同一公司产品也很难实现程序移植因其系统不开放性,使其市场价格居高不下,维护费用高第二代小型机出现的背景Linux操作系统的广泛应用
LINUX操作系统已日趋成熟,其性能已经和UNIX操作系统相当。如:在UNIX下应用的Oracle、Sybase等企业级数据库系统已经在LINUX下成功应用,并且得到了时间与应用的检验。基于X86架构的64位处理器性能大幅度提高
满足摩尔定律的X86架构,双核多核系统的成功推出及多路处理器计算机系统的成功研发,使得基于RISC架构下的传统小型机性能优势不复存在。二代小型机的优势继承了第一代小型机的优点
高运算处理能力:8核心以上,高速系统总线,专用高速内存通道、高速I/O存储通道 高可靠性(Reliability):整合企业级的SUNSolaris系统、高标准的部件设计 高可用性(Availability):存储、电源、散热等多冗余体系结构设计弥补了传统小型机的不足
支持Linux类的操作系统:Redhat、Suse、Turbo
硬件层、OS层和应用层的管理维护难度大大降低:就和管理普通的PCServer一样 程序移植性增强:轻松实现目前90%的应用移植 扩展性增强:不受限于单一硬件厂商发展的制约 性价比高:价格仅相当于传统小型机同类产品的30%-50%
构建小型机集群:不再需要庞大的投资X86结构(Opteron)VsRISC结构(SPARC)Core01MBL2Core11MBL2SystemRequestInterfaceXBARMemoryControllerHT0HT1HT2Core01MBL2Core11MBL2SystemRequestInterfaceXBARMemoryControllerHT0HT1HT26.4GB/s6.4GB/s6.4GB/s曙光第二代小型机产品线EP420EP430EP850产品
型号支持
CPU数量最大CPU核心数内存
总容量内存
带宽机箱
系统硬盘
数量重点适用范围EP8508颗32core128GB51.2GB/s5U8大型数据库EP4304颗16core40GB25.6GB/s3U4中大型数据库EP4204颗16core40GB25.6GB/s2U2中型数据库曙光第二代小型机
处理器核心架构----CPUSystem
内存系统----MemorySystemI/O系统----I/OSystem
高性能的系统体系结构设计高速点对点系统总线设计的多处理器系统Core01MBL2Core11MBL2SystemRequestInterfaceXBARMemoryControllerHT2HT1HT0Core01MBL2Core11MBL2SystemRequestInterfaceXBARMemoryControllerHT0HT1HT2Core11MBL2Core01MBL2SystemRequestInterfaceXBARMemoryControllerHT2HT1HT0Core11MBL2Core01MBL2SystemRequestInterfaceXBARMemoryControllerHT0HT1HT2HT16×16@800MHz6.4GB/s点对点的高速系统总线设计短流水线体系设计整合内存控制器多核设计SOI、铜互连技术内存系统----MemorySystem:Core01MBL2Core11MBL2SystemRequestInterfaceXBARMemoryControllerHT0HT1HT2Core01MBL2Core11MBL2SystemRequestInterfaceXBARMemoryControllerHT0HT1HT2Core11MBL2Core01MBL2SystemRequestInterfaceXBARMemoryControllerHT2HT1HT0Core11MBL2Core01MBL2SystemRequestInterfaceXBARMemoryControllerHT2HT1HT0HT16×16@800MHz6.4GB/s6.4GB/s6.4GB/s6.4GB/s6.4GB/s
I/O系统多通道I/O设计----可支持双通道、4通道等冗灾数据保护设计----支持Raid5、10等可支持I/O聚合功能设计,最高可实现1.3GB/s带宽
多操作系统的支持
支持传统的UNIX类操作系统
支持通用的LINUX类操作系统高可靠性的产品设计
高标准的产品设计
电源系统----PowerSystem
企业级电源设计要求
N+1冗余电源设计按需分配的系统电源设计
散热系统----ThermalSystem
独立风道设计按需供给的散热系统设计高可用性的产品设计I/O系统----I/OSystem
整合Raid功能,保护系统
支持PCI-X总线:
支持64位PCI-X133MHz总线
易移植的产品设计
支持PCI-Express总线:
支持X16PCI-Express串行总线高扩展的产品设计
可以轻松实现数据库、中间件在EP850、EP480、EP430和EP420上的移植
易管理的产品设计
整体管理难度低,与通用服务器管理难度相当独具创新特色的曙光EP850体系结构典型应用领域:电子政务曙光是首个国产平台电子政务方案的唯一硬件厂商,成为从中央到地方政府采购的重点合作伙伴。曙光服务器在“十二金工程”中大量成功实施,推动我国电子政务的发展。其中,济南市公安局采用曙光8路小型机天演EP850作节点搭建机群,峰值运算速度突破了每秒1万亿次,成为目前中国规模最大的电子政务机群,也是亚洲规模最大的双核机群,项目总投资仅相当于同档次传统小型机的40%。典型成功案例:山东济南市公安局金盾工程4台EP85012台EP430目录服务器基础概念服务器系统技术低端服务器小型机和二代小型机高性能计算机和机群
高性能计算机的分类和发展
机群系统和曙光天潮机群产品
机群典型应用案例-上海超算什么是高性能计算机高性能计算机,顾名思义它是具有功能最强、运算速度最快、存储容量最大的一类计算机也称为:高端计算机、超级计算机目前任何高性能计算和超级计算都离不开使用并行技术,所以高性能计算机肯定是并行计算机。计算机分类Flynn分类Flynn(1972)提出指令流、数据流和多倍性概念,把不同的计算机分为四大类:SISD(Single-InstructionSingle-Data)SIMD(Single-InstructionMulti-Data)MISD(Multi-InstructionSingle-Data)MIMD(Multi-InstructionMulti-Data)高性能计算机肯定是属于MIMD。MIMD从结构上和访存方式上,又可以分为:结构模型:PVP,SMP,MPP,DSM,COW访存模型:UMA,NUMA,COMA,CC-NUMA,NORMA结构模型对称多处理机系统(SMP)SMP对称式共享存储:任意处理器可直接访问任意内存地址,且访问延迟、带宽、机率都是等价的;系统是对称的;微处理器:一般少于64个;处理器不能太多,总线和交叉开关的一旦作成难于扩展;例子:IBMR50,SGIPowerChallenge,SUNEnterprise,曙光一号;对称多处理机系统(SMP)DSM分布共享存储:内存模块物理上局部于各个处理器内部,但逻辑上(用户)是共享存储的;这种结构也称为基于Cache目录的非一致内存访问(CC-NUMA)结构;局部与远程内存访问的延迟和带宽不一致,3-10倍
高性能并行程序设计注意;与SMP的主要区别:DSM在物理上有分布在各个节点的局部内存从而形成一个共享的存储器;微处理器:16-128个,几百到千亿次;代表:SGIOrigin2000,CrayT3D;大规模并行计算机系统(MPP)MPP物理和逻辑上均是分布内存能扩展
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 翼型浮袋市场发展现状调查及供需格局分析预测报告
- 2024年度汽车销售与购销合同
- 酒具市场需求与消费特点分析
- 2024年度供应链管理合同:供应链公司与生产企业之间的合作协议
- 2024年度文化旅游产业投资与运营合同
- 运动负重用沙袋市场发展预测和趋势分析
- 2024年度旅游服务合同(景点)
- 芳香精油市场发展现状调查及供需格局分析预测报告
- 2024年度品牌授权使用合同(含区域独家授权和违约责任)
- 2024年度住宅小区车位租赁合同范本
- 护理不良事件分析-跌倒-根因分析法
- 《土木工程制图》复习题20145要点
- 幼儿园小班音乐《妈妈来抓兔兔》的优秀教案
- 钢结构厂房水电安装施工组织设计方案
- 业务学习简报(简笔画)
- 宁波地区冬闲田利用现状及对策
- 自动升降柱施工方案(1)
- 绿水青山就是金山银山心得体会范文(三篇)
- 新视野大学英语第三版读写教程第二册Unit5
- 安全文明施工二次策划方案(完整版)
- 胸椎管狭窄症诊疗指南(全文)
评论
0/150
提交评论