版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
计算机组成原理v1.0第一章鲲鹏处理器计算机组成原理v1.0第一章鲲鹏处理器鲲鹏处理器是华为面向ICT领域兼容ARM64bit指令集的多核处理器芯片,基于华为自研的具有完全知识产权的ARMV8架构,采用业界领先的7nm制程,多Die合封的Chiplet封装工艺,在提供强大计算能力的同时还集成了丰富且强大的IO能力,为行业用户实现业务加速提供支撑。本章主要介绍华为鲲鹏芯片的关键技术,以及基于鲲鹏系列芯片的TaiShan服务器产品知识和典型应用案例,包括鲲鹏920芯片硬件设计、芯片规格、架构、加速引擎、流水线技术等相关的内容。鲲鹏处理器是华为面向ICT领域兼容ARM64bit指令集的学完本课程后,您将能够:描述华为鲲鹏芯片的关键技术描述鲲鹏920处理器的产品特点了解鲲鹏920处理器的设计架构了解鲲鹏920处理器的加速引擎功能学完本课程后,您将能够:ARM处理器体系结构鲲鹏系列处理器鲲鹏计算典型应用场景鲲鹏计算产业生态鲲鹏软件开发工具链ARM处理器体系结构ARM处理器体系结构鲲鹏系列处理器鲲鹏计算典型应用场景鲲鹏计算产业生态鲲鹏软件开发工具链ARM处理器体系结构指令集:RISCvsCISCARM:使用精简指令集(RISC),大幅简化架构,仅保留所需要的指令,可以让整个处理器更为简化,拥有小体积、高效能的特性;ARM指令集主要使用NEON;ARMv8架构支持64位操作,指令32位,寄存器64位,寻址能力64位;X86:使用复杂指令集(CISC),以增加处理器本身复杂度作为代价,去换取更高的性能;X86指令集从MMX,发展到了SSE,AVX;Page6ARMv8架构的特点:1、31个64位通用寄存器,原来架构只有15个通用寄存器。2、新指令集支持64位运算,指令中的寄存器编码由4位扩充到5位。3、新指令集仍然是32位,减少了条件执行指令,条件执行指令的4位编码释放出来用于寄存器编码。4、堆栈指针SP和程序指针PC都不再是通用寄存器了,同时推出了零值寄存器。(类似PowerPC的r0)5、A64与A32的高级SIMD和FP相同6、高级SIMD与VFP共享浮点寄存器,支持128位宽的vector7、新增加解密指令指令集:RISCvsCISCARM:使用精简指令集(RIARM处理器体系结构ARM的基本数据类型:双字节(DoubleWord):64位字(Word):在ARM体系结构中,字的长度为32位半字(Half-Word):在ARM体系结构中,半字的长度为16位字节(Byte):在ARM体系结构中,字节的长度为8位ARM处理器体系结构ARM的基本数据类型:ARM处理器体系结构ARM内核工作模式:用户模式(user):正常程序执行模式;快速中断模式(FIQ):高优先级的中断产生会进入该种模式,用于高速通道传输;外部中断模式(IRQ):低优先级中断产生会进入该模式,用于普通的中断处理;特权模式(Supervisor):复位和软中断指令会进入该模式;数据访问中止模式(Abort):当存储异常时会进入该模式;未定义指令中止模式(Undefined):执行未定义指令会进入该模式;系统模式(System):用于运行特权级操作系统任务;监控模式(Monitor):可以在安全模式和非安全模式之间切换;ARM处理器体系结构ARM内核工作模式:ARM处理器体系结构ARM流水线的执行顺序:取指令(Fetch):从存储器读取指令;译码(Decode):译码以鉴别它是属于哪一条指令;执行(Execute):将操作数进行组合以得到结果或存储器地址;缓冲/数据(Buffer/data):如果需要,则访问存储器以存储数据;回写:(Write-back):将结果写回到寄存器组中;ARM处理器体系结构ARM流水线的执行顺序:ARM处理器体系结构ARM指令集:数据操作指令;乘法指令;Load/Store指令;跳转指令;状态操作指令;异常产生指令ARM处理器体系结构ARM指令集:ARM处理器体系结构ARM指令的寻址方式:立即数寻址;寄存器寻址;寄存器移位寻址;寄存器间接寻址;基址变址寻址;多寄存器寻址/块拷贝寻址;相对寻址ARM处理器体系结构ARM指令的寻址方式:ARM处理器体系结构ARM处理器有七种类型的异常中断:复位异常(Reset):处理器在工作时,突然按下重启键,就会触发该异常;数据异常(DataAbort):读取数据失败;快速中断异常(FIQ):快速中断要比普通中断响应速度要快一些;外部中断异常(IRQ):普通中断;预取异常(PrefetchAbort):预取指令失败,ARM在执行指令的过程中,要先去预取指令准备执行,如果预取指令失败,就会产生该异常;软中断异常(SWI):软件中需要去打断处理器工作,可以使用软中断来执行;未定义指令异常(UndefinedInstruction):处理器无法识别指令的异常,处理器执行的指令是有规范的,如果尝试执行不符合要求的指令,就会进入到该异常指令对应的地址中;当异常发生时,分组寄存器R14和SPSR用于保存处理器状态,异常返回时,SPSR内容恢复到SPSR,链接寄存器R14的内容恢复到程序计数器PCARM处理器体系结构ARM处理器有七种类型的异常中断:ARM架构发展史ARM架构发展史ARM架构发展史(2)ARM架构发展史(2)ARM处理器系列命名规则命名格式:ARM{x}{y}{z}{T}{D}{M}{I}x:处理器系列,是共享相同硬件特性的一组处理器,如:ARM7TDMI、ARM740T都属于ARM7系列y:存储管理/保护单元z:CacheT:Thumb,Thumb16位译码器D:Debug,JTAG调试器M:Multipler,快速乘法器I:EmbeddedICELogic,嵌入式跟踪宏单元ARM处理器系列命名规则命名格式:ARM{x}{y}ARM架构发展史(3)从ARMv7开始,CPU命名为Cortex,并划分为A、R、M三大系列,分别为不同的市场提供服务;A(Application)系列:应用型处理器,面向具有复杂软件操作系统的面向用户的应用,为手机、平板、AP等终端设备提供全方位的解决方案;R(Real-Time)系列:实时高性能处理器,为要求可靠性、高可用性、容错功能、可维护性和实时响应的嵌入式系统提供高性能计算解决方案;M(Microcontroller)系列:高能效、易于使用的处理器,主要用于通用低端,工业,消费电子领域微控制器。ARM架构发展史(3)从ARMv7开始,CPU命名为CoARM架构发展史(4)ARM架构发展史(4)ARM服务器处理器的优势低功耗一直以来都是ARM架构芯片最大的优势;ARM架构的芯片在成本、集成度方面也有较大的优势;端、边、云全场景同构互联与协同;更高的并发处理效率;完善的生态系统,与多元化的市场供应ARM服务器处理器的优势低功耗一直以来都是ARM架构芯片最大ARM服务器处理器的兴起亚马逊公司的Graviton服务器处理器与EC2弹性计算云;Marvell/Cavium公司的ThunderX系列服务器处理器;Ampere公司的eMAG/Altra系列服务器处理器;飞腾公司FT2000+系列服务器处理器;华为公司鲲鹏系列服务器处理器ARM服务器处理器的兴起亚马逊公司的Graviton服务器处ARM处理器体系结构鲲鹏系列处理器什么是鲲鹏鲲鹏920系列芯片概览鲲鹏920系列芯片规格鲲鹏920系列芯片架构鲲鹏920系列芯片加速器引擎功能鲲鹏计算典型应用场景鲲鹏计算产业生态鲲鹏软件开发工具链ARM处理器体系结构199120052009201420162019第一颗传输网络的ASIC芯片第一颗基于ARM的无线基站芯片第一颗基于ARM的移动端处理器第一颗基于ARM的64位处理器业界第一颗支持多路ARM处理器业界第一颗7nm数据中心处理器K3Hi1612鲲鹏916鲲鹏920开放生态开放平台,支持业界主流软硬件;构建鲲鹏生态,与开发者、伙伴和产业组织共同打造智能计算新底座安全可靠鲲鹏处理器基于自研内核,TaiShan服务器计算芯片全自研17年计算创新铸就稳如泰山的高品质高效能计算提供兼容ARM架构的高性能鲲鹏处理器、TaiShan服务器和解决方案,将高效能计算带入数据中心。鲲鹏系列处理器发展历程199120052009201420162019第一颗传输网性能核数64核40核32核16核20172019201516*A57@16FF2.1GHz2*64bitDDR3/4PCIe3.0/SAS3.0/10GE32*A57@16FF2.1GHz4*64bitDDR3/4PCIe3.0/SAS3.0/10GE32*A72@16FF+2.4GHz2P互联4*64bitDDR3/4PCIe3.0/SAS3.0/10GE24/32/48/64*自研核V1Upto3GHz4P,8*64bitDDR4RoCEv2PCIe4.0/100GE92091291091624/32*自研核V1Upto3GHz2P,4*64bitDDR4RoCEv2PCIe4.0/100GE920SPlanningUnderDevProduction鲲鹏系列处理器路标性能64核40核32核16核20172019201516*ACPUDieCPUDieI/O
Die鲲鹏开放主板鲲鹏服务器分析扫描工具代码迁移工具使能合作伙伴鲲鹏是计算平台鲲鹏是生态应用制程工艺领先:业界领先7nm制程,多Die合封的Chiplet架构自研多核内核:自研CPU内核算力提升50%,自研片间互联,支持多路互联率先支持下一代网络和接口:支持8通道内存控制器和100GE端口处理器->单机->集群,鲲鹏开放硬件平台完备的软件工具链,发挥鲲鹏最佳性能性能优化工具加速库使能行业应用应用中间件
数据库操作系统服务器/PC大数据分布式存储
高性能计算原生应用云服务鲲鹏是SoC鲲鹏简介CPUDieCPUDieI/ODie鲲鹏开放主板鲲鹏服32核,2.4GHz主频SPECint性能匹配业界中端,功耗低至75W支持4通道DDR4控制器支持PCIe3.0和SAS/SATA3.0集成板载GE/10GE网络支持2路互联7nm制程,数据中心ARM处理器计算核数提升1倍,最多64核SPECint性能提升超过2倍内存通道数提升1倍,支持8通道DDR4控制器支持PCIe4.0和CCIX集成板载100GE网络和加密、压缩等引擎支持2路或4路互联鲲鹏916鲲鹏920支持多路互联的ARM处理器
鲲鹏处理器32核,2.4GHz主频7nm制程,数据中心ARM处理器计鲲鹏主板开放共享接口与设备规范整机参考设计共享工程能力整机参考设计指南(含机箱、散热、供电等设计)部件与OS兼容性列表主板(含鲲鹏处理器)主板接口规范BIOS软件&规范BMC芯片/软件&设备管理规范快速开发(3个月)持续供应安全可靠(低于业界平均故障率15%)伙伴价值PC服务器打造多样化计算产品基于鲲鹏主板的多样化计算产品鲲鹏主板开放整机参考设计整机参考设计指南主板(含鲲鹏处理器17年的工程工艺积累高速互联可靠设计质量品控40度以上异常高温运行56G/112G板级高速互联无源背板&三重硬盘抗震故障率低于业界15%液冷散热52804U40盘存储型X60002U4节点高密型22802U2路均衡型2280E边缘型数据中心边缘计算存储密集型计算密集型12801U2路高密型52904U72盘存储型(新产品)(新产品)(新产品)(新产品)24802U4路高性能型基于鲲鹏920的华为TaiShan200服务器17年的工程工艺积累高速互联可靠质量品控40度以上异常高温运ARM处理器体系结构鲲鹏系列处理器什么是鲲鹏鲲鹏920系列芯片概览鲲鹏920系列芯片规格鲲鹏920系列芯片架构鲲鹏920系列芯片加速器引擎功能鲲鹏计算典型应用场景鲲鹏计算产业生态鲲鹏软件开发工具链ARM处理器体系结构鲲鹏920系列芯片概览鲲鹏920提供强大的计算能力,基于华为自研的具有完全知识产权的ARMV8架构,最多支持64Core。通过片间Cache一致性接口Hydra可扩展系统核数,最多支持到256Core,形成性能超强的板级计算节点。支持CPUCore虚拟化、内存虚拟化、中断虚拟化、IO虚拟化等多项虚拟化等技术,使得系统的资源共享更加灵活、系统的迁移过程变得相对简单。鲲鹏920具有丰富且强大的I/O能力。集成以太网控制器;提供SAS控制器;集成PCIe控制器。芯片集成安全算法引擎、压缩/解压缩引擎、存储算法引擎等加速引擎进行业务加速。鲲鹏920系列芯片概览鲲鹏920提供强大的计算能力,基于华为Kunpeng920加速性能集成①CPU性能是关键:通过自研泰山核和多核,性能是SkyLake6148的1.4倍,达到下一代XEONV6性能。多P架构支撑产品性能扩展。性能不低于友商的同时,保持26%+功耗优势。②SoC高度集成:丰富的IO接口,支撑硬件极简设计8ChannelDDR4。PCIe4.0、100GE、SAS3.0、NVME、RoCEv2③芯片和产品Co-Design,架构创新:X86性能提升乏力,异构加速卸载成为常态内置RAID、RSA/SEC、GZIP、EC、重删、POE加速,为产品提供In-Line业务加速,免锁队列和SSDNVMeDMA加速。外接扩展加速(CCIX、SDI),承载存储和云业务卸载架构创新。Kunpeng920芯片概述:高性能、高集成、异构加速Kunpeng920加速性能集成①CPU性能是关键:②S高集成:4in1LLC30GT/s
HCCSLocalBusNANDC/USB/UART100GENIC/RoCESAS/SATA3.0
控制器PCIe4.08通道DDR464
cores高能效:30%高并发:25%
高I/O:25%
业界性能最高的多核架构处理器,基于RISC指令集和7nm工艺业界最高性能ARM-Based处理器高集成:4in1LLC30GT/sHCCSLocalBuKunpeng920SAS控制器桥片CPURoCE网卡Kunpeng920Kunpeng920HCCSHCCSHCCSHCCSKunpeng920Kunpeng920多合一SoCxPU高速互联注:HCCS(HuaweiCacheCoherenceSystem)华为自研片间互联协议高集成高能效单位功耗的SPECint性能更高5.03Kunpeng920-48核Kunpeng920-32核Others3.634.5230%每1万台Hadoop节点每年节电
1千万度碳排放每年减少
1万多吨高集成,高能效Kunpeng920SAS控制器桥片CPURoCE网卡KKunpeng920支持PCIe4.0
PCIe4.0双口卡能带来两倍带宽和更低时延
华为与Mellanox公司联合对PCIeGen4进行深度性能优化时延(低数值为优)单向带宽(高数值为优)双向带宽(高数值为优)更高的链路带宽、更低的通信时延Kunpeng920支持PCIe4.0时延(低数值为优)更安全:鲲鹏加速引擎,数据安全加解密
内存内置加解密加速引擎……片内总线鲲鹏920处理器数据密钥处理器核处理器核内存数据密钥……PCIe总线传统处理器处理器核处理器核PCIe数据加密卡传统PCIe加密卡方案鲲鹏安全加解密方案明文数据密文数据明文数据密文数据明文数据通过PCIe总线传输,有数据泄密风险鲲鹏内置加解密加速引擎,不占用计算资源明文数据仅通过片内总线传输,安全性高支持SM3/SM4国密算法加速更安全:鲲鹏加速引擎,数据安全加解密内存内置加解密加速引ARM处理器体系结构鲲鹏系列处理器什么是鲲鹏鲲鹏920系列芯片概览鲲鹏920系列芯片规格鲲鹏920系列芯片架构鲲鹏920系列芯片加速器引擎功能鲲鹏计算典型应用场景鲲鹏计算产业生态鲲鹏软件开发工具链ARM处理器体系结构集成最多64×自研核指令集兼容ARMv8.2,最高主频达3.0GHz每核集成64KBL1I/D缓存每核独享512KBL2缓存,单芯片共享48-64MBL3缓存8×DDR4控制器@2933MT/s集成PCIe/SAS接口支持PCIe4.0,向下兼容PCIe3.0/2.0/1.0支持x16,x8,x4,x2,x1PCIe4.0,集成20PCIe控制器支持16×SAS/SATA3.0控制器支持CCIX接口,支持加速器的缓存一致性支持2×100GRoCEv2,支持25GE/50GE/100GE标准NIC支持2P/4P扩展封装大小:60mm×75mm鲲鹏920系列芯片规格集成最多64×自研核鲲鹏920系列芯片规格Hi1620/Hi1620S/Hi1601规格Hi1620SHi1620Hi1620Hi1620SHi1601CPU核数48@2.6GHz24@2.6GHz/L3cache48MB24MB/内存通道8ChannelDDR44ChannelDDR4/多P互连1P/2P/3P/4P/2P+IOB1P/2P/1P+IOB/PCI-E40lanesofPCIeG4.040lanesofPCIeG4.040lanesofPCIeG4.0Networking(NIC、ROCE)8lanesofETH,ComboMACssupport2x100GE,2x50GE,2x40GE,
4x25GE,8x10GE,8xGERoCEv2/RoCEv18lanesofETH,ComboMACssupport2x100GE,2x50GE,2x40GE,
4x25GE,8x10GE,8xGERoCEv2/RoCEv18lanesofETH,ComboMACssupport2x100GE,2x50GE,2x40GE,
4x25GE,8x10GE,8xGERoCEv2/RoCEv1StorageIOx1USB3.0;x2USB2.0;x16SAS3.0;x2SATA3.0AHCIx2USB2.0;x16SAS3.0;x2SATA3.0AHCIx1USB3.0;x2USB2.0;x16SAS3.0;x2SATA3.0AHCI存储相关加速器POE/CryptoEngineAES,DES/3DES,MD5,SHA1,SHA2,HMAC,CMACUpto100GbpsRSA1024/204854KbpsCompressionGZIPUpto40Gbps(compress)/100Gbps(decompress)RAIDXOR/PQ/EC/in-lineDIFaccelerationMEIsolatedmanagementsubsystem.Co-workswithBMCandprovidesfirmwareconfigurationoftheserverchip封装60mm*75mm53mm*53mm37.5mm*37.5mm功耗158W97W40W场景:SDINOFJBOFIPJBOF入门级存储场景:Dorado中高端融合存储Taishan服务器云存储大数据HPCHi1601场景:NOFJBOFIPJBOF入门级存储CPUDIEIODIEHi1620/Hi1620S/Hi1601规格Hi1620SARM处理器体系结构鲲鹏系列处理器什么是鲲鹏鲲鹏920系列芯片概览鲲鹏920系列芯片规格鲲鹏920系列芯片架构鲲鹏920系列芯片加速器引擎功能鲲鹏计算典型应用场景鲲鹏计算产业生态鲲鹏软件开发工具链ARM处理器体系结构鲲鹏920系列芯片架构–乐高架构Page38IntelSkylake芯片为一个die,片内通过mesh相互通信鲲鹏920芯片采用乐高架构封装而成,die内有ring通信,而die间需要通过SLLC接口进行通信鲲鹏920系列芯片架构–乐高架构IntelSkylakARMCoreL1IL1DL2ARMCoreL1IL1DARMCoreL1IL1DARMCoreL1IL1DL2L2L2L2L2L2L2L2L2L2L2L2L2L2L2ARMCoreL1IL1DARMCoreL1IL1DARMCoreL1IL1DARMCoreL1IL1DringLLCLLCLLCLLCARMCoreL1IL1DARMCoreL1IL1DARMCoreL1IL1DARMCoreL1IL1DARMCoreL1IL1DARMCoreL1IL1DARMCoreL1IL1DARMCoreL1IL1DringLLCLLCLLCLLCSLLCARM独享L1Cache和L2Cache,4个Core和1个L3Cachetag组成一个Cluster,6~8个Cluster组成一个CPUDie,合封后的两个CPUDie共享LLC。鲲鹏920系列芯片架构–乐高架构(2)ARML1IL1DL2ARML1IL1DARML1IL1DA芯片架构-乐高架构(3)-可支持多种封装形态Page40Hi1620:2CPUDIE+1I/ODIEHi1620s:1CPUDIE+1I/ODIEHi1601:1I/ODIE芯片架构-乐高架构(3)-可支持多种封装形态Hi1620鲲鹏920系列芯片架构(2)鲲鹏920处理器片上系统组成2P服务器处理器多片互联方案鲲鹏920系列芯片架构(2)鲲鹏920处理器片上系统组成2P鲲鹏920系列芯片架构(3)4P服务器处理器多片互联方案示例如右图所示:每颗芯片各提供2个SCCL和1个SICL。芯片之间通过片间缓存一致接口连接,片间带宽高达240Gbps。鲲鹏920系列芯片架构(3)4P服务器处理器多片互联方案示例鲲鹏920系列芯片架构(4)鲲鹏处理器超级I/O集群:网络ICLPCIeICLHydra接口HAC_ICLIO_MGMT_ICL鲲鹏920系列芯片架构(4)鲲鹏处理器超级I/O集群:ShareCache:对所有的L2来说L3cache是共享的,一个进程可以使用整个L3的容量L2L2L2…L2L2L2L3PrivateCache:有N个Private的L3,每个PrivateL3只缓存对应的L2的数据。即一个进程只能使用对应的部分L3的容量,无法使用全部L3的容量,L3和L3之间不通信L2L2L2…L2L2L2L3L3…L3PartitionedCache:与Private相同的是,一个进程只能使用对应的部分L3容量;与Private不同的是,L3细分为一个Home的L3和N个Remote的L3,Home的L3类似L4,所以L3和L3之间会通信,由Home的L3来维护多个PartitionedL3之间的一致性L2L2L2…L2L2L2RemoteL3RemoteL3…HomeL3Non-inclusiveL3:支持Non-inclusive模式,Memory和L2间直接数据访问L2L3MainMemory鲲鹏920系列芯片架构——Cache模式ShareCache:对所有的L2来说L3cache是共芯片架构–Cache时延前端限制:主要是iCacheMiss,iTLBMiss。指令解码能力不足也是原因之一,但可能性较低。后端限制:主要是各级cache包括dTLBmiss。执行单元资源不足也是原因之一,但可能性较低。错误分支预测:与Cache无关,但好的编码习惯能减少分支预测错误。Page45RegL1I-cacheL1D-cacheL2cacheL3cacheMainMemoryCoreUnCoreFrontEndstallBackEndstall三类CacheMissesCompulsoryMisses第一次读取数据时的Cachemiss。CapacityMisses没有足够Cache空间存储所有热数据在两次连续使用某一Cache数据之间,出现了太多的其它数据冲刷。ConflictMisses太多(超过AssociativityWay)不同数据映射到同一CacheSet中造成Cache碰撞。
芯片架构–Cache时延前端限制:主要是iCacheM鲲鹏920系列芯片架构——内存子系统SMMU(SystemMemoryManagementSystem),为设备提供地址转换和访问保护功能。CCL访问的内存空间的属性由MMU(memorymanagementunit,内存管理单元)中的页表控制ICL访问的内存空间的属性由SMMU中的页表或源设备控制内存访问延迟受数据所在位置影响。如果目标数据位置在物理上接近内存访问发起者,则时延较低。鲲鹏920系列芯片架构——内存子系统SMMU(System一个CPUDie包含4个DDRChannel一个Socket包含2个CPUDie,8个DDRChannel每个控制器支持2DPC2933本地内存访问均在本地进行,不走片间互联总线,因此访存时延最小,总体性能最好。时延ARMCPUCyclesSkylakeCyclesRegister11L1cache44L2cache814L3cache4055DRAM71-221(ns)83-143(ns)鲲鹏920系列芯片架构—内存子系统一个CPUDie包含4个DDRChannel鲲鹏920系列芯片架构——内存子系统(2)6148Kunpeng920每通道速率总带宽通道数量682667
MHz2933
MHz1.5
Tb/s1.02
Tb/s内存带宽8通道DDR4带来46%带宽提升,同时容量也可按需提升延迟优化,和业界主流水平相当/更优完整的Cache&MemoryQoS方案(类似于RDT),为用户的不同业务部署带来方便鲲鹏920系列芯片架构——内存子系统(2)6148Kunpe芯片架构–IO子系统丰富的IO,PCIE化设计。各子系统PCIE(含CCIX),Hydra(多片互联),Network,Storage,HAC,ME。各自遵循行业标准,兼容软件接口规范,满足开源及演进要求。Page49SBSAGIC:GICv3/v4;SMMU:SMMUv3.1UART/Watchdog:PCI-E36lanesofPCIeG4.0,20Rootportsatmax,Peer2Peer,ATS/PRI,CCIXNetworking(NIC、ROCE)8lanesofETH,ComboMACssupport2x100GE,2x50GE,4x25GE,8x10GE,8xGERoCEv2/RoCEv1withprogrammableDC-QCN,long/normalAtomic,SR-IOVStorageIOx4USB3.0EHCI/UHCIx16SAS3.0(STPsupported)x2SATA3.0AHCICryptoEngineAES,DES/3DES,MD5,SHA1,SHA2,HMAC,CMAC
Upto50GbpsCompression/DecompressionGZIP,LZS,LZ4Upto40Gbps(compress)/100Gbps(decompress)StatefullandstatelessRAIDXOR/PQ/EC/in-lineDIFaccelerationME(IMU)Isolatedmanagementsubsystem.Co-workswithBMCandprovidesfirmwareconfigurationoftheserverchipScaleupCoherentSMPinterfacefor2P/4PUpto240Gbpsperport南桥RoCE网卡SAS控制器CPUQAT芯片架构–IO子系统丰富的IO,PCIE化设计。SBSA鲲鹏920系列芯片架构(6)—网络子系统网络子系统包括NetworkICL和RoCE引擎两大部分。NetworkICL包括多个1Gbps~100Gbps以太网控制器,二层DCB、MAC地址表,多播表,VLAN过滤表,流表,中断,PCIe化,具有完整的NIC引擎,可以在RoCE引擎关闭的情况下单独工作。RoCE(RDMAoverConvergeEthernet)是一种在以太网上采用RDMA(RemoteDirectMemoryAccess,远程直接内存访问)的网络互联技术。华为鲲鹏920处理器使用的RoCEv2协议是由InfiniBand(IB)协议演进而来,既具有InfiniBand网络的低时延、低CPU利用率等特点,又能够很好地兼容于Ethernet网络。鲲鹏920系列芯片架构(6)—网络子系统网络子系统包括Net鲲鹏920系列芯片架构(6)—网络子系统华为鲲鹏920处理器RoCE设备的软件呈现是一个PCI网络设备。RoCE驱动依赖于OFED的驱动框架,由用户态驱动和内核态驱动构成。当业务建立后,在执行过程中,RoCE用户态驱动可以Kernelbypass将数据发给硬件。RoCE内核态驱动在初始化时从HNS3网卡驱动程序获取RoCE设备的一些信息。鲲鹏920系列芯片架构(6)—网络子系统华为鲲鹏920处理器EthernetPhysicalPortConfiguration2x100GE/50GE/40GE/25GE/10GE/GE+2*GE4x50GE/25GE/10GE/GE+2*GE8x25GE/10GE/GESpeedAuto-NegotiationMACSpeedcanauto-negotiatebetweenGE/XGE/25GESupportDCB(DataCenterBridge)ETS(EnhancedTransmissionSelection)PFC(Priority-basedFlowControl)QCN(QuantizedCongestionNotification)SupportRoCEv1,RoCEv2VirtualizationswitchacceleratorgenericflowtablebasedswitchingSupportVEB,butnotsupportEVB.[RFC]SharedresourcebetweenmultiplePhysicalPortsDCBBuffersQueueResourceFlowTableEntry鲲鹏920系列芯片架构(6)—网络子系统EthernetPhysicalPortConfigu鲲鹏920系列芯片架构(7)—SAS子系统SAS(SerialAttachedSCSI)即串行SCSI技术,一种磁盘连接技术。SAS控制器用于磁盘与内存之间进行交互。SAS控制器主要通过总线与CPU和内存进行交互,同时通过SERDES与硬盘进行连接。SAS控制器与设备连接方式有两种:直连和Expander连接。直连表示SAS控制器的PHY与设备直接连接,不经过中间转换或扩展;Expander连接表示SAS控制器与设备之间通过扩展器进行连接SAS盘分为SAS机械盘和SASSSD盘,SAS盘是为满足高性能、高可靠性而设计,在内部驱动电机的可靠性、转速以及基板方面都与SATA盘有差异。鲲鹏920系列芯片架构(7)—SAS子系统SAS(Seria鲲鹏920系列芯片架构(7)—SAS子系统提供2个X8SAS3.0控制器:支持SAS3.0,向下兼容SAS2.0和SAS1.0;支持SATA3.0,向下兼容SATA2.0和SATA1.0;SAS支持12G/6G/3G/1.5G四种速率,SATA支持6G/3G/1.5G速率,同时可以实现速率的自协商;可以直接不经过Expander最大连接8个SAS盘或者SATA盘,两者可以混插;可以连接SASExpander扩展更多磁盘。提供1个X2SATA控制器:支持SATA3.0,向下兼容SATA2.5;支持AHCI1.3,向下兼容AHCI1.2;支持6G/3G/1.5G速率自协商;支持直连两个SATA盘。支持NORFlash控制器,4个片选,NORFLASH最大支持512K。支持SPIFlash控制器,2个片选,SPIFlash最大支持32M。支持NANDFLASH接口,4个片选。鲲鹏920系列芯片架构(7)—SAS子系统提供2个X8SA鲲鹏920系列芯片架构(8)—PCIe子系统PCIe是一种高性能、通用的I/O互连接口,适用于各种计算和通信平台。鲲鹏920PCIe子系统提供了实现PCIe根联合体(RootComplex,RC)或端点(Endpoint,EP)应用程序的解决方案。鲲鹏920PCIe子系统包含3个PCIeCore,最多支持40个PCIeLane。每个PCIeCore包括多个PCIe端口。PCIeCore0共享16个Lane。PCIeCore1共享16个Lane。PCIeCore2共享8个Lane。3个PCIeCore均可作为根端口(RootPort,RP)使用。只有PCIeCore1能作为EP端口。PCIe模块通过PIPe接口与PCS连接,连接速率支持最大16Gbps,兼容8Gbps、5Gbps和2.5Gbps。另一方面,PCIe模块通过AMBA总线与系统总线相连。鲲鹏920系列芯片架构(8)—PCIe子系统PCIe是一种高PCIeGEN1/2/3/4.0SupportedRunatthe2.5G/5G/8G/16Gx16PCIeControllerEmbeddedDMAengine40Lanessupporttotally3PCIeControllerSupport20RootPortHardwarefeaturesSRIS(SeparateRefclkIndependentSSC)SupportSR-IOVSupportSharedVirtualMemorySupportCCIXSupportP2P(PeertoPeer)PeertoPeertrafficbetweendifferentcontroller鲲鹏920系列芯片架构(8)—PCIe子系统PCIeGEN1/2/3/4.0Supported鲲鹏9鲲鹏流水线亮点:CPU流水线主要阶段Fetch:提取指令并计算下一次Fetch的地址。包括指令缓存、BranchPrediction、BranchTargetBuffer、ReturnAddressStack。Decode
(1)分解指令流到独立指令;(2)TranslateX86指令到RISC-likeUops;(3)理解指令语义,包括指令类型(Control、Memory、Arithmetic,等等),运算操作类型、需要什么资源(读和写需要的寄存器,等等)。Allocation:RegisterRenaming+ResourcesReservation.Issue:分发指令到相应执行单元,从这儿开始进入错序执行阶段。Execute:指令执行阶段WriteBack:将执行结果写入RegisterFile、ReorderBuffer、等等Commit:重整执行结果次序、决定SpeculativeExecution正确性,最终输出结果。Page57AllocationFetchDecodeIssueExecuteWriteBackCommit鲲鹏流水线亮点:CPU流水线主要阶段Fetch:提取指令并计CPU流水线:ARMvsX86Page58流水线前端流水线后端分支预测FetchDecode
AllocationIssueExecuteWriteBackCommitARM流水线与Xeon基本一致,按流水线前后端分解ARM64X86XeonCPU流水线:ARMvsX86流水线前端流水线后端分支预CPU流水线:弱保序Page59CPU弱保序,即乱序执行:
处理器不按程序规定的顺序执行指令,它根据内部功能部件的空闲状态,动态分发执行指令,但是指令结束的顺序还是按照原有程序规定的顺序。处理器内部功能部件并行运转,避免了不必要的阻塞,有效提高了处理器执行指令的性能。处理器分析影响执行结果的指令,避免出现有显式的数据依赖和控制依赖的乱序,但是,特殊情况下的读写乱序可能影响程序执行结果,需要软件甄别。制约CPU效率因素CPU流水线前端限制:执行单元空闲,但前端不能输送充分多操作指令CPU流水线后端限制:执行单元繁忙或执行时等待数据,指令执行出现等待分支预测错误:执行错误分支浪费时间+处理错误分支执行消耗时间。CPU流水线:弱保序CPU弱保序,即乱序执行:制约CPU系统安全:支持安全启动,以及保证系统在可信环境内运行的一套软硬件方案。该方案由SecureBoot技术和ARM架构中的TrustZone技术结合而成。IMU(IntelligentManagementUnit)是Hi162x芯片内部的智能管理单元,完善ARM节点在数据中心的管理和控制,未来数据中心设备管理要求统一、智能和协同,遵循管理系统集中决策+节点执行监控,按照设备节点模型统一管理。IMU作为数据中心的管理末端,协同BMC,完成数据中心的节点执行监控。IMU可以覆盖的功能:RAS故障预处理以及错误记录上报、安全信任根、能效管理、芯片内部管理。芯片架构–系统安全&IMU系统安全:支持安全启动,以及保证系统在可信环境内运行的一套软ARM处理器体系结构鲲鹏系列处理器什么是鲲鹏鲲鹏920系列芯片概览鲲鹏920系列芯片规格鲲鹏920系列芯片架构鲲鹏920系列芯片加速器引擎功能鲲鹏计算典型应用场景鲲鹏计算产业生态鲲鹏软件开发工具链ARM处理器体系结构鲲鹏920系列芯片——加速器引擎功能(1)组件算法规格描述OpenSSL引擎库SM4支持SM4-CBC/SM4-CTR/SM4-XTS,符合GM/T0002-2012规范。单处理器(Kunpeng920)最大带宽30Gbps。支持同步、异步模式。SM3支持SM3,符合GM/T0004-2012规范。单处理器(Kunpeng920)最大带宽60Gbps。支持同步、异步模式。RSA支持RSA1024/RSA2048/RSA3072/RSA4096,符合NISTFIPS-197标准规范。单处理器(Kunpeng920)RSA2048sign最大带宽54Kops。支持同步、异步模式。DH支持DH768/1024/1536/2048/3072/4096,符合NISTFIPS-197标准规范单处理器(Kunpeng920)DH768/1024/1536/2048/3072/4096最大带宽为94.4/56/25.6/14/4.8/2.24kops。支持同步、异步模式。AES支持AES-ECB/AES-CBC/AES-CTR/AES-XTS,符合NISTFIPS-197标准规范。单处理器(Kunpeng920)最大带宽60Gbps。支持同步、异步模式。鲲鹏920系列芯片——加速器引擎功能(1)组件算法规格描述O鲲鹏920系列芯片——加速器引擎功能(2)组件算法规格描述Zlib库ZLIB支持ZLIB数据格式,符合RFC1950标准规范。单处理器(Kunpeng920)最大压缩带宽7GB/s,静态Huffman解压最大带宽8GB/s。压缩率50%。支持同步模式。GZIP支持GZIP数据格式,符合RFC1952标准规范。单处理器(Kunpeng920)最大压缩带宽7GB/s,静态Huffman解压最大带宽8GB/s。压缩率50%。支持同步模式。内核CryptoSM4支持SM4-XTS,符合GM/T0002-2012规范。单处理器(Kunpeng920)最大带宽30Gbps。支持异步模式。鲲鹏920系列芯片——加速器引擎功能(2)组件算法规格描述ZSPECint®_rate_base2006评测跑分越高越好TDP功耗对比(W)越低越好性能功耗比越高越好极致效能极致性能低功耗25%+30%+11%鲲鹏92064核型号鲲鹏92032/48核型号鲲鹏91632核型号鲲鹏系列处理器vs业界主流产品的性能和效能对比SPECint®_rate_base2006评测跑分TDP功越低越好平台TaiShanV2with2-socketKunpeng920-4826/DDR4-2666)X86serverwith2-socketSkylake6148(20cores,2.0GHz/DDR4-2666)STREAM测试结果287GB/Swith84.28%efficiency192GB/Swith75.08%efficiency越低越好越低越好鲲鹏整体性能对比-内存带宽和时延性能越低越好平台TaiShanV2with2-socket鲲鹏整体性能对比-IO性能Page66特性模式规格类别目标实测数据(本地关SMMU)实测数据(本地开SMMU)PCIeIB:MlxCX5ppsread>95Mpps@4B
write:>64Mpps@4Bsend:>63Mpps@4Bread:24并发时达到86.4Mpps@4Bwrite:24并发时达到86.4Mpps@4Bsend:24并发时达到90Mpps@4Bread:24并发时达到86.4Mpps@4Bwrite:24并发时达到86.4Mpps@4Bsend:24并发时达到90Mpps@4B时延Intel对接CX4数据:
read:1.95us@2B
write:0.93us@2B
read:4.09us@4KB
write:3.22us@4KBread:1.66us@2B
write:0.99us@2B
send:1.06@2B
read:2.21us@4KB
write:1.98us@4KB
send:2.05@4KBread:1.65us@2B
write:1.01us@2B
send:1.06@2B
read:2.18us@4KB
write:1.95us@4KB
send:2.04@4KB带宽read:线速@2KB
write:线速@2KB
read:线速90%@2KB,线速@8KB;
write:线速87%@2KB,线速@8KB;(与x86+CX5持平)read:线速90%@2KB,线速@8KB;
write:线速86%@2KB,线速@8KB;(与x86+CX5持平)网络:MlxCX5/1822PPS>10Mpps@64BCX5:24队列25.3Mpps@64B;
1822:16队列13.7Mpps@64B;CX5:24队列14.5Mpps@64B;
1822:16队列12Mpps@64B;时延13.5us@64BCX5:1队列1Mpps7.8us
1822:1队列1Mpps9.4usCX5:1队列0.7Mpps11.5us1822:1队列0.7Mpps13us带宽线速@1518KBCX5:16队列线速@1518KB
1822:16队列98Gb@1518KBCX5:16队列90Gb@1518KB
1822:16队列68Gb@1518KBNVME:ES3000V3/V5最大读带宽(MB/s)@256KB31003025.73012.4持续随机读KIOPS@4KB760775.2753.64K读延时(us)88avg:44.72
99%:88avg:46.24
99%:89最大写带宽(MB/s)@256KB19502005.41957.7持续随机写KIOPS@4KB175508.6503.64K写延时(us)18avg:11.75
99%:10avg:12.57
99%:11鲲鹏整体性能对比-IO性能特性模式规格类别目标实测数据(本鲲鹏整体性能对比-IO性能(2)Page67特性模式类别规格实测数据(本地关SMMU)实测数据(本地开SMMU)NIC100GPPS>10Mpps@64B24核:25Mpps@64B24核:14.7Mpps@64B时延100GE:<13.5us@64B10GE:<15us@64B100G:12us@64B10G:12us@64B10G:12.1us@64B100G:12.6us@64B带宽100GE:>94Gbps@双向带宽25GE:>23.5Gbps@双向带宽10GE:9.35Gbps@双向带宽100G:94.1Gbps@1518B25G:23.5@1518B10GE:9.41@1518B100G:94.1Gbps@1518B25G:23.5@1518B10GE:9.41@1518BRoCE100GMppsread:>30Mpps@2B
write:>30Mpps@2B
send:>30Mpps@2Bread:31.5Mpps@2Bwrite:33.2Mpps@2Bsend:33.12Mpps@2Bread:31.02Mpps@2Bwrite:33.35Mpps@2Bsend:32.67Mpps@2B时延read:2.0us@2B
write:0.85us@2B
send:1.5@2B
read:3us@4KB
write:2.5us@4KB
send:2.5@4KBread:1.51us@2Bwrite:0.83us@2Bsend:1.14@2Bread:2.41us@4KBwrite:1.70us@4KBsend:1.87@4KBread:1.58us@2Bwrite:0.98us@2Bsend:1.79@2Bread:1.83us@4KBwrite:1.56us@4KBsend:2.29@4KB带宽read:线速@1KB
write:线速@1KB
send:线速@1KBread:>99.5Gbps@1024Bwrite:>99.5Gbps@1024Bsend:99.2Gbps@1024Bread:>99.5Gbps@1024Bwrite:>99.5Gbps@1024Bsend:97Gbps@1024BSASX8*12GIOPS读:800K/S@4KB
写:800K/S@4KB读:1451.6K/s@4K写:982.37K/s@4K读:1031.2K/s@4K写:941.4K/s@4K时延4KB读:800us
4KB写:800us4KB读:345.5us4KB写:514.94us4KB读:489.79us4KB写:536.96us带宽读:8000MB/S@256KB
写:8000MB/S@256KB读:8539.6MB/s@256KB写:8282.7MB/s@256KB读:8539.6MB/s@256KB写:8282.7MB/s@256KB详细数据鲲鹏整体性能对比-IO性能(2)特性模式类别规格实测数据(鲲鹏整体性能对比-智能计算应用场景应用场景性能对比vsSkylake6148差距和措施风险1HPC单节点:气象:WRF+23%;环保:CAMx+30%;汽车制造:OpenFoam+36%,ParmCrash+10%,Lsdyna+17.53%;航空航天:CFL3D+10%;生物分子:VASP-38%4节点集群:汽车制造:ParmCrash
-9%,Openfoam+9.36%,Lysdyna-0.47%;差距:vasp与6148的差距在于双精度浮点计算能力以及MPI集合通信;车厂应用4节点线性度相比6148要差,单节点的性能优势随着节点数增加会逐渐消失;措施:双精度浮点计算能力需要下一代芯片来提升;MPI相关性能目前中硬有团队在做优化;HPC解决方案场景下目前暂时避免在VASP相关领域里用ARM服务器来替代X86;线性度问题正在联合定位;低2大数据FusionInsightHD(9节点):
1)Kafka-2%;2)Storm-5%以内;3)HIVESQL1+10%,SQL2+60%;4)Spark2xSQL1+26%,SQL2-2%;5)
FLINK待验证;6)HBASE随机读+50%,随机写-1%顺序扫描0%,BulkLoad+2.66%。7)REDIS待验证;8)ELASTICSEARCH待验证NA3数据库2P单实例场景:读模型:+15%,混合读写:+4.7%
,写模型:-47%;差距:2P单实例写模型受锁和跨片延时影响大,销售场景受限制。(但实际业务中数据库业务以读访问为主),CS芯片锁性能上的优化在MYSQL写场景未体现;措施:需要海思团队一起定位;低4Native单台安卓虚拟机(绑2core)鲁大师跑分13.3万分,提高+45%以上(vsHi1616);高密场景,单numa节点+2张GPU运行鲁大师跑分约6.96万分,相比1616+20%以上;1620CS上云手机的CTS模块通过数与1616平台一致;1620CS上top50的游戏和应用兼容性测试完成100%;NA其中已测试项90%相比6148持平或超越,部分场景数据IT芯片/ARMLab/图灵解决方案会继续联合产品共同调优和问题解决。鲲鹏整体性能对比-智能计算应用场景应用场景性能对比vs鲲鹏整体性能对比-智能计算应用场景(2)应用场景性能对比vsSkylake6148差距和措施风险5云存储(FusionStorage)块存储:全闪存场景,单卷时延相比ES+14%,系统能力+6%,整体性能全面持平或超越6148;NA6Ceph块存储:NVME
4Krandwrite,+10%,4Krandread+20%以上;文件存储:6MDS读操作持平,写操作数据-28%,后续可利用1620多核优势,结合ceph新版本多活MDS配置,来持平X86性能;差距:单核性能强相关的MDS节点,需要通过配置多MDS解决性能瓶颈;措施:可利用1620多核优势,结合ceph新版本多活MDS配置,IT芯片和图灵解决方案正在优化,计划Q2解决。低7虚拟化JVM:SPECjbb:max得分(系统最大吞吐量)+10%~20%,critical得分+16%;SPECjvm(31G):+20%;整体上如果能发挥1620的多核能力,java方面的性能会优于6148NAPage69鲲鹏整体性能对比-智能计算应用场景(2)应用场景性能对比ARM处理器体系结构鲲鹏系列处理器什么是鲲鹏鲲鹏920系列芯片概览鲲鹏920系列芯片规格鲲鹏920系列芯片架构鲲鹏920系列芯片加速器引擎功能鲲鹏计算典型应用场景鲲鹏计算产业生态鲲鹏软件开发工具链ARM处理器体系结构AI边缘,5G移动边缘场景电信、交通边缘计算场景鲲鹏RSA安全加解密加速引擎互联网Web
HTTPS连接加速电信、政务、金审、金税等行业云虚拟化性能优越实时音视频极致体验鲲鹏+昇腾协同加速使能AI应用:人脸识别、车牌识别等业界首款兼容ARM的四路服务器,超强算力32个DDR4超大内存车辆通行告别收费站省际高速公路打造SKA区域中心原型系统天文台电商互联网更快速的安全连接体验基于鲲鹏电信云的VoLTE首呼运营商行业云AI计算边缘计算Web应用HPC鲲鹏计算的典型应用场景AI边缘,5G移动边缘场景鲲鹏RSA安全加解密加速引擎电信、ARM处理器体系结构鲲鹏系列处理器什么是鲲鹏鲲鹏920系列芯片概览鲲鹏920系列芯片规格鲲鹏920系列芯片架构鲲鹏920系列芯片加速器引擎功能鲲鹏计算典型应用场景鲲鹏计算产业生态鲲鹏软件开发工具链ARM处理器体系结构数据库中间件操作系统虚拟化数据管理大数据存储HPC应用软件基础软件OEHIWebNEMOCANUGATKGaussDB鲲鹏计算产业生态数据库中间件操作系统虚拟化数据管理大数据存储HPC应用软件基ARM处理器体系结构鲲鹏系列处理器什么是鲲鹏鲲鹏920系列芯片概览鲲鹏920系列芯片规格鲲鹏920系列芯片架构鲲鹏920系列芯片加速器引擎功能鲲鹏计算典型应用场景鲲鹏计算产业生态鲲鹏软件开发工具链ARM处理器体系结构解决90%C/C++和50%汇编移植问题99%问题自动识别汇编/C/C++编译型语言JAVA/PHP/Python解释型语言性能提升10%~30%注:ARM64平台优化前后的性能平均增幅分析扫描工具代码迁移工具自动扫描软件兼容性代码评估、依赖库检查C++/汇编语言自动转换JavaJDK自动安装、依赖库自动编译性能优化工具性能全景&热点函数分析多核绑定、内存就近访问、中断优化一键执行,联动分析无需代码修改原有生态鲲鹏生态迁移评估编译移植性能调优汇编/C/C++编译型语言JAVA/PHP/Python解释型语言鲲鹏软件开发工具链解决90%C/C++和50%汇编移植问题99%问题自动识别汇代码迁移软件包迁移编译型语言C/C++/Go解释型语言Java/Python扫描依赖:扫描软件包的运行依赖库/可执行程序依赖库编译:编译型语言需重新编译,解释型语言基于对应的虚拟机运行软件打包:按照软件安装包原有结构重新制作成鲲鹏的软件包内联汇编:替换后重新编译,比如rdtsc指令等不兼容指令:如SSEIntrinsic类加速指令,需重新编写脚本修改:替换成支持鲲鹏的编译选项代码修改:源码中对指令集依赖的宏定义及Builtin函数迁移类型子类修改点RPMDEB直接翻译:纯解释型语言开发的应用程序,代码无需修改,程序也不需要重新编译,如Java软件安装ARM版本JDK即可依赖库编译:如果软件含依赖库,则需要重新编译各类型迁移代码迁移软件包迁移编译型语言解释型语言扫描依赖:扫描软件包的功能:分析移植软件包依赖库,评估可移植性;分析移植软件代码文件输入分析处理输出输入方式:支持UI和命令行两种方式UI显示及CVS/HTML报告文件软件安装包:RPM/DEB/TAR软件包安装路径源码文件:C/C++/Java/汇编源代码文件Makefile文件软件安装包扫描分析:分析软件包中依赖库评估依赖库可移植性(黑白名单机制)源码文件扫描分析:分析源码文件,过滤出需移植代码分析Makefile编译依赖库可移植性评估待移植代码量和工作量报告文件:版本、分析时间戳等信息依赖库列表(可移植性分类)源码文件列表(可移植性分类)移植代码量评估结果工作量评估结果华为工程师鲲鹏社区开发人员ISV软件开发人员客户侧开发人员软件移植人员最终客户DependencyAdvisor内建函数识别编译选项识别汇编语言识别宏定义识别扫描报告应用程序目录Jar等打包文件Tar,Zip,Gz打包文件C/C++/ASM.Makefile等源代码文件目录RPM,Debian
安装包白名单匹配分析扫描工具(DependencyAdvisor)功能:分析移植软件包依赖库,评估可移植性;分析移植软件代码文功能:分析软件源文件,提供代码移植指导报告输入分析处理输出输入方式:支持UI和命令行两种方式UI显示及CVS/HTML报告文件源码文件:C/C++源代码文件汇编源代码文件Makefile文件X86的rpm源码文件扫描
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年度年福建省高校教师资格证之高等教育心理学考前冲刺试卷A卷含答案
- 房地产 总承包工程技术标述标汇报 -总承包工程技术标答辩标准范本2023版
- 一年级数学计算题专项练习1000题集锦
- 公共管理研究生社会实践报告
- 2024年居间协议范本大全
- 2024年城市渣土清理专项协议
- 2024年专业美容师劳动协议模板
- 2024建筑工程统一协议文件
- 办公室2024年度租赁协议范本
- 2024年自动门购销协议模板
- GB/T 10476-2024尿素高压冷凝器技术条件
- 五年级上册小数四则混合运算练习100道及答案
- 心衰健康宣教课件
- 2024年广东省公需课《百县千镇万村高质量发展工程与城乡区域协调发展》考试答案
- 钻孔灌注桩桩工程隐蔽验收记录表格及填写范本
- 人教版四年级上册数学《第三单元角的度量 整理和复习》教学课件
- ERP系统常见物料分类及编码规则
- 起重机吊装方案.doc
- 幂的乘方优质课教学设计完美版
- 安全隐患排查记录(日周月
- ##玩具有限公司作业指导书
评论
0/150
提交评论