版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
随着二十大的召开,中国式的现代化加速开启新一轮以实体经济为发力点强国进程,制造强国、质量强国、科技强国、航天强国,数字中国的战略不断纵深推进。数字经济会成为中国产业现代化和经济发展的新引擎,其中新基序言建算力基础设施中的高性能计算,在制造强国、数字中国、科技强国里面占有的非常重要的地位。从高技术制造业到先进制造业,乃至之后提到的战略新兴产业,材料学、生命科学、高端装备、新一代的信息技术里面的集成电路、新能源装备、新能源汽车,都离不开高性能计算,它在制造业正帮助越来越多的企业做科研创新和产品迭代。2联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书从大到航空、航天的高端装备的力学分析,中到手机,雷达等产品的结构分析和电磁分析,小到分子级动力学和基因分析为主的生命科学、药物研发和材料创新,宏观世界和微观世界都需要一个强有力的可持续演进的研发工具平台,高性能计算技术在这些年随着应用场景的不断变化也在不断迭代。无论是计算能力,还是高性能计算平台所融合的诸如
AI、大数据、容器、水冷等新科技,都在沿着更好的帮助研发人员、设计人员去创新、去迭代新的产品,去进行重
大的科研发现迅速演进。随着制造业的转型,尤其是知识密集型企业,越来越多的面临如何设计搭建一个专业的高性能计算平台的,如何更好的池化前后处理的资源,让更多的设计人员弹性使用
;如何更快的交付
;如何把工业软件和硬件的适配、调优和调度做到最佳的体验
;甚至是能力。有一个
Total
Solution
全能够解决以上的这些问题吗
?
有的,联想,就是。联想不仅仅多年雄踞全球和中国
HPC
装机量排名于
30
多年来的对整个工业的理解,源,当算力不够的时候,能否有一个订阅式的算力服务,能够快速弹性分配的仿真计算这样一个一站式的方案和服务的提供商第一,其实更多的实力,是源于对整个工业设计和仿真软件和最新算力如何结合发挥最大的性价比优势的实践,源于对未来算力融合化、场景化、绿色化和订阅化的深度理解和洞察。相信未来随着高性能计算技术的发展,伴随着整个的制造型企业的数字化转型的推进,越来越多的融合新技术的高性能计算不断地在业务当中进行落地,也相信未来更多的制造业的同行能够看到,联想新一代高性能计算解决方案在科技创新当中带来的价值。制造强国、质量强国,航天强国、数字中国,基础就是算力强国,让我们携手,一起向上,一起强大。联想中国区大客户业务群
制造行业经理联想基础设施业务群
高性能计算主任技术顾问联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书3-------------------------------------------------
01摘要---------------------------------------
03联想简介1CAE------
05制造行业应用分析2CAE工作流程阶段及------------------
07相关计算解决方案-----------------------
08前处理(预处理)模拟(求解后期处理/计算)----------------------
08-----------------------------------
104联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书35CAE推荐产品和解决方案
------
11联想推荐的行业--------------------------------
27-
28联想设计仿真一体机解决方案解决方案---------
12管理服务器(主服务器)----------------------------
13登录服务器CFD
和显式
FEA
计算服务器---
14--------------
15-----------
16隐式FEA
计算服务器6------------------------------------------
43预处理和后处理服务器案例GPU
加速服务器
--------------------
17------------------
18远程可视化服务器-------------------------------
19互连网络--------------------------------------
19存储高性能并行存储系统/
可选存储)-------------
20(附加-------------------
22服务支持和安装47----------------------------
23------------------------------------------
51推荐的架构性能ABAQUS
统一有限元分析-----
59ANSYS
Fluent--------------------
63LS-DYNA---------------------------
67----------------------
70------------------------
73----------------------
75MSCNastranOpenFOAMSTAR-CCM+8------------------------------------------
77结论联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书5摘
要本白皮书介绍了联想
HPC
在制造业推荐的产品和解决方案。“通过这个白皮书,可以详细了解制造业如何使用
HPC
来设计、模拟和优化产品和流程,以降低成本和风险。文中详细介绍了计算流体动力学(CFD)和有限元分析(FEA)工作流程,并根据性能和成本推荐了联想高性能计算产品和解决方案。本白皮书还介绍了联想制造行业设计仿真计算LICP
的架构和完整的解决方案。最后,还介绍并分析了几个
CFD
和
FEA
应用程序的性能。01
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书”联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
02联想简介500
强公司,在消费领域、商业和数联想是一家全球财富据中心基础架构技术方面提供创新和解决方案,并取得领先地位。联想将商业的成功建立在客户实现其业务目标的基础上。截至
2023
年
5
月,联想已连续十一次蝉联全球高性能计算TOP
500(
)榜单制造商顶中国
HPC
TOP
100
年度数量总份额榜首。同机份额榜首,九次登时,联想在中国发展史上取得了众多里程碑时刻
联想的“深腾高性能计算1800”万亿次集群系统,是世界上第一个实际速度超过
1
万亿次的大规模高性能集群系统
;联想深腾系列高性能计算进入世界
TOP
500
的一批国产计算中心主节点的建设任务。截止
2022
年,联想高性机成为最早机
;联想两次承担了中国科学院网络计算能计算已经先后为数万个用户完成部署,在高性能计算机系统技术方面已申请国家发明专利
85
项,46
项已获授权。联想的
HPC
解决方案专注于为商业领域数据中心客户提供联想产品和解决方案。HPC
主要的行业领域
:高校、科研机构、政府、金融服务、生命科学、制造业和石油天然气。这篇技术文章主要关注制造业。03
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
0401制造行业
CAE应用分析05
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书制造业中使用各种商业和开源计算机辅助工程(CAE)软件,以帮助设计师和工程师以更低的成本和更低的风险高效地设计、模拟和优化产品和流程。下面是CAE
的一些应用
:•••••有限元分析(FEA)
部件和组件的应力和动态分析-计算流体动力学(CFD
-)
流体和热分析多体动力学(MBD)和运动学
-
相互连接的部件的动态行为分析铸造、造型和模压成形的制造过程模拟产品和
或工艺的优化/本白皮书的性能部分重
点介绍以下
FEA
和
CFD
应用
:•
DassaultSystèmes
ABAQUS的统一FEA–SIMULIA•
ANSYS
FLUENT的•利弗莫尔软件技术公司的LS-DYNA•
MSCNastran•
OpenFOAM•STAR-CCM+西门子的联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
0602CAE工作流程阶段及相关计算解决方案典型的
CAE
工作流程有三个阶段:前处理、模拟(求解/计算)、后处理。07
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书前处理(预处理)在预处理阶段,定义/设计几何结构或工艺。计算机辅助设计(CAD)软件通常用于对底层几何结构或过程进行建模。将设计的物理属性以及环境和物理约束和载荷应用于计算模型。在
CFD
和
FEA
分析的情况下,必须使用网格将基本几何结构划分为较小的离散域(单元);通常称为网格生成或网格化。笔记本电脑、工作站和远程可视化服务器通常用于大多数预处理
CAD
工作和网格生成。这些解决方案通常具有更高端的图形卡以加速可视化,并且可能需要大量的内存,具体取决于计算模型的大小。更大的
CFD
和
FEA
网格生成可以“卸载”到具有更多计算或内存资源的服务器上。在一些应用中,网格生成可以使用到并行处理技术。模拟(求解/计算)础物理的适当数学公式来模拟(求解/
计算在模拟阶段,使用基)模型或过程。此阶段通常有大量的计算工作负载,需要完整的
HPC
解决方案来运行不但是有帮助的,并且大多数情况下也是必要的。计算工作量取决于计算模型的大小。小型计算通常在
HPC
解决方案上运行,以利用多个服务器、GPU
加速、高速互连网络和并行存储系统等来加速求解/计算模型可以在工作站和笔记本电脑上运行。大型计算模型过程,提高生产效率。在模拟阶段,通常使用两种数值方法来求解基本数学方程
:显式和隐式。显式法在显式方法中,当前物理值仅取决于先前的时间步长/迭代数据,因此可以通过计算表达式在网格中的任何位置求解方程。这需要更多的计算,但占用的内存相对较少。隐式法在隐式方法中,物理值有单元同时求解方程。此方法更占用内存,因为所有需要计算的内容都必须提交到内存中,因此需要占用更多的内存,同时也需要适量的计算不依赖于先前的时间步长/迭代
;必须对网格中的所。联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
08通常,CFD
和显式
FEA
模拟具有相同的计算和存储特性,即
:•••••MPI可以很好地扩展到多个核心和服务器(支持跨节点并行)计算对内存和计算敏感(需要更多的内存和
核心)CPU/
I/O计算期间的小量的文件输入
输出(
)操作模拟开始时的大量文件I/OI/O操作,以便将网格从存储系统读入内存(存储系统的单流的能力)模拟结束时的大量文件单流的能力)操作,以便写入存储系统。这些文件通常是由网格和相关物理值组成的最终输出文件(存储系统的••checkpointI/O操作用户可以指定在模拟过程中以不同的时间间隔写入检查点()输出文件,这可能会导致短暂的重要文件(配合作业调度系统支持
checkpoint)计算所需要的内存的数量取决于计算模型的大小ANSYS
Fluent
和
Mechanical、Dassault
Systèmes
ABAQUS/Explicit、LSTC
LSDYNA、OpenFOAM
和
SiemensSTAR-CCM+
等应用程序都属于上述类别。通常,隐式
FEA
模拟具有以下计算和存储特性
:••••••SMP上的性能更突出)不能很好地扩展到多个核心和服务器(在计算对比内存来讲,内存比计算更敏感(同时兼具计算敏感和内存敏感)计算I/O时进行大量的文件操作通常需要大量的内存I/O数据在内存中计算可用于减少文件
操作的数量可以从GPU加速中获益(部分应用)ANSYS
Mechanical、DassaultSystèmesABAQUS/Standard
和
MSCNastran
等应用程序都属于上述类别。09
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书下图描述了典型
CFD/显式
FEA
模拟与典型隐式
FEA
模拟的文件
I/O
速率。Typical
CFD/Explicit
FEA
SimulationTypical
lmplicit
FEA
SimulationTimeTime图
1
典型
CFD/显式
FEA
和隐式
FEA
模拟的文件
I/O
速率在
CFD/Explicit
FEA
模拟的开始和结束时,有大量频繁的文件
I/O
操作,但这些事件是简
短的。在计算期间,存在最小的文件
I/O
操作。然而,对于隐式
FEA
模拟,在整个模拟过程中存在大量的文件
I/O
操作。后期处理在后处理阶段,将模拟的结果呈现并显示给用户。结果可以是输出,如表格、绘图、数据文件和动画
,也可以在软件中以
3D
表示形式查看。笔记本电脑、工作站和远程可视化服务器通常用于大多数后处理工作。这些解决方案通常具有更高端的图形卡以加速可视化,并且可能需要大量的内存,具体取决于计算模型的大小。如果使用自动化脚本来生成输出,则可以将一些后处理工作“卸载”到服务器。大多数函数都是单线程进程。联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
1003推荐产品和解决方案以下建议将用作指南。在大多数情况下,处理器、内存、存储、GPU
等将进行调整以更好地适应用户的特定需求。11
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书管理服务器(主服务器)管理(头)服务器用于管理集群。主服务器可以为集群提供许多功能,下面是一些功能
:•部署群集管理软件以管理和监控整个群集•LiCO
ExtremeClusterAdministrationToolkit
xCAT或者开源使用联想工具()是联想在安装部署使用的两个集群管理软件••••批处理作业调度程序服务器并行文件系统服务器(并行存储系统)用户帐户管理软件
应用程序许可证服务器/推荐的产品和解决方案是:•
ThinkSystem
SR650
V2(/lp1392-thinksystem-sr650-v2-server)√ᅠSR650V22U是一款双路
机架式服务器,非常适合处理各种工作负载•
2个英特尔
至强
可扩展金牌5318
处理器,24
核心,2.1GHz,每插槽
16
个内核®®参考配置如下
:CPU
:2*Intel®Xeon®Gold531824C
165W2.1GHz内存
:12*16GBTruDDR4
3200MHzRAID
控制器
:1*RAID530-8iPCIe12Gb
适配器硬盘
:2*2.5
英寸
480GBSATA
热插拔固态硬盘接口
:1*1Gb4
端口
RJ45OCPInfiniband适配器
:1*MellanoxConnectX-6HDR100/100GbE1
端口:2*750W(230/115V)白金级热插拔电源电源模块联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
12登录服务器登录服务器充当集群用户的访问点。登录服务器的数量将取决于访问群集的用户数量。在登录服务器上,用户通常执行以下任务
:•上传和下载数据创建和编辑脚本管理目录和文件编译和安装软件••提交、监控和管理模拟根据工作负载和用户数量,管理主服务器可以兼作登录服务器。推荐的产品和解决方案是:•
ThinkSystemSR650V2(/lp1392-thinksystem-sr650-v2-server√ᅠSR650V2
2U是一款双路
机架式服务器,非常适合处理各种工作负载)•
2个英特尔
至强
可扩展金牌5318
处理器,2.1GHz,每插槽
16
个内核®®参考配置如下
:CPU
:2*Intel®Xeon®Gold531824C
165W2.1GHz内存
:12*16GBTruDDR4
3200MHzRAID
控制器
:1*RAID530-8iPCIe12Gb
适配器硬盘
:2*2.5
英寸
480GBSATA
热插拔固态硬盘接口
:1*1Gb4
端口
RJ45OCPInfiniband适配器
:1*MellanoxConnectX-6HDR100/100GbE1
端口:2*750W(230/115V)白金级热插拔电源电源模块13
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书CFD和显式
FEA计算服务器CFD
和显式
FEA
计算服务器处理
CFD
和显式
FEA
模拟的主要模拟计算工作量。推荐的产品和解决方案是:•
ThinkSystemSD630V2(/lp1394-thinksystem-sd630-v2-server)√ᅠSD630V2是一款采用
机架外形规格的超高密度经济型双插槽服务器。高密度
四节点(
)0.5U
2U
2U4N平台,四个
SD630V2
服务器节点安装在
ThinkSystemD2
机箱中。推荐配置如下
:CPU
:2*Intel®Xeon®Gold634828C235W2.6GHz
处理器内存
:12*16GBTruDDR4
3200MHzRAID
控制器
:1*RAID530-8iPCIe12Gb
适配器硬盘
:2*2.5
英寸
480GBSATA
热插拔固态硬盘接口
:1*1Gb4
端口
RJ45OCPInfiniband适配器
:1*MellanoxConnectX-6HDR100/100GbE1
端口因为它的处理器基之所以选择英特尔®
至强®
可扩展金牌
6348
处理器,是本频率高达
2.6GHz(最大
Turbo
频率为
3.5GHz),并且每个插槽的核心数量较少(每个插槽
12
个核心),因此每个核心的内存带宽较高。处理器的成本也是决策的考虑因素。有关处理器选择的更多详细信息,请参阅“性能”部分。CFD
和显式
FEA
模拟通常在模拟期间执行非常少的文件
I/O操作。上述建议是一种“无状态”服务器解决方案,这意味着服务器中没有内部存储。建议将网络文件系统(PNFS)作为这些类型模拟的主要文件系统。有关存储选项的更多详细信息,请参阅下面的“存储”部分。联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
14隐式
FEA计算服务器隐式
FEA
计算服务器处理隐式
FEA
模拟的主要模拟计算工作量。推荐的产品和解决方案是:•
ThinkSystemSD630V2(/lp1394-thinksystem-sd630-v2-server√ᅠSD630
V2
0.5U
2U)一款采用机架外形规格的超高密度经济型双插槽服务器。高密度四节点(2U4N是)平台,四个
SD630V2
服务器节点安装在
ThinkSystemD2
机箱中。推荐配置如下
:CPU
:2*Intel®Xeon®Gold634828C235W2.6GHz
处理器内存
:12*32GBTruDDR4
3200MHzRAID
控制器
:1*RAID530-8iPCIe12Gb
适配器硬盘
:2*2.5
英寸
960GBSATA
热插拔固态硬盘接口
:1*1Gb4
端口
RJ45OCPInfiniband适配器
:1*MellanoxConnectX-6HDR100/100GbE1
端口隐式
FEA
计算性能,我们再次选择了英特尔®
至强®
可扩展金牌
6348
处理器。有关处理器选择的更多详细信息,请参阅“性能”部分。隐式
FEA
模拟可以在模拟过程中执行大量的文件
I/O
操作。推荐的解决方案具有两个
2.5
英寸
SATA
SSD
驱动器,存储容量为
960GB,可在需要推荐的解决方案具有大量内存(384GB),以便将一些文件
I/O
操作卸载到内存中,从而提高性能。的推荐服务器和处理器与上一节中的
CFD
和显式
FEA
计算服务器相同。基于成本和时提供快速内部存储选项。此外,如果需要更多的内存,则更具成本效益的解决方案可能是机架式服务器(SR650
V2/SR660
V2),而不是超密集型服务器。对于大型内存隐式
FEA
计算服务器,推荐的产品和解决方案是:•
ThinkSystemSR650V2(/lp1392-thinksystem-sr650-v2-server√ᅠSR650V2
2U是一款双路
机架式服务器,非常适合处理各种工作负载)推荐配置如下
:CPU
:2*Intel®Xeon®Gold634828C235W2.6GHz
处理器15
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书内存
:12*32GBTruDDR4
3200MHzRAID
控制器
:1*RAID530-8iPCIe12Gb适配器硬盘
:2*2.5英寸
960GBSATA
热插拔固态硬盘接口
:1*1Gb4端口
RJ45OCPInfiniband适配器
:1*MellanoxConnectX-6HDR100/100GbE1端口预处理和后处理服务器预处理和后处理服务器协助网格生成和后处理卸载过程。推荐的产品和解决方案是:•
ThinkSystemSR650V2(/lp1392-thinksystem-sr650-v2-server√ᅠSR650V2
2U是一款双路
机架式服务器,非常适合处理各种工作负载)•
2个英特尔
至强
可扩展金牌®®5318
处理器,2.1GHz,每插槽
16个内核•
12x32GBTruDDR4
2666MHzRDIMM384GB;总
计128GBDIMM,最大内存为2.5内存√ᅠ可选的
8、16、641.5TB和•6英寸驱动器,最大容量可达92TB可选、灵活且可扩展的内部存储,最多可配置个推荐的预处理和后处理服务器与
CFD
和显式
FEA
服务器推荐的解决方案相同,但具有更多的内存。每个服务器的预处理和后处理步骤通常需要更多的内存。如果需要更多内存,则更具成本效益的解决方案可能是机架式服务器,而不是超密集型服务器。对于大型内存隐式
FEA
计算服务器,推荐的产品和解决方案是:•
ThinkSystemSR650V2(/lp1392-thinksystem-sr650-v2-server√ᅠSR650V2
2U是一款双路
机架式服务器,非常适合处理各种工作负载)•
2个英特尔
至强
可扩展金牌®®6348
处理器,2.6GHz,每插槽
12
个内核•
24x
32GBTruDDR4
2666MHzRDIMM768GB;总
计内存√ᅠ最多24个
和DIMM(可选),容量为
16、64128GB2.5;最大内存为3TB•6英寸驱动器,最大容量可达92TB可选、灵活且可扩展的内部存储,最多可配置个联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
16推荐配置如下
:CPU
:2*Intel®Xeon®Gold634828C235W2.6GHz
处理器内存
:24*32GBTruDDR4
3200MHzRAID
控制器
:1*RAID530-8iPCIe12Gb
适配器硬盘
:2*2.5
英寸
480GBSATA
热插拔固态硬盘接口
:1*1Gb4
端口
RJ45OCPInfiniband适配器
:1*MellanoxConnectX-6HDR100/100GbE1
端口GPU
:1(或者
2)*NVIDIAQuadroRTXA600048GBPCIe
主动式
GPU:2*750W(230/115V)白金级热插拔电源电源模块GPU加速服务器一些
CFD
和
FEA
软件支持使用
GPU
来执行一些求解器计算FEA
模拟。,通常用于隐式推荐的产品和解决方案是:•
ThinkSystem
SR650
V2(/lp1392-thinksystem-sr650-v2-server)√ᅠSR650V22U是一款双路
机架式服务器,非常适合处理各种工作负载参考配置如下
:CPU
:2*Intel®Xeon®Gold634828C235W2.6GHz
处理器内存
:12*16GBTruDDR4
3200MHzRAID
控制器
:1*RAID530-8iPCIe12Gb
适配器硬盘
:2*2.5
英寸
480GBSATA
热插拔固态硬盘接口
:1*1Gb4
端口
RJ45OCP17
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书Infiniband适配器
:1*MellanoxConnectX-6HDR100/100GbE1
端口GPU
:1*NVIDIAA80080GBPCIeGen4PassiveGPU:2*750W(230/115V)白金级热插拔电源电源模块推荐的其他/替代产品和解决方案为
:•
ThinkSystem
SR670
V2(/lp0923-thinksystem-sr670-v2-server)√ᅠSR670V2是一
款
机架式服务器,旨在支持多达四个高性能2U
GPU•
2个英特尔
至强
可扩展金牌®®5318
处理器,2.6GHz,每插槽
16个内核•
12x16GBTruDDR4
2666MHzRDIMM192GB;总计384TB内存√ᅠ可选的
32GBDIMM,最大内存为•
4ThinkSystemNVIDIATesla
A80016GBPCIe被动GPU个•82.5英寸驱动器,最大容量可达16TB可选、灵活且可扩展的内部存储,最多可配置个远程可视化服务器配合联想设计仿真一体机(联想
LICP),远程可视化服务器允许用户远程可视化计算模型和结果。推荐的产品和解决方案是:•
ThinkSystem
SR650
V2(/lp0643-lenovo-thinksystem-SR650-v2-server)√ᅠSR650V2是1U一款双路机架式服务器,非常适合处理各种工作负载•
2个英特尔
至强
可扩展金牌®®5318
处理器,2.6GHz,每插槽
16个内核•
12x16GBTruDDR4
2666MHzRDIMM192GB128GB;总计DIMM(可选),容量为
16、64和内存√ᅠ最多24;最大内存为3TB个•
1ThinkSystemNVIDIAQuadroP60002GBPCIeGPU个•
2ThinkSystem
2.55200
480GB主流SATA
6GB热插拔
SSD,总计
960GB个英寸内部存储√ᅠ可选存储
:
个不同62.5
92TB英寸驱动器
;最大容量类型和存储容量的联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
18互连网络建议在计算节点之间进行快速互连,尤其是在使用四台以上的服务器进行计算的情况下。推荐的产品和解决方案包括
:•
MellanoxInfiniBandHDR100(200)Gb/sNDR200(400)Gb/s或者•英特尔®Omni-Path100Gb/s存储在模拟过程中,CFD
和显式
FEA
模拟通常需要最少的文件
I/O
操作。对于大多数模拟,在
PNFS上运行模拟应该足够了,但会根据系统上的工作负载而有所不同。推荐的产品和解决方案是:•
ThinkSystemSR650(/lp0644-lenovo-thinksystem-sr650-server√ᅠSR650
2U是一款双路
机架式服务器,非常适合处理各种工作负载)•
2个英特尔
至强
可扩展金牌®®5318
处理器,2.6GHz,每插槽
16个内核•
12x16GBTruDDR4
2666MHzRDIMM192GB128GB;总计DIMM(可选),容量为
16、64和内存√ᅠ最多24;最大内存为3TB个•
10
ThinkSystem3.5个6TB7.2K
SAS
12GB512e60TB存储可选存储,最多
个24
2.5英寸热插拔硬盘,总计英寸驱动器和
14
个
3.5
英寸驱动器,最大容量可达
368TBPNFS
服务器的推荐产品和解决方案配置了
60TB
的存储。该解决方案的最大存储容量为更高的存储性能,请参阅下面368TB,并可根据用户的具体需求进行调整。如果需要的“附加/可选存储”部分,了解更多详细信息。19
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书高性能并行存储系统(附加
/可选存储)Lenovo
Distributed
Storage
Solution
for
IBM
Spectrum
Scale(DSS)是用于高性能和数据密集型环境的密集可扩展文件和对象存储的高性能并行存储系统(https://lenovopress.com/lp0837-lenovo-dss-g-thinksystem
DSS-G
Lenovo
ThinkSystem一款软件定义的存储(SDS),适机架式服务器、Lenovo)结合了D1224
和
D3284
存储机柜以及
IBMSpectrumScale
软件的性能,以提供高性能、可扩展的构建模块方法。DSS-D
结合了
Lenovo
ThinkSystem
机架式服务器、Lenovo
DE400
和
DE6000
存储机柜以及
IBM
SpectrumScale
软件的性能,以提供高性能、可扩展的构建模块方法。首先推荐的产品和解决方案是:•
DSS-D•
2
ThinkSystem
SR650V2台机架式服务器(/lp1392-thinksystem-sr650-v2-server#introduction)•
1xDE4000/DE6000存储•
SpectrumScaleGPFS文件系统•服务第二个推荐的产品和解决方案是:•
DSS-G100•
1
ThinkSystem
SR650V2台机架式服务器(/lp1392-thinksystem-sr650-v2-server#introduction)•
8xThinkSystemU.2Px04PMB800GBNVMe性能
2.5NVMePCIe3.0x4HSSSD,总计6.4TB存储√ᅠ可选的驱动器大小为
0.375、0.96、1.0、1.6、1.92、2.0、3.2、4.0驱动器,最大存储容量为6.4TB
51.2T和•
SpectrumScaleGPFS文件系统•服务第三个推荐的产品和解决方案是:•
DSS-G201•
2
ThinkSystemSR650机架式服务器(/lp0644-lenovo-thinksystem-sr650-server驱动器盒(/lp0512-lenovo-storage-d1212-d1224-drive-enclosures•
22
Lenovo
1.8TB10K2.5
SAS
39.6TB台)•
1
D1224个)个存储英寸硬盘,总计存储•
2x400GB3DWD
SSD2.5SAS,需要用于
内部使用SpectrumScale联想存储英寸联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
20第四个推荐的产品和解决方案是:•
DSS-G220•
2
ThinkSystemSR650机架式服务器(/lp0644-lenovo-thinksystem-sr650-server驱动器盒(/lp0512-lenovo-storage-d1212-d1224-drive-enclosuresLenovo
10/12/14/16TB10K3.5
SAS台)•
2
D3284个)•两个存储英寸硬盘,存储系统•
SpectrumScaleGPFS文件系统•服务如果需要额外的容量或性能,Lenovo
会提供额外的构建块大小。21
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书服务支持和安装默认情况下,联想产品提供
3
年、9x5、下一工作日支持。能够提供更高级别的支持,包括全天候支持以及更长的支持时间。联想的专业服务团队可以定制架构解决方案的完整“交钥匙安装”范围,并为安装的所有组件提供有价值的实际知识传授。他们在系统安装和启动方面的丰富经验对于确保成功安装具有不可估量的价值。HPC模块化服务产品总览联想智能超算平台(HPCLiCO)增值服务:计算生命科学力学
政府气象制造、仿真计算●联想AI工具链HPC高端维保基化学、材料因工程石油、勘探(
LSF
Slurm
)HPC白金服务资源●调度系统HPC巡检服务●●●●●应用调研HPC驻场服务联想专家服务售前方案HPC搬迁服务设计、咨询HPC数据迁移HPC系统整合高性能分布式存储动态资源●配置水冷计算集群
刀片计算集群
GPU计算集群
高密度计算集群更多增值服务及HPC客户化Physical&
Virtual
infrastructure
Gird服务硬件安装、软件部署实施、现场培训、性能测试、项目管理等联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
2204推荐的架构23
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
24下表显示了推荐的服务器产品和解决方案。表
1
推荐的服务器产品和解决方案英特尔®
DIMM内存存储容量服务器名称产品配置12
个
16GB12
个
16GBGB)驱动器配置(TB)GPU卡处理器(2
个
2.5
英寸
1.92TB主控/登录CFD/显式SR650V22x53181923.84-SATA固态硬盘SD630V22x6348192---FEA
计算2
个2.5
英寸
480GB隐式有限元计算12
个
32GBSD630V22x63483840.96-SATA态硬盘固预处理/后处理SD630V2SD630V22x63482x531812
个
32GB12
个
16GB384192-----2
台
NVIDIAGPU
加速Tesla
A8002
个2.5
英寸
480GB1
个
NVIDIA远程可视化SR650V2SR6502x53182x531812
个
16GB192192SATA固Quadro
P60000.96态硬盘网络文件系统个16
16GB10
个
3.5
英寸
6TBSAS硬盘60-(PNFS)下表显示了推荐的附加/可选存储产品和解决方案。表
2
推荐的附加/可选存储产品和解决方案产品存储容量(TB)服务器驱动器盒驱动器配置DSS-D2
个
SR6501xDE6000609606.439.6DSS-G100DSS-G201DSS-G2201
个
SR650V22
个
SR6502
个
SR650-8
个
2.5
英寸
800GBNVMe
固态硬盘1xD12242xD328422
个
2.5
英寸
1.8TBSAS
硬盘参考配置导引-25
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书下表列出了推荐的架构。体系结构和解决方案可以根据特定需求进行定制,并作为指南提供。表
3
CFD
和显式
FEA
应用的推荐架构配置大小特别小小的媒体大的#
主/登录服务器#CFD/显式有限元分析计算#
预处理/后处理服务器1111服务器31022281224#PNFS
服务器(60TB
存储容量)1111互连网络MellanoxInfiniBandHDR
或英特尔®Omni-Path3
年,9x5,下一工作日支持安装交钥匙由联想专业服务表
4
CFD
和显式/隐式
FEA
应用的推荐架构配置大小特别小小的媒体大的#
主/登录服务器111122#CFD/显式有限元分析计算服务器3816#
隐式
FEA
计算服务器1368#
预处理/后处理服务器-122#PNFS
服务器(60TB
存储容量)1111互连网络MellanoxInfiniBandHDR
或英特尔®Omni-Path3
年,9x5,下一工作日支持安装交钥匙联想专业服务联联想想高高性性能能计计算算面面向向制制造造业业设设计计仿仿真真计计算算一一体体化化解解决决方方案案白白皮皮书书
2605联想推荐的
CAE行业解决方案27
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书联想设计仿真一体机解决方案◤
方案概述随着在由“中国制造”走向“中国智造”。如何运用数字化技术缩短研发周
期、降低研究成本、提高产品质量,具有十分的意义。具体到船舶、汽车、手机、机械等多个行业,其科研、生产广泛使用的仿真计算与设计平台建设存在以下问题
:“中国制造
2025”国家计划的提出,中国制造业正重要••••••传统“孤岛式”IT
系统大量使用桌面工作站,利用率低,投资大各种信息系统独自建设,用户数据多点存放,不同系统间需要频繁切换仿真计算、三维设计、研发流程脱节,使用不流畅专业软件工具分散部署,低效使用,版本不统一不利于协同研发的开展,管理维护也非常困难联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
28联想针对行业现状与痛
点提出了“联想智算管理平台”(“Lenovo
Intelligent
Computing
Platform”,
简称
LICP)解决方案,为用户提供一站式业务平台,LICP
为实现高质量、高效率的仿真与设计工作提供以下服务
:•简单方便的“一站式”应用平台,而非计算平台••直接从研发流程中调用资源进行仿真、设计、优化等工作桌面轻量化,从工作站到瘦客户机•
IT运维简
化,桌面机零维护、零安装•研发工具软件标准化、云化、全面覆盖
研发需求••••••复杂环境和网络条件下集中管理和使用安全保密图形服务器空闲时用于仿真计算,充分利用
卡的运算能力GPU仿真设计过程中的快速协同更好的用户体验、尊重
用户使用习惯能适应向大数据和人工智能平台的扩展联想总结多年制造业
HPC
系统经验,致力于解决用户使用图形工作站和高性能计算系统的痛
点,提升用户协同研发能力和效率,提高投资回报。29
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书◤
方案内容联想智算管理平台说明PDM前处理CAD建模模型修理网格生成仿真计算流体、结构、强度、电磁等后处理多目标、多学科优化
(MDO)定量分析可视化平台覆盖
范围仿真与设计的一体化主要体现在以下几个方面:•
HPC+HPG,高性能计算和高性能图形融合
仿真设计一体化•涵盖
数字化设计全流程数据无缝流转,单一数据源,避免频繁上传下载•应用集中,客户机零安装、零维护,开机即用联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
30联想智算管理平台与研发体系融合
:PDMSDMTDM仿真设计一体化高性能计算和高性能图形融合协同研发研发平台集成研发平台数据整合设计研发工具集中、整合、标准化通PC或瘦普终瑞访问HPC融合后的仿真设计一体化研发体系联想智算管理平台功能架构
:应用门户远程可视化应用软件:CAD、CAE、EDA、电磁、信号处理…资源管理与调度监安全管理计算设备、图形设备:刀片、胖节点、图形工作站/服务器...
控统计共享文件系统:GPFS、Lustre、NFS、DFS...分析高速互联网络:InfiniBand、OmniPath、Ethernet..集中式存储:SAN、NAS、分布式LICP
功能架构31
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书联想智算管理平台产品组合
:联想应用门户软件基于WebDesktop理念的全新门户联想资源分析软件●●●所有应用一站式访问●丰富可扩展的监控指标强大的远程数据管理能力●详尽的运维分析与资源计费联想协同桌面软件Windows/Linux多平台应用兼容●支持●基于物理机的远程可视化,避免性能损耗●●可视化协同联想安全控制软件B/S架构,支持复杂网络连接●新版三员管理规范U-Key集成●联想资源管理和调度软件●●●多域认证安全审计●●计算服务器和工作站集群融合调度作业和远程设计任务统一调度管理密级管理仿真计算●●复杂资源的管理无故障运行LICP
产品组合其中《联想资源管理和调度软件》可以选择
IBMSpectrumLSF其中《联想资源分析软件》可以选择
联想智能计算平台
LiCO联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
32联想智算管理平台典型部署架构
:仿真计算编译调试
远程三维协同设计
协同办公一个浏览器轻松搞定核心交换机到用户桌面防火墙封装门户、登录、管理、认证服务器多机冗余+负载均衡仿真一体机内部千兆管理网络图形服务器仿真计算远程设计+GPU加速二合一服务器LinuxLinuxWindows
Server200Gb
EDR
IB交换机或者万兆交换机可配置计算和存储网络二合一高速并行存储联想
DSS
并行存储系统33
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书◤
方案的特点010203一个核心两种能力五个原则以数据为核心提供远程协同和仿真计算能力
先进性原则、经济性原则、可分析性原设计能力安全性原则、易用性原则、则仿真设计一体化应用场景
:远程三维协同设计
仿真计算图形工作站调度许可证服务器任务请求Flexlm/Flexnet调度分配三维桌面3许可证调度2统一门户许可证申请运行应用程序1作业提交License
requesthttp://portal:8080/3d图形显示服务器资源调度主节点工作站集群远程三维显示,交互设计资源调度软件7
图形显示http://portal:8080/cloud/hpc可视化任务4
作业调度5运行实际应用程序仿真设计一体化应用场景联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
34◤
联想智算管理平台产品组成联想智算管理平台的实现基于以下软件产品:产品名称
型号规格及主要技术参数面的一体化门户软件。支持基于浏览器的统一用户访问;支持应用软件集成及向三维设计和仿真计算联想智算计算过程可视化查看和交互;支持批量大文件上传下载;支持远程数据管理
作业管理
可视化任务管理平台//应用门户软件管理;支持远程文件类型关联;支持数据共享协同等。远程可视化协同设计;支持基软件。支持远程三维/二维可视化协同于物理机技术的
Linux/联想智算管理平台Windows远程三维可视化;支持图形服务器和显卡远程多人共享使用;支持远程桌面和远程应用两协同桌面软件种远程可视化访问模式;支持观察模式和交互模式两种可视化协同共享方式等。集群管理和任务调度软件。提供多种调度策略,实现负载均衡和资源联想智算度管理和调度策略扩展;支持工作站集群和可视化任务的调度管理;支持许可证调度;支持使用优化;支持基于数据库的调管理平台CPU、资源管理与调度软件GPU、许可证等各种计算资源的统一调度管理。集资源联想智算括硬件资源、操作系统、软件许可证资源、存储资源、网络资源、计算作业、可视化任务等;基于监资源控数据,提供统计分析功能;支持报表自定义功能。监控管理和智能化统计分析为一体的软件。具有完备的和可扩展的资源定义、监控等功能,包管理平台分析软件联想智算管理平台
集群安全管理和控制软件。支持“三员管理”的分级保护机制;支持安全审计功能;支持统一用户身安全控制软件
份认证系统集成;支持密级管理。应用门户软件采用“Web
Desktop”和微客户端的全新设计,实现高效、绝佳的用户体验
;支持浏览器、桌面客户端、瘦客户机等多种访问方式,易拓展
;实现高性能计算和三维设计任务与数据统一管理;具备强大的数据上传下载功能
;支持应用管理和应用仓库用户可自行挑选使用不同应用
;支持
Web
服务集群部署模式,实现
HA和负载均衡。35
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书LICP门户数据管理云端数据协同管理联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
36作业提交仿真计算过程可视化37
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书协同于远程三维可视化技术,工程/工业设计人员和研究人员可从桌面终端远程使用数据中心高端图形工作站/设计。支持近乎本地的使用效果;先进的远程可视化技术,支持物理机和虚拟机,具桌面软件基服务器来进行高效协同备低延时、低带宽的特点,能应用于局域网和互联网环境
;支持主流的
OpenGL
和
Direct3D
三维设计分析、设计和办公等软件
;支
持
Linux
和
Windows
版本的应用发布和桌面工作模式
;适合小型工作室/会议室到大型企业设计/办公等多种场景。前后处理、解释反演、平面发布
;支
持多协同共享,提供观察和交货协同远程三维可视化与协同远程三维协同设计软件图形服务器资源池远程三维可视化与协同架构联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
38资源管理与调度软件强大的云计算基础架构管理中间件,集资源管理和分布式应用调度为一体,能实现计算资源、图形资源、许可证资源、网络资源的统一调度管理。白天做设计时间窗口
晚上做仿真CAD建模前后处理仿真计算多学科优化灵活的资源调度策略39
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书资源监控与统计分析软件集资源监控管理和智能化统一分析为一体,可监控、管理和分析网络上数十台到数千台不同操作系统的各类服务器、工作站和虚拟机、许可证以及相关网络和存储设备。安全控制软件对联想智算管理平台进行统一用户身份认证、密级管理和全面的安全审计、控制以及权限分配管理。可实现统一身份认证与密钥集成的单点登录
;对防火墙友好
;支持三员管理和型号项目管理以及密级管理。Web授权基于角色的授权机制B/S应用企业用户目录用户自动的主动化管理身份集合安全身份管理单点登录门户网站安全访问管理授权和认证·策略·工作流·审计跟踪操作系统C/S应用数据库Web
Apps安全审计专业应用用户信息同步统一身份认证系统联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
40应用软件界面安全管理系统接口用户管理角色管理密码管理数据维护安全管理LDAPAD事件审计数据备份数据库安全控制软件架构安全控制软件安全访问用户统一应用门户.“三员管理”....统一身份认证和单点登录安全审计密级管理防火墙封装安全访问通过PAM实现节点的安全访问控制资源管理调度软件验证用户与主机,提供验证集成框架,可与第三方验证机制进行集成,比如kerberos等服务应答安全访问机制41
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书◤
应用场景举例•制造行业信息化部门、仿真中心(室)•汽车、轮胎等制造业的设计中心、研发中心•高校及科研院所的信息中心、网络中心、数字化中心凡涉及三维设计、高性能仿真计算及仿真设计一体化的业务部门均存在使用需求。◤
方案优势•覆盖
客户数字化设计全流程•解决现有的软硬件投资模式,共享经济、共享资源、充分利用最新的信息化技术、协同与协作••自适应的仿真设计能力,减少无效工作,提高研发效率,释放脑力提供统一的集群资源储资源和图形工作站资源,帮助用户实现最优的资源利用率和作业吞吐量管理功能,集中管理集群中所有的计算资源、存◤
客户收益•提供数字化统一研发环境,帮助用户整合服务器、软件、存储资源池•Linux/Windows/应用程序和全面协作型屏幕共享控制的远程支持协议•••••OpenGL和
为
图形提供最新支持DirectX
3D通过使用简
单易用的应用使用门户,提供保密相关的功能要求打通HPC(高性能计算+HPG)(高性能图形)仿真设计流程提供IPT数字化协同设计团队
环境支撑IT全面的服务器端监控功能联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
42036C案A例E工作流程阶段及相关计算解决方案43
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书联想一直为制造业的科研创新提供领先的新一代集群计算解决方案,已经帮助国内制造业众多细分行业如集成电路、船因测序、新材料、智舶、工程机械、汽车高铁、生物制药、基能化消费电子等国家战略新兴制造业企业构建世界级的
HPC系统,支持制造业客户的产品研发的快速迭代。与此同时,联想针对国内数据中心平均
PUE
高达
1.9
的现状,推出一系列高效能水冷服务器以及配套解决方案,将传统数据机房
PUE降低到
1.1,新型水冷的
HPC
数据中心可以为用户节省
42%的电费,实现真正的绿色发展。在人工智能深度学习的计算域,联想最新的温水冷却技术与英伟达最新安培架构的
A800GPU
的完美结合,使得在一个机柜内最高可以同时部署
144
张A800
GPU
和
72
颗
270W
CPU,单机柜提供了较强的计算能力,兼顾了
CPU
和
GPU
算装机数量自
2018
年起至2023
年连续
11
次,始终保持排名全球
TOP
500
第一,在中TOP
100
第一,国内制造业
HPC
市领力的均衡,从容应对更为复杂的算力需求环境。联想的高性能计算国也连续荣登中国超算场份额第一。联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
44给新材料研发换上智慧大脑(中国钢研)◤
客户背景中国钢研科技集团有限公司(简
称中国钢研)是国务院国资委直接管理的中央企业,是我国冶金行业最大的综合性研究开发和高新技术产业化机构。中国钢研是国家首批
103
家创新型企业试点单位之一,是我国金属新材料研发基地、冶金行业重
大关键与共性技术的创新基地、国家冶金分析测试技术的权威机构。◤
需求中国钢研随着头单位,急需打造一个材料及工艺、检测研发工作的数字化平台(超平台),平台主要向材料科学与工程、冶金工艺与工程、工业自动化与过程控制、分析测试技术与仪器等研发领域,开展材料科学计算、材料行为工艺模拟、高通量实验、数据库及大数据分析领域的数字化生态建设。这个平台需要满足材料在科研阶段的数据的最大价值的利用,兼顾研发数据计算的需求,其业务的发展,作为冶金行业新材料研发的核心科研领算面在设计、仿真、大数据、人工智能各方面支持不低于
500
人的平台用户访问,并能支持千时满足
10
个以上多节人级别的数据库访问,同点大型计算任务所需的硬件、网络和存储需求。◤
解决方案本次超算方案包括了联想全系列的高密度服务器
SD530、八路服务器
SR950、两路机架服务器
SR650、SR630、存储
DE6000H、QM8790、网络交换机
NE0152T
等产品时搭配智能计算平台
LiCO、调度平台
LSF、并行文件系统
GPFS,同以及设计仿真一体化等软件产品平台
LinPack
测试的平均计算65%,能够完整实现大部分第一性原,平台融合了大数据和
AI
的各种框架,同,为客户提供了一套融合计算集群的完整解决方案。整个计算效率不低于理软件及其他数据处理等软件所需要的底层需求。同时满足未来各种研发数据的大数据分析以及机器学习的需要时能和已有的研发系统45
联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书以及业务流程紧密集成,统一门户,统一登录,按需计算,未来能够使得设计和仿真出来的研发数据逐步迭代成新的知识,帮助科研人员产生更多的洞察和创新想法,是一个真正的新技术赋能科研的智慧计算大脑。集群用户集群用户和系统管理员联想LICOWAN监控管理/登录节点共享存储系统核心交换机监控管理网络以太网交换机计算网络交换机存储I/O节点KVM交换机本地控制台计算节点◤
方案特点新老兼容目前中国钢研仿真计算团队大多使用工作站或者小规模的集群设备,部分使用
Linux,也有使用
Windiows
操作系统。新平台的搭建,使总体软硬件实现无缝衔接,新平台提供统一的高性能计算任务数据上传、下载访问接口,和原有资源调度系统无缝整合,利旧的同时做到新建系统和现有人员使用的高度一致。速赢高效此次联想
HPC
方案,选用高性能的处理器作为计算任务完成周
期的必要条件,尤其是当前很多计算任务由于程序本身扩展性和数据规模的限制还不能做到在大量处理器上高效率地并行运算,所以高性能处理器往往是唯一能够真正缩短作业运行时间的技术手段。资源的基础,高性能处理器是缩短绿色计算即便是能处理器上的运行效率也是不可同日而语的。根据联想多年高性能计算中心建设和运行的经验,在大型高性能计算机中心的运行中,能源消耗将是最大的开销,因此联想在能够在较大数量处理器上运行的应用,在
100
个高性能处理器和在
100
个低性方案中推荐选用功耗较低的硬件设备,而且配置先进的管理工具来合理的监视和控制设备的使用情况,例如监测
CPU
的温度状况,动态控制风扇转速以减少所需要的能量,从而降低能源的消耗。联想高性能计算面向制造业设计仿真计算一体化解决方案白皮书
46高铁研制计算力中台(某大型制造企业)◤
客户需求计算资源性能不够
研发需求增大
工作站模式弊端广泛分布的图形工作站,零零散散的分随着用,导致本地化的
IT
服务响应时间诉的邮件,IT来的每周
约
20
个计算务,提升到现在每周
至少
100
个计算国家重
点实验室挂牌以及这几年的现有的单台工作站的模式,无法共享使布在办公室的每个角落,不同的配置,大部分的标准都是法完全跟上,总是会有投参考
PC
来阶段产品高铁订单需求和前瞻的业务开发量的增
无加,研发仿真部设计的需求增长非常快,制定和购买,在遇到大算例和高计算模计算作业由原任部门在处理问题的及时性上不够快速和长
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 山东省济南天桥区2023-2024学年八年级下学期期中考试物理试题【含答案、解析】
- 2025年山西工程职业学院高职单招语文2018-2024历年参考题库频考点含答案解析
- 2025年安徽工业职业技术学院高职单招高职单招英语2016-2024历年频考点试题含答案解析
- 2025年大连汽车职业技术学院高职单招高职单招英语2016-2024历年频考点试题含答案解析
- 2025年四川机电职业技术学院高职单招职业技能测试近5年常考版参考题库含答案解析
- 2025年四川商务职业学院高职单招语文2018-2024历年参考题库频考点含答案解析
- 2025至2031年中国酒店皂行业投资前景及策略咨询研究报告
- 2025至2031年中国膝软骨行业投资前景及策略咨询研究报告
- 2025至2031年中国法式鸡卷行业投资前景及策略咨询研究报告
- 智能合约安全审计-第2篇-深度研究
- 2024输血相关知识培训
- 2023年四川省绵阳市中考初中学业水平考试语文试题【含答案】
- 正大天虹方矩管镀锌方矩管材质书
- 2024年山东鲁商集团有限公司招聘笔试参考题库含答案解析
- 山东省泰安市2022年初中学业水平考试生物试题
- 受贿案例心得体会
- 人教A版高中数学选择性必修第一册第二章直线和圆的方程-经典例题及配套练习题含答案解析
- 图书馆学基础简明教程
- 毕业设计(论文)-液体药品灌装机的设计与制造
- 二年级下册数学教案 -《数一数(二)》 北师大版
- 银行内部举报管理规定
评论
0/150
提交评论