ANSYS Maxwell时间分解法增强和HPC效率提升

1、Maxwell 18.0 TDM时间分解法增强和HPC效率提升介绍技术创新 变革未来目录时间分解法 TDM 简介原理介绍、基本概念、测试案例、两种基本求解模型R18.0 TDM 主要更新系统和 license 要求与软件安装流程Maxwell 版本要求、license要求、软件安装、RSM 与 MPI 设置TDM 的使用如何激活 TDM、单机多机如何使用TDM具体案例对比分析案例分析、TDM 与 HPC的对比、TDM 中非线性残差的问题TDM(Time Decomposition Method) 简介TDM 瞬态求解算法同时求解所有的时间步：常规瞬态求解算法按序求解所有的时间步：t1t2t3t

2、4tnt0t3t1t2t4tnTDM 功能始于 R17(V2016)Sub-division 子时间段Tend时间轴.Task 1Task 2Task 3Task N按序求解Sub-division并行求解Sub-division的各个时 间步Sub-division1Sub-division2Sub-division MTDM(Time Decomposition Method) 简介FEM Matrix Simultaneous SimulationT1TkT1T2T3T(k-2)T(k-1)T(k)k 仿真时间步数n 并行求解任务数Matrix SizeXk多级HPC加速和加大求解规模L

3、evel 1 (MPI)Distributed Time StepsLevel 2 (MP)Multi-ProcessingT1Tkk 仿真时间步数n 并行求解任务数kn一个求解任务，表示一个单独的求解器。它可以计算单个或同时计算多个时间点。一个求解任务可以使用单个处理器，或多个处理器（MP）一个求解任务若使用多个处理器，则必须共享内存一个求解任务所使用的内存量，基本上等于求解每个时间点所需的内 存之和Task.Time step aTime step bTime step zTask求解任务3D 感应电动机50,000 网格81,000 自由度1 GB RAM375 时间步节点X处理器总处理

4、器任务 数子任务 数DOFs/Subdiv.求解时间加速比1X88-81k7h05min-4X8323247.53Mil1h06min6.3416X8128128310.1Mil22min30s19 Boxes: 4 BoxesEach box has 12cores/64 GB RAMCluster:Cluster with 8 nodes Each node has 16cores/128 GB RAM8kW BLDC 电动机 2000 rpm节点X处理器总处理器任务数子任务数DOFs/Subdiv.求解时间加速比1X88-10.46Mil26hours42min-4X832321614.

5、26Mil3h09min8.58X86464828.98Mil2h03min1316X896128458.42Mil1h32min17.416X152402402117.3Mil1h17min20.8 Boxes: 4 BoxesEach box has 12cores/64 GB RAMCluster:Cluster with 8 nodes Each node has 16cores/128 GB RAM226,000 网格460,000 自由度7 GB RAM500 时间步8kW BLDC Motor 2000 rpm880,000 Tets1,700,000 DoF17 GB RAM1

6、000 Time Steps Boxes: 4 BoxesEach box has 12cores/64 GB RAMCluster:Cluster with 8 nodes Each node has 16cores/128 GB RAMNodesXCoresTotal CoresTasksSubdiv.DOFs/Subdiv.Solve TimeSpeed Up1X88-11.7Mil270hours18min-8X432323752.7Mil23h18min11.616X4646418107.1Mil15h48min17.116X6969612161.5Mil12h12min22.12D

7、 大型发电机12meters200,000 网格400,000 自由度0.8 GB RAM1700 时间步Boxes: 4 BoxesEach box has 12cores/64GB RAMBox:box has 12cores/64 GBRAM节点X处理器总处理器任务 数子任务 数DOFs/Subdiv.求解时间加速比11-10.4Mil13hours04min-1X8884034Mil3h59min3.34X832324340Mil2h27min5.332D 感应电动机Simulation Profile:- 4.3k triangles求解方法子任务数任务/处理器求解时间每个核增益常规

8、N/A1/18min451TDM18/83min552.2500 time steps ( 100ms)2500 time steps ( 500ms)求解方法子任务数任务/处理器求解时间每个核增益常规N/A1/142min1TDM18/812min323.35000 time steps ( 1s)求解方法子任务数任务/处理器求解时间每个核增益常规N/A1/11h23min561TDM18/825min213.3测试案例： 电子变压器Nonlinear CorePrimary and Secondary Solid WindingsFinite Elements:DOFs:Time Step

9、s:Input Voltage Rising Time:900k1.5Mil 1,00020nsCurrents15APower Loss17.5W测试案例： 电子变压器No-TDM: 6.5 day simulation on 8 cores06h:30min08h:40min11 h:20minBenchmark system used: Windows Server 2012 R2; 512 GB RAM per node; Clock Speed 2 GHz; 16 nodes and 448 cores (28 cores per node)# Cores# Core Distrib

10、utionTDM Simulation TimeSpeed up6432 tasks x 2 cores/task11h:20min14X12864 tasks x 2 cores/task8h:40min18X256128 tasks x 2 cores/task6h:30min24xTDM的两个选项 常规瞬态求解: 支持任意的瞬态模型这是最灵活的方法，支持涡流效应可以同时使用快速达到稳定设置 “reach fast steady state” 周期性模型: 直接达到瞬态稳定状态-如果求解是周期性的，可以使用分布式任务求解一个完整的周期（而且只需要求解一个)周期性 TDM 模型周期性 TDM

11、 模型直接计算稳态工况只需要求解一个电周期支持涡流计算模型要求2D/3D 瞬态模型激励、涡流以及转速与时间具有相同的周期目录时间分解法 TDM 简介原理介绍、基本概念、测试案例、两种基本求解模型R18.0 TDM 主要更新系统和 license 要求与软件安装流程Maxwell 版本要求、license要求、软件安装、RSM 与 MPI 设置TDM 的使用如何激活 TDM、单机多机如何使用TDM具体案例对比分析案例分析、TDM 与 HPC的对比、TDM 中非线性残差的问题R18 TDM功能拓展HcB0HKBr Br Bra bLa LbWorst-case demagnetization po

12、intR18EnhancementsClean Stop/RestartAuto HPC软磁滞材料Periodical TDM支持涡流计算外电路瞬态-瞬态链接退磁分析分布式的 Expression Cache自动调整参数:任务书、子时间段数，内存占用需要输入:机器/节点的列表仿真可以使用的核数仿真可以占用的内存百分比单机应用多机应用TDM: 2D/3D的自动设置TDM: 支持基本外电路任意绕组链接形式R, L 元件ECE 元件不能包含二极管、开关、电容等元件TDM: 退磁分析HcH0K没有TDM: 在每个时间步都计算最恶劣工况点，用于决定该单元的回复线TDM: 在没有子时间段的最后一点计算最恶

13、劣工况点，而不是在每个时间步BBrBr BrLaLbab最恶劣工作点周期性 TDM 模型周期性 TDM 模型可以直接计算稳态工况只需要求解一个电周期支持涡流计算模型要求2D/3D 瞬态模型激励、涡流以及转速必须与时间具有相同的周期周期性 TDM 功能增强：测试案例同步发电机，50Hz激励350,000 网格，二阶单元计算导条中的涡流三种仿真设置对比:8 核 HPC (MP) ，超过10个电周期112核HPC (常规 TDM) ，超过10个电周期112核HPC (周期性TDM)1，只需要 个电周期20ms周期性 TDM 功能增强：测试案例周期性 TDM 设置只需一个电周期 (20ms ， 50H

14、z)不激活 Fast Reach Steady State选择 Periodic常规 TDM 设置求解10个电周期达到稳定激活 Fast Reach Steady State选择General Transient周期性 TDM 功能增强：测试结果核数HPC Packs数量TDM方法仿真时间加速比81MP151h45min-1123常规TDM22h53min6.61123周期性TDM7h3320提示: 每个电周期求解128步周期性 TDM 功能增强：测试结果转矩电流周期性 TDM只需求解一个电周期目录时间分解法 TDM 简介原理介绍、基本概念、测试案例、两种基本求解模型R18.0 TDM 主要更

15、新系统和 license 要求与软件安装流程Maxwell 版本要求、license要求、软件安装、RSM 与 MPI 设置TDM 的使用如何激活 TDM、单机多机如何使用TDM具体案例对比分析案例分析、TDM 与 HPC的对比、TDM 中非线性残差的问题Maxwell 版本要求= R17.0(V2016.0)TDM license要求TDM 需要使用 HPC licenses:n HPC 任务可以使用 n 个核1 HPC pack 可以使用 8 个核2 HPC packs 可以使用 32 个核3 HPC packs 可以使用 128 个核TDM与DSO兼容，并且是倍乘的关系例如: 5个 DS

16、O 和2个HPC pack 可以同时使用 5 * 32 = 160 个核软件安装在每一台电脑上面安装：安装MaxwellRSMMPI（Intel 或 IBM，本例中以 IBM MPI 为例）每台电脑的安装路径要求一致软件安装在每一台电脑上设置:1 安装 Maxwell 软件2 选择安装 Distributed Simulation Technologies12软件安装在每一台电脑上设置:3 安装 Electromagnetics RSM4 安装两种MPI中的一种34MPI 的安装安装两种MPI的任意一种 (Intel or IBM)在Windows10操作系统中，系统默认安装的Net Fram

17、ework的版本是4.6， 而ANSYS需要的是3.5，所以需要重新使用系统盘安装Net Frameworks 3.5， 比较麻烦本例中，选择安装IBM Platform MPI2MPI 的安装全部选择默认的安装，完成IBM Platform MPI安装注册 RSM在每一台电脑上注册RSM使用如下路径中的 RSM.exe 注册：C:Program FilesAnsysEMAnsysEM17.0Win64或直接在开始菜单中点击快捷键：RSM注册结果如右图，所有的状态都必须是Done。IBM Platform MPI 的配置IBM Platform MPI 的注册(多机联合TDM时，必须配置MPI

18、)用管理员权限，开始/运行/cmd，打开DOS命令窗口,利用cd命令，将当前路 径切换至如下目录 C:ProgramFilesAnsysEMAnsysEM17.2win64commonfluent_mpimultiportmpiwin64pcmpibin（软件默认安装情况下，且所有电脑的安装路径一致）输入命令 mpirun.execache cmd.exe /c ver，并输入登录密码输入命令 mpirun.exe pwcheck ，用来检查设置的密码是否有效。IBM Platform MPI 的配置设置 MPI vendor in the 在HPC的设置选项中设置 MPI vendor为 P

19、latform ComputingIBM Platform MPI 的配置设置Remote Spawn Command为 RSH38目录时间分解法 TDM 简介原理介绍、基本概念、测试案例、两种基本求解模型R18.0 TDM 主要更新系统和 license 要求与软件安装流程Maxwell 版本要求、license要求、软件安装、RSM 与 MPI 设置TDM 的使用如何激活 TDM、单机多机如何使用TDM具体案例对比分析案例分析、TDM 与 HPC的对比、TDM 中非线性残差的问题39TDM 设置 每一个Project可能会不一样 主机上的设置：在Analysis Configuration

20、的Job Distribution标签下，激活 Time DomainSolver注意: 进入Analysis configuration 的方法 Tools Edit Active AnalysisConfiguration 或点击图标40TDM 的参数设置求解 TDM，需要设置如下四个参数:The number of subdivisions（总求解时间分成几个时间段）The number of tasks（每一个时间段包括多少个求解任务）The number of cores by task（每个求解任务使用多少核）The number of time steps（一共有多少个时间步）4

21、1TDM 设置: number of subdivisions当一次求解所有的时间步时， number of subdivisions = 1当总求解时间等分成几个时间段时，需要更 改number of subdivisions ，每一个时间段并 行求解Subdivision 设置 :求解时间轴.42subdivision 1subdivision 2subdivision MTDM 设置: number of tasks一个求解任务就是求解一个子矩阵，一般是同时求解一个或多个时 间步一个求解任务可以使用一个核，或者多个核并行求解一般情况下，求解任务数越多，速度越快Task 设置:如果采用提交

22、任务方式，任务数载提交时设置如果不采用任务提交方式，则在HPC中设置不采用任务模式43采用任务模式TDM 设置: number of cores per task每一个求解任务都可以使用多核并行计算每任务求解核数设置:如果采用提交任务方式，任务数载提交时设置如果不采用任务提交方式，则在HPC中设置不采用任务模式 每任务两个核不采用任务模式 每任务4个核44TDM 设置: 求解时间步长数求解时间步长数，一般是由项目本身决定的，与用不用TDM无关。 但有的时候可以适当微调下时间步长，能更好的利用资源例如，总共可以利用的 CPU 核数是20个，其中一个用于主机，剩 下19个用于求解。那么可以设置每个

23、任务包含一个时间步，使用一 个核，则每一个时间段包含19步。为了负载平衡，总的求解步数， 可以设置成19的倍数。原本要求解的时间步是200，这时可以改成 209=11*19Time step 设置：126 time steps are solved in addition to t=0s.45TDM 最佳实现46为了发挥出TDM的最佳性能，应该:调用的硬件资源要平衡（类似的内存、核数、CPU性能）时间步长设置要平衡（每一个求解任务，应该包含类似的时间步长 数）避免调用内存超过最大内存的80%调用的计算节点数越多越好每个求解时间步的内存消耗为了更好的配置TDM，内存参数非常关键。如果一个求解时间

24、段的 时间步过多，超过电脑的负荷，计算将会非常慢最好的方法是：先按序求解一个时间步，在Profile里面得到每个时 间步的求解内存本例中，按序求解一个时间步，消耗了 33G 内存（其中18G用于求 解，15G用于ComEngine）运行TDM，每个时间步大约会消耗用于求解的内存（红框18G）实际可能会有20%的裕量（20G），2D可以需要更多的裕量SolveMemory (18GB)47优化HPC设置的脚本输入系统性能输入设计所需要的内存和时间节点数得到推荐的HPC设置48调用脚本的两种方法:Use Tool Run ScriptInstall it as a toolkit自动设置（R18）Local MachineMultiple Machines49TDM的两个选项 常规瞬态求解: 支持任意的瞬态模型这是最灵活的方法，支持涡流效应可以同时使用快速达到稳定设置 “reach fast steady state” 周期性模型: 直接达到瞬态稳定状态如果求解是周期性的，可以使用分