3-1《数字化车间数字孪生算法计量评价方法》征求意见稿

JJFXXXX-202XJJFXXXX—202XJJFXXXX—202X中华人民共和国国家计量技术规范中华人民共和国国家计量技术规范EvaluationMEvaluationMethodofMeasurementforDigitalTwinAlgorithminDigitalWorkshop（征求意见稿)202X-XX-XX202X-XX-XX实施202X-XX-XX发布发布国家市场监督管理总局数字化车间数字孪生算法计量评价方法JJF××××-202×数字化车间数字孪生算法计量评价方法1范围本规范规定了数字化车间数字孪生算法和数字孪生体的计量评价要求，并规定了其评价条件、评价方法以及评价结果。本规范适用于数字化车间数字孪生算法和数字孪生体的计量评价。2引用文件本规范引用了下列文件：GB/T15532计算机软件测试规范GB/T37413-2019数字化车间术语和定义GB/T38634（所有部分）系统与软件工程软件测试GB/T40021-2021信息物理系统术语GB/T41905软件与系统工程软件测试工具能力凡是注日期的引用文件，仅注日期的版本适用于本规范；凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本规范。3术语和定义GB/T37413-2019、GB/T40021-2021、JJFXXX（数字计量体系框架及名词术语）界定的及以下术语和定义适用于本规范。3.1数字化车间digitalworkshop以生产对象所要求的工艺和设备为基础，以信息技术、自动化、测控技术等为手段，用数据连接车间不同单元，对生产运行过程进行规划、管理、诊断和优化的实施单元。[GB/T37413-2019，定义2.1，有修改]3.2物理实体physicalentity客观存在的、具有某种属性可以加以区分的、能够被感知但不依赖感知而存在的实物。[GB/T40021-2021，定义2.1]3.3信息虚体cyberobject对物理实体的形态、功能、机理、运行状态等进行的数字化描述与建模。[GB/T40021-2021，定义2.2]3.4数字孪生digitaltwin基于传感器更新、运行历史、物理模型等孪生数据，完成从物理实体（3.3）到信息虚体（3.4）的模型映射，以及从信息虚体（3.4）反馈至物理实体（3.3）的过程。注：数字孪生具有保证物理状态和虚拟状态之间以适当时间差和状态误差同步的数据连接目标。[GB/T40021-2021，定义2.13，有修改]3.5数字孪生体digitaltwinentity通过数字孪生（3.2）实现物理实体（3.3）向数字空间映射所产生的信息虚体（3.4），具备与物理实体（3.3）交互、决策的能力。[GB/T40021-2021，定义2.14]3.6数字孪生互动digitaltwininteraction物理实体（3.3）与数字孪生体（3.5）之间、多个数字孪生体之间的测量、感知、反馈、控制等活动。3.7数字孪生算法digitaltwinalgorithm通过数据的分析、处理，建立、完善数字孪生体（3.5）的有限有序规则集。4概述数字化车间的数字孪生要求实体车间与其数字孪生体之间可以实现数字孪生互动，数字化车间内的数字孪生基本架构如图1。图1数字化车间数字孪生基本架构物理实体包含数字化车间内的人、机、料、法、环等生产要素。数字孪生体表征数字空间内的物理实体，通过数字孪生互动与物理实体进行交互。数字孪生互动通过测量和感知、反馈和控制实现物理实体与数字孪生体之间、数字孪生体之间的双向互动。数字孪生体需匹配不同行业、车间类型的特点，保障可视化、仿真、分析、预测、优化、决策等功能的实现。数字孪生算法是构筑数字孪生体、实现孪生互动的基础，支撑数字孪生的功能实现与行业应用；其按照功能类型可分为建模算法、仿真算法、优化算法、决策算法等。5计量要求5.1概述为评价数字化车间数字孪生体，本规范设置了同步性、准确性、实时性、可靠性四个评价项目，评价体系参见图2。图2数字化车间数字孪生算法评价体系5.2同步性同步性评价旨在评价数字化车间数字孪生体与物理实体的同步程度，应遵循以下评价要求。——同步频率：数字孪生体与物理实体之间应动态地进行内容信息同步，数字孪生体的同步频率应符合数字化车间实际生产的需求。——同步精度：数字孪生体与物理实体之间应动态地进行内容信息同步，数字孪生体的同步精度（实测参数与同步参数之间的误差）应符合数字化车间实际生产的需求。5.3准确性准确性评价旨在评价数字化车间数字孪生体与物理实体在几何特征、物理属性、预测分析等方面的一致程度与准确程度，应遵循以下评价要求。——尺寸准确性：数字孪生体应能准确反映物理实体的外观形状、尺寸大小几何特征，其尺寸误差应符合数字化车间实际生产的需求。——位置准确性：数字孪生体应能准确反映物理实体在数字化车间的位置分布、相互关系等几何特征，其位置差异应符合数字化车间实际生产的需求。——结构准确性：数字孪生体应能准确反映物理实体的内部结构、装配关系等几何特征，其结构差异应符合数字化车间实际生产的需求。——物理化学属性准确性：数字孪生体应能准确反映物理实体的物理化学性质，其物理化学属性参数与实测参数之间的误差应符合数字化车间实际生产的需求。——仿真预测数据准确性：数字孪生体应具备仿真、分析预测功能，数字孪生体仿真分析、预测等功能产生的预测数据与实测数据之间的误差应符合数字化车间实际生产的需求。5.4实时性实时性评价旨在评价数字孪生在数据获取、数据处理、数据传输、报警响应的及时性，应遵循以下评价要求。——数据获取实时性：数字孪生体应能及时采集、读取、感知到数字化车间传感器传递的实时数据，其获取多源异构数据的时间应符合数字化车间实际生产的需求。——数据处理实时性：数字孪生体应能及时预处理传感器传递的实时数据，包括实时数据的清洗、格式化和归一化等处理，其进行数据预处理的时间应符合数字化车间实际生产的需求。——数据传输实时性：数字孪生体应能及时将数据传输给关联数字孪生体进行进一步分析处理，其数据传输进程的时间应符合数字化车间实际生产的需求。——异常响应实时性：数字孪生体应能及时对超过报警阈值的参数值进行报警，其报警响应时间应符合数字化车间实际生产的需求。5.5可靠性可靠性评价旨在评价数字孪生体在在高负荷、异常情况下的处理能力，应遵循以下评价要求。——稳定性：数字孪生体在负载条件下可无故障地实现功能。——鲁棒性：数字孪生体在输入错误数据数据、服务器异常、非法操作下可保障不崩溃。6评价条件6.1评价材料评价方开展数字孪生计量评价，评价需求方应提供以下材料：——评价对象可执行文件；——评价对象的性能参数的要求；——评价对象的运行环境、配置参数、配置接口等描述文件；——评价对象的使用说明、需求说明以及用户手册等；——数字化车间的实测数据文件（由传感器获取，应包含人、机、料、环境的数据，数据量不少于2个正常生产工作日的数据量）；——数字化车间情况说明，包括布置图、设备清单及参数详情等；——若存在数字化车间各个物理实体的尺寸、位置实测参数，则提供测量器具的有效检定、校准或检测证书等证明材料。注：评价方是指具体开展计量评价的单位；评价需求方是指具有数字孪生算法评价需求的单位，可能为数字化车间数字孪生系统的设计、建设、应用单位；评价对象是指计量评价的对象，可能为数字孪生算法、模型、系统等。6.2评价环境测试环境搭建应注意以下关键内容：——确定测试环境的需求和目的，包括测试算法的类型、测试人员的数量和测试时间；——选择适当的硬件和软件资源，包括计算机、服务器、操作系统、数据库、Web服务器、应用程序等；——安装和配置所需的软件和工具，包括测试工具、虚拟机等，并且运行正常；——确保测试环境与生产环境具备相同的网络配置、安全性、访问控制和备份/恢复策略；——基于数字化车间数据文件，根据评价项目构建测试数据库，布置于相同网络环境下的不同主机中；——对测试环境进行监控和维护，包括监测资源使用情况、故障排除、更新版本等；——进行测试并记录测试结果，包括错误报告、性能数据、日志等，进行测试后，应清理环境，以确保下一次测试的准确性。7评价方法7.1概述数字孪生算法评价方法包括专家评价、仪器测量和软件测试三类。7.2专家评价专家评价主要通过测试资料走读分析的方法进行评分。7.3仪器测量采用具有有效检定、校准或检测证书的仪器进行测量。7.4软件测试软件测试主要采用黑盒测试方法，应符合GB/T15532、GB/T38634（所有部分）的要求，测试用软件工具应符合GB/T41905的要求。8评价项目8.1同步性评价8.1.1同步频率8.1.1.1评价方法与流程评价方法与流程参见图3。详述如下：A.根据数字化车间历史数据，构建测试数据库，数据库包含所有数字孪生体的同步参数类型，每个测试参数设置为在实际参数允许范围内有序或无序变化的数据集；B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C.根据传感器采集频率，从测试数据库向数字孪生体i定频推送物理实体i的测试参数值（C1ij）；D.利用专用监控软件或内置监控工具，记录固定测试时间（T1）内数字孪生体i同步参数值（C2ij）的同步次数（Nij）；E.根据公式（1）计算平均同步频率（fij）；F.将fij与需求同步频率（fij需求）进行比较，统计满足需求的参数数量；G.根据8.1.1.2获得同步频率评价得分（LS1）。图3数字孪生体同步频率评价流程数字孪生体i第j个同步参数的同步频率（fij）按公式（1）计算。f（1）式中：fij——物理实体i第j个同步参数的同步频率；Nij——数字孪生体i第j个同步参数的变更次数；T1——测试时间。8.1.1.2评分规则总分10分。所有参数的fij≥fi需求，LS1得10分；部分（[80%，100%））参数的fij≥fi需求，LS1得8分；部分（[60%，80%））参数的fij≥fi需求，LS1得6分；部分（[40%，60%））参数的fij≥fi需求，LS1得4分；部分（[20%，40%））参数的fij≥fi需求，LS1得2分；部分（[0%，20%））参数的fij≥fi需求，LS1得0分8.1.2同步精度8.1.2.1评价方法与流程评价方法与流程参见图4。详述如下：A.根据数字化车间历史数据，构建测试数据库，数据库包含所有数字孪生体的同步参数类型，每个测试参数设置为在实际参数允许范围内有序或无序变化的数据集；B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C.根据传感器采集频率，从测试数据库向数字孪生体i定频推送物理实体i的测试参数值（C3ij）；D.人工或利用专业监控软件读取数字孪生体i中的对应的同步参数值（C4ij）；E.根据公式（2）计算相对误差（R1ij）；F.将R1ij与需求相对误差（R1ij需求）进行比较，统计满足需求的参数数量；G.根据8.1.2.2获得同步精度评价得分（LS2）。图4数字孪生体同步精度评价流程数字孪生体i第j个同步参数的相对误差（R1ij）按公式（2）计算。R（2）式中：R1ij——数字孪生体i第j个同步参数的相对误差；C3ij——物理实体i第j个测试参数值；C4ij——数字孪生体i第j个同步参数值。8.1.2.2评分规则总分10分。所有参数的R1ij≤R1ij需求，LS2得10分；部分（[80%，100%））参数的R1ij≤R1ij需求，LS2得8分；部分（[60%，80%））参数的R1ij≤R1ij需求，LS2得6分；部分（[40%，60%））参数的R1ij≤R1ij需求，LS2得4分；部分（[20%，40%））参数的R1ij≤R1ij需求，LS2得2分；部分（[0%，20%））参数的R1ij≤R1ij需求，LS2得0分8.1.3同步性评价得分数字孪生同步性评价得分（SS）按公式（3）计算。S（3）W（4）式中：SS——数字孪生同步性评价得分；LS1——数字孪生同步频率评价得分；LS2——数字孪生同步精度评价得分；WS1——数字孪生同步频率评价得分权重，根据实际评价需求取值，取值范围[0,1]；WS2——数字孪生同步精度评价得分权重，根据实际评价需求取值，取值范围[0,1]。8.2准确性评价8.2.1尺寸准确性8.2.1.1评价方法与流程评价方法与流程参见图5。详述如下：A.利用具备有效检定、校准或检测证书的器具测量物理实体i的尺寸参数值（C5ij）；注：C5ij由评价需求方提供，需提供测量器具的有效检定、校准或检测证书等证明材料。B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C.利用专用测量软件或内置测量工具，测量数字孪生体i对应的孪生尺寸参数值（C6ij）；D.根据公式（5）计算平均相对误差（R2i）；E.将R2i与需求平均相对误差（R2i需求）进行比较，统计满足需求的数字孪生体数量；F.根据8.2.1.1获得尺寸准确性评价得分（LA1）。图5数字孪生体尺寸准确性评价流程数字孪生体i的尺寸平均相对误差（R2i）按公式（5）计算。R（5）式中：R2i——数字孪生体i的尺寸平均相对误差；C5ij——物理实体i第j个尺寸参数值；C6ij——数字孪生体i第j个孪生尺寸参数值；n1——数字孪生体i的尺寸参数类型总数。8.2.1.2评分规则总分10分。所有数字孪生体的R2i≤R2i需求，LA1得10分；部分（[80%，100%））数字孪生体的R2i≤R2i需求，LA1得8分；部分（[60%，80%））数字孪生体的R2i≤R2i需求，LA1得6分；部分（[40%，60%））数字孪生体的R2i≤R2i需求，LA1得4分；部分（[20%，40%））数字孪生体的R2i≤R2i需求，LA1得2分；部分（[0%，20%））数字孪生体的R2i≤R2i需求，LA1得0分。8.2.2位置准确性8.2.2.1评价方法与流程评价方法与流程参见图6。详述如下：A.构建数字化车间空间直角坐标系，利用具备有效检定、校准或检测证书的器具测量物理实体i的坐标参数值（C7ij（x1i，y1i，z1i）），C7ij亦可以由数字化车间布置图进行测算；注：C7ij由评价需求方提供，需提供测量器具的有效检定、校准或检测证书等证明材料。B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C.利用专用测量软件或内置测量工具，测量数字孪生体i的坐标参数值（C8ij（x2i，y2i，z2i））；D.根据公式（6）计算位置偏移量（R3i）；E.将R3i与需求位置偏移量（R3i需求）进行比较，统计满足需求的数字孪生体数量；F.根据8.2.2.2获得位置准确性评价得分（LA2）。图6数字孪生体位置准确性评价流程数字孪生体i的位置偏移量（R3i）按公式（6）计算。R（6）式中：R3i——数字孪生体i的位置偏移量；x1i——物理实体i的x坐标参数值；x2i——数字孪生体i的x坐标参数值；y1i——物理实体i的y坐标参数值；y2i——数字孪生体i的y坐标参数值；z1i——物理实体i的z坐标参数值；z2i——数字孪生体i的z坐标参数值。8.2.2.2评分规则总分10分。所有数字孪生体的R3i≤R3i需求，LA2得10分；部分（[80%，100%））数字孪生体的R3i≤R3i需求，LA2得8分；部分（[60%，80%））数字孪生体的R3i≤R3i需求，LA2得6分；部分（[40%，60%））数字孪生体的R3i≤R3i需求，LA2得4分；部分设备（[20%，40%））数字孪生体的R3i≤R3i需求，LA2得2分；部分（[0%，20%））数字孪生体的R3i≤R3i需求，LA2得0分。8.2.3结构准确性8.2.3.1评价方法与流程评价方法与流程参见图7。详述如下：A.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；B.根据数字化车间物理实体结构实际情况，走读数字孪生体分析数字孪生体i的几何模型建模情况，包括但不限于几何形状正确性、部件建模数量、装配结构正确性等；C.将数字孪生体i的几何模型建模情况与几何模型建模结构需求进行比较，统计满足需求的数字孪生体数量；D.根据8.2.3.1获得结构准确性评价得分（LA3）。图7数字孪生体结构准确性评价流程8.2.3.2评分规则总分10分。所有数字孪生体几何模型符合建模结构需求，LA3得10分；部分（[80%，100%））数字孪生体几何模型符合建模结构需求，LA3得8分；部分（[60%，80%））数字孪生体几何模型符合建模结构需求，LA3得6分；部分（[40%，60%））数字孪生体几何模型符合建模结构需求，LA3得4分；部分（[20%，40%））数字孪生体几何模型符合建模结构需求，LA3得2分；部分（[0%，20%））数字孪生体几何模型符合建模结构需求，LA3得0分。8.2.4物理化学属性准确性8.2.4.1评价方法与流程评价方法与流程参见图8。详述如下：A.利用具备有效检定、校准或检测证书的器具测量物理实体i的物理、化学属性参数值（C9ij），C9ij亦可以由参数说明书获取；注：C9ij由评价需求方提供，测量参数时需提供测量器具的有效检定、校准或检测证书等证明材料。B.走读数字孪生体i设计、配置资料或运行数字孪生体i，读取物理、化学属性参数值（C10ij）；C.根据公式（7）计算平均相对误差（R4i）；D.将R4i与需求平均相对误差（R4i需求）进行比较，统计满足需求的数字孪生体数量；E.根据8.2.4.2获得物理化学属性准确性评价得分（LA4）。图8数字孪生体物理化学属性准确性评价流程数字孪生体i的物理化学属性平均相对误差（R4i）按公式（7）计算。R（7）式中：R4i——数字孪生体i的物理化学属性平均相对误差；C9ij——物理实体i第j个物理化学属性参数值；C10ij——数字孪生体i第j个物理化学属性参数值；n2——数字孪生体i的物理化学属性参数类型总数。8.2.4.2评分规则总分10分。所有数字孪生体的R4i≤R4i需求，LA4得10分；部分（[80%，100%））数字孪生体的R4i≤R4i需求，LA4得8分；部分（[60%，80%））数字孪生体的R4i≤R4i需求，LA4得6分；部分（[40%，60%））数字孪生体的R4i≤R4i需求，LA4得4分；部分（[20%，40%））数字孪生体的R4i≤R4i需求，LA4得2分；部分（[0%，20%））数字孪生体的R4i≤R4i需求，LA4得0分。8.2.5仿真预测数据准确性8.2.5.1评价方法与流程评价方法与流程参见图9。详述如下：A.根据数字化车间历史数据，构建测试数据库，数据库包含所有数字孪生体仿真预测功能所需的条件参数值（C11ij）以及实测结果参数值（C12ij）所组成的数据集；B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C.从测试数据库向数字孪生体i输入C11ij，开启预测或仿真功能，获取仿真预测参数值（C12ij）；D.根据公式（8）计算平均相对误差（R5i）；E.将R5i与需求平均相对误差（R5i需求）进行比较，相同条件进行10次测试，统计满足预测需求的数字孪生体数量；F.根据8.2.5.2获得仿真预测数据准确性评价得分（LA5）。图9数字孪生体仿真预测数据准确性评价流程数字孪生体i仿真预测数据平均相对误差（R5i）按公式（8）计算。R（8）式中：R5i——数字孪生体i仿真预测数据平均相对误差；C12i——物理实体i基于C11ij下的实测结果参数值；C13i——数字孪生体i基于C11ij下的仿真预测参数值；n3——数字孪生体i预测参数类型总数。8.2.5.2评分规则总分10分。所有数字孪生体的R5i≤R5i需求，LA5得10分；部分（[80%，100%））数字孪生体的R5i≤R5i需求，LA5得8分；部分（[60%，80%））数字孪生体的R5i≤R5i需求，LA5得6分；部分（[40%，60%））数字孪生体的R5i≤R5i需求R3≥60%，LA5得4分；部分（[20%，40%））数字孪生体的R5i≤R5i需求，LA5得2分；部分（[0%，20%））数字孪生体的R5i≤R5i需求，LA5得0分。8.2.6准确性评价得分数字孪生算法准确性评价得分（SA）按公式（9）计算。S（9）W（10）式中：SA——数字孪生准确性评价得分；LA1——数字孪生体尺寸准确性评价得分；LA2——数字孪生体位置准确性评价得分；LA3——数字孪生体结构准确性评价得分；LA4——数字孪生体物理化学属性准确性得分；LA5——数字孪生仿真预测数据准确性得分；WA1——数字孪生体尺寸准确性评价得分权重，根据实际评价需求取值，取值范围[0,1]；WA2——数字孪生体位置准确性评价得分权重，根据实际评价需求取值，取值范围[0,1]；WA3——数字孪生体结构准确性评价得分权重，根据实际评价需求取值，取值范围[0,1]；WA4——数字孪生体物理化学属性准确性得分权重，根据实际评价需求取值，取值范围[0,1]；WA5——数字孪生仿真预测数据准确性得分权重，根据实际评价需求取值，取值范围[0,1]。8.3实时性评价8.3.1数据获取实时性8.3.1.1评价方法与流程评价方法与流程参见图10。详述如下：A.根据数字化车间历史数据，构建测试数据库，数据库包含所有数字孪生体的同步参数类型，每个测试参数设置为在实际参数允许范围内有序或无序变化的数据集；B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C.根据传感器采集频率，从测试数据库向数字孪生体i定频推送物理实体i的测试参数值（C14ijk），推送次数为n4；D.利用专用监控软件或内置计时函数，记录数字孪生体i从检测C14ijk到开始执行下一命令（存储、预处理等）为止的响应时间（T2ijk）；E.根据公式（11）计算数据获取平均时间（T2i）；F.将T2i与需求数据获取时间（T2i需求）进行比较，统计满足需求的数字孪生体数量；G.根据8.3.1.2获得数据获取实时性评价得分（LI1）。图10数字孪生体数据获取实时性评价流程数字孪生体i数据获取平均时间（T2i）按公式（11）计算。T（11）式中：T2i——数字孪生体i数据获取平均时间；T2ijk——数字孪生体i第j个参数第k次推送的响应时间；n4——数据获取的推送次数；n5——数字孪生体i同步参数类型总数。8.3.1.2评分规则总分10分。所有数字孪生体的T2i≤T2i需求，LI1得10分；部分（[80%，100%））数字孪生体的T2i≤T2i需求，LI1得8分；部分（[60%，80%））数字孪生体的T2i≤T2i需求，LI1得6分；部分（[40%，60%））数字孪生体的T2i≤T2i需求，LI1得4分；部分（[20%，40%））数字孪生体的T2i≤T2i需求，LI1得2分；部分（[0%，20%））数字孪生体的T2i≤T2i需求，LI1得0分。8.3.2数据预处理实时性8.3.2.1评价方法与流程评价方法与流程参见图11。详述如下：A.根据数字化车间历史数据，构建测试数据库，数据库包含所有数字孪生体的同步参数类型，每个测试参数设置为在实际参数允许范围内有序或无序变化的数据集；B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C.根据传感器采集频率，从测试数据库向数字孪生体i定频推送物理实体i的测试参数值（C15ijk），推送次数为n6；D.利用专用监控软件或内置计时函数，记录数字孪生体i从执行处理C15ijk命令到结束处理C15ijk命令位置的响应时间（T3ijk）；E.根据公式（12）计算数据预处理平均时间（T3i）；F.将T2i与需求数据预处理时间（T3i需求）进行比较，统计满足需求的数字孪生体数量；G.根据8.3.2.2获得数据预处理实时性评价得分（LI2）。图11数字孪生体数据预处理实时性评价流程数字孪生体i数据预处理平均时间（T3i）按公式（12）计算。T（12）式中：T3i——数字孪生体i数据预处理平均时间；T3ijk——数字孪生体i第j个参数第k次推送的预处理时间；n6——数据预处理的推送次数；n7——数字孪生体i同步参数类型总数。8.3.2.2评分规则总分10分。所有数字孪生体的T3i≤T3i需求，LI2得10分；部分（[80%，100%））数字孪生体的T3i≤T3i需求，LI2得8分；部分（[60%，80%））数字孪生体的T3i≤T3i需求，LI2得6分；部分（[40%，60%））数字孪生体的T3i≤T3i需求，LI2得4分；部分（[20%，40%））数字孪生体的T3i≤T3i需求，LI2得2分；部分（[0%，20%））数字孪生体的T3i≤T3i需求，LI2得0分。8.3.3数据传输实时性8.3.3.1评价方法与流程评价方法与流程参见图12。详述如下：A.根据数字化车间历史数据，构建测试数据库，数据库包含所有数字孪生体的同步参数类型，每个测试参数设置为在实际参数允许范围内有序或无序变化的数据集；B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C.根据传感器采集频率，从测试数据库向数字孪生体i定频推送物理实体i的测试参数值（C16ijk），经过数字孪生体i处理、分析后记为测试数据（C17ijk）；D.利用专用监控软件或内置计时函数，记录数字孪生体i从开始执行发送C17ijk命令到关联数字孪生体p接收到C17ijk为止的响应时间（T4ijk），执行发送命令n8次；E.根据公式（13）计算数据传输平均时间（T4i）；F.将T4i与需求数据传输时间（T4i需求）进行比较，统计满足需求的数字孪生体数量；G.根据8.3.3.2获得数据传输实时性评价得分（LI3）。图12数字孪生体数据传输实时性评价流程数字孪生体i数据传输平均时间（T4i）按公式（13）计算。T（13）式中：T4i——数字孪生体i数据传输平均时间；T4ijk——数字孪生体i第j个参数第k次发送的传输时间；n8——数据传输的次数；n9——数字孪生体i同步参数类型总数。8.3.3.2评分规则总分10分。所有数字孪生体的T4i≤T4i需求，LI3得10分；部分（[80%，100%））数字孪生体的T4i≤T4i需求，LI3得8分；部分（[60%，80%））数字孪生体的T4i≤T4i需求，LI3得6分；部分（[40%，60%））数字孪生体的T4i≤T4i需求，LI3得4分；部分（[20%，40%））数字孪生体的T4i≤T4i需求，LI3得2分；部分（[0%，20%））数字孪生体的T4i≤T4i需求，LI3得0分。8.3.4异常响应实时性8.3.4.1评价方法与流程评价方法与流程参见图13。详述如下：A.根据数字化车间历史数据，构建测试数据库，数据库包含所有数字孪生体的设置报警阈值的参数类型，每个测试参数设置为大于或超过报警阈值的数据集；B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C.根据传感器采集频率，从测试数据库向数字孪生体i定频推送物理实体i的测试参数值（C18ijk），推送次数为n10；D.利用专用监控软件或内置计时函数，记录数字孪生体i从检测到C18ijk命令到执行发送报警命令为止的响应时间（T5ijk）；E.根据公式（14）计算异常响应平均时间（T5i）；F.将T5i与需求异常响应时间（T5i需求）进行比较，统计满足需求的数字孪生体数量；G.根据8.3.4.2获得异常响应实时性评价得分（LI4）。图13数字孪生体异常响应实时性评价流程数字孪生体i异常响应平均时间（T5i）按公式（14）计算。T（14）式中：T5i——数字孪生体i异常响应平均时间；T5ijk——数字孪生体i第j个参数第k次推送的报警时间；n10——报警数据的推送次数；n11——数字孪生体i报警参数类型总数。8.3.4.2评分规则总分10分。所有数字孪生体的T5i≤T5i需求，LI4得10分；部分（[80%，100%））数字孪生体的T5i≤T5i需求，LI4得8分；部分（[60%，80%））数字孪生体的T5i≤T5i需求，LI4得6分；部分（[40%，60%））数字孪生体的T5i≤T5i需求，LI4得4分；部分（[20%，40%））数字孪生体的T5i≤T5i需求，LI4得2分；部分（[0%，20%））数字孪生体的T5i≤T5i需求，LI4得0分。8.3.5实时性评价得分数字孪生实时性评价得分（SI）按公式（15）计算。S（15）W（16）式中：SI——数字孪生实时性评价得分；LI1——数据获取实时性评价得分；LI2——数据预处理实时性评价得分；LI3——数据传输实时性评价得分。LI4——异常响应实时性评价得分。WI1——数字孪生数据获取实时性评价得分权重，根据实际评价需求取值，取值范围[0,1]；WI2——数字孪生数据预处理实时性评价得分权重，根据实际评价需求取值，取值范围[0,1]；WI3——数字孪生数据传输实时性评价得分权重，根据实际评价需求取值，取值范围[0,1]；WI4——数字孪生异常响应实时性评价得分权重，根据实际评价需求取值，取值范围[0,1]。8.4可靠性评价8.4.1稳定性评价8.4.1.1评价方法与流程评价方法与流程参见图14。详述如下：A.根据数字化车间历史数据，构建测试数据库，数据库包含所有数字孪生体的同步参数类型，每个测试参数设置为在实际参数允许范围内有序或无序变化的数据集；B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C.运行专业负载测试工具，根据实际生产需求设置负载条件，包括用户访问数量、同步数据量（测试数据库数据推送量）以及运行时间；D.相同条件重复n12次测试，根据数字孪生体的运行状况进行评价打分（评分规则参见8.4.1.2），获得数字孪生体i第j次测试的评价得分（LR1ij）；E.根据公式（17）计算数字孪生体稳定性评价总得分（LR1）。图14数字孪生体稳定性评价流程数字孪生体稳定性评价总得分（LR1）按公式（17）计算。L（17）式中：LR1——数字孪生体稳定性评价得分；LR1ij——数字孪生体i第j次测试的评价得分；n12——数字孪生体i负载测试次数；n13——数字化车间数字孪生体总数。8.4.1.2评分规则总分10分。数字孪生体正常运行，LR1得10分；数字孪生体操作响应延迟小于或等于60s，LR1得5分；数字孪生体操作响应延迟大于60s或崩溃，LR1得0分。8.4.2鲁棒性评价8.4.2.1评价方法与流程评价方法与流程参见图15。详述如下：A.根据数字化车间历史数据，构建测试数据库，数据库包含所有数字孪生体的同步参数类型，每个测试参数设置为非法或不合理的数据集；B.配置数字孪生体运行环境，设置默认参数，运行数字孪生体；C测试数字孪生体在输入错误数据数据（测试数据库推送）、服务器异常处理（网络异常、服务器异常等）、非法操作处理（大量删除历史数据、变更运行参数等人为非法操作）条件下的运行状况；D.相同条件重复n14次测试，根据数字孪生体的运行状况进行评价打分（评分规则参见8.4.2.2），获得数字孪生体i第j次测试的评价得分（LR2ij）；E.根据公式（18）计算数字孪生体稳定性评价总得分（LR2）。图15数字孪生体稳定性评价流程数字孪生体稳定性评价总得分（LR2）按公式（18）计算。L（18）式中：LR2——数字孪生体鲁棒性评价得分；LR2ij——数字孪生体i第j次测试的评价得分；n14——数字孪生体i鲁棒性测试次数；n15——数字化车间数字孪生体总数。8.4.2.2评分规则总分10分。数字孪生体正常运行，即数字孪生体能够处理正确处理错误数据并给出合理的提示信息，数字孪生体在拟网络异常、服务器异常条件下具备重试机制和自动恢复能力，数字孪生体在人为非法操作下具备数据恢复、保障能力以及具备功能实现保障机制，此时LR2得10分；数字孪生体运行状况异常，即不完全具备以上能力或机制，此时LR2得10分；数字孪生体不具备以上能力或机制，或数字孪生体崩溃，LR2得0分。8.4.3可靠性评价得分数字孪生可靠性评价得分（SR）按公式（19）计算。S（19）W（20）式中：SR——数字孪生可靠性评价得分；LR1——数字孪生系统稳定性评价得分；LR2——数字孪生系统鲁棒性评价得分；WR1——数字孪生系统稳定性评价得分权重，根据实际评价需求取值，取值范围[0,1]；WR2——数字孪生系统鲁棒性评价得分权重，根据实际评价需求取值，取值范围[0,1]。9评价结果9.1数字孪生评价总分按公式（21）计算出数字孪生评价总分。S（21）式中：S——数字孪生评价总分；SS——数字孪生同步性评价得分；SA——数字孪生准确性评价得分；SI——数字孪生实时性评价得分；SR——数字孪生稳定性评价得分。评价项目的记录格式参见附录B，评价项目的报告格式参见附录C。9.2数字孪生算法评价等级数字孪生算法评价等级见表1。表1数字孪生算法评分分级表级别含义评价得分范围A优秀[90，100]B良好[80，90)C一般[60，80)D差[0，60）

附录A评价项目表表A.1数字孪生算法评价项目表序号评价项目技术要求条款评价方法条