第六章 建模与仿真的校核、验证与确认

1、第六章 建模与仿真的校核、验证与确认由于仿真技术具有的优越性可操纵性、可重复性、灵活性、安全性、经济性，且又不受环境条件和空域场地的限制，其应用越来越广泛，同时它本身的准确性和置信度也愈来愈引起人们的广泛重视。建模与仿真的校核、验证与确认（Verification，Validation and Accreditation，VVA）技术正是在这种背景下被提出的。VVA技术的应用能提高和保证仿真置信度，降低由于仿真系统在实际应用中的模型不准确和仿真置信度水平低所引起的风险。本章介绍VVA的基本概念和方法以及对仿真结果的统计分析方法。6.1 VVA技术 建模与仿真的正确性和置信度是仿真的生命线，没有

2、一定置信度的仿真和仿真系统，其结果是毫无意义的，甚至可能造成错误的决策。建模与仿真的校核、验证和确认技术的应用是保证和提高仿真置信度的有效途径。 校核的目的和任务是证实模型从一种形式转换成另一种形式的过程具有足够的精确度；验证是从预期应用的角度来确定模型表达实际系统的准确程度，其目的和任务是根据建模和仿真的目的和目标，考察模型在其作用域内是否准确地代表了实际系统；确认是一项相信并接受某一模型的权威性决定，它表明决策部门已确认该模型适用于某一特定的目的。 国外早在20世纪60年代开始对模型的有效性问题进行研究，并在概念和方法性研究方面取得了许多重要成果。以美国为例：例如美国国防部成功地对“爱国者

3、”导弹半实物仿真模型进行了确认，还有BGS（Battle Group Simulation）、LDWSS（Laser Designator/Weapon System Simulation）等武器仿真系统都经过了确认和验证；美国宇航局（NASA）对TCV（Terminal Configured Vehicle）仿真系统进行了专门的确认；美国国防部对“星球大战”计划及其后续的“战区导弹防御计划”中的仿真项目都拟订并实施了相应的VVA计划。另外，美国国防部于1991年成立了“国防建模与仿真办公室（DMSO）”负责制定国防系统仿真章程，其中要求各军种和国防机构制定相应的VVA细则。此外，美国国家标准

4、和技术机构（NIST）于1992年发表了一个适应性较广的VVA标准；IEEE也发表了一个软件VVA计划的标准，已被美国国家标准局（ANSI）和联邦信息处理标准指导委员会采用。在我国，建模与仿真的VVA技术也日益受到广大仿真工作者和管理者的重视，比如，关于仿真算法所引起的仿真精度研究，有关采用灰关联度、谱分析等方法对导弹、鱼雷模型进行的验证研究等。但是有关VVA的概念、理论和标准的研究还有待进一步深入。尽管建模者花费了大量时间、资金、精力以求建立一个正确的系统模型，然而任何一个系统的模型都不可能是绝对正确的，也就是说模型对原系统并不是完全准确的表述。正是模型与真实系统的差距使得模型和仿真的置信度

5、受到影响。建模与仿真过程中影响其置信度的主要因素有：（1） 建模的原理和方法不正确。（2）建模过程中忽略了一些次要因素。由于对所研究的系统影响较小或和目标不甚相关或数学推导的困难，一些因素在建模中被忽略。这些忽略在一定程度上具有潜在的危险。比如，一个因素对系统的影响小到什么程度才能被忽略并没有明确的答案；在建模和仿真过程中研究目标的偏离使某个曾被忽略的因素变得不可忽略，而建模者没有意识到。（3）对模型初始数据的选取存在失误。对于某些系统来说，仿真模型的初始状态对仿真的输出有直接影响。初始数据的偏差可能会引起仿真结果较大的“扰动”。（4）随机变量的概率分布类型确定或参数选取有误。仿真模型中一般都

6、含有或多或少的随机变量，随机变量服从一定的概率分布，能否正确确定这些概率分布直接影响到模型的质量。（5）在进行计算机实现、求解和试验过程中，仿真模型的置信度还会受到诸如计算机字长、编码错误和算法等方面的影响。上述诸多因素容易使人认为模型具有“先天不足”。应该指出，这种“先天不足”是不可避免的。正是这种“先天不足”的存在，使得对模型和仿真的校核、验证变得十分重要。为了使仿真用户和决策者对模型、仿真系统及其仿真结果有足够的信心，VVA必须贯穿于建模和仿真的全生命周期。一般地，检验模型及其结果的置信度，需要根据仿真各阶段的不同研究目标，参考相应的系统或数据库，并要求参考的系统或数据库在某种程度上是可

7、信的，根据参考系统和数据库的不同，得到的置信度水平处于不同的等级。这种情况可用Climb法来描述（图6.1）。图6.1 仿真置信度等级（Climb法）各级数据库的基本信息内容如下：Climb1模型的确定；建模者预定的应用领域的主要假设；鉴定标准；仿真目标；表示备份系统和确定的关键变量的系统功能图。Climb2子模型与理论模型或经过鉴定的现有模型的比较数据及比较方法；关于模型的假设；子模型的技术文件和说明文件；计算机表格；基准鉴定数据；其鉴定结果包括纯混合计算机仿真及鉴定程序的有关信息。Climb3至少有一个主要分系统的实际数据；数据收集及其鉴定方法的描述；整个复杂模型的简图和文件；基准鉴定程序

8、的运行及其结果的计算机清单。Climb4利用一个主要分系统的硬件在回路中运行操作；模型与硬件结果的比较；关于HWIL（半实物仿真）运行的假设；模型/硬件运行的验证及确认。Climb5实际系统的试验数据；对系统关键变量进行鉴定的结果。因此，模型和仿真结果的有效及其等级是相对于所研究的问题需达到的目的以及用户需求而言的。仿真系统的置信度是建模与仿真VVA工作的最终目的，它取决于建模、仿真的过程和结果。它是仿真系统的使用者对应用仿真系统在一定环境、一定条件下仿真试验的结果，解决所定义问题的正确性的信心程度。仿真系统的置信度评估实际上是将仿真系统生命周期中的校核、验证、确认工作及测试与评估等工作有效地

9、统一到一个框架中，目的是提高仿真系统的仿真结果的正确性、精度、可靠性、可用性等，为仿真系统全面质量管理提供有力的技术支持。置信度评估包括五项内容：理论模型有效性确认、仿真软件校核与验证、运行有效性确认、数据有效性确认和内部安全性验证。仿真系统的置信度评估与VVA及全面质量管理的关系如图6.2所示。图6.2 仿真系统置信度评估、VVA和全面质量管理的关系建模与仿真的VVA涉及研究对象领域、软件工程和软件测试、数理统计、数据分析、系统工程等。但其关键技术之一在于VVA工作模式的规范化，不同领域的仿真应建立适合自己的VVA标准和规范。其中规范的重点是文档。在VVA过程中，各种报告和文档的建立也要贯穿

10、于整个建模与仿真过程。文档中包括建模与仿真的指标、性能、数据要求、分析结果、存在的问题等说明。没有这些文档，建模与仿真不易正确进行。关键技术之二是标准数据库。在VVA过程中，数据是一个重要的因素，在建模与仿真开发和实现过程中所用的数据必须是合适的、精确的和完整的。所有的数据必须提供正确的表达式，必须经过精确的测量或估计。对原始数据进行数据变换必须准确，并且数据相关性必须具有充分的描述，数据尽量规范化、标准化。建模与仿真的VVA工作模式和过程如图6.3所示。下面以鱼雷制导控制仿真系统为研究对象，VVA的各阶段的具体工作内容则如图6.4所示。（1）概念模型校核：包括对仿真研究目的描述和对仿真研究对

11、象描述的 确认。（2）仿真大纲校核：包括对仿真系统构成方案、试验方案和研制方案的 确认。（3）数学模型校核：包括对所用正规模型的类型和建模方法的确认。由于数学模型是对真实对象的抽象，因此，数学建模过程中须作许多假设，应对这些假设的合理性进行确认。数学模型确认和数学建模一样，都要求深刻的理论知识和丰富的实际经验。（4）物理效应模型校核：是指对各物理效应模型表达方式的合理性及建模方法正确性的确认。同样地，定性分析模型的正确性需要由专家小组进行，定量的精度分析则主要分析各元部件的精度对整个物理仿真设备精度的影响。为此，要求知道各元部件的精度，这可由理论分析或研制过程中的测试来获得。（5）数学仿真模型

12、校核：是指对所选用的计算机性能、仿真程序逻辑、数值算法等的正确性和精度的分析。校核程序可用软件工程中的检验方法和定性的专家评定方法。另外，应尽量进行定量的精度分析，包括各数值算法的理论精度分析及计算机计算精度（字长）对仿真结果的精度影响的分析等。（6）物理仿真模型验证：是指将物理仿真结果与理论结果或实航等其他试验结果进行比较，从而验证所用的物理效应模型的有效性。图6.3 VVA工作模式图6.4 鱼雷制导控制仿真系统的VVA（7）数学仿真模型验证：是指将数学仿真结果与理论结果或实航等其他试验结果进行比较，从而验证数学仿真所用的仿真模型的有效性。（8）半实物仿真系统校核：是指分析半实物仿真系统的正

13、确性和精度。正确性分析主要是指对各部分之间接口正确性的定性分析。而此时，可以进行较多的定量精度分析，即分析仿真系统的各部分（包括数学仿真模型、物理效应模型和接口）的精度对整个仿真系统精度的影响；为此，须建立各部分的精度模型（即误差模型），然后基于误差模型和鱼雷系统模型，用数学方法进行精度分析。（9）半实物仿真系统验证：是指将半实物仿真试验结果与理论分析或实航等试验结果进行定性或定量的比较，从而验证整个仿真系统的有效性。（10）仿真确认：是指由用户或决策机构对整个建模和VVA过程进行评价，从而判定其可接受性。确认工作主要基于仿真系统演示和有关各种文档进行。在整个仿真系统的VVA技术研究中，从建模

14、、仿真设计和设备研究到最终仿真试验的每一步都离不开校核、验证和确认的过程，因此，建模与仿真VVA对提高系统仿真置信度和正确评估仿真置信度有着重要意义。6.2 模型校核校核工作主要有两方面：一是分析在建模和仿真中的各种误差对仿真结果精确性的影响；二是对仿真程序的校核。系统仿真误差源主要包括仿真模型误差、仿真方法及计算机计算误差和仿真硬件误差等。（1） 仿真模型误差模型是仿真的基础，涉及到多种建模和验模方法。由于在建立系统数学模型时会忽略掉一些次要因素和不可观察的因素，且对系统作了各种理论假设和简化处理，从而得到的只是简化模型。仿真模型是建立在这个简化的数学模型基础上的，所以系统仿真模型实际上是对

15、于实际系统的二次简化模型。在这简化过程中就不可避免地引入了各种误差。另外，被用于建模的数据受随机噪声的污染，且数据长度有限，加之各种测试及采样误差，从而给模型带来各种计算误差。（2） 仿真方法及算法误差对于鱼雷全数字仿真，主要有两种仿真方法，即面向微分方程仿真和面向框图仿真。误差产生的原因是在编制仿真程序时所采用的算法本身引起的截断误差和舍入误差。在离散相似法中，还会由于采样保持器不可能完全无误地将连续信号重构出来而产生误差。（3） 仿真硬件误差对于全数字仿真来说，仿真硬件主要是指计算机，其所涉及的误差主要是由于计算机字长有限而引起的舍入误差。半实物仿真系统包括仿真计算机、物理仿真设备、研究对

16、象实物以及各部分之间的接口装置。因此，对半实物仿真而言，还存在时间不匹配误差、物理仿真设备和接口误差等。表6.1 专家评价表对上述误差的校核主要以理论校核为主，详细分析并说明误差的来源和可能引起的仿真结果与实际系统的差异，然后进行专家评估。组织有关专家组成评估小组，详细说明有关仿真的目的、计划及汇报对误差的分析过程，然后由专家填写评价表，综合评价表中的各项得分，以确定模型校核的结果。专家评价表可如表6.1（表内的内容根据具体的仿真项目的不同而有所不同）原则上讲，软件工程领域提出的所有软件校核方法都可用于仿真程序校核，只是各种方法的实用价值不同。表6.2给出了用于仿真程序校核的各种方法及其分类。

17、在工程实践中，仿真工作者普遍采用的有效的校核方法是分块测试法，从局部到整体校核数学仿真模型的正确性，并在分块测试中提高模型的精度。例如对鱼雷系统仿真程序其测试步骤为：（1）动力学模型校核断开自动驾驶仪及制导系统子模型，在计算机上进行鱼雷的动力学模型仿真，输入各种时间、幅值组合的阶跃或其他典型形式的舵偏信号，记录鱼雷航行的各种参数，根据自动控制系统的一般知识和设计师对鱼雷性能的了解，校核雷体仿真子模型的正确性。由于此时去掉了两条重要的反馈回路稳定回路和制导回路，雷体动力学仿真子模型的误差将充分显露出来。（2）控制回路模型校核接上自动驾驶仪子模型构成闭环的控制回路，输入各种时间幅值组合的阶跃或其他

18、典型形式的指令信号，记录鱼雷航行及驾驶仪的各种参数，以校核雷体与驾驶仪仿真子模型的正确性，并提高它们的精度。（3）制导回路模型校核最后接入制导系统子模型构成鱼雷制导闭环回路，对整个鱼雷制导的弹道仿真模型做最后校核。表6.2 仿真程序校核方法概况6.3 模型验证对于复杂系统的模型和仿真，要想从理论上证明其正确性或得到其准确度，是十分困难甚至是不可能的。判断模型及其仿真结果是否准确的最终办法是“通过实践来检验”，即通过比较模型结果与实际系统的运行结果的偏差来表示模型的准确度，即模型验证。如果实际系统的准确结果无法获得或只能部分获取，则无法准确地得到模型的准确程度，可以用参考系统（Reference

19、 System）的数据取代实际系统数据进行近似的验证。特殊情况下，参考系统数据也无法得到，只有通过主观评价决定模型是否可用，称为主观有效性评价。模型有效与否是相对一定的应用目的及相应的试验条件而言的。同一模型在某一试验条件下有效，在另一试验条件下则可能是无效的。当然，评估时对模型和实际系统/参考系统所进行的试验或所选择的运行条件应当是一致的。试验条件的设定在很大程度上取决于应用目的。模型的精度是否满足要求也与应用目的 有关。常用的模型验证方法如表6.3所示。 表6.3 常用模型验证方法 模型验证方法多种多样，主观确认法比较实用，是工程界比较熟悉和经常使用的方法，其好处在于比较容易掌握和使用。但

20、主观确认方法也存在一个严重的缺陷，即分析结果在很大程度上受到分析人员主观意志的制约。 数理统计方法在使用时有两个前提：（1）需要对仿真模型进行大量重复运行以获得足够的数据来满足它们的应用条件，如独立同分布假设等；（2）这类方法在应用时要求被比较的输出时间序列在整个时间域上是独立的。 时间序列法先将模型输出时间序列和实际系统输出时间序列拟合成一合适的随机模型，然后再比较两个模型。如果两个模型相同，则模型得到确认。遗憾的是，即使是同一随机模型产生的两个时间序列，在某些特性上仍会有很大的区别，特别是当时序较短时这种现象更加明显。谱分析法通过比较仿真模型输出频谱与实际系统测试频谱的一致性来确认仿真模型

21、的有效性。谱分析法通过傅里叶变换将时域变换为频域，从而克服了假设检验法和置信区间法中对时间序列独立性的限制。然而谱分析法也有一定的局限：（1）从时域变换到频域后，模型的动态信息无法得到，这使得对模型的分析客观上存在一定的限制；（2）谱分析法要求被分析的随机过程是一个协方差平稳的过程，这一点实际上经常得不到满足；（3）应用谱分析法需要具备较高深的数学知识；（4）应用谱分析法需要消耗的计算机资源相当可观。在定量的模型验证方法方面，目前比较推崇的是谱分析法。它适用于对试验结果的动态性能的验证。其原理是：计算两个随机序列在频率域中的功率谱，通过比较功率谱的一致性来判断两个随机序列一致性的程度。设上述两

22、个时间序列的功率谱密度为和。对二者作古典谱窗估计，求谱密度函数估计值和。 （6.1）式中为延迟窗，为自相关函数。由谱估计的渐近性质：，其中v为等价自由度 （6.2）不同的窗函数值不一样。利用的渐近分布可以对作区间估计。以表示分布的分位数，即。由式（6.2）可得，置信水平为的区间为 （6.3）即 （6.4）按100()%置信区间比较和，可由下式给出： （6.5）是分子、分母为v个自由度的F分布的第P次百分比点。 如果置信区间上、下限包含l，则在该频率点上两个时间序列是相等的。要使两个时间序列相等，它们的频谱必须在所有频率均相等。因此，如果在每个频率上置信度区间都包括1，则仿真结果得到确认。这种古

23、典谱窗估计方法在理论和算法上比较成熟，而且运算速度快，但在计算短序列、低信噪比的随机序列功率谱时存在一定的局限性，而最大熵谱估计等现代谱估计方法在计算该类功率谱时具有较高的分辨率。有关最大熵谱估计方法的研究请参见最新的有关文献。置信区间法可以给出具有一定置信度的真值的存在范围，是定量计算可观测传统仿真模型精度的一种有效方法。实际系统和模型的输出响应往往不止一个，计算模型精度时需将置信区间推广为同时置信区间。对于一个可观测系统的多元响应仿真模型来说，它在一组给定试验框架下的精度可以用模型和实际系统输出变量均值差的置信区间表示。模型输出变量j的精度用模型输出变量j的均值与系统输出的变量j的均值差的

24、置信区间（以下简计）给出。同时置信区间（以下简计）由所有输出变量的置信区间构成。用户给出模型的可接受精度。作为判断模型是否有效的标准，即 （6.6）式中都是矢量，分量形式是 （6.7）式中分别为模型与系统输出变量j的均值，为用户要求变量j达到的精度。只有当所有模型输出变量的精度都满足时，模型才是有效的。模型置信区间的计算有一元法和多元法两条途径。一元法即应用一元统计方法和Bonferroni不等式来构造，多元法即应用多元统计方法直接建立。一元统计方法中，常用于均值检验的是t检验法，而多元统计则采用Roy-Bose法。各种统计方法在应用时对被检验数据都有一定的要求，如要求被检验数据满足独立同分布

25、假设、正态性假设、同方差假设等条件。采用置信区间法进行模型验证时，基本步骤如下：（1）确定ARA以表示模型输出变量总体均值的K维向量，表示实际系统输出变量总体均值的K维向量，和分别是仿真模型和实际系统的第j个输出变量的总体均值。K是用于模型确认的输出变量的个数。模型的ARA定义为 （6.8）式中Lj和Uj分别是()的下界和上界。记。（2）数据获取如果模型是自驱动的，即用符合某种分布的随机变量的抽样值作为模型的输入值，则模型的输入数据应从与实际系统同分布的分布函数中独立抽取。此时，模型和实际系统的输出结果是独立同分布的。如果模型是协驱动的，即用被仿真系统的实际数据作为模型的输入，则模型的输入数据

26、直接采用实际系统的输入数据。此时，模型和实际系统的输出结果是同分布的，但相互不独立。（3）选取适当的统计方法根据模型和实际系统输出的观测样本是否满足独立同分布假设、多元正态性假设、同方差假设等条件，选择一种一元或多元统计方法。（4）统计计算采用所选择的统计方法，计算模型和实际系统输出变量均值差的。（5）如果通过以上计算得到的置信度为的满足 （6.9） 则认为模型是有效的。否则，转（6）。（6）在允许的情况下，增大样本容量或降低的值，然后转（4）。如果样本容量已足够大，或者的值已不允许再降低，则认为模型是无效的。 假设模型运行次数为n，系统试验次数为N。仿真模型样本观测值为 （6.10）模型输出

27、样本均值向量 （6.11） （6.12）同样系统样本观测值用表示 （6.13）均值向量为 （6.14） （6.15）模型样本方差向量为 （6.16）其中。系统样本方差向量为 （6.17）其中。可以用一元法或多元法计算模型和实际系统输出变量均值差的置信区间。1一元法（1）假设模型和实际系统的输出数据是独立同分布的。如果不知道模型和实际系统的输出变量的方差，但可以认为它们是相等的，则置信度为的 为 （6.18）这里，且。是自由度为nN2的t分布上的百分位点。Sj是模型（或实际系统）第j个输出变量的样本标准差。（2）假设模型和实际系统的输出数据是独立同分布的。如不知道模型和实际系统的输出变量的方差，

28、而且认为它们是不相等的。则置信度为的 为 （6.19）这里，且。是自由度为v的t分布上的百分位点。和分别是模型和实际系统第j个输出变量的样本方差。且 （6.20）（3）如果模型和实际系统的输出数据是同分布的（样本数为N），但相互不独立。则置信度为的 为 （6.21）这里，是模型和实际系统输出变量配对差值的样本均值（k维向量）。，且。是的样本方差。（4）如果模型和实际系统的输出数据不是同分布的，则置信度为的 为 （6.22）这里，如果仿真模型和实际系统的输出结果不是相互独立的，则，且。和分别是模型和实际系统第j个输出变量的样本方差。2多元法如果模型和实际系统的响应变量服从多元正态分布，那么模型和

29、实际系统输出变量均值差的置信区间可以利用Roy-Bose多元统计法计算。 （1）当模型的输出观测与系统的输出观测相互独立时，直接给出置信度为的 为 （6.23）式中，a是一个k维向量，第j个元素为1，其余为0。 （6.24）式中 置信区间亦可写为 （6.25）式中是自由度为k和nNk1的Hotrlling T 2分布的上r百分位点。（2）当模型和系统的观察值相互不独立时，利用模型和系统变量观测值的配对来构造。置信度为的 为 （6.26）其中是模型和实际观察样本配对差值的均值向量，是的方差协方差 矩阵。（3）若模型响应变量的置信区间为 （6.27）系统响应变量的 为 （6.28）其中，分别为模型

30、和系统的方差协方差矩阵。置信度水平如下： 模型就系统的观测数据相互独立时，最低置信水平为 （6.29） 模型和系统的观测数据不相互独立时，最低置信水平为 （6.30）则根据模型响应变量的及系统响应变量的构造的为 （6.31）一元法和多元法各有优点和局限性：（1） 一元法要求模型（系统）观测数据的各分量之间相互独立，即忽略变量之间可能存在的相关性。在多元响应仿真模型中，这种假设与实际情况一般是不相符的。多元法同时对多个变量的观测数据进行分析，通过样本相关系数及同时置信区间反映输出变量之间的关系，因而比较适合。（2） 多元法应用条件比较严格，要求响应变量服从多元正态分布。一元统计法的应用条件相对宽

31、松一些。（3） 一元法允许模型（系统）各个响应变量具有不同的置信水平，允许建模者根据各个响应变量的重要程度控制其置信区间的长度，还允许各个响应变量具有不同的样本容量；多元统计法则不允许，它要求所有响应变量具有相同的置信水平和相等的样本容量。（4） 一元法因引入了Bonferroni不等式而存在一定的局限性：不能得到精确的置信度，同时可能得到无意义的结果。例如，假设有5个输出变量（k5），它们的置信区间已通过计算得到，若每个区间的置信水平均为，根据Bonferroni不等式有 （6.32）5个置信区间同时正确的概率，显然这个结论是无意义的。可见选择时应考虑k的值。假设，5个置信区间同时正确的概率

32、，值减小了，所有置信区间同时正确的概率增加了，但是付出的代价是每个置信区间的长度也随之增加了。以上优缺点，在选择统计分析方法时应统筹考虑，概括起来讲要考虑以下几个方面：（1）统计方法的假设条件是否满足；（2）各变量精度即区间的置信水平是否相同；（3）模型和系统的样本容量是否相同；（4）模型精度即置信区间的宽度是否合适；（5）置信度是否合适。假设检验法适于处理大样本情况下的静态性能数据，如鱼雷脱靶量、稳定航行的深度偏差信号等。在仿真数据与实际系统数据之间使用统计推理，根据样本中的信息来研究试验的典型统计量，是接受还是拒绝假设的决策取决于仿真输出数据与实际系统输出数据的接近程度。用假设检验法评估仿

33、真可信性的过程可按下述步骤进行。（1）建立初始假设不管应用何种假设检验方法，模型确认都可归结为下列双选一的问题：H0：在一定的试验条件和目的下，模型在可接受的精度范围内有效；H1：在一定的试验条件和目的下，模型在可接受的精度范围内无效；“可接受的精度范围”是问题的关键，它反映了用户的需求。同时要强调的是仿真有效或可信的前提是“在一定试验条件和目的下，在可接受的精度范围内”，离开这两点，不能说有效或无效。在上述初始假设中，可能会犯两类错误：当H0为真时，而样本观察值落入拒绝域，因此拒绝H0，即拒绝了有效的仿真结果，称为第一类错误；当H1为真时，而样本观察值未落入拒绝域，因此接受H1，即接受了无效

34、的仿真结果，称为第二类错误。第一类错误和第二类错误的概率分别称为模型建立者风险和模型用户风险。用表示犯第一类错误的概率(又称弃真概率)用表示犯第二类错误的概率(又称取伪概率)表6.4概括了上述概念的关系。表6.4 两类错误的概率理想的检验规则应使和都很小。但实际上，当样本容量给定时，犯两类错误的概率不可能同时都很小。通常其中某一个减小，另一个就会增大，而且只有增大样本容量才能使它们同时都减小。模型的精度可由有效性参数来度量，的选择应保证当增大时模型的精度降低。精度的可接受范围决定了的有效范围，。因此，当的值在其有效范围时则认为模型有效，否则拒绝接受模型。根据有效性参数可给出正确判断模型有效概率

35、的特性曲线。图6.5绘制了不同样本长度时随变化的曲线。从图上可以看出在小样本情况下接受不精确模型的概率较低。一旦建立了的特性曲线，根据给定的和可找出和的变化范围：图6.5 随变化的特性曲线由上式描述的关系可以看到降低的上界必然增大的上界。从图中也可以看出、和观察值样本长度间具有直接的关系，只能折衷选择这些参数。（2）产生检验信号在给定了假设后，根据所关心的静态性能，选择合适的测试信号，如检验鱼雷稳定航行时的深度信号时，把深度偏差信号与希望值的残差作为测试信号。好的测试信号应该具有以下性质： 应该反映仿真误差。 应尽可能降低系统初始条件对测试信号的影响；虽然这一条通常被人们忽略，但是初始条件的影

36、响极其重要，尤其对不稳定系统和临界系统。通常实际系统的初始条件不可能全部被预测，因此在仿真运行中初始条件只能随机给定，若未知初始条件对输出轨迹的影响不能消除或降低，那输出的初始数据就不能 应用。 信号的测试应尽可能的简单。产生测试信号的最基本的方法是：以已知信号作为输入，运行模型和实际系统产生的输出分别为和。和可以作为检验的信号。显然，和包含了建模误差信息，即具有性质。但对于性质，这种方案没有降低未知初始条件的影响。此外，和很难检验，因为它们一般都是非平稳的随机过程（见图6.6）。图6.6 产生检验信号（3）选择统计量和假设变换在这一步，要从测试信号中提取合适的统计检验参数，如均值或方差等，并

37、将初始假设变换成一对新的假设。在新的假设里，将“精度的可接受范围”用选定的统计量表示，但是必须保持初始假设和新假设间的等价性。等价的意思就是新假设的接受或拒绝与初始假设的接受或拒绝相对应。为使两假设等价，必须考虑两个因素：第一，选定的统计参数应充分反映建模误差的影响；假设模型和系统输出分别为其中和均为高斯白噪声，具有相同的统计特性，的均值未知，方差为。初始假设为H0：在已知和的试验条件下，对于模型是有效；H1：在已知和的试验条件下，对于模型是无效。假设选定的均值和的均值作为统计量，把以上假设变换为H0：在已知和的试验条件下，对于模型是有效；H1：在已知和的试验条件下，对于模型是无效。假设，即是

38、确定的，那么和间的差异能充分反映的影响，因此假设（H0，H1）和（H0，H1）是等价的。但是当时，两者不再等价。为保持等价，必须同时选择和的方差作为统计量。假设；意味着对90%的抽样点位于区间，则以代替时两假设近似等价（和为和的方差）。第二，选定的参数必须在初始假设的“可接受范围”内进行准确的变换。实际上，由于“可接受范围”的原始定义是不切实际的或不合理的，或因为研究的问题过于复杂，对初始假设进行精确等价变换是十分困难的，等价性只能在近似意义上得到。（4）假设检验设计用一种统计算法来估计统计参量，依据检验规则作出接受还是拒绝假设的判断。估计统计量通常是建立一个随机变量，应用各种标准的检验技术检

39、验前面形成的假设（给定和）。以前面的假设（H0，H1）为例，抽样均值和可作为和的估计，通过检验是落在和建立的某一区域来判断模型是否有效。1判断比较法判断比较（包括图形对比方法）方法虽然只能定性，不能定量给出比较误差，但它最大的好处是直观、应用简便，因此目前工程上常常使用这种方法。系统的性能参数可大致分为“静态”的和“动态”的，“静态”的参数如鱼雷与目标相遇点的脱靶距离和落入有效杀伤半径以内的概率等；“动态”参数在航行过程中是随时间变化的，如鱼雷的速度、加速度、姿态、航行指令及控制偏差等，它们常表示为时间序列的函数。当仿真模型有效时，它所产生的时间序列应该同实际系统产生的时间序列相一致。假设是实

40、际系统运行时主要测量参数的时间序列，是仿真系统仿真运行所产生的相应时间序列，比较和，观察两者接近的程度。这种定性对比分析又称为专家分析法。2标量指标法 还有一类定性分析方法称为标量指标法，包括THEIL不等式系数法、灰色关联度法，其基本思想是：通过两个序列的误差计算，可以给出某一性能指标来度量两个时间序列一致性的程度，例如对单输出的时间序列，THEIL不等式系数定义为 （6.33）当对于所有的成立时，表示两个时间序列完全一样；而当对于所有的成立时，表示两个时间序列完全不一样。越接近于0，则表示两个序列越一致，而越接近于1，则表示两个序列越不一致。对多输出的系统，THEIL不等系数可类似定义，多

41、重THEIL不等系数定义为 （6.34）这类标量分析方法原理简单，有明显的几何意义，但由于不要求样本数据服从某一特定的分布规律，利用这类方法作出判断时带有一定风险性。定义和之间的灰色关联系数为 （6.35）当（常数）时，则定义。称为分辨系数，的取值视具体情况而定，一般取或。对于给定的，越大，则认为和之间的关联程度越高。可以证明：。由于关联系数与各个采样点有关，信息过于分散，不便于分析，因而有必要将各个时刻的关联系数集中在一起，该点的值就是灰关联度。灰关联度的定义如下式： （6.36）当取值比较小的情况下仍能得到较大的（大于0.5），则认为仿真模型输出与参考输出之间具有较强的相关性，而且对于取定

42、的，越大，二者的关联性越强。考虑到实际系统输出，往往是多种输入因素作用下的多重时间序列，而各个因素或各性能指标之间又有主次之分，且有时还存在着某种联系，所以仅选择一种情况下的输出进行分析与判断往往是不够的。为此，将式（6.30）和式（6.31）分别作如下推广： （6.37） （6.38）其中，Yt是某一参考序列，可以是实际系统输出或理论计算值；而则是在第i个因素影响下的仿真模型输出或者是第i次仿真试验获得的数据；是权函数，它的选取一般要根据具体的问题凭经验而定。6.4 仿真模型的确认 在仿真研究中，需要确定所建仿真模型是否能有效地代表所研究的真实系统。如果不能，则应设法使它能有效地代表真实系统

43、。使仿真模型能有效地代表所研究的真实系统叫做确认（也称为致效）。对仿真工作者来说，确认是一个十分重要而又非常困难的工作，之所以重要，是因为未经确认的模型是没有实用价值的。之所以困难是由于被仿真的真实系统往往是内部结构和特性不清楚或不很清楚的系统，我们不能绝对肯定所建仿真模型是否能有效地模仿它。另外，仿真模型精确到什么程度，才能有效地模仿相应的真实系统，也无法给出一个通用的客观尺度，因此，模型确认的目的应该是建立一种置信度，即研究仿真模型以怎样的精确度代表了所研究的系统，而不是对仿真模型绝对正确性的测试。本节将根据现有资料，介绍一些关于确认问题的论述。 关于仿真模型的确认问题，我们提出以下几个观

44、点。这些观点虽然不能作为模型确认的一般原则，但多少可作为确认模型时应经常加以参考的。1输出变量的统计分析 由于大多数仿真模型是用随机变量作为输入数据，所以仿真输出数据也是随机的，即从仿真运行观测的变量都是随机的。用同样的输入数据和不同的随机数序列，从多次仿真运行中所得到的样本特征将给出很有用的信息。如果我们所观察到的数据有很大的偏差，则说明其仿真结果，甚至仿真模型的可信程度就比较差。2简化模型 一个复杂的模型是难以处理的，因而，应力求使模型简化或减小其规模，以便产生一个能用解析法求解的模型，有助于分析人员用来估算观察结果稳定性的大致界限。3已知情况的仿真 当研究一个现存系统的仿真时，对过去的已

45、知情况进行仿真总是可能的。在这种情况下，可获得实际观测结果，并与仿真结果相比较，它们应当相互一致。如果结果不一致，说明仿真模型的可信度差，就应当修改模型。 4子模型的确认 对整个模型中能够独立地测试的子集要逐一进行测试。通过对这些部分的测试将会减少把无效因素纳入模型中的危险。 5灵敏度分析 即稍微改变输入变量的数值以观察其输出变量的响应，通过这样的实验可以确定各组成成分对整个系统特性的影响。如果输入数据的微小变动产生很大的输出波动，则可能说明模型内部有不稳定的因素，这就应当回溯到实际系统。如果观测结果不能合乎逻辑地说明问题，就应当算出输出变量的方差，用作分析的 指导。 从以上这些观点中可明显地

46、看到，复杂随机模型的确认是一项重大的工作，不能认为是一步就成的过程，它是一项渐进的工作，其中每一个阶段都要按照模型所达到的确认程度和可信度来安排。模型的确认大体可以按以下步骤进行：1研制高外表有效性的模型 模型确认的第一步是使研制的模型具有高的外表有效性，也就是使模型对熟悉所研究系统的人来说，从外表上看就是合理的，要达到这一点，制模者要与决策者（或管理者）相互配合，利用现有的一切信息（决策者提供的信息、现有理论知识、观测数据以及直观感觉知识等）逐步形成决策者“感觉有效”的模型。2检验模型的正确性 仿真模型正确性的检验主要从以下几个方面来考虑： （1）概念的正确性。可用推理的方法或经验的方法，直

47、接测试假设或公理，或直接测试预言或理论。这种检验并不涉及到模型内的本质要点，只是检验理论的正确性。 （2）方法的正确性。这里要研究的构成模型的方法，以及问题的解是否正确。例如，在用线性方法来逼近非线性的问题时，用不精确的数学和计算方法，用伪随机数代替随机数，用离散的等效性来代替连续系统等。在分析时，均要仔细考虑这些方法的合理性与正确性。 （3）数据的正确性。由于种种原因，数据可能有缺陷，有缺陷的数据必然得出不正确的仿真结果，因此在下断然结论之前必须建立完整的数据。 （4）结果的正确性。模型的输出与理论或实践之间的拟合程度是一个关键的问题，用方差分析，回归、因子分析、谱分析、x2检验等来解释结果

48、的正确性均是有效的。（5）结论的正确性。通过仿真运行后，若所得到的结论在所有相关的人士中反映相同，那么这个结论就被认为是有效的。 3模型假设的实验检验 这一步的目的是定量检验建模初期所采用的假设。达到这个目的的最有用的手段之一是敏感性分析。这种技术能用来确定当输入参数作一小的变化时，输出将变化多少。如果输出对某个参数的变化特别敏感，则此参数应更好的估计，即应使用更多的观测数据估计它。敏感性分析的另一重要用途是确定为某一具体子系统所建立的模型应详细到什么程度。因为有时仿真模型建立的过细了，以致只能进行少数几次复演，不可能对所研究的系统进行全面分析。在这种情况下，建模者可确定出哪个子系统模型造成运

49、行时间过长，并设法简化它。然后运行简化前和简化后的两个整体系统模型，比较二者的差别，看它是否显著，如果二者相似，则使用此简化模型对系统进行略详的全面研究是比较有把握的。4确定仿真输出数据的代表性 证实模型输出数据与真实系统的输出数据像所期望的那样非常接近的检验或许是最有决定意义的确认。统计方法可用来对比系统与模型的输出数据，但对比工作并非那么简单，因为几乎所有真实系统和仿真模型的输出过程都具有不稳定性，经典统计检验不能直接应用。除了统计方法外，人们可用图灵检验方法来比较模型与系统的输出数据。即请熟悉此系统的人们考查一组或几组模型与系统的输出数据，但不告诉他们哪组数据来自哪里。如果这些专家能分辨

50、出哪些是模型的数据，哪些是系统的数据，那么他们是如何能做到这一点的解释可用来作为改进模型的依据。 如果依据仿真模型所做的决策是非常重要的，那么有时还得进行现场试验，以获取确认有用的系统输出数据，然后再考虑为此系统建立仿真模型，进行仿真试验。如果模型和系统的输出数据在各种情况下都很接近的话，就证实了此仿真模型是有效的。有时，人们用历史上的输入数据建立模型，然后用模型的输出数据与相应的历史输出数据作对比。如果二者不怎么接近，则修改模型的参数或结构，再用结果输出数据与历史上的输出数据做对比，这个模型矫正过程一直继续到上述两组数据非常接近为止。5仿真程序的检验我们知道，系统仿真就是将要仿真的系统进行模型化，然后把系统的模型放到计算机上运转，但计算机不能直接执行模型，需将仿真模型转换成仿真程序，才能执行之。因此仿真程序的正确性也直接影响着模型的有效性。所以要对仿真程序进行检验。与其他计算机程序一样，