仿真结果分析与模型校验课件

1、物流系统仿真 从理论到实践 仿真结果分析与模型校验刘亮4.1 仿真结果的瞬态与稳态特征4.2 区间估计和置信区间4.2.1 点估计4.2.2 区间估计4.3 终止型仿真结果分析4.3.1 重复运行法4.3.2 序贯程序法4.3.3 稳态仿真中初始条件所引起的偏差4.3.4 稳态仿真重复运行方法4.4 非终止型仿真结果分析4.4.1 批平均值法4.4.2 稳态序贯法4.4.3 再生法4.5 仿真模型的确认、校验和认定4.5.1 模型的可信性4.5.2 模型校验管理方法4.5.3 模型验证方法4.5.4 模型确认方法4.5.5 灵敏度分析方法4.5.6 模型校验文本化方法4.5.7 VV&A方法4

2、.1 仿真结果的瞬态与稳态特征 根据仿真模型进行实验的基本方法和统计分析方法的不同，仿真运行可分为终态仿真（又称暂态仿真）和稳态仿真两大类。 终态仿真是指仿真实验在某个持续时间段 上运行，这里 表示仿真开始的时刻， 表示仿真结束的时刻。在终态仿真中，系统的初始状态必须明确指定，同时必须指定 或给出停止事件E 的定义。终态仿真的结果对初始状态有明显的依赖性。 稳态仿真是通过系统仿真实验，希望得到一些系统性能测度指标在系统达到稳态时的估计值，因而它常常需要很长一段时间的运行，结束条件一般是充分长的仿真实验时间（针对仿真时钟而言），或充分多的观测样本，或某些系统稳态判据为真等。稳态仿真实验结果一般应

3、与初始状态无关。4.2 区间估计和置信区间 由于仿真输出结果是分布未知的随机变量，每次仿真运行的结果仅是对该随机变量总体的一次抽样，可能与模型对应的真值有较大的误差，因此不能把一次仿真运行所得到结果当成问题的解。为使仿真结果有意义，必须用适当的统计技术来设计仿真实验和分析仿真结果，这样才能得到一般性的结论。 可以运用参数的估计方法：既要得到这个值点估计，又要得到这个值的精度范围区间估计。区间估计的范围（或长度）是点估计准确度的一个测度。仿真的数据也有两种：离散性仿真：仿真输出数据具有离散形式 ，用来估计 。连续性仿真：仿真输出数据具有连续形式 ，用来估计 。4.2 区间估计和置信区间点估计基于

4、数据 的 的点估计定义为式中 是基于样本量n的样本均值。如果 的数学期望是，即 则 是 的无偏估计。 称为离散仿真系统性能的平均测度。 4.2 区间估计和置信区间点估计基于数据 的 的点估计定义为： 式中 T是仿真的运行长度， 称为Y(t)在0，T上的时间平均值。 是 的无偏估计。 称为连续仿真系统性能的平均测度。4.2 区间估计和置信区间区间估计首先，确定在无偏估计下，估计点估计 （或 ）的方差。 令 表示点估计的 真实方差 令 表示基于数据 的方差 的估计值。假设 B称为在方差估计中的偏差系数。 4.2 区间估计和置信区间区间估计如果 是近似无偏的（B1.0），那么取统计量，根据数理统计的

5、定理，可知，统计量 当B=1， 为点估计方差 的一个无偏估计。为了使 达到近似的 置信区间，必须满足 f=n-1为 t检验的自由度数。n为样本数。通过 t分布的标准统计表，可以查得自由度为f，满足置信区间的 值根据4.3 终止型仿真结果分析 终态（terminating）仿真是指，在模型中明确地规定了仿真开始和结束条件的仿真。这些条件是目标系统实际运行模式的反映，即仿真模型可在某个定义好的规则或是条件下终止。 在进行终态仿真时，如果需要通过仿真来估计参数的值，此时一般采用独立重复法，通过仿真模型做独立重复实验。4.3 终止型仿真结果分析重复运行法 重复运行法得到的估计值依赖于 是正态随机变量这

6、一假设。根据中心极限定理，若产生 的样本点数越多，即每次仿真运行的长度越长，则 越接近正态分布。因此，在终止型仿真中，每次仿真运行的长度不能太短，否则 的分布可能由于不对称而造成歪斜，有 建立的置信区间覆盖真值的程度将会降低。 重复运行法所得到的置信区间长度不但与 的方差有关，而且与仿真运行次数有关，在这种方法中， 的方差主要决定于仿真模型，而仿真运行次数则是由用户规定的，为了减少置信区间的长度，显然需要加大n，区间长度与 成反比。根据这一点，我们可以得到规定精度的置信区间，这就是基于重复运行法的序贯程序法。4.3 终止型仿真结果分析序贯程序法实践表明，随着n的加大，认为 保持不变的条件过于苛

7、刻，从而按上式计算得到的 、 偏大，因而往往用序贯程序法，步骤如下：（1）预定独立仿真运行的次数 ，并置n= ，独立运行n次；（2）计算该n次运行的X1，X2，Xn，以及相应的 及 ；（3）按上列两式计算出 或 ；（4）若 或 ，则置信区间为： 并将其作为 在近似100（1- ）%置信区间，从而结束仿真；否则，（5）再进行一次独立的方针运行得到Xn+1；令n=n+1，并返回第2步。4.3 终止型仿真结果分析稳态仿真中初始条件所引起的偏差 稳态仿真运行一般可以分成两段(目的是为了消除初始条件的影响)第一段从时刻0到时刻 为初始阶段；第二段接着从 到停止时刻 为数据收集阶段。4.3 终止型仿真结果

8、分析稳态仿真重复运行方法 我们已经看到通过设定T0、TE可以将点估计中初始条件引起的偏差已被减少到可忽略的程度，另外，独立重复运行的方法同样可用来估计点估计值变化范围（适用于无动态偏差），并构造置信区间。 如果，在点估计中有明显的动态偏差（如：系统存在交替出现的偏差），那么采用大量的重复运行来减少点估计值的变化范围，就会导致错误的置信区间。大量的重复运行会使得置信区间围绕点发生 “偏移” ，使原本围绕着变短的置信区间“偏移”到围绕着“错误的点” 变短。4.4 非终止型仿真结果分析批平均值法 批平均值法是寻找获得独立同分布随机变量观察值的方法，以便应用经典方法获得置信区间估计，然而，批平均法不是

9、从一些段的独立重复运行中收集数据，而是以单次长时间的仿真运行为基础，这就是批平均值法的本质。4.4 非终止型仿真结果分析稳态序贯法 稳态序贯法较好地解决了批长度的确定及仿真运行总长度的确定问题，并能满足规定置信区间精度的要求。4.4 非终止型仿真结果分析再生法 再生法的基本思路是识别一些随机时间点，在这些点上输出过程从概率意义上“重新开始”即再生，并利用这些再生点火的独立的随机变量，从而有可能应用经典的统计分析方法。 这种方法只能应用于类似简单排队系统这样具有再生特性的系统。 一个从再生状态开始运行的再生系统，具有数据序列的周期特征。 对于再生过程，系统的稳态平均响应是一个周期观察值的均值与这

10、个周期上观察值的平均数目之比。4.5 仿真模型的确认、校验和认定 近年来，国际仿真界已达成一种共识，与模型和仿真（M&S）有效性有关的主要工作包括，模型的验证和确认（V&V，Verification and Validation）、版本管理（Configuration Management，CM）和认定（Accreditation）。4.5 仿真模型的确认、校验和认定模型的可信性 一个系统模型及其仿真结果具有可信性（credibility）是指系统模型足够精确地代表了所研究的实际系统，可以用系统模型代替实际系统进行决策。Sargen R . G 认为，确认系统仿真模型有效性的工作包括 4 方面

11、的内容:（1）在系统分析与系统建模阶段，进行概念模型确认。判定系统模型是否有效地代表了实际系统，建模所依据的理论与假设是否合理。 （2）在编程和计算机模型开发阶段，进行计算机模型验证。判定系统模型是否被正确地转换成了仿真模型（计算机程序）。 （3）在数字实验阶段，确认操作的有效性。判定仿真模型输出是否足够准确。（4）判定数据的有效性。确定建立模型、测试模型和用模型进行实验所必需的数据是否足够，是否正确。4.5 仿真模型的确认、校验和认定模型的可信性4.5 仿真模型的确认、校验和认定模型校验管理方法（1）组织管理 组建模型校验的管理机构，明确各个单位的责任。模型校验办公室是M&S项目期间常设的实

12、施模型校验管理的权威单位，必须有职有权，具有在模型用户、模型研制单位及模型校验单位之间进行组织、协调的绝对权威性。（2）过程管理 模型校验时贯穿仿真系统全寿命周期的一个工作过程，需要细致周到的过程管理。4.5 仿真模型的确认、校验和认定模型验证方法 仿真模型的验证是仿真模型与仿真程序在逻辑结构和数据参数之间的比较过程。通过验证过程使仿真程序与仿真模型保持一致，并能准确地反映模型中各部分之间的逻辑关系、各参数之间的数量关系以及对模型所作的简化和假设等，从而使人们确信，在计算机上运行该仿真程序能够复现仿真模型内在的逻辑和数量关系，进而展示实际系统的基本性能。4.5 仿真模型的确认、校验和认定模型验

13、证方法仿真模型的验证可通过以下途径排除仿真程序中存在的问题。（1）用子程序编写和调试仿真程序（2）在仿真程序的运行中检查输出的合理性（3）仿真程序运行时的跟踪检查 除上述方法以外，在验证仿真模型时，还可以采用验证一般模型常用的方法。如在简化假设下运行模型；利用图像终端显示仿真输出的动态变化，以观察其规律；以及由未参加编程工作的人员来审查仿真程序等等。4.5 仿真模型的确认、校验和认定模型确认方法 仿真模型的确认是检验所构造的模型能否真正代表一个实际系统的基本性能。仿真模型的确认过程是对模型和实际系统作反复比较的过程，并且利用两者的比较差别来改进和修改模型，使之逐步向实际系统逼近，直到仿真模型被

14、确认为实际系统的真正代表为止。4.5 仿真模型的确认、校验和认定模型确认方法 模型确认除了相关的系统建模理论之外，还需要许多领域知识。模型确认的难易程度取决于以下两个因素：（l）所分析的对象系统的复杂程度。（2）是否有现存的实际系统供观察和研究。Naylor和Finger提出的仿真模型确认的“三步法”。（1）从直观考察模型的有效性（2）检验模型的假设（3）模型的输出数据与实际数据的比较4.5 仿真模型的确认、校验和认定灵敏度分析方法（1）建立模型输入/输出关系的回归模型（2）选择“最优”回归模型（3）检验回归模型的有效性（4）输入/输出变量影响曲线（5）灵敏度分析 4.5 仿真模型的确认、校验

15、和认定模型校验文本化方法 模型校验文本（简称模型文本）是根据一定的规范对模型、程序及VV&A需求的文字描述。建立模型文本规范、编写模型文本及根据模型文本对建模过程进行控制的过程，称为模型文本化。模型文本一般应提供一下信息：模型的有关信息计算机程序的有关信息模型确认的有关信息模型验证的有关信息4.5 仿真模型的确认、校验和认定VV&A方法 模型可信性与建模费用之间的矛盾与均衡；这体现在前述部分原则上：相对正确原则、有限目标原则、必要不充分原则、程度性原则，也体现在对具体方法的选择上。模型可信性与建模费用之间的矛盾与均衡模型可信性/%模型的价值费用价值曲线费用曲线01004.5 仿真模型的确认、校

16、验和认定灵敏度分析方法 从真实世界到仿真世界的校验与确认4.5 仿真模型的确认、校验和认定灵敏度分析方法 应用于贯穿整个建模与仿真过程的V&V技术可粗略分为四大类：非正规方法、正规方法、静态方法、动态方法。（1）“非正式方法”在VV&A中最常用， 是正规的指导下的非常有效的方法，但它的缺点是严重依赖于人的推理与主观判断。（2）“正规方法”是基于正确性的正式的数学证明。（3）“静态方法”评估静态模型设计和源代码，不需要模型的机器执行，需要手工执行。（4）“动态方法”需要模型执行， 大多数动态方法需要加入模型探测器， 即在执行模型中加入附加的代码， 以收集模型执行中行为的信息。习题4.1 仿真结果的瞬态与稳态特征都是什么？4.2试谈谈终止型仿真和非终止型仿真结果分析的区别和联系。4.3模型验证的方法有哪些?4.4 具体说说VV&A的四大类。4.5 用仿真方法分析某电话呼叫中心在每个工作日前两个小时中的运行状态，得到接线员的工作效率。4次独立重复仿真运行得到的接线员工作效率为：0.808，0.875,0.708,0.842。构造接线员工作效率的置信区间，置信度设为90%。习题4.6 设根据输入输出敏感度分析，得到关于输出y的回归模型为确定输入 ， 影响输出y的灵敏度系数。4.7 考虑一个排队系统，顾客到达