误差理论与数据处理-研究生课程考试.doc

成 绩 中 国 矿 业 大 学 2015 级硕士研究生课程考试 题 目 误差理论与数据处理 学生姓名 陈 明 学 号 TS15060128A3 所在院系 信息与电气工程学院 任课教师 唐守锋 中国矿业大学研究生院培养管理处印制误差理论与数据处理目 录1 前言12 测量不确定度32.1 不确定度的基本概念32.2 测量不确定度的评定方法52.2.1 标准不确定度的评定52.2.2 合成标准不确定度的评定72.2.3 扩展标准不确定度的评定72.3 测量不确定度与测量误差的异同83 模糊数与不确定度93.1 模糊数93.2 空间数据的不确定性93.3 模糊数与不确定度104 余弦模糊数的极大可能性估计114.1 极大可能性估计114.2 余弦模糊数的极大可能性估计125 最小不确定度估计126 总结15参考文献161 前言由于测量误差的客观存在，误差理论与数据处理一直在科学实验和生产实践中占有及其重要的地位。尤其在测绘领域，参数估计理论与方法一直是测量数据处理中最重要的基础研究方向之一。长期以来，这一重要研究领域的研究成果不计其数1。例如：极大似然估计、最小二乘估计、极大验后估计、贝叶斯估计、稳健估计、最小二乘配置、最小二乘滤波、非线性最小二乘估计、半参数估计等等。迄今为止的这些参数估计理论与方法，无一不是以概率论为其理论基础的，我们知道，概率论是用来处理“随机变量”的。在测量数据处理中，人们为了应用现有的参数估计理论总是把测量误差理想化，假定测量误差是随机变量。事实上，由于种种原因，测量数据的不确定性并非由随机误差组成，而是多种不确定因素的综合。例如GPS数据的不确定性除随机误差外，更主要的是多路径效应、电离层的影响等。随机变量是指在试验中可出现可不出现，在实验前不能确定的量2。在测量过程中，由于观测设备受分辨率的限制、操作者受生理方面的限制以及实际观测环境总与标准状态不一致等，必然导致测量不确定性的存在，即测量数据的不确定性在任何一次测量中是一定会出现的，它出现与否在测量前就是确知的。因此，测量数据的不确定性不完全满足“随机变量”的定义。因为测量数据的不确定性不完全满足概率论中的“随机变量”这一基本假设，所以使用目前的任何一种参数估计方法来处理测量数据都是不严密的，致使目前测量数据处理中的“最优性”也是虚假的。当然这一点早已被测量学家所公认。因此，在实际的测量数据处理中，人们总是根据实际情况对现有参数估计模型进行修正。例如，为了同时考虑系统误差的影响，提出了附有系统参数的估计模型；为了抵抗粗差的影响，提出了稳健估计模型等等。由于测量数据的不确定性是各种因素的综合，既包含随机性又包含模糊性。如此修修补补，必然顾此失彼，根本不能全面的处理测量数据的不确定性。另外，由于测量数据的不确定性不仅仅表现为随机性不确定性也表现为模糊性不确定性3。比如，对于遥感影像数据的分类，由于很多地理概念本身就存在模糊性，因而分类一定会产生模糊不确定性。而现有的测量数据质量评价体系也是以概率论为理论基础的方差体系，即用方差来衡量测量数据的质量。因为方差是描述随机误差的，而随机误差只是不确定性中极小的一部分，方差很小只能说明随机误差很小，方差并不能描述模糊不确定性的大小，因此方差很小并不代表测量数据的不确定性很小，也就不能说明测量数据的质量很高。即使只考虑随机误差，由于实际的测量数据并不一定服从正态分布，且服从什么分布并不知道，一律采用方差来作为衡量测量数据质量的标准也是不完全合理的，因为有的分布根本就不存在方差。其次，尽管目前国际上已广泛采用不确定度来评定测量结果的质量。但从目前不确定度的评定方法我们可以看到，其A类或B类评定不确定度的方法仍然都是基于某种概率分布，用方差或标准差进行定量的表达。计量部门定义的A类标准不确定度的大小是我们测量平差中导出的算术平均值的中误差的绝对值。A类标准不确定度越小，即误差越小，只能说明随机误差很小，还是不能代表测量数据的不确定性很小。由此可见，目前用A类或B类评定方法来进行不确定度的评定也有其不足之处4。综上所述，要全面的处理测量数据的不确定性，并准确评价测量数据的质量，有必要研究一种全新的参数估计理论，并建立相应的测量数据质量评价体系。这一全新的参数估计理论与相应的测量数据质量评价体系必须突破传统的“观测值的不确定性就是随机性”这一基本假设，能直接处理测量数据的不确定性。本文就旨在提出一种这样的参数估计理论最小不确定度估计理论，它是以不确定度理论和模糊数理论为其理论基础，将观测值看作模糊数，以模糊数为研究对象，并用模糊幅度代替A类评定或B类评定来衡量不确定度，从与传统的参数估计思路完全不同的角度研究测量数据处理理论与方法。“不确定度”一词起源于1927年德国物理学家海森堡(Heisenbegr)在量子学领域中提出的测不准关系，也称为不确定度关系(uncertainty relation)。不确定度作为测量结果质量评价的合理性首先在于不确定度的表达是统一的并被广泛接受的，它有利于国际上实验室之间测量结果的相互比较和相互承认，从而为消除国际贸易中的技术壁垒提供了可能性5。其次，由于测量资源的不完善以及测量手段的有限性等因素使得测量误差总是客观存在，使得测量结果总是在一定范围波动。目前国际上都倾向于用测量不确定度表征测量结果的变化范围。不确定度是一个合理表征测量结果的分散性参数，它是一个容易定量、便于操作的质量指标。测量结果的可用性在很大程度上取决于其不确定度的大小。因此，在给出测量结果时，只有附加不确定度的说明才是完整和有意义的。不确定度越小，说明测量结果质量越高，使用越可靠。本文用不确定度来衡量测量结果的质量比现有的参数估计方法用方差或中误差来衡量测量结果的质量更合理，与目前评定不确定度方法不同，本文不是用A类评定或B类评定来评定不确定度，而是创新性地提出用模糊幅度来衡量不确定度。2 测量不确定度2.1 不确定度的基本概念 测量不确定度(uncertainty of measurement)是与测量结果相关联的参数，用于表征合理地赋予被测量值的分散性6。它意味着对测量结果的正确性或准确度的可疑程度，是用于表达测量结果的质量优劣的一个指标。即使不确定度的数字很大，测量结果也有可能接近于被测量真值，即不确定度不表示余下的误差，而只表示对被测量真值认识不足的程度。不确定度是与测量结果紧密相联的,离开了“测量”这个过程，测量不确定度是不存在的。一个完整的测量结果一般应包括对被测量的最佳估计及其分散性参数两部分。分散性参数即为测量不确定度，它应包括所有的不确定度分量。即除了不可避免的随机影响对测量结果的贡献外，还应包括由系统效应引起的分量，诸如一些与修正值和参考测量标准有关的分量，它们对分散性均有贡献。测量结果是测量的要素之一，而其它测量要素，如测量对象、测量资源、测量环境等均会在测量过程对测量结果产生不同程度的影响。测量不确定度，即表示测量结果受诸多不确定因素的影响，这些因素直接或间接影响了测量结果的准确性。因此，找出这些影响测量结果的不确定因素对评价测量结果的准确性有着实际的意义。所有对测量结果产生影响的因素，均是测量不确定度的来源。它们可能来自于以下几个方面7：(1) 对被测量的定义不完整或不完善。如定义被测量是一根标称值为lm的钢棒的长度。如果要求测准至产m量级,则被测量的定义就不完整。由于定义的不完整会使得测量结果中引入温度和大气压力影响测长的不确定度。如果定义被测量是标称值为lm的钢棒在25.0和101325Pa时的长度，则为完整定义，就可避免由此引起的测量不确定度。(2) 复现被测量定义的方法不理想；如对上例所述的完整定义进行测量，由于温度和压力实际上达不到定义的要求(包括温度和压力的测量本身存在不确定度)，则使得测量结果仍然引入不确定度。(3) 测量所取样本的代表性不够，即被测量的样本不能完全代表所定义的被测量；如被测量为某种介质材料在给定频率时的相对介电常数。由于测量方法和测量设备的限制，只能取这种材料的一部分做成样块进行测量，如果该样块在材料的成分或均匀性方面不能完全代表定义的被测量，则该样块就引入测量不确定度。(4)对测量过程受环境影响的认识不周全，或对环境条件的测量与控制不完善；同样以上述钢棒测量为例，不仅温度和压力会影响其长度，实际上，湿度和钢棒的支撑方式也会产生影响。由于认识不足，没有注意采取措施，也会引入测量不确定度。另外，测量温度、压力的温度计、压力表的不确定度也是测量不确定度的来源之一。(5)对模拟式仪器的读数存在人为偏差；(6)仪器计量性能上的局限性；(7)赋予测量标准和标准物质的标准值不准确；(8)引入常数或其他参量的不准确；(9)与测量原理、测量方法和测量程序有关的近似性或假设性；(10)在相同的测量条件下，被测量重复观测值的随机变化；这是在测量中不可避免的一种综合因素造成的随机影响，它必然也贡献于测量结果的不确定度。对一定系统误差的修正不完善；(12)测量列中的粗大误差因不明显而未被剔除；(13)在有的情况下，需要对某种测量条件变化，或者在一个较长的规定时间内，对测量结果的变化作出评定。此时，也应把该相应变化所赋予测量值的分散性大小，作为该测量结果的不确定度。以上的各种不确定度来源可以分别归为设备、方法、环境、人员等带来的不确定因素，以及各种随机影响和修正各种系统影响的不完善，特别还包括被测量定义、复现和抽样的随机性等等。总的说来，所有的不确定度来源对测量结果都有贡献，原则上都不应轻易忽略。但是，在对各个不确定度来源的大小都比较清楚的前提下，为了简化对测量结果的评定，应力求“抓主舍次”。测量结果的不确定度一般包含若干个分量，按照其评定方法的不同，可以分为A类评定分量和B类评定分量。A类评定分量是依据一系列测量数据的统计分布获得的实验标准差。B类评定分量是基于经验或其他信息假定的概率分布给出的标准差。即A类评定是指对样本观测值用统计分析的方法进行不确定度评定；B类评定是指用非统计分析的方法进行不确定度评定的方法。将不确定度分为A、B两类评定方法的目的，仅仅在于说明计算不确定度的两种不同途径，并非它们在本质上有区别。两者都是基于某种概率分布，都能够用方差或标准差定量地描述。不能将它们与“随机误差”和“系统误差”混淆，不能简单的将A类不确定度对应于随机误差导致的不确定度，把B类不确定度对应于系统误差导致的不确定度。例如，已知的系统效应的修正量的不确定度，既可以是A类也可能是B类；表征随机效应的不确定度也可能是A类或B类。虽然误差分为系统误差和随机误差，但不确定度不以随机、系统来区分。若需要区分时，应表述为“由随机效应引入的不确定度分量”和“由系统效应引入的不确定分量”。两类效应所引入的不确定度都可皆有A类评定，也可皆有B类评定，均称为标准不确定度。此外，测量不确定度在使用中根据表示的方式不同有三种不同的术语：标准不确定度、合成不确定度和扩展不确定度8。(1)标准不确定度(standard uncertainty)：用标准差表示测量结果的不确定度,一般用符号U表示。(2)合成(标准)不确定度(combined standard uncertainty)：当测量结果由若干个其他量的值求得时，测量结果的合成不确定度等于这些量的方差和(或)协方差加权和的正平方根，其中权系数按测量结果随这些量变化的情况而定。合成不确定度一般用符号Uc表示。(3)扩展不确定度(expanded uncertainty)：规定了测量结果取值区间的半宽度，该区间包含了合理赋予被测量值的分布的大部分。扩展不确定度用符号U或Up表示。2.2 测量不确定度的评定方法2.2.1 标准不确定度的评定 实际工作中,为了便于对测量标准不确定度进行具体的评定,国际上把该评定方法归为A类评定方法和B类评定方法。一、关于标准不确定度的A类评定A类评定方法是采用统计分析的方法评定标准不确定度,它用实验标准偏差来表示。用这样的方法评定出的标准不确定度称为A类标准不确定度。一般情况下,对某一被测量X，独立重复观测n次,用算术平均值作为被测量的估计值，测量结果的A类评定的标准不确定度为n次测量平均值的实验标准差即：其中： n-1为自由度。 由此可知,计量部门定义的A类标准不确定度的大小就是我们测量平差中导出的算术平均值的中误差。其自由度为V=n-1,即我们熟知的多余观测数。在给定A类标准不确定度时应同时给定自由度V。尽管A类标准不确定度的大小就是我们测量平差中导出的算术平均值的中误差，但两者之间是不同的。中误差是真误差平方和之均值的平方根，其意义相当于真误差的平均值，在数轴上表示一个点的坐标，故是可正可负的；而A类标准不确定度是对观测值“怀疑的程度”，在数轴上表示一个区间的长度，故恒为正。二、关于标准不确定度的B类评定在实际工作中,并非所有的测量结果都能用以上所述的统计方法来评定标准不确定度。在这种情况下就要用到B类评定方法。B类评定方法是用非统计的方法评定标准不确定度。既然它不依赖于对样本数据的统计,必然要设法利用与被测量有关的其他先验信息来进行估计。获得B类评定的标准不确定度的信息来源一般有：(1) 以前的观测数据；(2) 对测量仪器的特性和其他相关资料的了解；(3) 校准证书、检定证书、测试报告及其他证书文件提供的数据；(4) 生产厂家的技术说明书；(5) 测量者的经验和知识；(6) 引用的手册、技术文件、研究论文和实验报告中给出的参考数据及不确定度值；为了方便，将这种方法估计的标准不确定度称为B类标准不确定度，它与A类的区别仅在于不是利用对此测量直接求出，而是需要查取己有信息获得而已，这两个方法都是可信的。根据先验信息的不同，B类评定的方法也不同。主要分为以下几种： (1)若由先验信息给出测量结果的概率分布，及其置信区间和置信水平，则标准不确定度为该置信区间半宽度a与该置信水平下的包含因子kp的比值,即。 (2)若由先验信息给出的测量不确定度U为标准差的K倍时,则标准不确定度U为该测量不确定度U与倍数K的比值,即。(3)若由先验信息给出测量结果的置信区间及其概率分布,则标准不确定度为该置信区间半宽度与该概率分布置信水平接近1的包含因子的比值,即。其中U为置信区间的半宽度，而K是置信水平接近1的包含因子。2.2.2 合成标准不确定度的评定设观测值的函数为已知的A类或B类标准不确定度为,则函数y的标准不确定度为各的合成标准不确定度,即式中为和的协方差估计值，若定义其相关系数为：上式子可称为不确定度传播律,显然,不确定度传播律就相当于我们熟知的测量平差中的协方差传播律。当各观测量相互独立时。如果的标准不确定度分别为则合成不确定度为：。2.2.3 扩展标准不确定度的评定扩展不确定度是确定测量结果区间的量,合理赋予被测量值分布的大部分可望含于此区间。实际上扩展不确定度是将输出估计值的合成不确定度扩展了倍后得到的，即：，式中称为覆盖因子，的取值与需要获得的置信水平p有关，一般为2或3，这取决于被测量的重要性、效应和风险。当可以赋予被测量正态分布，且与输出估计值相关的标准差的可靠性足够高时，包含因子=2，这代表扩展不确定的包含概率约为95%，这也就是说测量结果的取值区间在被测量值概率分布中所包含的百分比为95%，这个百分比称为该区间的置信水平或置信概率。由上可知，扩展不确定度相当于测量平差中的极限误差。2.3 测量不确定度与测量误差的异同不确定度的概念是误差理论的应用和拓展，而误差分析依然是测量不确定度评估的理论基础。尽管不确定度概念的引入使得误差分类的界线以及转化的问题淡化了，但评定和计算不确定度，还有赖于必要的误差分析。只有对各个误差源的性质、分布进行合理的分析和处理，才能确定出各分量的不确定度和合成不确定度，特别是在估计B类分量时，更是离不开误差分析。例如测量仪器的特性可以用最大允许误差、示值误差等术语描述。在技术规范、规程中规定的测量仪器允许误差的极限值，称为“最大允许误差”或“允许误差限”。它是制造厂对某种型号仪器所规定的示值误差的允许范围，而不是某一台仪器实际存在的误差。测量仪器的最大允许误差可在仪器说明书中查到，用数值表示时有正负号，通常用绝对误差、相对误差、引用误差或它们的组合形式表示。测量仪器的最大允许误差不是测量不确定度，但可以作为测量不确定度评定的依据。测量结果中由测量仪器引入的不确定度可根据该仪器的最大允许误差按B类评定方法评定。另一方面，不确定度是误差的综合和发展。不确定度概念的引入使不能确切获得的误差转化为一个可以定量计算的指标附在了测量结果中，从而使得测量结果的质量在国际上有了一个统一的比较标准。所以说不确定度是误差概念的发展。经典的误差理论将误差分为系统误差、偶然误差和粗差，对这几类误差的分析处理方法也不同，对粗差予以剔除，对系统误差是进行修正，然后用数理统计的方法来处理随机误差。而不确定度概念的引入使得这种分类显得不重要，只是根据评定方法的不同分为A类评定和B类评定，因此不确定度使误差实现了良好综合，成为了一个整体。综上所述，测量不确定度与测量误差是两个截然不同的概念,有着本质上的区别，但它们也有着密切的联系。误差是不确定的基础，不确定度又是误差的综合和发展。不确定度使得测量结果的质量评定有了统一的定量标准，用测量不确定度评价测量结果较之测量误差科学合理。3 模糊数与不确定度3.1 模糊数定义设I为R上的模糊集，是它的隶属函数,设若对任意都是一个闭区间，则称I是一个模糊数。此时称为I的截集。由此定义，可以得出以下结论:(1) 具有连续隶属函数的凸模糊集是模糊数；(2) 实数集中的任意闭区间a,b都是一个模糊数。实践中经常用到的模糊数I的几个性质叙述如下：模糊数I的隶属函数必有最大值；模糊数I必为凸模糊子集合；模糊数I的支集必是一个闭区间。3.2 空间数据的不确定性空间数据的不确定性属于一般不确定性的组成部分，它包含了一般不确定性中不确定性的基本概念、原理、原则等在相关的空间科学技术，包括地球信息科学、大地测量、测绘与制图、遥感、遥测、卫星定位系统、地理信息系统、数据库及其管理中的应用。但是地学空间数据中的不确定性问题有它自己特色的一面，它丰富和充实了不确定性的内容和应用领域。Peter Fisher将空间数据不确定性的研究分为四个方面，即误差(error)、模糊(vagueness)、歧义(ambiguity)、不一致(discord)。(1)误差(error)如果物体可进行量测，那么量测结果就一定含有误差。关于误差已有大量的研究，其研究结果集中在位置准确性和专题准确性方面，但最重要的还是对误差模型和误差结果的研究。(2)模糊(vagueness)某一个研究对象分类的中心或核心概念可以清楚地用分类术语进行定义和描述，但该中心类与另一个中心类之间的边界条件却是不确定的，这时就产生了模糊，这就是说一些接近类边界的研究实体很难划分为一个特定的类。(3)歧义(ambiguity)是指当有一个已经定义好了的类概念，但该类分类过程中具有几个同等有效但却相互矛盾的结果。(4)不一致(discord)不一致是当一个研究者使用一种分类方案，但另一个研究者使用另一个毫不重叠的分类方案时产生的。由以上的各种论述知，在空间数据处理中，至今对“不确定性”这个术语还没有明确的定义，但大多数人认为不确定性与空间数据质量有关。3.3 模糊数与不确定度根据图将模糊理论进行了大致的分类。主要有五个分支：(1) 模糊数学,它用模糊集合取代经典集合从而扩展了经典数学中的概念； (2) 模糊逻辑与人工智能,它引入了经典逻辑学中的近似推理,且在模糊信息和近似推理的基础上开发了专家系统； (3)模糊系统,它包含了信号处理和通信中的模糊控制和模糊方法；(4)不确定性和信息,它用于分析各种不确定性；(5)模糊决策,它用软约束来考虑优化问题。由图3.1可知，模糊理论是一个包含了多种研究课题的广泛领域，它也可以用于进行各种不确定性分析。本文就是用模糊数来处理不确定性信息。由于现实世界中的信息都存在不确定性，在测量过程中，由于观测设备受分辨率的限制、操作者受生理方面的限制以及实际观测环境总与标准状态不一致等，必然导致测量不确定性的存在，致使所得到的观测值总是在被测物体的真值左右波动。如果将波动范围看成模糊幅度，将真值看作对称中心，则空间信息获取过程中的观测值就是模糊数。当某个被测量的真值从某种程度上讲不太确定时，我们就称这个被测量为模糊数。模糊数表示的是一个数大约为多少。由对称模糊数的定义我们可知该观测值的波动范围就是对称模糊数定义中的模糊幅度C。而不确定度是与测量结果相关联的参数，用于表征合理地赋予被测量值的分散性。即不确定度是一个表示测量结果中用于说明测得值所处范围的一个参数。模糊幅度就是描述测得值所处范围的一个数，模糊幅度也和不确定度一样，它们不同于测量误差没有正负之分。因此，用模糊幅度去衡量测量结果的不确定度是合理的。图3.1模糊理论分类4 余弦模糊数的极大可能性估计4.1 极大可能性估计设可能性线性模型如式,“模糊数是其对称中心”，的可能性为 (4-1-1)令 (4-1-2)则 (4-1-3)可得 (4-1-4) 式(4-1-4)是在线性可能性模型下，使观测值估值的可能性最大的最优估计准则，故称由此准则确定的估计为极大可能性估计。由式(4-1-4)知，极大可能性估计随参照函数的不同而不同。所以极大可能性估计式(4-1-4)确定的不是一个估计，而是一类估计。因此，我们称基于最优准则式(4-1-4)的估计为可能性线性模型的极大可能性估计类。4.2 余弦模糊数的极大可能性估计在线性可能性模型的极大可能性估计类中,当我们将观测值和未知参数都视为余弦模糊数。当 极大可能性估计式(4-1-4)变为: (4-2-1)式(4-2-1)就是可能性线性模型在将观测值和未知参数都视为余弦模糊数的极大可能性估计准则，简称余弦极大可能性估计准则。基于此准则的估计称为余弦极大可能性估计。5 最小不确定度估计为了估计函数模型中的未知参数向量X，必须事先确定最优估计准则。由于我们将观测值和未知参数都视作对称模糊数，我们自然希望各个观测值的不确定度越小越好，即观测值的模糊幅度越小越好，则有，同时考虑到参照函数分布情况，以三角模糊数的参照函数为例，见图5.1。图5.1 三角模糊数的参照函数 当模糊幅度越小时，对于某个具体的观测值对于其模糊估计值的隶属度反而越小，的值反而越大。我们令。为了保证最后估值的唯一性，我们设计如下最小不确定度估计的估计准则为: (5-1-1)其中： 此外还应满足条件：即观测值的改正数的绝对值应小于等于该观测值的模糊幅度。其中：当函数模型非线性时满足；当函数模型是线性时满足： 。综上所述，可得最小不确定度估计的参数估计问题就可以转化为求解下列非线性规划问题： 其中： Uyi=1-U(yi) (5-1-2)在式(5-1-2)中，未知参数和观测值的模糊幅度均视为待求参数一并求解。当参照函数分别取 得三角模糊数的隶属函数为 得余弦模糊数的隶属函数为 得抛物线模糊数的隶属函数为 将上述不同的隶属函数带入最小不确定度估计模型(5-1-2)中可分别得到基于三角模糊数、余弦模糊数、抛物线模糊数的最小不确定度估计模型。(1)基于三角模糊数的最小不确定度估计模型 其中：或。(2)基于余弦模糊数的最小不确定度估计模型 其中：或。(3)基于抛物线模糊数的最小不确定度估计模型 其中：或。分别解算以上三种不同的估计模型，则可得到分别对应三角模糊数、余弦模糊数和抛物线模糊数的未知参数X的估值和观测值的模糊幅度。由最小不确定度的估计模型可以看出基于最小不确定度估计模型的参数估计问题可以转换为求解非线性规划问题。非线性规划问题内容十分丰富，求解非线性规划问题的优化算法更加繁多。求解无约束非线性规划问题常用的方法有线性搜索法、共扼梯度法以及拟牛顿法等。求