（概率论与数理统计专业论文）多响应线性模型最优设计的迭代算法及其实现.pdf

摘要 试验设计是以概率论和数理统计为理论基础，科学安排试验的一项技术，在各个领 域都有广泛的应用价值。而最优设计是为了保证估计量在精确性方面具有某种优良性质 所采用的设计方法。本文第一章对最优设计及全文的主要内容做了简单介绍。本文的第 二章是讨论多响应模型中b a y e s i a l l 意义下的最优设计构造算法。在参数p 具有正态先验分 布的条件下，先求出p 的后验分布并根据后验分布的协方差阵得到多响应模型的信息矩 阵。利用方向导数可以推出该信息矩阵下，l b 和d b 一最优设计的等价性定理、设计的 效，根据这些结论我们构造最优设计的算法并且用m a t l a b 实现算法。在这个算法中设计 点的个数是固定的，在每一步迭代中加入一个满足相关条件的最优点，再删去一个最差 的点，通过计算效来判断这一步得到的设计是否已经达到要求，若不符合再进行迭代直 至达到满意的效。本文的第三章讨论多响应模型的协方差矩阵未知时，a 最优设计的 序贯算法。当多响应的协方差阵未知时，我们用它的一致估计矩阵来代替，根据多响应 模型a 最优设计判别准则，得到上述条件下的等价性定理并给出构造最优设计的序贯算 法，这个算法是在每步迭代中加入一个满足条件的点，加入点后的设计逐步收敛到最优 设计。从计算的结果看，这个算法所得到的设计收敛性较好，的估计中出现的随机扰动 对最优设计的影响并不大。本文第四章我们用m a t l a b 实现了第二、三章的算法，并给出了 几个相应的例子。在计算过程中，需要求多元函数的全局最值，我们使用了方开泰、王 元( 1 9 9 6 ) 的数论方法s n t o 来求最值，该方法的收敛速度较快，所花时间不长，比较适合 本文的计算。从实际计算的结果看，迭代算法对大部分模型的效果都比较好。 关键词：最优设计，多响应模型，b a y e s i a i l 估计，等价性定理，迭代算法 第1 页 a b s t r a c t e x p e n m e n t a ld e s i g ni sat e c h n i q u ef o ra r r a n g i n ge x p e r i m e n t se c o n o m i c a l l ya n ds c i e n t i f i - c a l l yb a s e do nt h et h e o r i e so fp r o b a l b i l i t ya n ds t a t i s t i c s ，w h i c hh a se x t e n s i v ea p p l i c a t i o ni ni n d u s 缸y p r o d u c i n ga n dt h ee n g i n e e d n g ( i e s i g n t h eo p t i m a ld e s i g ni st h en l e t h o df b rg e t t i n gs o m eg o o d p r o p e n y o ft h ee s t i m a l i o ni nt h ea s p e c to fa c c u r a c y i nc h a p t e rl ，w ei n t r o d u c et h eg e n e r a js i t u a t i o na b o u tt 1 1 ew h 0 1 ep a p e r t h e ni nc h a p t e r2 ， w ed i s c u s sm eo p t i m a l i t e r a t i o na l g o r i t h mo fm u l t i r e s p o n s ei nt l l eb a y e s i a i lf r a m e w o r k w bc a l l o b t a i nt h ep o s t e r i o rd i s t r i b u t i o nw i t hr e s p e c tt oag i v e np r i o ri n f o 咖a t i o n ，a 1 1 dt 1 1 ep o s t e r i o rc o v a r i a n c em a t r i xy i e l d st h em u l t i r e s p o n s eb a y e s i a ni n f o m a t i o nm a t r i x b yu s i n gt 1 1 ed i r e c t i o n a l d e r i v a t i v e ，w ec a ng e t 也el 日一a n dd b o p t i m a le q u i v a l e n c et h e o r e m s 、t h el o w e rb o u n d sf o rt h e e 所c i e n c ya n dt h ei t e r a t i o na l g o r i t h mf o rt h ec o n s t m c t i o no fe x a c to p t i m a ld e s i g n i nc h a p t e r 3 ，w ed i s c u s st h es e q u e n t i a lg e n e r a t i o no fm u l t i r e s p o n s ea o p t i m a ld e s i g n sw h e nt 1 1 ev 撕a n c e c o v 撕a n c em a t r i xi sn o tk n o w n i f i sn o tk n o w n ac o n s i s t e n te s t i m a t o ro f c a nb eu s e dt o c o n s t m c ta s e q u e n c eo fd e s i g nm e a s u r e sw h i c hc o n v e 唱e si np r o b a b i l i t yt oa o p t i m a ld e s i g n t h e f i n a lr e s u l ti sn o ti n t e r f 色r e db yt h er a n d o mc h a n g eo ft h es a m p l ev e c t o r i nc h a p t e r4 ，w er e a l i z e t h ea l g o r i 山mi nc h a p t e r2a 1 1 dc h a p t e r3b ym 【a t l a bp r o g r a m m e w eu s e 山es n 7 i om e t l l o di n f a n g k t 柚dw a n g y ( 1 9 9 6 ) t oc o m p u t e t l l ew h o l em a x i m u ma n dm i n i m u mv a l u eo f t h em u l t i p l e f u n c t i o n s t h ec o n v e 唱e n c eo fs n l l oi sr a p i d l yi no u rc o m p u t 撕o n i i lc o n c l u s i o n ，t 1 1 ei t e r a t i o n a l g o r i t h ma i l ds e q u e n t i a lg e n e r a t i o ni n 山i sp a p e r i sq u i t eg o o df o ra l m o s tm u l t i r e s p o n s em o d e l - k e yw o r d s ：o p t i m a ld e s i g n s ，m u l t i r e s p o n s e ，b a y e s i a ne s t i m a t i o n ，e q u i v a l e n c et h e o r e m s ，i t _ e r a t i o na l g o t 1 1 m 表格目录 4 i 为列角阵时4 舀一最优设计计算：结果 4 2 为般甜i 阵时a 珂一最优设计计算结果 4 3 为对他阵时口b 一最优设计计算结果 4 4 为一般矩阵时现一最优设计计算结果 4 5 未知时4 一最优初始设计l 4 6 未知时a 一最优设计计算结果】 4 7 未知时4 一最优初始设计2 4 8 未知时一最优设计计算结采2 第v 页 9 o l 2 2 3 3 4 l 2 2 2 2 2 2 2 在学期间完成论文情：兄 学位论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除了特别 加以标注和致谢的地方外，不包含其他人或机构已经发表或撰写过的研究成果。其他同 志对本研究的启发和所做的贡献均已在论文中做了明确的声明并表示了谢意。 签名：坌垦盘日 第3 0 页 论文使用授权声明 本人完全了解上海师范大学有关保留、使用学位论文的规定，即：学校有权保留送 交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以 采用影印、缩印或其它手段保存论文。保密的论文在解密后遵守此规定。 作者签名：；拯盘 日期：独2 ：堇：i i 导师签名幺垒圣 第一章引言 试验设计的理论和方法最初应用于农业、生物及医学试验。现在试验设计已经发展 成为在各个领域都有广泛应用价值的统计学科，如种群遗传学、临床调查、流行病学调 查、地理调查、生物试验、农业试验，等等。试验设计在产品设计、质量管理，特别是 经济学等领域中的广泛应用越采越受到人们的重视。 由于在科学研究的实践中，试验往往受到经费的限制，在进行试验设计时，要求建 立试验次数较少，而精度较高的回归方程，这就要求把试验的安排、数据的处理和回 归方程的精度统一成一个整体加以考虑和研究，这就是“最优试验设计与应用”所要研 究的问题。通常我们希望选择试验点使得信息矩阵m 越小越好，基于这一思想就产生 了“最优设计 理论，又由于m 是矩阵，而比较两个矩阵的大小可以有多种方法，所 以就产生了不同的最优性准则。1 9 1 8 年，s m i t h 提出了一种最优设计的检验标准，这种 标准后来被称为g 一最优设计准则。由于数理统计方法在试验设计中的应用，以及试验设 计对统计思想和方法的贡献，一些著名的统计学家及应用统计工作者开始从事试验设计 的研究工作，从而极大地加速了最优试验设计理论及其在社会科学与自然科学的一些领 域中的应用与发展。1 9 4 3 年，、a l d 提出了极大化设计的信息矩阵的行列式的d 一最优设 计准则。1 9 5 2 年e l f v i n g 及c h e m o 醒出了极小化设计的方差阵的迹的a 最优设计准则。其 后e h r e n f e l d ( 1 9 5 5 ) ，m a s u y a m a ( 1 9 5 7 ) 还提出过过其它最优性判别准则。上述判别准则都有 其鲜明的统计意义，比如d 最优设计就是使未知参数的置信椭球体积达到最小、a 最优 设计是使未知参数的诸分量的方差之和( 或方差之平均值) 达到最小、g 最优设计是使 最小二乘估计的预测值在因子区域中各点的方差的最大值达到最小等等，其他准则可详 见a t h m o n 和d o n e v ( 1 9 9 2 ) ，s i l v e y ( 1 9 8 0 ) ，p l l k e s h e i m ( 1 9 9 3 ) 。由于缺乏对于设计准则的进一 步研究，而且没有高速电子计算机处理大量的数据，因而本世纪6 0 年代以前人们只能对 简单的模型构造各种最优设计。1 9 6 0 年，k i e f e r 和w o l f b w i t z 给出d ，g 一最优性之间的原 始等价定理( k w t ) 的证明。1 9 7 2 年，f e d o r o v 深人研究并总结了所有准则函数为线性凸 函数的最优准则的性质，得到了类似于k w t 的关于线性准则的等价性质。计算机的发展 与普及，极大地促进了试验设计的发展，并且为在各种准则下构造较复杂模型的最优设 计创造了条件。 现有的对于最优设计的研究大多针对单响应模型，而对多响应模型的分析较少，关于 多响应设计最早的文献是d r a p e r 和h u n t e r ( 1 9 6 6 ) 。在实际应用中，模型往往是有多个响 应值的，所以我们在本文中讨论的最优设计都是在多响应模型下进行。一般在给定准则 后，要判断哪个现有设计更优是比较容易的，但是我们很难根据准则直接找到最优的试 验设计，以往的文献解决上述问题一般是通过算法来逼近。本文就是讨论在不同条件下 的多响应模型的最优设计构造算法。 本文的第二章是讨论多响应模型中b a y e s i a n 意义下的最优设计构造算法。 在b a y e s i a n 先验信息下，我们一般都是基于参数的后验分布来分析问题。后验分布主 要是由先验信息和样本信息结合得到的，充分利用了参数先验和样本信息，所以进行 参数估计时通常具有更小的方差或平方误差，因而有不少文章都讨论过b a y e s i a j l 信息 下的最优设计。一般来说，先验信息只是改变信息矩阵，通过信息矩阵的变化来影响 等价性定理及其他性质，p 伽c ed el e o n 和a t l ( i n s o n ( 1 9 9 1 ) 列出了b a y e s i a n 问题的附加设计 以说明设计对先验估计的依赖性。k a t h r y nc h a l o n e r 和l s a b e l l av e r d i n e l l i ( 1 9 9 5 ) 回顾了线 性和非线性b a y e s i a n i a n 试验设计的一些性质，并且用决策理论来决定试验，在这个框 第l 页 第一章引言 架下，不同的设计准则之间可以统一联系起来。p i l z j ( 1 9 8 3 ) 在b a v e s i a ne s t i m a t i o na n d e x p e r i m e n t e dd e s i 2 ni nl i n e a rr e g r e s s i o nm o d e l s 一书中对单响应下的最优设计进行过较 系统和详细的表述，并且在书中给出了一个构造单响应的最优设计算法。但是之后较少 有文章对b a v e s i a n 下多响应模型的最优设计算法进行讨论，本文第二章主要是基于p i l z j 书 中给出的单响应结果进行推广，给出多响应下的l 日一和d 口一最优设计的等价性定理和 构造算法，该算法是在换点算法的基础上加以推导改进的，然后用m a t l a b 实现算法，具体 的计算实例在第四章。 第三章是讨论多响应模型下协方差矩阵未知时，a 一最优设计的序贯算法。e f e r - w 6 l f o w i t z ( 1 9 6 2 ) 证明单响应模型的等价性定理，及推导了最优设计的构造算法。之 后，f e d o r o v ( 1 9 7 2 ) 将单响应模型推广到多响应，他给出了构造多响应线性模型最优设 计的一般迭代算法( 也称为序贯算法) ，该算法在每次迭代中都加入一个满足相应条件 的点，对于不同的准则函数都适用。但在f e d o r o v ( 1 9 7 2 ) 的这个序贯迭代算法中，要求多 响应模型之间的协方差阵已知，而不少实际问题中协方差阵是未知的，所以w j i e s i n h a 和 k h u r i ( 1 9 8 7 ) 讨论了未知情况下d 一最优设计的判别准则、等价性定理以及构造最优设计的 序贯算法，他们用的一致估计量来替代，可以证明利用这个估计量同样能使序贯 算法得到的设计收敛到最优。而b i s c h o 瞰1 9 9 3 ) 证明了当多响应的协方差属于一类特殊 的正定矩阵时，d 一最优设计与无关，在这种条件下得到的最优设计和多响应互不相关或 同方差时得到的最优设计相同。本文第三章根据w i i e s i n h a 和k h u r i ( 1 9 8 7 ) 的结论。讨论相 同条件下多响应的a 最优序贯算法，并用m a t l a b 实现，从计算的结果看这个算法的得到 的设计收敛性较好，的估计中出现的随机扰动对最优设计的影响并不大。实际算例见第 四章。 在第四章中我们用m a t l a b 实现了第二、三章中的算法，并给出了几个相应的例子。在 计算过程中，需要求多元函数的最值。我们使用的是王元和方开泰的s n t o 方法，通过数 值方法逐步缩小变量的范围来寻找最小值或者最大值。从结果来看，这个最优化方法在 本文中的计算精度较好，而且计算速度快。根据几个算法迭代的设计效和收敛速度可以 知道，大部分模型的计算结果都比较好。 第2 页 第二章b a y e s i a n 多响应模型的l b 一最优和d b 一最 优迭代算法 在本章中，我们根据参数的先验信息和样本信息，得到后验分布及多响应模型的信 息矩阵。然后介绍l 8 一最优准则和d 日一最优准则，并推导出在一定先验条件下b a y e s i a n 多 响应模型的l 口最优和d b 一最优等价性定理及迭代算法，通过算法来构造近似最优精确设 计，最后将算法编程加以实现。具体的算例见第四章。 2 1 模型简介 首先，给出有q 个响应的回归模型， 可= 7 ( z ) p + ( 2 1 ) 其中可= ( 们，蜘) ，阢表示模型的第i 个响应；( z ) = d i 0 9 ( ( z ) ，2 ( z ) ，厶( z ) ) ， ( z ) 是第i 个响应的控制变量元素的向量，为鼽1 维；p = ( 儡，瑶) 7 ，鼠是第i 个响应的未 知参数向量，为鼽1 维；e = ( e 1 ，e q ) 7 ，且e 一( o ，) 若考虑对这g 个因变量进行n 次试验，则第i 个响应的n 次试验可以表示为 m = 只觑+ 邑( 2 2 ) = ( 二：) ，只= ( 羔：三) n 巩，屈= ( ：，) ，邑= ( ；三) 其中玑，是第z 个响应在第j 次试验下的观测值，e 巧是第 个响应在第j 次试验的随机误 差；巧= ( z 1 j ，z 巧，z 幻) 7 表示第歹次试验的七个控制变量的值，其设计域x 是惫维欧式空 间础的子空间；五( z ，) 却 1 维列向量。这里假设响应函数在x 上连续，并且第i 个响应 的矩阵只满秩，秩为m ( 兰) = ( 日日) ( 主) + ( 兰) ( 2 - 3 ) 若记y = ( ，) 7 ，乃= 出。夕( f l ，) ，p = ( p i ，瑶) 7 ，f = ( 矗，) 。则( 2 3 ) 式可以写成 y = f d 8 + 琶 ( 2 - 4 ) 在( 2 4 ) 式中，我们假定不同次试验互不相关，则亭一( 0 ， 厶) ，从而y 一 ( 如卢，。厶) 因为只都是满秩的，所以对角阵而也是满秩，且其却：壹鼽 i = 1 第3 页 第二章b a y e h i a n 多响应模型的，j 最优和= ) 口最先迭代算法 2 2 参数侈的b a v e s 估计及信息矩阵 b a v e s i a n 统计认为在获得观测值之前，对未知参数口的取值有了一些认识，这种认 识用概率分布p ( 侈) 来概括，称为p 的先验分布。对上面的模型( 2 4 ) ，观测向量y 的 概率密度函数p ( y ，卢) 为( 而卢，o 厶) ，且假定参数卢具有正态先验分布( 阮，o ) ，其 中阮= ( 瞄”，儡。) ，o 是已知的p p 阶矩阵。如果o 未知或者先验分布未知，那么关 于口后验分布的协方差阵很难有显式表达式，当然如果先验信息是一些性质比较好的分 布，那么即使o 未知，也可以求出后验分布的协方差，这个可以作为以后考虑的问题进 行进一步的讨论，现在主要考虑o 已知的情况。 根据贝叶斯定理，有 于是，在给定观测向量y 后，p 的后验密度为p ( l y ) = 警，注意到， 1 = 柙瑚= 警 所以，p ( y ) = p ( y l p ) p ( p ) 叩圭三，这里c 是与p 无关的常数。则， p ( p i y ) = c p ( y l p ) p ( p ) o ( z ( p i k ) p ( 卢) 其中f ( p ) 是似然函数，且这个函数为： 咿ly ，) = ( 2 矿锥一e x ph ( 1 ，一( 。 1 ( y 一如卢) z ( p ly ，) = ( 2 7 r ) 一警i l 一号e x pi 一去( 1 ，一) 7 ( o 厶) 一1 ( y 一如卢) l 而口的先验分布为 p ( p ) _ ( 2 矿难o l _ p h ( p 一刚以p 一岛) 根据以上推导，在给定样本后口的后验分布为： p ( p i y ) l ( p iy ) p ( p ) 。c e x p 一壶( y 一场卢) 7 ( 一1q 厶) ( y 一如p ) e x p 一丢( 卢一风) 7 i 1 ( p 一风) e x p h ( y f d ( 1 。驯y 一卅( p 一刚烈卢一刚 令万= ( o 厶) 一1 如+ i 1 ( 。厶) 一1 y + i 1 阮 ，则 p ( 卢e x p 一丢 e x p ( y 一声) 一如( p 一鳓，( 。厶) 1 【( y 一序) 一如( p 一鳓 + 【( p 一矽) 一( 风一铆烈p 一声) 一( 阮一叫 p h ) e x p ( 翱( 1 而+ a ( p 翱 + ( y 一易声) 7 ( o 厶) 一1 ( y 一如矽) + ( 岛口) 7 i 1 ( 风一声) 。ce x ph ) e x p ( p 翱( 。 1 如+ a ( 嘲) 加入正则化因子后，p 的后验密度为 p ( p l y ) = ( 2 丌) 一暑l 嚣f _ e x p 一三 ( p 一面7 妻一1 ( 卢一面 ) ( 2 5 ) 这里， 万= ( 厶) 一1 + 卅 ( 厶) 一1 y + i 1 风 ，嚣= ( q 厶) 一1 f d + i 1 1 因此 卢i y 一( p ，) 因为是已知的，所以e ( ly ) = e ( 卢 y ) = 砧，且p 的b a y e s 估计为： 良= 万= ( o 厶) 一1 如+ i 1 昂( 厶) 一1 y + i 1 岛 而p 的后验方差为： c o v ( p l y ) = ( o 厶) 一1 如+ i 1 一1 若= ( z 1 ，z n ) 表示共有n 个点的试验设计，且是在每个点处试验的概率均为三 ( 礼个点可以有重复) 的精确设计。则在此后验密度及精确设计下，我们定义信息矩阵为：佗 ( u n ) 。寺( ( 。厶) 1 如+ i 1 ) = 三耋m 躯。1 m ) + 扣 = m ( u n ) + 去i 1 若三表示试验区域) ( 上所有连续概率分布的集合，那么对于三，( 出) = 1 ，我们 称为一个连续设计。这时关于连续设计的信息矩阵为 = z m ) 。蚓卅去i 1 2 3 最优准则及等价性定理 本节介绍两种最优设计，并推导出它们的等价性定理。 定义2 1 ：设计f 三称为l b 一最优，当且仅当对于给定矩阵吮，比三，有l b ( ) = t r 吮m 吾1 ( ) l b ( + ) 。 l 日最优设计的意义，是使回归函数线性组合各分量的后验方差期望和最小。特 别地，当吮= 伸于，l 口最优设计就是a b 最优设计。l b 一最优设计就是满足l 日( + ) = 噢t r 1 ( ) 。 第5 页 第二章b i c i a n 多响应模型的最仡和，) ，最优选代算法 定义2 2 ：设计+ 三称为d b 一最优设计，当且仅当对于比三，都有d b ( ) = l m 言1 ( ) d 且( + ) d b 最优设计的意义是使得对给定的置信水平1 一q ，回归函数的置信椭球体积达到最 小。d b 一最优设计就是满足d 日( + ) = 碘边l m 占1 ( ) i 。 c 二 下面给出这两个准则下多响应b a v e s i a n 最优设计的等价性定理，这是 在w h i t t l e ( 1 9 7 3 ) 的基础上加以推导得到的。我们不仅可以得到最优设计的谱点的一些 推断，还可以得到关于效的范围，以此作为衡量现有设计好坏的充分条件。 我们令以三表示单点设计，即设计在点z x 处发生的概率p = 1 ，在试验区域内其 它点处发生的概率均为o 。设吾三是一个凸集，且要 疋三：z ) ( ) ，以是单点测 度。即要就是包含所有单点测度的三的凸子集。 另外我们记准则函数z ( ) 是以设计为自变量的泛函，z ( ) = z ( m b ( ) ) ，最优设计就 是使该泛函达到最小值的设计，而z ( ) 是以信息阵m ( ) 为自变量的泛函。 定义2 3 ：设艺i m ( 言) _ r 7 是凸的，对范数l | ( ) i i = ( 打m ( ) ) 是半连续的，则定义 z ( f ，毒) = 觋差z ( ( 1 一n ) + q 享) ，其中( ，享) 蓦吾。 z ( f ，毒) 称为z 在处沿莓的方向导数，在s i l v e y ( 1 9 8 0 ) 中列举了方向导数的一些性质。 根据我们前面的假定条件，l 口和d 口的方向导数都是存在的。 定义2 4 ：若对v ( ，莓) 蓦要，满足z ( ，手) = z ( ，以) 手( 出) ，则称z 是线性的。 ，y 如果z 是线性的，那么；蹩z ( ，手) 2 妥! z ( ，疋) 。我们把所有使z ( ) 达到最小的设 计记作集合要z ，则一般的z 一最优设计具有以下性质： 引理2 1 ：z 满足定义2 3 和定义2 4 ，且是线性的，有： ( i ) f + 三z # 号i n f z ( + ，疋) = 0 ( i i ) z ( 荨，专+ ) z ( f ，+ ) = o z ( + ，) ，对一切，f 三，三z ( i i i ) s 聊+ z x ：z ( f + ，如) = o ，对一切三z 引理2 1 中( i ) 可用来判定已有设计是否为z 一最优设计，同样( i i i ) 也可作为判定设计是 否z 一最优的必要条件，这两个是推导z 一最优设计等价性定理的基础。而( i i ) 利用鞍点的 一些性质，给出了z 一最优设计的边界值。 引理2 2 ：( i ) 对比三，( ) = ( 以) f ( 出) ( i i ) 对v ( ，) 三三，q ( o ，1 ) ，矗= ( 1 一q ) + q 乓，有 乏蟾1 ( 矗) = 1 ( 毛) 【( ) 一( 享) 】1 ( 矗) i 焱一最优准则下泛函z ( ) = l b ( ) ：t r 吮( ) ，它的方向导数有如下性质： 定理2 1 ：( i ) l 日( ，莓) = l b ( ) 一t r 吮蟾1 ( ) m b ( 乏) m 占1 ( ) ( i i ) l b 是线性的。 证明：( i ) 第6 页 令q ( o ，1 ) ，且矗= ( 1 0 1 ) + q ，由方向导数的定义和引理1 2 ，有 l 口( 润2 溉羞毗1 ( 矗) 2 她t r 吮( 羞1 ( 厶) ) = 1 1 黑t r 吮1 ( 矗) 【( f ) 一( 乏) 1 ( 矗) = t r 魄1 ( ) 【( ) 一m b ( 手) 临1 ( ) b ( ，妇) 手( 如) = 如( ) 一仃观1 ( ) ( 如) 1 ( 嘲如) = l b 健) 一t r = l b ( ) 一t r 吮1 ( ) ( 享) 1 ( ) = l 。( ，毒) 由此，我们可以得到多响应模型b a y e s i a i l 下l b 一最优的等价条件。 定理2 2 ：+ 吾是l b 一最优设计，当且仅当 s u p1 1 1 ( + ) ( z ) l i 当。= t r 1 ( + ) 比m 吾1 ( f + ) m ( + ) 证明：由定理1 2 可知 l b ( + ，6 z ) = l b ( ) 一仃u 2 1 ( f ) m b ( 6 z ) a 唁1 ( + ) = t r 吮1 ( 洲( + ) 一( 冽1 ( + ) = t r 沈蟾1 ( ) m ( + ) 一妒( z ) 一1 7 ( z ) ) m ；1 ( + ) = 毗蟾1 ( f + ) m ( + ) 1 ( ) 一t r 观蚝1 ( + ) ( z ) 一一锹z ) 1 ( + ) = t r 吮m 吾1 ( + ) m ( f + ) 1 ( f + ) 一l | 1 ( 4 ) ( z ) 一钏跣 当+ 满足i n f l 日( f + ，6 z ) = o ，即为l b 一最优，所以 i n f l b ( ，6 z ) = t r 吮1 ( f + ) m ( + ) a 结1 ( + ) 一s u pi l 蛎1 ( ) 砂( z ) 一l i 跣= o s 圳蟾1 ( + ) ( z ) 晚= t r 1 ( f + ) 吮1 ( + ) m ( + ) 推论2 1 ：对任意设计f 三，是l 8 一最优设计，则有 2 一南协扣+ 翟呈州班。眯) 1 这里眯) = 1 ( ) 既1 ( 9 ( f ) = 器a 证明：因为 l b ) + 理i l 日( ，以) l 口( + ) l b ( ) 第7 页 第二章b ：l y c s i a n 多响宝模型的f ， 最优和，) ，i 最优迭代算法 所以1 + 南罂札心跳器 1 这里q ( ) = 1 ( ) 观1 ( ) 由推论2 1 ，我们可知试验设计效的范围，如果效的下界非常接近l ，说明设计较好， 这可以作为检验设计好坏的一个充分条件。 下面再看多响应模型d b 一最优设计的等价性定理： 定理2 3 ：( i ) d b ( f ，两= d b ( ) t r m ( ) 一m ( 享) 临1 ( ) ) ( i i ) d b 是线性的 证明：令q ( o ，1 ) ，且靠= ( 1 一o ) + q 享 ( i ) 熹l 蚝1 ( 剑= l 蟾1 ( 剑仃 地t r 沪肛) - v 弛z ) 蚴f ) ) = d 日( f ) t r ( m ( ) 一m ( 享) ) 屿1 ( ) = d b ( ，) 即j d b 是线性的。 根据定理2 3 ，我们可以得到多响应模型下b a y e s i a l l 的d b 一最优等价条件： 第8 页 定理2 4 ：+ 言是言中的d b 一最优设计，当且仅当 s u pt r 咖( z ) 一1 7 ( z ) m 言1 ( 专+ ) = t rm ( + ) a 结1 ( + ) z x 证明：由定理2 3 可知 d b ( ，以) = d b ( f ) t r ( m ( ) 一( z ) 。7 ( z ) ) 1 ( f ) ) 当f 满足i n f 以( ，以) = o ，即为d 且一最优，所以 r、 囊! 口b ( f ，如) = d 口( f ) t r m ( + ) 1 ( ) 一鬻仃( 啦：以帅) 1 ( f ) ，2 o 所以f + 为d 口一最优设计时，当且仅当满足下面等式 s u p t r ( z ) 一1 7 ( z ) a 巧1 ( + ) = t r m ( ) a 纭1 ( + ) 推论2 2 ：对任意设计兰，+ 是d b 一最优设计，有 1 + t r m ( f ) 坛1 ( 荨) 一s u pt r ( z ) 一1 妒7 ( z ) a 结1 ( f ) e d 日( ) 1 池d b ( 泸鬻。 证明：因为d b ( ) + i 婴f d b ( 荨，以) d b + ) d b ( ) 所以1 + 志磐d b 郴鬻 因此，我们有 1 + t rm ( f ) a 牾1 ( ) 一s u p 仃( z ) 一1 妒( z ) a 牾1 ( ) e d 且( f ) 1 2 4 多响应模型l b 一最优、d 8 一最优设计的迭代构造算法 这一部分，我们主要讨论如何构造先验信息下b a y e s i a n 多响应的最优设 计。j p i l z ( 1 9 8 3 ) 将f e d o r o v ( 1 9 7 2 ) 和w y n n ( 1 9 7 2 ) 提出的迭代方法运用到b a y e s i a n 单响应 模型下求最优设计，本文将p i l z 的结果推广到b a y e s i a n 多响应条件下。我们能确保算法 得到的每一步设计值都比前一次的设计更优，所得的函数序列是单调递减的。当多响应 之间的协方差矩阵是对角阵时，我们可以得到最优设计的显式表达式。若协方差矩阵是 一般式时，我们也实现了通过计算机编程计算最优设计，但其表示式过于繁复，很难表 示。 下面我们就来讨论协方差阵是对角阵时的a 最优和d 一最优迭代算法。首先给出算法 的几个符号定义。 第9 页 定义2 5 ：以下是三个关于设计符号的定义 ( i ) ，。= ( z 1 z 2 。，z j ，z n ，。) 表示第s 步迭代得到的设计其中有n 个点。巧，。 表示该设计的第，个点。 ( i i ) u + ( z 。+ l 。) = ( z l 8 z 2 ，。，z 叩，z 仉+ 1 ，。) 表示在n 个点的设计一中又加入 第( n + 1 ) 个点。 ( i i i ) 峨。= + 1 。一( z j ，。) = ( z 1 ，一，巧_ 1 。，+ 1 ，一，z 。+ l 。) ，表示在( 佗+ 1 ) 个 点的设计中，删去第j 个点。 算法2 1 ： s t e pl ： l 口一最优近似精确设计的构造算法。 选择一个有礼点的初始设计，记为”。1 意选取。 = ( z l 1 ，z ) ，这里的初始设计可以任 s t e p2 ：令s = 1 ，在设计 。，。中加入第( 礼+ 1 ) 个点，加入的第n + 1 个点要满足 而 如2 盯g 囊! l b ( 1 ( s + ( z ) ) = a r g 囊! 仃观1 ( ，s + ( z ) ) t r 观m 占- ( 扎。十( z ) ) = t r 吮 i 备m 日( 。+ i 击( z ) 一1 咖( z ) ) 。 = ( 扎+ 1 ) t r 观h 朋r b ( n 一) + ( z ) 一1 妒7 ( z ) 一1 将吮记为分块矩阵的形式，其中对角分块阵巩，1 ，观，。分别为p 1 p 1 维， ，舶维的方阵，即观= 并且记a ，。= 町2 五( z ，。) 爿( z - ，。) ) 爿( z 住，。) + 面1 ，贝0 t r 观坼1 ( ，。+ ( z ) ) = ( 吮，1 a 1 s + 盯： ) 爿( z 朝- 观，。a + q 二厶。z ，名。z ，一，) = + 1 ) = ( n + 1 ) 喜t r 卜。一掣器觜 o ，一，o ( z ) a 0 观l a 嚣 ( z ) 善毗t a 若一喜等蒜嚣掰l = l1 2 l 。 v 1 。 要使上式达到最小，就要使 z n + 1 ，s2a r gs u p z x 第1 0 页 ( 2 6 ) ， ， 、厂 丰 木十 1 k 宰木一 【几 + 糕 坐砰 于是，设计u 。+ 1 ，。= 。+ ( z 。扎，) ；接着从设计+ 1 。中删去一个点，若删去 的点为q ，。，则删去点以后的设计为垅，= + 1 ，。一( 巧，。) ，该设计要满足 这里 记 t r 比( 1 ( s ) ) 5 j 掣2 + ， t r 观( 1 ( 壤，s ) ) 蝌叱) = 等( ) 一沁_ 协如) ) 1 = 咒 ( 死+ 1 ) ( 口。+ 1 。) 一咖协如) 一1 ( q ，。) ) 1 鼠，。= 盯_ 2 五( z ，。) ( z ，。) + + 町2 ( z n ，。) ( z 竹，。) + 盯f 2 五( z 。+ 如) ( z n + 。，。) 于是， t r 观( 蚝1 ( 吒) ) = m l nt r j 1 ，n + 1 ) 观1 ( 碟，。) 2 j 乎臻+ 。) nt r 观 ( n + 1 ) ( + ，s ) 一咖( 巧，s ) 一1 咖( 巧，s ) 。1 2 j ( 只骧+ 1 ，nt r 巩击。9 ( b 如一盯f 2 ，( 巧，s ) ，7 ( ，s ) ，岛，s 一仃彳2 ，( z 如) ，7 ( s ) ) 一1 2 州患，) n 。善毗船厂町2 胞( 跏1 = m l n礼 j 1 ，n + 1 ) 毗t 昭+ 妻警糕甓捌 舭净气嘏州喜孥糕篇捌 s t e p3 ：计算设计u ：j ：。的效的下界e o ，。， e o s = 2 一 l b ( 磙。)净批( 吒) + 裟州班m 加( u o ) ) 这里，q ( 。) = m 畜1 ( 垅。) 吮临1 ( 垅。) 。 称。为l b e o 最优，否则令s = s + 1 ， 若e o 。e o ，e 0 为事先给定的常数，则 重复s t e p 2 。 在s t e p l 中需要选择一个初始设计，这个初始设计可以任意选择，并不影响最后的 最优设计。但我们发现，初始设计的不同会影响迭代的次数。如果初始设计是经过选择 的，那么迭代次数可以变少。下面我们介绍一种选择的初始设计的算法，使其尽量减少 后面的迭代次数。 考虑到b a y e s i a n 信息阵总是正定的， 点直至找满n 个点，组成一个初始设计。 所以我们这个初始设计可以从单点开始，逐步加 第l1 页 叮谢 l 第二章b a y e s i a n 多响立模型的正最优和门；最优选代算法 算法2 2 ：l 口一最优初始设计构造算法。 s t 印l ：寻找z 1 ) ( ，z 1 要满足 所以 z 1 = a r gi 婴fl b ( 玷( z ) ) z x rq 口 一嚷p 耐一 记u 1 = ( z ) s t e p2 ：锄= 1 ，寻找第0 + 1 ) 个点巧+ 1 ，巧+ 1 要满足 巧+ 2a r g 奥! l b ( ( 吻+ ( z ) ) ) = a r g 磐仃观1 ( + ( z ) ) 记a t = 町2 ( z ) 月( z ) + + 町2 ( 巧) 彤( 巧) + 面1 ，则 仃吮a 结1 ( + ( z ) ) = 0 + 1 ) 所以 = 0 + 1 ) = ( 歹+ 1 ) t r 沈j a i + 町2 ( z ) ( z ) 。1 引嘴1 一等黼 妻毗小喜等黼 于是得到+ 1 = 吻+ ( + 1 ) ，锄= j + 1 。重复s t e p 2 。 s t e p3 ：当j + 1 = n 时，停止迭代，记，1 = ( z 1 ，z 2 ，z n ) ，并将，1 作为迭代算法2 1 的 初始设计。 事实上，按照算法2 2 所得的初始设计往往已经是较优的，一般将其代入算法2 1 后只 需迭代几次即可得到精确的设计。 接下来，类似于上面三口一最优设计，我们再给出求b a y e s i a n 多响应下d b 一最优设计的 算法。 算法2 3 ：d b 最优近似精确设计的构造算法。 s t e pl ：选择一个有n 点的初始设计，记为 。，1 = ( z 1 ，l ，z 。，1 ) ，这个初始设计可以任 第l2 页 引蒙 丝糕 篪一以 墨陆糯 坐砰 。汹 眦蚝 鬻糕丝砰 口澍 翟 鹕 意选取。 s t e p2 ：令s = l ，在设计，。中加入第( 佗+ 1 ) 个点，使加入的第( 几+ 1 ) 个点满足 z n + 1 5 a r g 警d b ( ( ，s + ( z ) ) ) = 盯gs u p o xi ( ，。+ ( z ) ) 而i ( ，。+ ( z ) ) l = ii 备( 。+ i 击( z ) 以砂