（概率论与数理统计专业论文）正规因析裂区设计的构造与性质.pdf

摘要 接 下来 ，b i n g h a m a n d s i t t e r ( 1 9 9 9 b ) 把 这种 矩 阵表 示 推广 到 两 水平f f s p 设 计 上 但这种表示在多水平情况下不能直接应用，其原因主要在于并非所有的多水 平裂区设计都能由一个统一的矩阵表示出来 这给理论结果的推导增加了一定的 难度 我们在第 5 章对多水平 f f s p设计提出了一种矩阵表示的方法， 其中我们 重点比较了矩阵表示方法在多水平和两水平下的区别. 同时在多水平情况下， 我 们还得到了一些与 分辨度和最小低阶混杂准则相关的周期性结果， 即在因子数达 到一定数量之后， 再增加某固 定个数的因子， 相应 f f s p设计的分辨度和字长型 会呈现某种周期性的形式 近 来，k u l a h c i e t a l . ( 2 0 0 6 ) 明 确指出 最小 低阶 混 杂作 为f f s p 设 计的 设 计 准则存在某种缺陷， 并对裂区 设计提出一个纯净两因子交互效应个数最大的设计 准则的改进形式. 但是什么情况下裂区设计中纯净两因子交互效应才存在呢? 第 2 章和第 4 章对该问题进行了 解答， 并首次针对 f f s p设计系统地得到了 纯净效 应存在的充分必要条件. 在第 2 章中，我们主要研究了两水平 f f s p设计中纯净 的主效应和三类两因子交互效应 ( 即wp 2 fi s , s p 2 fi s 和 ws 2 fi s ) 的情况. 对分辨 度为i i i 的2 ( + + z ) 一 ( k l + k z ) 设 计 来 说， 我们 证明 了 纯净w p主 效 应 或 纯净wp 2 fi s 存在的 充 分 必要 条 件 是。 : 2 p - 1 和n 2 2 p - 1 一 2 p - 1 ; 纯 净s p主 效 应 ，s p 2 fi s 或 ws 2 fi s 存在当且 仅当 n , 2 p , -1 和 n 2 2 7 - 1 - n 1 同时满足 对分辨度为 w 的设计来说，所有主效应都是纯净的，而且对两因子交互效应的充分必要条 件 也变 了 这种 情况 下我 们 证明 了， 纯净 w p 2 fi s 存在 当 且 仅当n 1 2 p , - 2 + 1 和。 : 2 p - 2 一2 p . - 2 同时满足; 而纯净 s p 2 fi s 或ws 2 fi s 存在的充分必要条件变 为n 1 2 p 一 和。 : 2 p - 2 一 n 1 +1 . 我 们 知 道，f f s p设 计 常常 用 于 稳健 参数 设计中. 由于控制 x噪声交互效应在稳健设计中非常重要， 所以我们 特别关注了 f f s p设计中的ws 2 fi s . 在第2 . 5 节中， 我们 研究了所有ws 2 fi s 都纯净的f f s p 设计， 井得到这类设计存在的一些条件.这些结果中一个比较漂亮的特点是， 它 们都是构造性的， 而且如果存在的话，它们也给出了得到相应设计的方法.第 4 章把第2 章中的结果推广到混水平 f f s p设计中 在第4 章中， 我们通过定理4 . 1 和 定理4 .2 分别 得到f f s p 设计中 纯净4 水平w p因 子 或 纯净4 - 2 水 平ws 2 fi 存在的充分必要条件， 并且从定理 4 . 4 中还得到什么 情况下 4 水平wp因 子和某 个2 水平s p因 子的 两 因 子 交 互效 应的 三个 成分 都 是 纯净 的. f f s p 设 计常 常 用 于 设 计稳 健 参数 试 验 ( 见b in g h a m a n d s i t t e r , 2 0 0 3 ) . 稳 健 参数设计是一种统计或工程学方法， 它是通过研究控制因子和噪声因子间的交互 作用来改变控制因子的水平组合，最终达到减少系统变差这一目 的的 如果试验不能在齐性条件下实施的话，我们常常使用分区组的稳健参数设 计. 分区 组可以排除由试验单元的非齐性而引起的系统变差， 这是一种有效的提 v i i 高试验效率的方法. 如何以一种最优的方式分区组是实际中一个很重要的间 题. mc l e o d a n d b r e w s t e r ( 2 0 0 6 ) 对 f f s p稳健参数设计的分区组描述7两种情形. 但是仅仅考虑了分到 2 或4 个区组的情况. 在第6 章中， 我们 提出并研究了 把完 全因析稳健参数设计分到很多个区组的情况. 我们首先建立了 完全因 析稳健参数 设计的分区组方案和相应的部分因析稳健参数设计之间一一对应的关系 然后基 于这种关系我们给出了两种最优分区组方案. 这两种分区组方案都保证主效应不 和区组效应混杂， 而且按照稳健参数设计中的效应排序， 可使尽可能少的低阶 效 应和区组效应混杂. 第 7 章是一些总结性的评注， 同时提出了一些值得进一步研 究的问题. 关键词: 分区组; 纯净; 补设计; 部分因析设计; 最小低阶混杂; 混和水平; 多水 平;正规; 分辨度;稳健参数设计;裂区设计; 弱最小低阶混杂. 学科分类号: 0 2 1 2 .6 . abs t r a c t a f a c t o r i a l e x p e r i m e n t i s a n e x p e r i m e n t w h o s e d e s i g n c o n s i s t s o f t w o o r m o r e f a c t o r s , e a c h w i t h d i s c r e t e p o s s i b l e v a l u e s , c a l l e d l e v e l s , a n d w h o s e e x p e r i m e n t al u n i t s t a k e o n a ll p o s s i b l e c o m b i n a t i o n s o f t h e s e l e v e l s a c r o s s a l l s u c h f a c t o r s . t h e s e c o m b i n a t i o n s a r e c a l l e d r u n s . f r a c t i o n a l f a c t o r i a l ( f f ) d e s i g n s a r e e x p e r i m e n t a l d e s i g n s c o n s i s t i n g o f a c a r e f u l ly c h o s e n s u b s e t ( f r a c t i o n ) o f t h e e x p e r i m e n t a l r u n s o f a f u l l f a c t o r i a l d e s i g n . t h e s u b s e t o r f r a c t i o n i s c h o s e n s o a s t o e x p l o i t t h e s p a r s i t y - o f - e ff e c t s p r i n c i p l e t o a c c e s s i n f o r m a t i o n a b o u t t h e m o s t i m p o r t a n t f e a - t u r e s o f t h e p r o b l e m s t u d i e d , w h i l e u s i n g c o n s i d e r a b l y f e w e r r e s o u r c e s t h a n a f u l l f a c t o r i a l d e s i g n f r e q u e n t l y i n m u l t i f a c t o r e x p e r i m e n t s , i t is n o t p o s s i b l e t o c o m p l e t e l y r a n - d o mi z e t h e e x p e r i m e n t al r u n s . p e r h a p s i t i s j u s t m o r e d i f f i c u l t o r e x p e n s iv e t o c h a n g e s o m e f a c t o r s t h a n o t h e r f a c t o r s . i n t h e s e c a s e s , s p l i t - p l o t d e s i g n s n e e d t o b e u s e d . t o r u n s u c h d e s i g n s , w e f i r s t r a n d o m l y c h o o s e o n e l e v e l - c o m b in a t i o n o f t h e h a r d - t o- c h a n g e f a c t o r s , w h i c h w e c a l l w h o l e p l o t ( wp ) f a c t o r s , a n d t h e n r a n d o m l y c h o o s e d i ff e r e n t l e v e l - c o m b i n a t i o n s o f t h e r e s t f a c t o r s , w h i c h w e c al l s p li t - p l o t ( s p ) f a c t o r s , w i t h i n t h e s a m e w h o l e p l o t s . a f r a c t i o n a l f a c t o r i a l s p l i t - p lo t ( f f s p ) d e s i g n s c a n b e o b t a i n e d t h r o u g h d e fi n i n g w o r d s . h u a n g e t a l . ( 1 9 9 8 ) p o i n t e d o u t t h a t i t i s b e t t e r i f wp f a c t o r s a r e i n c l u d e d in t h e s p f a c t o r i al d e fi n i n g w o r d s . b u t a n y s p f a c t o r c a n n o t b e c o n t a i n e d i n wp f a c t o r i a l d e fi n i n g w o r d s . a c c o r d in g t o t h e s e r e s t r i c t i o n s , w e g i v e a n e x p l i c i t s t r u c t u r e f o r r e g u l a r f f s p d e - s i g n s i n s e c t i o n 2 .2 . t h e s t r u c t u r e p l a y s a c r u c i a l r o l e i n t h e f o l l o w i n g c o n s t r u c t i o n a n d p r o p e r t i e s o f f f s p d e s i g n s t h e d e s i g n m a t r ix o f a n f f s p d e s i g n l o o k s e x a c t l y l i k e a c l a s s i c al f f d e - s i g n m a t r i x . b y n o t i n g t h i s p o i n t , h u a n g e t a l . ( 1 9 9 8 ) e x t e n d e d t h e c o n c e p t o f a b e r r a t i o n t o s p li t - p l o t d e s i g n s t o c o m p a r e d iff e r e n t d e s i g n s . i n t h i s m a n n e r , a n e x t e n s i v e c a t a l o g o f m i n i m u m a b e r r a t i o n s p l i t - p l o t d e s i g n s a r e t a b u la t e d . t h e n e x t s e v e r a l p a p e r s c o n s i d e r e d f f s p d e s i g n s a l s o f r o m m i n i m u m a b e r r a t i o n c r i - t e r i o n . a s w e k n o w , f f d e s i g n s w i t h m i n i m u m a b e r r a t i o n c a n n o t b e e a s i l y c o n s t r u c t e d w h e n t h e n u m b e r o f f a c t o r s i s n o t t o o l a r g e o r t o o s m a l l c o m p a r e d i iab s t r a c t w i t h t h e n u m b e r o f e x p e r i m e n t a l r u n s . s o i t i s a l s o d i ff i c u l t t o o b t a i n f f s p d e - s i g n s w i t h mi n i m u m a b e r r a t i o n i f t h e r e a r e m a n y w h o l e p l o t ( o r s u b p l o t ) f a c t o r s w h i l e o n l y f e w s u b p l o t ( w h o l e p l o t ) f a c t o r s . c h a p t e r 3 c o n s t r u c t e d s u c h d e s ig n s u s i n g t h e i d e a s fr o m c o m p l e m e n t a r y d e s i g n s . a c c o r d i n g t o t h e s t r u c t u r e o f s p l i t - p l o t d e s i g n s p r e s e n t e d i n s e c t i o n 2 . 2 , c h a p t e r 3 o b t a i n s s o m e t h e o r e t i c a l r e s u l t s w h ic h c a n b e u s e d t o c o n s t r u c t s u c h f f s p d e s i g n s w i t h w e a k m in im u m a b e r r a - t i o n . c o m p a r i s o n s w i t h p r e v i o u s w o r k s h o w t h a t m a n y d e s i g n s w e c o n s t r u c t e d a r e a l s o m i n i m u m a b e r r a t i o n a n d t h e c o n s t r u c t i o n m e t h o d is s i m p l e . c h e n a n d wu ( 1 9 9 1 ) s u m m a r i z e d t h e d e fi n i n g c o n t r a s t s u b g r o u p s o f f i t d e - s i g n s t h r o u g h t h e u s e o f m a t r i c e s f o r 2 - l e v e l c a s e . s u b s e q u e n t l y , b i n g h a m a n d s i t t e r ( 1 9 9 9 b ) e x t e n d e d t h e m a t r i x r e p r e s e n t a t i o n t o t w o- l e v e l f f s p d e s i g n s . b u t t h i s r e p r e s e n t a t i o n c a n n o t b e a p p l i e d d i r e c t l y t o t h e m u l t i- l e v e l c a s e m a i n l y b e c a u s e n o t a ll m u l t i - l e v e l d e s i g n s c a n b e r e p r e s e n t e d b y m a t r i c e s w i t h a u n i f o r m f o r m . c o n t i n u i n g t o c o n s i d e r r e s o l u t i o n a n d m i n i m u m a b e r r a t i o n , c h a p t e r 5 p r o- p o s e s t h e m a t r i x r e p r e s e n t a t i o n f o r m u l t i - l e v e l f f s p d e s i g n s . t h e m a i n d i ff e r e n c e b e t w e e n t h e m a t r ix r e p r e s e n t a t i o n f o r m u l t i - l e v e l a n d 2 - le v e l f f s p d e s i g n s a r e e m p h a s i z e d . a n d a l s o s o m e p e r i o d i c r e s u l t s r e l a t i n g t o t h e m u l t i - l e v e l c a s e a r e o b t a in e d , i .e . t h e m a x i m u m r e s o l u t i o n a n d m i n i m u m a b e r r a t i o n a r e p e r i o d i c f o r m u l t i - l e v e l f f s p d e s i g n s w h e n t h e n u m b e r o f f a c t o r s i s l a r g e e n o u g h . r e c e n t l y , k u l a h c i e t a l . ( 2 0 0 6 ) h a s c r i t i c iz e d m i n i m u m a b e r r a t i o n a s a d e - s i g n c r i t e r i o n f o r f f s p d e s i g n s a n d p r o v i d e d a m o d i fi e d v e r s i o n o f t h e m a x i m u m n u m b e r o f c l e a r t w o f a c t o r i n t e r a c t i o n s d e s ig n c r it e r i o n f o r s p l i t - p l o t d e s i g n s . b u t w h e n d o c l e a r t w o f a c t o r i n t e r a c t i o n s e x i s t ? c h a p t e r 2 a n d c h a p t e r 4 g i v e s o m e s o l u t i o n s t o t h i s p r o b l e m. i n c h a p t e r 2 , w e m a i n l y f o c u s o n t h e s t u d y o f c l e a r ma i n e ff e c t s a n d t h r e e k i n d s o f 2 f i s ( i .e . wp 2 fi s , s p 2 f is a n d ws 2 fi s ) i n 2 - l e v e l f f s p d e s i g n s . f o r d e s i g n s w i t h r e s o l u t i o n i i i , w e d e r i v e t h a t c l e a r wp m a i n e f - f e c t s o r wp 2 fi s e x is t i f a n d o n l y i f n j 2 p - 1 a n d n 2 2 p - 1 一 2 p - 1 ; a n d c l e a r s p ma i n e ff e c t s , s p 2 f i s o r ws 2 fi s e x i s t i f a n d o n l y i f n j 2 p ， 一1 a n d n 2 2 p - 1 一 n 1 . f o r d e s i g n s w i t h r e s o l u t i o n n, a ll m a i n e ff e c t s a r e c l e a r a n d t h e s u f fi c i e n t a n d n e c e s s a ry c o n d i t i o n s f o r 2 f i s a r e a l s o c h a n g e d . i n t h is c a s e , w e o b t a i n t h a t c l e a r wp 2 fi s e x i s t i f a n d o n l y i f n j 2 p - 2 +1 a n d n 2 2 p - 2 一2 p - 2 ; a n d a l s o c l e a r s p 2 fi s o r ws 2 f i s e x is t i f a n d o n l y if n j 2 p - a n d n 2 7 ) . f o r e c o n o m i c r e a s o n s , fr a c t i o n a l f a c t o r i a l ( f f ) d e s igns , w h i c h c o n s i s t o f a s u b s e t o r fr a c t i o n o f f u l l f a c t o r i al d e s i g n s , a r e c o m m o n ly u s e d . f f d e s i g n s c a n b r o a d l y b e c l as s i fi e d i n t o t w o t y p e s : r e g u l a r a n d n o n r e g u l a r . a n f f d e s i g n i s c a l l e d r e g u l a r i f i t c a n b e c o n s t r u c t e d t h r o u g h d e fi n i n g r e l a t i o n s a m o n g f a c t o r s . f o r t h e s e d e s i g n s , a n y t w o f a c t o r i al e ff e c t s e i t h e r c a n b e e s t i m a t e d i n d e p e n d e n t l y o f e a c h o t h e r , i . e . o r t h o g o n al , o r a r e f u l l y a l i as e d . o n t h e c o n t r a r y , t h e d e s i g n s t h a t d o n o t p o s s e s s t h i s p r o p e r t y a r e c a l le d n o n r e g u l a r d e s i g n s . o n l y r e g u l a r d e s i g n s a r e c o n s i d e r e d i n t h i s t he s i s . t o s e l e c t g o o d r e g u l a r d e s i g n s , b o x a n d h u n t e r ( 1 9 6 1 ) f ir s t p r o p o s e d t h e 1 2 1 f r a c t i o n a l f a c t o r i a l d e s i g n s a n d f r a c t i o n a l f a c t o r i a l s p l i t - p l o t d e s ig n s m a x i m u m r e s o l u t io n c r it e r i o n . a n d t h e n , f r i e s a n d h u n t e r ( 1 9 8 0 ) p r o p o s e d a m o r e e l a b o r a t e c r i t e r i o n , c a l l e d m i n i m u m a b e r r a t io n . s i n c e t h e c o n s t r u c t i o n o f d e s i g n s w i t h m i n i m u m a b e r r a t i o n i s n o t e a s y f o r s o m e p a r a m e t e r s , t a n g a n d wu ( 1 9 9 6 ) a n d c h e n a n d h e d a y a t ( 1 9 9 6 ) a l m o s t s i m u l t a n e o u s p r o p o s e d w e a k m i n i m u m a b e r r a t io n , w h i c h i s a w e a k v e r s i o n o f m i n i m u m a b e r r a t i o n c r i t e r i o n . a ll t h e s e c r i t e r i a a r e b a s e d o n w o r d l e n g t h p a t t e r n . c l e a r e ff e c t c r i t e r i o n i s i n t r o d u c e d 勿wu a n d c h e n ( 1 9 9 2 ) f r o m a d i ff e r e n t a n g l e . i t a im s t o s e l e c t d e s i g n s w i t h mo r e c l e a r m a i n e ff e c t s a n d t w o f a c t o r i n t e r a c t i o n s . r e c e n t l y , z h a n g e t a l . ( 2 0 0 6 ) f o u n d s o m e d r a w b a c k s f o r a l l t h e a b o v e c r i t e r i a a n d p r o p o s e d g e n e r a l m i n i m u m lo w e r - o r d e r c o n f o u n d i n g c r i t e r i o n t o r a n k c a n d i d a t e d e s i g n s , w h i c h i s s t r i c t l y b a s e d o n e ff e c t h i e r a r c h i c a l p r i n c i p l e a n d m o r e g e n e r a l t h a n o t h e r c r i t e r i a . 1 . 2 fra c t i o n a l f a c t o r i a l s p l i t - p l o t d e s i g n s wh e n a n e x p e r i m e n t is p e r f o r m e d , i t is r e q u i r e d t h a t t h e e x p e r i m e n t a l r u n s a r e c o m p l e t e ly r a n d o m i z e d . f r e q u e n t l y i t i s i m p r a c t i c a l t o p e r f o r m t h e e x p e r i - m e n t a l r u n s i n a c o m p l e t e l y r a n d o m o r d e r . t h e s e s i t u a t i o n s h a p p e n , i n p a r t i c u l a r , w h e n t h e l e v e l s o f s o m e o f t h e f a c t o r s a r e v e r y d i f fi c u l t o r e x p e n s i v e t o c h a n g e . i n t h e s e c a s e s , a fr a c t i o n a l f a c t o r i a l s p l i t - p l o t ( f f s p ) d e s i g n , w h i c h i n v o l v e s a t w o- p h a s e r a n d o m i z a t i o n , m a y r e p r e s e n t a p r a c t i c a l d e s i g n o p t i o n . i n f f s p d e - s i g n s , f a c t o r s w i t h h a r d - t o- c h a n g e l e v e ls a r e c a l l e d w h o l e p l o t ( wp ) f a c t o r s , a n d f a c t o r s w i t h r e l a t i v e l y - e a s y - t o- c h a n g e l e v e l s a r e c a l l e d s u b p l o t ( s p ) f a c t o r s . w e c a n r e f e r t o b o x a n d j o n e s ( 1 9 9 2 ) f o r a n e x c e ll e n t d i s c u s s i o n f o r s p l i t - p l o t d e s i g n s i n i n d u s t r i a l e x p e r i m e n t s a s d i s c u s s e d la t e r i n m o r e d e t a i l , t h e d e s i g n m a t r ix o f a n f f s p d e s i g n l o o k s e x a c t l y l i k e a c l a s s i c a l f f s , a n d t h e d i ff e r e n c e li e s i n t h e r a n d o m i z a t i o n s t r u c t u r e o f t h e d e s i g n . i t i s t h e t w o- p h a s e r a n d o m i z a t i o n i n a n f f s p d e s i g n t h a t i n d u c e s s e v e r a l n o v e l f e a t u r e s w h ic h d i s t i n g u i s h i t fr o m a c l a s s i c a l f f d e s i g n . t h e m o s t n o t a b l e o f t h e s e , a s s u m m a r i z e d i n m u k e r j e e a n d f a n g ( 2 0 0 2 ) , a r e t h e f o l l o w i n g t w o : ( a ) n o t a l l f a c t o r s h a v e t h e s a m e s t a t u s , ( b ) i n f e r e n c e i s p o s s i b l e a t t w o d i s t i n c t l e v e l s o f a c c u r a c y . b a s e d o n t h e a b o v e , h u a n g e t a l . ( 1 9 9 8 ) a d o p t e d t h e m i n i m u m a b e r r a t io n c r i t e r i o n t o r e g u l a r t w o- l e v e l f f s p d e s i g n s t o c h o o s e a n o p t i m a l d e s i g n f o r a t h i n - f i l m c o a t in g e x p e r im e n t . b i n g h a m a n d s i t t e r ( 1 9 9 9 a ) l a t e r d e v e l o p e d a n e w s e q u e n t i al c o n s t r u c t i o n m e t h o d a n d c o m p i le d a c a t a l o g o f 1 .2 f r a c t i o n a l f a c t o r i a l s p l i t - p l o t d e s ig n s mi n i m u m a b e r r a t i o n t w o- l e v e l f f s p d e s i g n s w i t h 8 a n d 1 6 r u n s v i a p r i m a r i ly a l g o r i t h m i c a p p r o a c h e s . c o n t i n u i n g w i t h t h e t w o- l e v e l c a s e , b i n g h a m a n d s i t t e r ( 1 9 9 9 b ) r e p o r t e d s e v e r a l t h e o r e t i c a l r e s u l t s a n d h i g h l i g h t e d s o m e o f t h e d iff e r e n c e s b e t w e e n c l a s s i c a l f f d e s i g n s a n d f f s p d e s i gns . m o s t r e c e n t p a p e r s o n s p li t - p l o t d e s i g n s c o n c e n t r a t e o n m in im u m a b e r r a t i o n a s t h e d e s i g n c r i t e r i o n . b e c a u s e o f l a c k o f i n t e r c h a n g a b i l i t y o f wp f a c t o r s a n d s p f a c t o r s in s p l i t - p l o t d e s i g n s , t h e r e fr e q u e n t l y a r e s e v e r a l n o n i s o m o r p h i c f f s p d e s ig n s a l l h a v i n g m i n i m u m a b e r r a t i o n . i n t h i s s p i r i t , m u k e r j e e a n d f a n g ( 2 0 0 2 ) c o n s i d e r e d g e n e r a l p r i m e o r p r i m e - p o w e r e d l e v e l f f s p d e s i g n s a n d e x p lo r e d a c r i t e r i o n o f m i n i m u m s e c o n d a ry a b e r r a t i o n w h ic h s i gni fi c a n t l y n a r r o w s t h e c l a s s o f c o m p e t i n g n o n i s o m o 印 h i e m i n i m u m a b e r r a t i o n d e s i g n s a n d v e ry o f t e n y i e l d s a u n i q u e o p t i m a l d e s i gn. b u t l e r ( 2 0 0 7 ) c o n s t r u c t e d s p li t - s p l i t - p l o t d e s i g n s al s o w i t h m i n i m u m a b e r r a t i o n a n d m i n i m i z e d t h e a l i a s i n g o f t w o- f a c t o r i n t e r a c t i o n s w i t h w h o l e p l o t s a n d s u b p l o t s u s i n g g r i d r e p r e s e n t a t i o n s . n o t a ll s p l i t - p l o t d e s ig n s w i t h m i n i m u m a b e r r a t i o n , h o w e v e r , c a n b e e a s i l y c o n s t r u c t e d . i n t h i s c a s e , d e s i gns w it h w e a k m i n i m u m a b e r r a t i o n w i l l b e d e s i r a b l e . c h a p t e r 3 g i v e s a m e t h o d t o c o n s t r u c t s p l i t - p l o t d e s i g n s w i t h w e a k m i n i m u m a b e r r a t i o n w h e n t h e r e a r e m a n y wp ( s p ) f a c t o r s a n d o n ly f e w s p ( wp ) f a c t o r s mi n i m u m a b e r r a t i o n i s n o t al w a y s a g o o d c r i t e r i o n f o r r a n k i n g d e s i g n s . k u - l a h c i e t al . ( 2 0 0 6 ) h a s c r i t