（计算机应用技术专业论文）ipv6协议一致性测试例设计方法.pdf

p y 6 协议一致性测试例设计方法：摘要 摘要 i p v 6 作为下一代互联网的核心协议正在逐步走向实用阶段。在这个过程中， 各个厂家所推出的不同的i p v 6 协议实现版本是否与i p v 6 协议标准一致及它们之 间是否能够安全、可靠地相互通讯，对于i p v 5 的普及秘发展至关重要。协议一 致性测试的目的就是测试一个协议标准和它的多种不同实现之间的一致性以保 证这些不同实现之间能够互操作。因此开展i p v 6 协议一致性测试技术的研究对 于i p v 6 的发展具有重要的意义。 测试例设计方法的研究对协议一致性测试十分重要。它决定了测试的质量， 是铡试操作和测试执行的基础，是整个协议测试的核心。 本论文在深入研究协议一致性测试理论中关于抽象测试集生成的部分以及 现有测试生成方法的基础上，针对i p v 6 协议的一致性测试，分析了基于i s 0 9 6 4 6 定义的标准测试例结构的常规测试例设计方法用于生成i p v 6 协议致性测试例 的不足之处，通过对i p v 6 协议特点的深入分析和i p v 6 协议测试的实践，创新性 地提出了种i p v 6 协议一致性测试例设计方法给出了新的i p v 6 协议一致性测 试例结构，并将提出的方法成功地应用到了商业i p v 6 协议测试仪的实现中。为 了量化地分析测试例的质量，本论文提出了测试例评价指标。通过对实际产生的 测试例的分析表明，本论文提出的方法可以有效地简化测试序列，缩短测试执行 时间，提高测试效率。 关键词：i p v 6 、一致性钡j 试、测试例、前测试步、后测试步 i p v 6 协议一致性测试例设计方法：a b s t r a c t at e s tc a s ed e sig nm e t h o df o rip v 6p r o t o c oic o n f o r m a n c et e s tin g z h e n gh o n g x i a dir e c t e db yli z h o n g c h e n g a st h ec o r ep r o t o c o lo fn e x tg e n e r a t i o ni n t e r n e t ，i p v 6i sg o i n gi n t o t h es t a g eo fb e i n ga p p l i e dp r a c t i c a l l ys t e pb ys t e p i nt h i sp r o c e s s ， w h e t h e rd i f f e r e n tv e r s i o n so fi p v 6p r o t o c o li m p l e m e n t a t i o n so f f e r e db y e a c hm a n u f a c t u r e rc o n f o r mt oi p v 6p r o t o c o ls t a n d a r d sa n dw h e t h e rt h e yc a n c o m m u n i c a t ew i t h e a c ho t h e r s a f e l ya n dr e l i a b l y i sc r u c i a lf o rt h e p o p u l a r i z a t i o n a n d d e v e l o p m e n t o fi p v 6 t h e o b j e c t i v e o f p r o t o c o l c o n f o r m a n c et e s t i n gist ot e s tt h ec o n f o r m a n c eb e t w e e nap r o t o c o ls t a n d a r d a n di t sv a r i a b l ei m p l e m e n t a t i o n ss ot h a tt h e s ed i f f e r e n ti m p l e m e n t a t i o n s c a ni n t e r o p e r a t ew i t he a c ho t h e r t h e r e f o r e ，t od e v e l o pr e s e a r c ho ni p v 6 p r o t o c o l c o n f o r m a n c e t e s t i n gt e c h n o l o g y i s s i g n i f i c a n t f o r t h e d e v e l o p m e n to fi p v 6 r e s e a r c ho nt e s tc a s e d e s i g n m e t h o d si s i m p o r t a n t t o p r o t o c o l c o n f o r m a n c et e s t i n g i td e c i d e st h eq u a l i t yo ft h et e s ta n di st h eb a s i s o ft e s to p e r a t i o na n dt e s te x e c u t i o n ，t h u si t i st h ec o r eo fp r o t o c o l c o n f o r m a n c et e s t i n g b a s e do nt h o r o u g hi n v e s t i g a t i o no ft h ea b s t r a c tt e s tc a s eg e n e r a t i o n p a r t i nt h e p r o t o c o l c o n f o r m a n c e t e s t i n gt h e o r y a n d e x i s t i n g t e s t g e n e r a t i o nm e t h o d s ，f o c u s e do ni p v 6p r o t o c o lc o n f o r m a n c et e s t i n g ，t h i s d i s s e r t a t i o na n a l y z e st h e s h o r t c o m i n go ft h eu s e o fn o r m a lt e s tc a s e d e s i g nm e t h o d ，w h i c hi sb a s e do ns t a n d a r dt e s tc a s es t r u c t u r ed e f i n e di n i s 0 9 6 4 6 ，i ni p v 6p r o t o c o lc o n f o r m a n c e t e s tc a s e g e n e r a t i o n t h r o u g h i n d e p t ha n a l y s i so ft h ec h a r a c t e r i s t i co fi p v 6p r o t o c o la n dp r a c t i c eo f i p v 6p r o t o c o lt e s t ，t h i sd i s s e r t a t i o np r o p o s e dat e s tc a s ed e s i g nm e t h o d f o ri p v 6p r o t o c o lc o n f o r m a n c et e s t i n gi nac r e a t i v ew a ya n d ，a sar e s u l t ， p r e s e n t e d an e wt e s tc a s es t r u c t u r e t h e p r o p o s e d m e t h o dh a sb e e n s u c c e s s f u l l ya p p l i e dt ot h er e a l i z a t i o no fa ni n d u s t r i a li p v 6p r o t o c o l c o n f o r m a n c et e s t i n gs y s t e m t oe v a l u a t et h eq u a lit yo ft e s tc a s e s b y m e a s u r e m e n t ，t h i sd i s s e r t a t i o np r o p o s e di n d i c a t i o np a r a m e t e r sf o rt e s t c a s ee v a l u a t i o n t h ea n a l y s i so ft e s tc a s e sg e n e r a t e di np r a c t i c es h o w s t h a tt h em e t h o dp r o p o s e dh e r ei su s e f u lf o rs i m p l i f y i n gt e s t s e q u e n c e ， r e d u c i n gt e s te x e c u t i o nt i m ea n di m p r o v i n gt e s te f f i c i e n c y i p v 6 协议一致性测试例设计方法：a b s w a c t k e y w o r d s ：i p v 6 ，c o n f o r m a n c et e s t i n g ，t e s tc a s e ，t e s tp r e a m b l e ，t e s t p o s t a m b l e t p v 6f j s 谈一致挂测试倒设计方法 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究l ：作 及取得的研究成果。就我所知，除了文中特另i i ；d h 以标注和致谢的地山 外，论文中不包含其他入已经发表或撰写过的研究成果。与我同f 1 作的同志对本研究所做的任何贡献均已在沦文中作了明确的i ： i i 岿并 表示了谢意。 作者签名：差霞 日期：加；，忙、；7 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件， 允许论文被查阅和借阅；并可以公布论文的全部或部分内容，可以采 用影印、缩印或其它复制手段保存该论文。 作者签名：邳t 1 设导师签名多, 4 7 期：勺椰杉，护；7 第一章引言 第一章引言 1 1 开展i p v 6 协议一致性测试研究的意义 自4 0 年代第一台计算机问世以来，计算机技术的发展已走过了半个世纪的 历程，而因特网的建立和发展使计算机技术在9 0 年代又一次达到高潮，经过2 0 多年来在全球范围内的飞速发展，因特网已经成为当前世界上覆盖面最广、规模 最大、信息资源最丰富的计算机信息网络，人类e 由此进入一个以网络为中心的 信息处理时代。 i p v 4 协议作为网络的基础设施广泛应用在因特网和难以计数的小型专用网 络上，它的设计是灵活和强有力的，它能够连接小至几个节点，大至因特网上难 以计数的主机。自7 0 年代中期诞生以来，i p v 4 协议取得了空前的成功。然而， 随着互联网在全球的迅速普及，i p 地址紧缺已成为未来网络发展的一个瓶颈， 同时，顺应对无线移动网和网络安全的日益广泛的应用需求，与移动和安全技术 结合紧密同时拥有更广阔地址空间的下一代i p 网络i p v 6 1 网络取代当前 的i p v 4 网络已成为必然的发展方向。 自9 0 年代中期起，世界各地的研究机构和各大公司在i p v 6 领域开展了广泛 深入的研究工作。i e t f 构建了一个i p v 6 主干网6 b o n e 作为i p v 6 发展的试验 床。目前6 b o n e 的站点已遍及亚洲、欧洲、北美、澳洲的多个国家。在许多不同 的主机和路由器操作系统上都已有了i p v 6 的实现，其中许多已是正式发行的产 品。很多应用程序已支持i p v 6 ，同时网上有很多支持i p v 6 的应用程序的补丁库。 i p v 6 已逐步走向实用阶段，在这个过程当中，各个厂家所推出的不同的i p v 6 实 现版本是否与i p v 6 协议标准一致及它们之间是否能够安全、可靠地相互通讯， 决定了i p v 6 网络是否能顺利地得到推广和普及直至最终取代i p v 4 网络。而协议 一致性测试的目的就是测试一个协议标准和它的多种不同实现之间的致性以 保证这些不同实现之间能够互操作。因此开展i p v 6 协议一致性测试研究对于 i p v 6 的发展具有重要的现实意义。同时i p v 6 协议作为一种新的协议，对它的一 致性测试的研究也将对协议一致性测试的理论和实践的丰富及发展做出贡献。 1 2 协议一致性测试领域研究现状 近2 0 年来i s o i e c 和i t u t s 在协议一致性测试领域的研究得到了两个理 论体系：国际标准i s o i e c9 6 4 6 “o s i 一致性测试的方法和框架”( c t m f ) 和 i s o i e c 与i t u t s 的联合项目“一致性测试中的形式化方法”( f m c t ) 。协议一 致性测试领域的研究都可以涵盖在这两个理论体系中。 1 2 1o s i 一致性测试的方法和框架( c t u f ) i s o i e c9 6 4 6 “o s i 一致性测试的方法和框架”是国际标准化组织i s o 专门 i p , - 6 协议一致性测试例设计方法 制定的一套关于协议一致性测试的方法和框架的国际标准，它描述了个通用的 方法论，用以测试一个声称实现了某一o s i 协议的产品与相应的协议标准的一致 性。i s 0 9 6 4 6 为协议的一致性测试提供了基本方法和框架，为测试集制定了设计 步骤和描述方法，并为测试系统的实现提供了指导。 i s 0 9 6 4 6 包括七个部分； 1 i s o i e c9 6 4 6 - 1 基本概念 2 ； 2 i s o i e c9 6 4 6 - 2 抽象测试集技术规范 3 ； 3 i s o i e c9 6 4 6 - 3 树表组合表述法t t c n 4 ； 4 i s o i e c9 6 4 6 4 测试实现 5 ； 5 i s o i e c9 6 4 6 - 5 对测试实验室和客户在一致性评价过程方面的要求 l 6 ； 6 i s o i e c9 6 4 6 6 协议轮廓测试规范 7 ： 7 i s o i e c9 6 4 6 7 协议实现一致性声明 8 。 图1 1i s ( 挎6 4 6 规定的一致性涮试备部分关系 i s 0 9 6 4 6 1 中给出了几个部分的关系，如图1 1 所示。这几个部分构成了协 议致性测试的一个完整的过程。进行协议一致性测试时，协议说明和服务说明 是给定的，被测协议实现、协议实现一致性声明和用于测试的协议实现额外信息 由协议实现者提供，测试方主要考虑测试集结构和测试目标的定义、抽象测试集 的生成、测试手段的实现这几个方面，做好这几个方面的测试准备后对被测协议 实现执行具体测试，得到测试报告，完成一致性测试的过程。 在i s 0 9 6 4 6 定义的协议一致性测试过程中，抽象测试集的生成决定了测试的 质量，是测试操作和测试执行的基础，是整个协议测试的核心。i s 0 9 6 4 6 中给出 了生成抽象测试集的指导性过程，分为如下几个步骤： 2 第一章引言 1 研究相关协议说明和协议实现一致性声明，确定需要测试的致性要求； 2 确定测试集结构和测试目标，包括测试组的设置、测试组目标的确定和 测试目标的确定，所设置的测试组和确定的测试目标要提供对被测一致 性要求的一定的覆盖度； 3 对每个测试目标给出一般测试例的描述，包括实现测试目标的测试体和 测试体开始的初始测试状态； 4 选择描述抽象测试例需要的测试方法： 5 应用标准化的测试符号描述抽象测试例的集合； 6 考虑抽象测试例的选择和参数化过程对测试例描述的要求： 7 考虑维护抽象测试集的过程。 在上述过程中，抽象测试例是在选定抽象测试方法的基础上由一般测试例添 加前测试步和后测试步而生成的，最后得到的抽象测试例包括前测试步、测试体 和信测试步三部分。 1 2 2 一致性测试中的形式化方法( f m c t ) 与c t m f 的发展并行，i s 0 i e c 和i t u t s 开发了形式化描述技术s d l 、 e s t e l l e 、l o t o s 和m s c 。这些语言在协议标准中的应用应该支持通信协议的实现、 验证和一致性测试。为此i s o i e c 和i t u t s 启动了联合项目“一致性测试中的 形式化方法”( f m c t ) 将c t m f 形式化，也就是修改和扩展c t m f 使它满足对形式 化描述的协议的一致性测试的需要 9 。f m c t 项目的主要研究方向集中于两个问 题：测试概念的形式化和测试生成方法 1 0 。 测试概念的形式化研究如何将一致性的含义、测试的含义形式化以及如何对 测试过程、特别是测试结论的分配建模。 自动测试生成是从一致性测试中的形式化方法可能得到的主要好处之一。一 些测试生成方法直接从形式化描述得到测试；另一些方法将用标准化的形式化描 述技术描述的说明转换为用其它形式描述的模型，接着从这个模型进行测试生 成；还有一些方法提供测试目标的形式化描述并用仿真方式得到测试集 1 1 。 目前有三种标准化的形式化描述技术：e s t e l l e 、l o t o s 和s d l 。用于测试生 成的中间模型有：输入输出有限状态机( i of s m ) 、扩展有限状态机( e f s m ) 、 标号变迁系统( l t s ) 、异步通信树( a c t ) 、非确定的有限状态机( n f s m ) 1 2 1 3 等。应用于协议说明以得到中问模型以及简化中闯模型的转换关系可以被归纳为 实现联系。通过这些转换可以得到一个实现的模型。实现联系的例子有追踪等价、 追踪先序、错误等价和一致性联系。 基于检验实验的测试生成方法是一类有代表性的测试生成方法，一些经典的 i p v 6 坍议一致性测试例设计方法 测试生成方法如变迁遍历方法、特征序列( d s ) 方法、唯一输入输出序列( u i o ) 方法、唯一事件( u e ) 方法、w 方法 1 4 等都可以归于这一类。这些方法从协议 的形式化描述( f d ) 基于检验实验得到测试，它们起源于自动机理论中的检验实 验问题，检验实验问题的目的是用实验方法确定一个给定的状态表是否描述了 个有限状态机( f s m ) 实现的行为。这种方法试图对执行测试时存在的下列问题 给出有效的解答： l ，使i u t 从初始状态( 或环境) 转换到想要的状态( 或环境) ： 2 应用必要的触发并观察输出( 包括空输出) ： 3 验证i u t 处于期望的状态( 或环境) ； 4 使i u t 回到初始状态。 其中问题1 和4 关注测试可控制性，问题2 和3 关注测试可观察性。问题1 和4 分别对应i s 0 9 6 4 6 中抽象测试例的前测试步和后测试步。问题2 和3 对应i s 0 9 6 4 6 中抽象测试例的测试体。 1 ，2 3g i u f 与f - 目c t 的关系 c t m f 和f m c ? 两个理论体系既有联系又有区别。锄f 是协议一致性铡试的基 础理论，提出了协议一致性测试中普遍适用的概念性、指导性的方法和框架；f m c t 是出于在协议一致性测试中应用形式化描述技术的需要而产生的。它是c i m f 理 论的形式化表述。在测试生成方面。c t m f 给出了适用于所有协议的抽象测试集 生成的一个指导性过程；f m c t 则主要研究c t m f 给出的抽象测试集生成过程对于 用形式化描述技术描述的协议如何应用，并由此得到了一系列的自动测试生成方 法，这些测试生成方法仅适用于用特定的形式化描述技术描述的协议。 1 3 研究内容 i s 0 9 6 4 6 中指出抽象测试例由前测试步、测试体和后测试步三部分组成。前 测试步和后测试步是为使测试例顺利执行而添加的辅助部分，前测试步使殒4 试例 由空闲测试状态转换到测试体开始的初始测试状态，后测试步使测试例由测试体 结束的测试状态转换到空闲测试状态。前测试步和后测试步的存在既保证了测试 体的顺利执行，又使得连续执行的测试例之间可以互不影响，方便测试的执行。 但前测试步和后测试步若过于复杂，也会影响测试效率。前测试步和后测试步与 具体协议的测试状态的定义有关。随着协议的不同而不同。 在f m c t 关于测试生成方法的研究中，基于检验实验的测试生成方法生成的 测试例中也有与i s 0 9 6 4 6 定义的前测试步、测试体和后测试步相对应的部分。但 这些测试生成方法没有具体讨论测试例中前测试步、后测试步与测试体的关系以 及在测试体相同的情况下如何优化前测试步和后测试步的测试序列的问题。 第一章引言 具体到i p v 6 协议的测试，目前日本t a h i 工程 1 5 、美国新罕布什尔大学 1 6 等从事i p v 6 协议一致性测试的机构已公布的i p v 6 协议测试例都只重点描述 了测试体部分的测试序列，对前测试步和后测试步部分的测试序列没有详细定 义。 本论文要研究的就是在i p v 6 协议中如何根据i p v 6 协议的特点设计适当的 前测试步和后测试步，从而在保证测试体顺利执行的前提下简化测试生成、缩短 测试执行时间、提高测试效率。考虑到通用性，本论文的研究在i s 0 9 6 4 6 提出的 对所有协议普遍适用的协议一致性测试理论的基础上进行。 1 4 本论文的主要工作概述 本论文的研究工作在熟悉协议一致性测试理论和i p v 6 协议的基础上进行， 主要集中在以下几个方面： 1 提出了一种新的i p v 6 协议测试例设计方法和新的测试例结构沛& 据i p v 6 协议特点，在参照i s 0 9 6 4 6 中关于抽象测试集生成的理论的基础上，提 出了一种通用的i p v 6 协议测试例设计方法，可以省略测试例中的后测 试步部分，新的测试例结构只包含前测试步和测试体两个部分。 2 提出了测试例评价指标，以量化的方法分析了新的测试例设计方法的优 越性。为了量化评估测试例的质量，定义了一些评价测试例的指标并给 出了计算方法，通过评估用常规测试例设计方法和新的测试例设计方法 实际生成的测试例，验证了新的测试钢设计方法在简化测试例结构、缩 短测试执行时间、提高测试效率方面的优越性。 3 测试集的设计和测试执行。应用所提出的测试例设计方法设计了i c m p v 6 协议、i p v 6p m t u 发现协议、a d d r e s s i n g 协议、i p s e c 协议和t r a n s i t i o n m e c h a n i s m 协议的测试集，共涉及2 0 个r f c 标准，设计了1 2 6 个测试例， 在l i n u x 、s o l a r i e s 、f r e e b s d 以及一种路由器的协议实现上执行了测 试，给出了测试结果，对测试结果进行了分析，并将测试中发现的不一 致的问题反馈给实现厂商，为各坍议实现的修改、完善提供了宝贵意见。 这些测试集已移植到商业的i p v 6 协议测试仪中并在测试实践中获得了 成功。测试集在实际测试中的成功应用充分验证了测试例设计方法的正 确性、高效性和实用性。 本论文的创新性主要在于提出了一种优化钡4 试例的前测试步和后测试步的 测试序列生成的新的i p v 6 协议测试例设计方法，得到了仅由前测试步和测试体 组成的新的更简单的测试例结构，定义了一组评价指标评估测试例设计方法，评 估结果说明这种新的测试例设计方法简化了测试序列、缩短了测试执行时问、提 i p v 6 协议一致性测试例设计方法 高了测试效率，这种方法的实用价值在测试实践中也得到了充分的验证。 1 5 论文的结构 本论文共分为六章。第一章介绍开展i p v 6 协议一致性测试研究的意义、协 议一致性测试领域的研究现状、本论文的研究内容、本论文的主要工作及创新性， 并介绍了论文的结构；第二章介绍i s o i e c 9 6 4 6 中协议一致性测试的相关理论， 特别是抽象测试集的生成过程：第三章介绍i p v 6 邻居发现协议中定义的i p v 6 协 议的几种基本通信机制；第四章分析i p v 6 协议的特点，给出用i s o i e c 9 6 4 6 的 方法生成抽象测试集的过程，指出其中可改进的地方，提出新的i p v 6 协议一致 性测试例设计方法及新的测试例结构，以一个实例说明了这种设计方法在实际中 的应用，并提出几个测试例评价指标，量化分析了新的i p v 6 协议一致性测试例 设计方法与i s 0 i e c 9 6 4 6 中定义的方法的优劣。第五章介绍了i p v 6 协议测试实 践的情况，主要介绍了i c m p v 6 协议、i p v 6p m t u 发现协议、a d d r e s s i n g 协议、 i p s e c 协议和过渡机制协议五个部分协议的测试集和测试执行情况，分析了测试 结果。第六章总结全文。 6 第二章协议一致性测试理论 第二章协议一致性测试理论 协议一致性测试依据一个协议的描述对协议的某个实现进行测试，判别一个 协议的实现与所对应的协议标准是否相一致。它是网络协议开发过程中保证网络 协议质量的一个重要手段。由于测试的条件、资源、时间、技术的局限性，协议 一致性测试并不能完全证明协议实现的正确性，但在精心设计的严密系统测试活 动的检查下，可以有效地把协议实现出错的概率降低到实际应用可以接受的程 度。在协议发展早期，由于对协议的要求、协议的应用、协议的开发技术等方面 都处于不成熟的认识阶段，协议测试技术也主要是借鉴软件测试中的一些基本方 法和技术。经过一定时间的发展，9 0 年代，国际标准化组织i s o 专门制定了一 套国际标准i s 0 i e c9 6 4 6 “o s i 一致性测试的方法和框架”，描述了一个通 用的方法论用以测试一个声称实现了某一o s i 协议的产品与相应的协议标准的 一致性。i s 0 9 6 4 6 为协议的一致性测试提供了基本方法和框架，为测试集制定了 设计步骤和描述方法，并为测试系统的实现提供了指导。本章将介绍i s 0 9 6 4 6 中 的协议一致性测试的基本理论，特别是关于抽象测试集生成的理论，总结抽象测 试集生成的过程。 2 1 术语定义 2 1 1 基本术语 被测实现( i u t ) ：在邻近的用户提供商关系中的一个或多个o s i 协议的实 现，是真实开放系统中要通过测试来研究的部分。 被测系统( s u t ) ：i u t 所在的真实开放系统。 ( 实现的) 能力：实现支持的相关协议中的一系列功能。 2 1 2 测试集的术语 抽象测试例：实现特定的测试目标( 或特定的测试目标的组合) 所要求的行 为的完整而独立的说明，定义在特定抽象测试方法的抽象层次，开始于一个稳定 的测试状态且结束于一个稳定的测试状态。这个说明可能包括一个或多个连续的 或并行的连接。 注意：说明应该完整的意义在于足够使测试判决能无二义地分配给每个潜在 可现察测试输出；说明应该独立的意义在于应该可能不受其它这样的测试例的 影响而执行得到的可执行测试例( 也就是说明应该始终包含开始和结束于空闲测 试状态的可能性) 。 可执行测试例：抽象测试例的实现。 测试目标：精细定义的测试目的的文字描述，集中对应适当的o s i 国际标准 或c c i t t 推荐标准说明的单一的一致性要求。 测试组目标：一个特定测试组中的测试目标要实现的共同目的的文字描述。 一般测试例：实现一个特定测试目标所要求的行为的说明，由测试体和测试 i p v 6 协议一致性测试例设计方法 体开始的初始测试状态的描述共同定义。 前测试步：从测试例开始的稳定测试状态到测试体开始的初始测试状态之间 的测试步的序列。 测试体：实现测试目标的测试步的序列。 后测试步：从测试体结束到测试例终止的稳定测试状态之间的测试步的序 列。 测试步；测试例的命名的子部分，由测试事件和或其它测试步构成。 测试事件：测试例说明在说明的抽象层次上不可分的最小单位。 测试状态：测试中遇到的状态，由s u t 、测试系统、a t s 中说明了控制与观 察的协议以及下层服务( 如果相关) 的状态联合组成。 稳定测试状态：不需要预先指定的下测试器的行为就能维持到足够长得可以 跨越一次测试行动中的一个测试例和下一个测试例之间的间隙的测试状态。 空闲测试状态：没有相关协议的已建立的连接且s u t 的状态独立于之前执行 的任何测试例的稳定测试状态。 瞬时测试状态：不是稳定测试状态的任意测试状态。 初始测试状态：测试体开始的狈4 试状态。 ( 一致性) 测试集：测试例的完整集合，可能组合到嵌套的测试组中，用于 执行一个或多个o s i 协议的动态一致性测试。 测试例：一般的、抽象的或可执行的测试例。 测试组：相关测试例的命名集合。 一般测试集：由一般测试例组成的测试集。 抽象测试集( a t s ) ：由抽象测试例组成的测试集。 可执行测试集( e t s ) ：由可执行测试例组成的测试集。 选中的抽象测试集( s a t s ) ：根据特定的p i c s 和p i x i t 选中的a t s 的子集。 选中的可执行测试集( s e t s ) ：根据特定的p i c s 和p i x i t 选中的e t s 的子集。 参数化的抽象测试例：所有适当的参数都根据特定的p i c s 和p i x i t 被赋了 值的抽象测试例。 参数化的可执行测试例：所有适当的参数都根据特定的p i c s 和p i x i t 被赋 了值并与一个参数化的抽象测试例相对应的可执行测试例。 参数化的抽象测试集( p a t s ) ：所有测试例都已根据适当的p i c s 和p i x i t 参 数化的s a t s 。 参数化的可执行测试集( p e t s ) ：所有测试例都已根据适当的p i c s 和p i x i t 参数化并与一个p a t s 相对应的s e t s 。 标准化的抽象测试集( a t s ) ：在国际标准或c c i t t 推荐标准内说明的抽象测 试集，或在没有这样的国家标准或c c i t t 推荐标准的情况下，在i s o i e 或c c i t t 内正在标准化进程中的公开可获得的且是当前可获得的标准化程度最高的至少 第= 章协议一致性测试理论 已经达到协会草案、草案建议或草案推荐状态的文档内说明的抽象测试集。 一致性测试标准：包含标准化a t s 的国际标准或c c i t t 推荐标准或草案。 2 1 3 测试方法的术语 ( 抽象) 测试方法( a t m ) ：i u t 怎样被测试的描述。给定恰当的抽象层次使 描述独立于测试手段的任何特定实现，但带有足够的细节以说明采用这种测试方 法的测试。 控制观察点( p c o ) ：在抽象测试方法中定义的测试环境中控制和观察测试事 件的发生的点。 下测试器( l t ) ：测试执行期间通过下层服务提供者提供对i u t 的下层服务 边界的间接控制和观察的手段在i s o i e c 9 6 4 6 中的表示。 上测试器( u t ) ：测试执行期间如选定的抽象测试方法所定义的提供对i u t 的上层服务边界的控制和观察的手段在i s 0 i e c 9 6 4 6 中的表示。 抽象( n ) 层服务原语( ( n ) 一a s p ) ：如o s i 服务定义所定义的服务用户和服 务提供者之间在( n ) 层服务边界上的交互的独立于实现的描述。 测试协调过程( t c p ) ：下测试器和上测试器之间在测试时协调的规则。 测试管理协议( t m p ) ：在测试协调过程中用于特定测试集的协议。 测试系统：包括下测试器的实现的真实系统。 测试( i u t 的) 手段( m o t ) ：与参考的标准化的a t s 一致的能生成一致性日 志的能实行测试例的得到、选择、参数化和执行的设备和程序的结合。 测试实现：生成测试i u t 的手段的过程。 参考的标准化的( o s i ) 抽象测试集( 姆s ) ：钡4 试手段所实现的标准化a t $ 。 测试实现者：负责以独立于测试实验室的客户及其i u t 的形式提供与a t s 一 致的测试i u t 的手段的组织。 2 1 4 测试结论的术语 ( 观察到的) 测试输出：在特定的参数化可执行测试例的测试执行期间发生 的测试事件序列及相关数据和或参数值。 ( 测试) 判决：在抽象测试例中说明的关于测试例执行时i u t 对应此测试例 的一致性的“成功”、“失败”或“无结论”的语句。 有效的铡试事件：协议说明允许的在语法和语义上都正确的且在协议说明允 许的情况下发生的测试事件。 无效的测试事件：违反了相关协议或转换语法说明的至少一项一致性要求的 测试事件。 不合适的测试事件：在协议说明不允许的情况下发生的测试事件。 语法无效的测试事件：在语法上不被协议说明允许的测试事件。 语义无效的测试事件：既不是不合适的也不是语法无效的，但参照相关协议 9 i p v 6 协议一致性测试恻设计方法 说明包含语义错误的测试事件。 成功( 判决) ：当观察到的测试输出给出了与测试例的测试目标对应的一致 性要求一致的根据且参照相关国际标准或c c i t t 推荐标准所有测试事件都是有 效的时给出的测试判决。 失败( 判决) ：当观察到的测试输出表现出了与测试例的测试目标对应的( 至 少一项) 一致性要求的不一致性或者参照相关国际标准或c c i t t 推荐标准包含至 少一个无效测试事件时给出的测试判决。 无结论( 判决) ：当观察到的测试输出既不能做成功判决也不能做失败判决 时给出的测试判决。 系统一致性测试报告( s c t r ) ：在一致性评价过程最后撰写的给出系统或实 现与执行一致性测试的协议组合的一致性的总体结论的文档。 协议一致性测试报告( p c t r ) ：在一致性评价过程最后撰写的给出对特定协 议执行测试的细节的文档。它列出所有抽象测试例并标出那些运行了对应的可执 行测试例的抽象测试例以及分配给每个执行了的测试例的判决。 一致性日志：足以记录观察到的测试输蹬并验证测试结论( 包括测试判决) 的分配的作为测试行动的结果生成的信息的可读记录。 2 2 协议一致性测试基本理论 2 2 10 8 1 中一致性的含义 在o s i 中，一个真实系统若遵循在它与其它真实系统的通信中可适用的o s i 国际标准或c c i t t 推荐标准的要求则称它表现了一致性。可适用的o s i 国际标准 或c c i t t 推荐标准包括说明o s i 协议的和说明o s i 转换语法的( 当与协议一同实 现时) 。o s i 国际标准和c c i t t 推荐标准组成一个相关联的共同定义了开放系统 通信中的行为的国际标准和c c i t t 推荐标准的集合。因此一个真实系统的一致性 表述为两个层次：与每个单一国际标准或c c i t t 推荐标准的一致性和与这个集合 的一致性。 2 2 2 一致的系统或实现 2 2 2 1 一致性要求 国际性标准或c c i t t 推荐标准中的一致性要求有三种不同的分类方法。 首先，按照要求的强制程度不同可以分为三类： 强制性要求：在所有情况下都要遵守； 有条件的要求：当说明中陈述的条件适用时要遵守： 可选项：在遵守适用于可选项的任意要求的情况下可以配合实现选择。 1 0 第二章协议一致性测试理论 其次，按照要求规定的性质不同可以分为两类： 肯定的：规定什么应该做； 否定的：规定什么不应该做。 最后，按照要求规定的内容不同可以分为两类： 静态一致性要求：指出一个声明与相关的o s i 国际标准或c c i t t 推荐标 准一致的真实开放系统中允许的实现了的能力的结合的限制的要求： 动态一致性要求：指出相关的o s i 国际标准或c c i t t 推荐标准在通信实 例中允许什么可观察行为的要求。 2 2 2 ，2 协议实现一致性声明( p i c s ) 和协议实现附加信息( p i x i t ) 协议实现一致性声明( p r o t o c o li m p l e m e n t a t i o nc o n f o r m a n c es t a t e m e n t ， 简称p i c s ) 是o s i 实现或系统的提供者作的指出对于给定的o s i 协议实现了哪 些能力的声明。p i c s 清单是由协议说明者或一致性测试集描述者设计的问卷形 式的文件，当为一个o s i 实现或系统完成时成为p i c s 。 用于测试的协议实现附加信息( p r o t o c o li m p l e m e n t a t i o ne x t r a i n f o r m a t i o nf o rt e s t i n g ，简称p i x i t ) 是i u t 的提供者或实现者作的包含或 参考所有与i u t 及其测试环境相关的( 除p i c s 中给出的之外的) 信息的声明， 使得测试实验室能对i u t 运行恰当的测试集。p i x i t 清单是由测试实验室提供的 问卷形式的文件，当在测试准备期间完成时成为p i x i t 。 在测试执行之前，协议实现者应向测试方提供协议实现一致性声明，列出其 所有已实现的功能，从而通知测试方进行何种测试。若系统中实现了一组相关联 的o s i 协议，每个协议都需要一个p i c s 。系统一致性声明也是必需的，其中逐 条列出系统中所有提供了单独的p i c s 的协议。此外，为测试一个协议的实现， 测试实验室还需要与i u t 和它的测试环境相关的信息，即协议实现附加信息 p i x i t 。在p i x i t 中提供了如时钟、连接地址等具体的说明信息，它作为抽象测 试集的一部分提出。 2 2 2 3 一致的系统或实现 一个一致的系统或实现是对系统一致性声明中声明的每个协议同时满足静 态和动态致性要求、与p i c s 声明的能力一致的系统或实现。 2 2 3 一致性测试 2 2 3 i 一致性测试的目标 i s 0 i e c 9 6 4 6 中讨论的一致性测试着重于测试与说明o s i 协议的国际标准或 c c i t t 推荐标准的一致性。然而，在测试能通过结合o s i 协议测试转换语法来实 现的情况下，它也适用于测试与说明o s i 转换语法的国际标准或c c i t t 推荐标准 i p v 6 协议一致性溅试啻| i 设计方法 的一致性。 大体上，一致性测试的目的是确定被测实现是否与相关国际标准或c c i t t 推荐标准一致。实际的限制使测试不可能是无遗漏的，经济的考虑可能更进一步 限制测试。 2 2 3 2 一致性测试的分类 根据测试针对一致性要求的类型不同，一致性测试可以分为静态一致性分析 ( s t a t i cc o n f o r m a n c er e v i e w ) 和测试行动( t e s tc a m p a i g n ) 两类。静态一致 性分析将p i c s 与相关国际标准或c c i t t 推荐标准做比较，实现对静态一致性要 求的测试。测试行动是对特定i u t 执行参数化的可执行测试集并生成一致性日志 的过程，实现对动态一致性要求的测试。 根据测试提供一致性指示的程度，一致性测试又可以划分为四种测试类型： 基本互连测试( b a s i ci n t e r c o n n e c t i o nt e s t s ) ：提供i u t 一致的第一手 的表面的证据，对测试系统与被测协议实现之间的基本互连能力进行测试， 以确定是否需要进行更进一步的、花费更多的行为测试； 能力测试( c a p a b i l i t yt e s t s ) ：检查i u t 的可观察能力与静态一致性要求 和p i c s 声称的能力的一致性； 行为测试( b e h a v i o rt e s t s ) ：在i u t 的能力内努力提供在国际标准或c c i t t 推荐标准说明的动态一致性要求全范围内尽可能全面的测试： - 7 致性分析测试( c o n f o r m a n c er e s o l u t i o nt e s t s ) ：根据特定要求，对 i u t 的一致性进行深度探索，以提供一种“是”或“非”的肯定回答，以及 提供与特定一致性问题有关的诊断信息。此测试还没有被标准化。 2 2 3 3 一致性评价过程 一致性评价过程是完成要评价一个实现或系统与一个或多个o s i 国际标准 或c c i t t 推荐标准的一致性所必需的所有一致性测试活动的完整过程。 一致性评价过程包括三个阶段： i 测试准备，这一阶段包括： 系统一致性声明、p i c s 和p i x i t 的生成： 基于这些文档对抽象测试方法和a t s 的选择； s u t 和测试手段的准备。 2 测试实施，这一阶段包括： 静态一致性分析，通过分析对应相关静态一致性要求的p i c s 实现； 基于p i c s 和p i x i t 的铡试选择和参数化： 一次或多次“测试行动”。 第二章协议一致性铡试理论 测试行动是执行作为测试选择和参数化步骤的结果的参数化可执行测 试集( p e t s ) 并记录观察到的测试事件的序列和一致性日志中的任何其他相 关信息的过程。它包括允许协议交换在s u t 和测试系统之闯发生的设备配