《空间数据与信息传输系统+无损数据压缩GBT+42636-2023》详细解读

《空间数据与信息传输系统无损数据压缩GB/T42636-2023》详细解读contents目录1范围2规范性引用文件3术语和定义4符号和缩略语4.1符号4.2缩略语5无损信源编码器5.1基本组成contents目录5.2预处理器说明5.3自适应熵编码器说明5.4编码数据的封装5.5错误控制6预处理器6.1预处理器功能6.2预测器6.3参考样本contents目录

6.4预测误差映射器

7自适应熵编码器7.1编码说明7.2基本序列(FS)7.3采样拆分7.4低熵编码选项7.5不压缩7.6码选择contents目录8数据格式8.1位序号约定

8.2无损压缩编码数据结构8.3包格式9压缩标识包(可选)9.1压缩标识包结构9.2CIP包主导头9.3包数据域contents目录附录A(资料性)本文件与ISO15887:2013相比的结构变化情况附录B(资料性)本文件与ISO15887:2013相比的技术差异及其原因

参考文献011范围定义本标准规定了空间数据与信息传输系统中无损数据压缩的要求、测试方法和检验规则。目标提高空间数据与信息传输的效率和可靠性，降低传输成本。1范围022规范性引用文件2规范性引用文件法规与政策文件在制定GB/T42636-2023标准时，还需参考相关的法规与政策文件，以确保标准的合法性和合规性。这些文件包括数据保护法规、信息安全政策等，旨在保障无损数据压缩技术在应用过程中的安全性和可靠性。相关技术标准除了核心引用标准外，该部分还涉及与无损数据压缩技术密切相关的技术标准，如数据编码、传输协议等，这些标准共同构成了无损数据压缩技术的完整技术体系。核心引用标准该部分列出了在制定GB/T42636-2023标准过程中所参考和依据的核心标准和规范，这些标准和规范为无损数据压缩技术的实施提供了理论基础和技术指导。033术语和定义3术语和定义空间数据与信息传输系统涉及到航天器、卫星等空间平台上数据的采集、处理、传输和接收等一系列过程和技术的系统，其中无损数据压缩是提高数据传输效率和存储效率的关键技术之一。预处理器在进行无损数据压缩前，对原始数据进行预处理的操作或设备，目的是为了更好地适应后续的编码和压缩过程，提高压缩效率和效果。无损数据压缩指在不损失任何原始数据信息的前提下，通过特定的编码技术减小数据所占用的存储空间，且压缩后的数据可以完全恢复到原始状态。030201044符号和缩略语符号定义明确标准中详细列出了所使用的各种符号，并对其进行了明确的定义，确保读者在阅读和理解标准时不会产生歧义。4符号和缩略语缩略语解释为了便于理解和交流，标准中还列出了一系列缩略语及其对应的全称和解释，这些缩略语在文中均有使用，提前了解有助于更好地理解标准内容。专业术语规范标准中使用的专业术语都经过了严格的规范和审核，确保其在行业内的通用性和准确性，同时也方便了专业人士之间的交流与合作。054.1符号4.1符号符号定义本标准中会使用到一系列符号来代表不同的概念、变量或参数，以确保标准的准确性和可操作性。符号使用规则符号表符号的使用需遵循明确的规则，包括符号的书写、含义以及在整个标准中的一致性，以避免歧义。为了方便查阅和理解，标准中通常会附有一个符号表，列出所有使用的符号及其对应的解释或定义。064.2缩略语AC自适应编码（AdaptiveCoding），指编码器能够根据数据的特性自动调整编码策略，以达到最优的压缩效果。DPCM差分脉冲编码调制（DifferentialPulseCodeModulation），是一种预测编码技术，通过对相邻采样值的差值进行编码，从而减少数据冗余。entropycoding熵编码，一种根据信息熵原理进行的编码方式，常见的熵编码方法包括哈夫曼编码、算术编码等，旨在去除数据中的统计冗余。4.2缩略语075无损信源编码器5无损信源编码器编码器原理无损信源编码器是基于一定的数学规则对信源的原始符号进行变换，确保这种变换是一一对应且可逆的，从而实现无失真编码。编码方法常用的无损信源编码方法包括等长码、变长码等。等长码中，所有码字的码长相同；而在变长码中，码字的长度可以不同，这通常依赖于信源符号出现的概率来优化编码效率。应用范围无损信源编码器在空间数据与信息传输系统中扮演着重要角色，它适用于对航天器平台和载荷数据进行无损数据压缩，以确保在传输过程中数据的完整性和准确性。085.1基本组成5.1基本组成预处理器在无损数据压缩过程中，预处理器负责对数据进行预处理，以提高压缩效率。预处理操作可能包括数据去重、噪声滤波等，有助于减少数据中的冗余信息。自适应熵编码器这是无损数据压缩的核心组件，它根据输入数据的统计特性来动态调整编码策略，以实现更高的压缩比。自适应熵编码器能够有效地利用数据中的局部统计信息，从而达到更好的压缩效果。编码数据格式和压缩码流打包格式这些格式规定了压缩后的数据如何组织和存储。编码数据格式确保了压缩数据的一致性和可读性，而压缩码流打包格式则定义了如何将压缩后的数据打包成适合传输或存储的格式。这些格式的规范化有助于保证数据的完整性和互操作性。095.2预处理器说明5.2预处理器说明预处理器在空间数据与信息传输系统的无损数据压缩中扮演着重要角色。其主要负责对原始数据进行预处理，以便于后续的无损压缩操作。功能概述预处理器的核心任务是对输入数据进行某种形式的转换或优化，以提高数据的压缩效率。这可能包括数据排序、去重、滤波等操作，从而减少数据中的冗余信息。操作原理预处理器的设计通常基于对数据特性的深入理解。在空间数据与信息传输系统中，预处理器可能需要针对特定的数据类型（如遥感图像、地理信息数据等）进行定制，以实现最佳的压缩效果。同时，预处理器还需要考虑处理速度和资源消耗之间的平衡，以确保实时性和高效性。技术特点105.3自适应熵编码器说明5.3自适应熵编码器说明编码器原理自适应熵编码器是一种能够根据数据出现的概率动态调整编码方式的算法。它通过对已出现的数据进行统计，实时更新符号的概率分布，从而达到更高效的编码效果。01编码过程在编码过程中，自适应熵编码器会根据当前数据的概率分布来选择合适的编码方式。对于出现概率高的数据，会分配较短的编码，而对于出现概率低的数据，则分配较长的编码。这种动态调整的编码方式可以大大提高数据的压缩效率。02应用优势自适应熵编码器在空间数据与信息传输系统中的应用，可以显著减少传输所需的数据量，提高传输效率。同时，由于其自适应性，能够很好地应对数据分布不均或动态变化的情况，保证压缩效果的稳定性和可靠性。03115.4编码数据的封装封装格式编码数据应采用特定的封装格式，以确保数据的完整性和可靠性。这通常涉及到添加包头、包尾以及必要的校验信息。数据包结构封装后的编码数据应形成标准的数据包结构，包含数据部分和元数据部分。元数据部分提供关于数据包内容、来源、目的地以及其他相关信息。传输协议在封装过程中，需要遵循特定的传输协议，以确保数据包能够在空间数据与信息传输系统中正确、高效地传输。这些协议通常定义了数据包的格式、传输方式、错误检测与纠正等关键方面。5.4编码数据的封装125.5错误控制要点三错误检测与纠正标准中规定了无损数据压缩过程中应实施的错误检测和纠正机制。这些机制旨在识别和修复在数据传输或存储过程中可能发生的错误，确保数据的完整性和准确性。校验和与哈希函数为了验证数据的完整性，标准推荐使用校验和或哈希函数等方法。这些方法能够生成数据的唯一指纹，从而在接收端验证数据是否在传输过程中被篡改或损坏。重传机制在发现数据错误后，标准建议采用重传机制来恢复损坏或丢失的数据包。通过重新发送受损的数据包，可以确保接收端能够完整地接收到所有数据，从而维持无损数据压缩的完整性和质量。5.5错误控制010203136预处理器定义预处理器是在编译过程之前运行的独立程序，负责对源代码进行转换和处理。作用它能够删除注释、包含其他文件、执行宏替换等，从而简化源代码，提高编译效率。6预处理器146.1预处理器功能数据转换为了更好地适应无损数据压缩算法，预处理器可能会对原始数据进行一定的转换，如改变数据的表示方式或调整数据的排列顺序等。数据准备预处理器首先对原始空间数据进行必要的整理和准备，确保数据格式、质量等满足后续无损数据压缩的要求。数据分析通过对原始数据的分析，预处理器能够识别并去除数据中的冗余信息，进一步提高压缩效率。6.1预处理器功能156.2预测器6.2预测器预测器的作用在空间数据与信息传输系统的无损数据压缩中，预测器扮演着至关重要的角色。它的主要功能是根据已知的数据预测未来的数据值，从而减少数据之间的冗余，提高压缩效率。预测器的类型根据不同的预测算法和应用场景，预测器可以分为多种类型，如线性预测器、非线性预测器等。这些预测器在空间数据压缩中各有优势，能够根据数据的特性进行高效预测。预测器的性能评估为了衡量预测器的性能，通常采用预测误差作为评估指标。预测误差越小，说明预测器的性能越好，压缩效果也越佳。在实际应用中，需要根据具体的数据特性和压缩需求来选择合适的预测器。166.3参考样本-参考样本应来源于实际的空间数据与信息传输系统。-样本选择应具有代表性，能够全面反映系统在各种情况下的性能。样本来源与选择6.3参考样本-样本数量应足够多，以确保测试结果的可靠性和准确性。6.3参考样本样本处理与准备-对选定的样本进行预处理，如去除噪声、进行数据标准化等。6.3参考样本-准备不同大小、不同类型的样本数据，以便测试压缩算法在不同情况下的性能。-确保样本数据的完整性和准确性，避免在测试过程中引入误差。6.3参考样本样本使用与测试-记录压缩前后的数据大小、压缩时间、解压时间等关键指标。-使用选定的无损数据压缩算法对样本数据进行压缩测试。-分析测试结果，评估压缩算法的性能和效率，以及在不同类型数据上的表现。6.3参考样本176.4预测误差映射器6.4预测误差映射器功能描述预测误差映射器是空间数据与信息传输系统中无损数据压缩环节的重要组成部分，其主要负责将预测误差进行映射，以便于后续的编码和压缩操作。工作原理预测误差映射器通过特定的算法对原始数据与预测数据之间的误差进行计算，并将这些误差值映射到一个新的数据范围内，这个过程有助于减少数据的动态范围，从而提高压缩效率。技术特点预测误差映射器的设计需要充分考虑数据的特性和压缩需求，以确保在保持数据无损的同时，最大化压缩比。此外，映射器的实现也需要考虑计算复杂度和实时性要求，以满足空间数据与信息传输系统的实际需求。187自适应熵编码器7自适应熵编码器自适应熵编码器是一种根据数据出现的概率动态调整编码方式的算法。在空间数据与信息传输系统中，这种编码器能够有效地对数据进行无损压缩，减少传输所需的带宽和存储空间。该编码器的核心特点是其自适应性。它能够根据数据流的实际情况，动态地调整编码策略，以达到最佳的压缩效果。这种灵活性使得自适应熵编码器在处理各种不同类型和分布的数据时都能表现出色。在空间数据与信息传输系统中，无损数据压缩至关重要。自适应熵编码器能够提供高效的压缩比，同时保持数据的完整性和准确性。这对于需要长距离传输大量数据的航天应用来说，具有显著的优势。通过使用这种编码器，可以有效地减少传输延迟和能量消耗，提高系统的整体性能。编码器原理核心特点应用优势197.1编码说明7.1编码说明无损数据压缩采用了预处理器和自适应熵编码器相结合的方式，通过优化编码算法，实现了对空间数据的高效压缩，同时保证了数据的完整性和准确性。编码原理该标准明确规定了编码数据的格式，包括数据头、数据体和数据尾等部分。数据头包含了关于数据的基本信息和压缩参数，数据体是实际的压缩数据，而数据尾则提供了校验和等附加信息。编码数据格式为了方便数据的存储和传输，压缩后的数据需要按照一定的格式进行打包。该标准详细定义了压缩码流的打包格式，包括打包的基本单元、打包顺序、以及各个打包单元之间的关联方式等。这种格式化的打包方式不仅提高了数据的可读性，也方便了数据的后续处理和分析。压缩码流打包格式010203207.2基本序列(FS)-基本序列（FS）是无损数据压缩中的一个核心概念。-它代表了一组按照特定规则排列的数据元素，这些元素在压缩过程中保持不变。定义与特性7.2基本序列(FS)-FS的构建方式直接影响压缩效率和数据恢复的质量。7.2基本序列(FS)构成与作用7.2基本序列(FS)-FS通常由一系列的符号或数据块组成，这些符号或数据块在原始数据中具有代表性或重复性。-在压缩过程中，FS被用作查找和替换的基础，以达到减少数据冗余的目的。-解压时，通过识别FS可以准确地重构原始数据。7.2基本序列(FS)20147.2基本序列(FS)编码与解码-编码阶段，算法会识别并提取原始数据中的FS，然后用更短的编码来替代它们。-解码时，这些短编码再被转换回原始的FS，从而恢复数据的完整性。-这一过程要求编码和解码算法具有高度的匹配性和准确性。04010203217.3采样拆分7.3采样拆分拆分效果评估拆分后，需要对拆分效果进行评估。评估指标可以包括拆分后数据块的大小、压缩比、解压缩后的数据质量等。通过综合评估这些指标，可以不断优化拆分策略，以达到更好的压缩效果。拆分方法根据GB/T42636-2023标准，采样拆分可以采用多种方式，如基于时间、空间或频率等进行。具体拆分方法应根据数据的特性和压缩需求来选择，以确保拆分后的数据块之间具有相对独立性，便于后续的压缩处理。拆分原理采样拆分是将原始数据按照特定的规则进行分割，以便更有效地进行无损压缩。通过拆分，可以将数据的局部特性更好地暴露出来，从而提高压缩效率。227.4低熵编码选项7.4低熵编码选项技术特点低熵编码通过更精细地分析数据中的统计特性，使用更短的编码来表示出现频率高的数据符号，从而实现更高的压缩比。这种编码方式在保持数据完整性的同时，有效地减少了传输或存储所需的空间，提高了系统的整体效率。应用场景低熵编码选项适用于那些数据内容高度可预测或重复性强的场景。例如，在航天器遥测数据中，某些固定格式的消息或周期性发送的状态信息，这类数据往往含有大量的重复或可预测的模式，非常适合使用低熵编码进行压缩。编码原理低熵编码是一种针对数据中冗余信息较少的部分进行的高效编码方式。在空间数据与信息传输系统中，当数据的熵值较低，即数据中的冗余信息较少时，采用低熵编码可以有效地提高压缩效率。237.5不压缩不压缩的定义在空间数据与信息传输系统中，不压缩指的是数据在传输或存储过程中保持其原始形式，不进行任何形式的压缩处理。不压缩的适用场景不压缩的优缺点7.5不压缩某些特定情况下，为了保证数据的完整性和原始性，可能选择不进行数据压缩。例如，在需要高精度数据或对数据完整性有极高要求的科学研究中。优点在于保持了数据的原始性和完整性，便于后续的数据处理和分析；缺点则是可能占用更多的存储空间和网络带宽，增加传输成本和时间。247.6码选择-根据数据的特性和压缩需求，选择合适的编码方式。-考虑编码的效率和解码的复杂性，以及硬件实现的可行性。码选择的原则7.6码选择7.6码选择-算术编码（ArithmeticCoding）根据信源符号序列的发生概率，将整个消息编码为一个实数区间内的十进制小数，是一种高效的编码方法。-霍夫曼编码（HuffmanCoding）一种根据字符出现概率来构造的变长编码方式，可有效压缩数据。码选择的影响7.6码选择-不同的编码选择会直接影响到压缩效率和解码速度。-需要综合考虑传输带宽、存储空间和实时性要求来做出最优的码选择。258数据格式编码数据格式规定了无损数据压缩后数据的具体格式，包括数据头、数据体和数据尾等部分，确保数据的完整性和可读性。压缩码流打包格式定义了如何将压缩后的数据打包成适合传输或存储的格式，考虑了数据的封装、同步、错误检测与纠正等因素。数据兼容性与互换性明确了不同系统之间数据交换的格式和标准，保证了空间数据与信息传输系统中无损数据压缩的通用性和互换性。8数据格式268.1位序号约定序号表示方法在GB/T42636-2023标准中，位序号用于明确标识数据在压缩码流中的位置，它采用了一种特定的表示方法，以确保数据解压时能够准确无误地还原原始数据的顺序和结构。8.1位序号约定序号与数据位置的对应关系位序号与压缩码流中的数据位置有着严格的对应关系。每一个位序号都指向压缩码流中的一个特定位置，这种对应关系在解压过程中起着至关重要的作用，它保证了数据的完整性和准确性。序号在解压过程中的作用在解压过程中，位序号被用来识别和定位压缩码流中的各个部分。解压算法根据位序号来提取相应的数据块，并按照原始数据的顺序和结构进行重组，从而完成数据的解压和还原。278.2无损压缩编码数据结构8.2无损压缩编码数据结构预处理数据的特点预处理阶段主要是对原始数据进行去相关和量化等操作，以减少数据的冗余性，提高压缩效率。预处理后的数据具有更低的熵，这意味着在后续的熵编码阶段可以实现更高的压缩比。自适应熵编码器的输出自适应熵编码器根据预处理后的数据动态调整编码策略，以实现最佳的压缩效果。其输出数据是高度压缩的二进制流，其中包含了原始数据的所有信息，但体积显著减小，便于存储和传输。编码数据的基本构成无损压缩编码数据主要由预处理器输出的数据、自适应熵编码器的输出数据以及相关的编码参数构成。这些数据结构在压缩过程中保持了原始数据的完整性和准确性。030201288.3包格式8.3包格式包含包的起始标志、包长度、以及其他可能的控制信息，用于标识包的开始、大小以及传输相关的参数。包头信息即实际的数据内容，经过无损压缩算法处理后的空间数据，这些数据将被传输到接收端进行解压和使用。有效载荷包含校验和或其他用于验证数据完整性的信息，确保在传输过程中数据没有发生错误或丢失。包尾信息299压缩标识包(可选)压缩标识包在空间数据与信息传输系统中是可选的，它主要用于标识数据压缩的相关信息，如压缩算法类型、压缩级别等。这有助于解压缩时正确还原原始数据。压缩标识包的作用9压缩标识包(可选)压缩标识包通常由包头和包体两部分组成。包头包含包的长度、版本等信息，而包体则包含具体的压缩参数和标识信息。压缩标识包的结构在使用压缩标识包时，需要在压缩数据前将其添加到数据流中。解压缩时，先解析压缩标识包，根据其中的信息选择合适的解压缩算法和参数，然后再进行解压缩操作。如何使用压缩标识包309.1压缩标识包结构01压缩标识包的作用压缩标识包在空间数据与信息传输系统中起着至关重要的作用。它提供了关于压缩数据的关键信息，使得接收端能够正确解压和处理接收到的数据。包结构的主要组成部分压缩标识包通常包含多个字段，这些字段提供了关于压缩算法、压缩级别、原始数据大小以及可能的其他压缩相关参数的信息。这些组成部分确保了解压过程的准确性和效率。标识包的解析与应用在接收端，压缩标识包被首先解析，以便根据其中的信息选择合适的解压方法和参数。正确解析和应用压缩标识包是确保数据无损传输和恢复的关键步骤。9.1压缩标识包结构0203319.2CIP包主导头CIP包主导头结构CIP包主导头中的版本号指明了该数据包的格式版本，确保了不同版本的系统之间的兼容性，使得数据传输更加稳定和可靠。版本号与兼容性包类型与功能CIP包主导头中的包类型字段指明了该数据包的具体用途和功能，如数据帧、命令帧等，这有助于接收端对数据包进行正确的处理。CIP包主导头包含了关于数据包的重要信息，如版本号、包类型、包长度等，这些信息对于接收端正确解析数据包至关重要。9.2CIP包主导头329.3包数据域9.3包数据域包数据域是空间数据与信息传输系统中，用于无损数据压缩的关键部分。它包含了需要进行压缩的原始数据，这些数据在经过压缩算法处理后，能够有效地减少存储空间和网络传输的开销。数据域定义包数据域通常由多个字段组成，这些字段包括数据标识、数据长度、数据内容等。其中，数据标识用于区分不同的数据包，数据长度指明了数据内容的大小，而数据内容则存储了实际的原始数据。数据域结构在包数据域中，无损数据压缩算法被广泛应用于减少数据的大小。这些算法通过去除数据中的冗余信息，达到压缩数据的目的。同时，由于是无损压缩，因此压缩后的数据可以完全还原为原始数据，保证了数据