讨论课-数据压缩

1、农业无线传感器网络中的数据压缩技术农业工程研讨农业工程研讨课专题十二课专题十二农业工程研讨农业工程研讨课专题十二课专题十二内容1、无线通信技术2、数据压缩技术简介3、数据压缩算法4、数据压缩标准5、总结无线通信技术无线通信技术无线传感器网络（Wireless Sensor Network, WSN）是由大量的静止或移动的传感器以自组织和多跳的方式构成的无线网络，以协作地感知、采集、处理和传输网络覆盖地理区域内被感知对象的信息，并最终把这些信息发送给网络的所有者。无线通信技术无线通信技术无线通信(Wireless communication)是利用电磁波信号可以在自由空间中传播的特性进行信息交换

2、的一种通信方式。无线通信主要包括微波通信和卫星通信。1、微波是一种无线电波，它传送的距离一般只有几十千米。但微波的频带很宽，通信容量很大。微波通信每隔几十千米要建一个微波中继站。2、卫星通信是利用通信卫星作为中继站在地面上两个或多个地球站之间或移动体之间建立微波通信联系。无线通信技术无线通信技术几种主流无线微波通信技术的比较几种主流无线微波通信技术的比较ZigbeeZigbee是基于IEEE802.15.4标准的低功耗个域网协议。Zigbee技术是一种短距离、低功耗的无线通信技术，其特点是近距离、低复杂度、自组织、低功耗、低数据速率、低成本。Zigbee使用频段为2.4G，868MHz以及91

3、5MHz。在不使用功率放大器的前提下，Zigbee的有效传输范围为10-75m。Bluetooth蓝牙技术，也就是Bluetooth 。蓝牙技术是低成本，短距离，可互操作的鲁棒性无线技术，工作在2.4G频段，利用快速的连接方式，平时可以处于“非连接”状态节省能源。连接时链路两端相互间只是知晓对方，只有在必要时才开启链路，然后在尽可能短的时间内关闭链路，因此拥有极低的运行和待机功耗，蓝牙技术可以提供1Mbps的传输速率和10m的传输距离。无线通信技术无线通信技术几种主流无线微波通信技术的比较几种主流无线微波通信技术的比较超宽频（超宽频（UWB）UBW是一种无载波通信技术，利用纳秒至微秒级的非正弦

4、波窄脉冲传输数据。通过在较宽的频谱上传送极低功率的信号，UWB能在10米左右的范围内实现数百Mbit/s至数Gbit/s的数据传输速率。UWB抗干扰性能强，传输速率高，发射功率非常小，常应用于军事领域。无线局域网（无线局域网（WLAN）无线局域网全称为Wireless Local Area Networks，简写为 WLAN。它利用射频的技术，使用电磁波取代旧式双绞铜线来构成的局域网络，在空中完成通信连接。无线局域网基于IEEE802.11标准，在2.4GHz或5GHz射频波段进行无线连接。WLAN的实现协议有很多，其中最为著名也是应用最为广泛的当属无线保真技术-WiFi，它实际上提供了一种能

5、够将各种终端都使用无线进行互联的技术，为用户屏蔽了各种终端之间的差异性。无线通信技术无线通信技术移动通信：移动用户之间或移动用户与固定用户之间，利用通信卫星作为中继站而进行的通信。2G：第二代无线蜂窝电话通讯协议3G：第三代无线蜂窝电话通讯协议4G：第四代无线蜂窝电话通讯协议无线通信技术无线通信技术它们按照进率1024（2的十次方）来计算：8 bit = 1 Byte1 KB = 1,024 Bytes1 MB = 1,024 KB = 1,048,576 Bytes1 GB = 1,024 MB = 1,048,576 KB1 TB = 1,024 GB = 1,048,576 MB1 PB

6、= 1,024 TB = 1,048,576 GB1 EB = 1,024 PB = 1,048,576 TB1 ZB = 1,024 EB = 1,048,576 PB1 YB= 1,024 ZB = 1,048,576 EB1 BB= 1,024 YB = 1,048,576 ZB1 NB = 1,024 BB = 1,048,576 YB1 DB = 1,024 NB = 1,048,576 BB随着科学技术的发展，无线传输的数据量越来越大，传输所需时间也越来越长。大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。数据最小的基本单位是bit，按顺序给出所有单

7、位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。数据压缩技术简介数据压缩技术简介数据压缩技术，就是用最少的数码来表示信号的技术。由于数字化的多媒体信息尤其是数字视频、高清图像、音频信号的数据量特别庞大，如果不对其进行有效的压缩就难以得到实际的应用。因此，数据压缩技术已成为当今数字通信、广播、存储和多媒体娱乐中的一项关键的共性技术。由此看来，通信时间、传输带宽、存储空间甚至发射能量，都可能成为数据压缩的对象。数据压缩原理：数据压缩的对象是数据。数据是信息的载体，真正有用的不是数据本身，二是数据所携带的信息，大的数据量并不代表含有大的信息量，对于去掉冗余的数

8、据对信息没有本质的影响。数据压缩技术简介数据压缩技术简介首先，数据中间常存在一些多余成分，既冗余度。如在一份计算机文件中，某些符号会重复出现、某些符号比其他符号出现得更频繁、某些字符总是在各数据块中可预见的位置上出现等，这些冗余部分便可在数据编码中除去或减少。其次，数据中间尤其是相邻的数据之间，常存在着相关性。如图片中常常有色彩均匀的背影，电视信号的相邻两帧之间可能只有少量的变化影物是不同的，声音信号有时具有一定的规律性和周期性等等。因此，有可能利用某些变换来尽可能地去掉这些相关性。此外，人们在欣赏音像节目时，由于耳、目对信号的时间变化和幅度变化的感受能力都有一定的极限，如人眼对影视节目有视觉

9、暂留效应，人眼或人耳对低于某一极限的幅度变化已无法感知等，故可将信号中这部分感觉不出的分量压缩掉或“掩蔽掉”。数据压缩技术简介数据压缩技术简介颜色不敏感因素224 颜色 (16,777,216色)28 颜色 (256色)重复数据音频不敏感性SQ无损音质，HQ高品质音质数据压缩技术简介数据压缩技术简介冗余基本概念冗余：信息所具有的各种性质中多余的无用空间冗余度：多余的无用空间的程度l1 空间冗余规则物体的物理相关性l2 时间冗余视频与动画画面间的相关性l3 统计冗余具有空间冗余和时间冗余l4 结构冗余规则纹理、相互重叠的结构表面l5 信息冗余编码冗余，数据与携带的信息l6 视觉冗余视觉、听觉敏感

10、度和非线性感觉l7 知识冗余凭借经验识别l8 其他冗余上述7种以外的冗余数据压缩技术简介数据压缩技术简介1) 文本 假设屏幕显示分辨率为1024768，字符为1616点阵， 每个字符用4个字节表示，则显示一屏字符所需要的存储空间为： （1024/16）（768/16）4 B = 12288 B（约合12KB）2) 图像 假定图像显示在1024768分辨率的屏幕上，则满屏幕 像点所占用的空间为： 1024768log2256 = 768 KB3) 音频 假定模拟声音频率22050 Hz，其数字采样频率44100 Hz， 采样精度为16bit，双声道立体声模式，则1min所需数据量为： 44100

11、Hz2B (16bit采样精度)2 (双声道)60s = 10 MB/min4) 视频 采用带宽为5MHz的PAL制视频信号，扫描速度25帧/ s， 样本宽度24bit，采样频率最低10MHz，则一帧数字化图像所占用的 最少存储空间为： 10 (采样频率)25 (扫描速度)24 (样本宽度) = 9.6Mbit (合1.2 MB)不同种类数据的压缩率对比数据压缩的方式非常多，不同特点的数据有不同的数据压缩方式（也就是编码方式），下面从几个方面对其进行分类。数据压缩技术简介数据压缩技术简介（3）无损压缩与有损压缩无损压缩利用数据的统计冗余进行压缩，其压缩比一般比较低。有损压缩方法利用了人类视觉、

12、听觉对图像、声音中的某些频率成分不敏感的特性，允许压缩的过程中损失一定的信息。（1）即时压缩和非即时压缩即时压缩一般应用在影像、声音数据的传送中，具有即时性。非即时压缩在需要的情况下才进行，没有即时性。非即时压缩一般不需要专门的设备，直接在计算机中安装并使用相应的压缩软件就可以了。（2）数据压缩和文件压缩数据是专指一些具有时间性的数据，这些数据常常是即时采集、即时处理或传输的。文件压缩就是专指对将要保存在磁盘等物理介质的数据进行压缩数据压缩算法数据压缩算法数据压缩过程：压缩=模型+编码输入模型编码输出符号概率代码数据压缩算法数据压缩算法哈夫曼编码算术编码行程编码LZW编码压缩比：2:1 5:1

13、预测编码变换编码压缩比：1:100数据压缩算法数据压缩算法哈夫曼编码（霍夫曼编码） 无损编码。原理 ：出现频率高的数据编码长度短，反之亦然。1 信号源的数据按照出现概率递减的顺序排列。2 合并两个最小出现概率，作为新数据出现概率。3 重复进行12，直至概率相加为1为止。4 合并运算时，概率大者取0，概率小者取1。5 记录概率为1处到信号源的0、1序列。哈夫曼编码(Huffman Coding)数据压缩算法数据压缩算法设某信源产生有五种符号u1、u2、u3、u4和u5，对应概率P1=0.4，P2=0.1，P3=P4=0.2，P5=0.1。首先，将符号按照概率由大到小排队，如图所示。编码时，从最小

14、概率的两个符号开始，可选其中一个支路为0，另一支路为1。这里，我们选上支路为0，下支路为1。再将已编码的两支路的概率合并，并重新排队。多次重复使用上述方法直至合并概率归一时为止。从图（a）和（b）可以看出，两者虽平均码长相等，但同一符号可以有不同的码长，即编码方法并不唯一，其原因是两支路概率合并后重新排队时，可能出现几个支路概率相等，造成排队方法不唯一。一般，若将新合并后的支路排到等概率的最上支路，将有利于缩短码长方差，且编出的码更接近于等长码。这里图（a）的编码比（b）好。哈夫曼编码(Huffman Coding)数据压缩算法数据压缩算法算术编码 无损压缩编码，属于统计编码。原理：将被编码的

15、信息表示成实数轴上0和1之间的间隔，信息越长，间隔越小，表示这一间隔所需的二进制位数就越多。算术编码对整条信息（无论信息有多么长），其输出仅仅是一个数，而且是一个介于0和1之间的二进制小数。算术编码数据压缩算法数据压缩算法例：考虑某条信息中可能出现的字符仅有 a b c 三种，我们要压缩保存的原始信息为 bccb第一步第一步：在没有开始压缩进程之前，假设我们对 a b c 三者在信息中的出现概率一无所知（我们采用的是自适应模型），即认为三者的出现概率相等，也就是都为1/3，我们将0-1区间按照概率的比例分配给三个字符，即a从0.0000到0.3333，b从0.3333到0.6667，c从0.6

16、667到1.0000。用图形表示就是：算术编码数据压缩算法数据压缩算法第二步第二步：现在我们拿到第一个字符b，让我们把目光投向b对应的区间0.3333-0.6667。这时由于多了字符b，三个字符的概率分布变成：Pa=1/4，Pb=2/4，Pc=1/4。好，让我们按照新的概率分布比例划分0.3333-0.6667这一区间，划分的结果可以用图形表示为：算术编码例：考虑某条信息中可能出现的字符仅有 a b c 三种，我们要压缩保存的原始信息为 bccb数据压缩算法数据压缩算法第三步第三步：接着我们拿到字符c，我们现在要关注上一步中得到的c的区间 0.5834-0.6667。新添了c以后，三个字符的概

17、率分布变成Pa=1/5，Pb=2/5，Pc=2/5。我们用这个概率分布划分区间0.5834-0.6667：算术编码例：考虑某条信息中可能出现的字符仅有 a b c 三种，我们要压缩保存的原始信息为 bccb数据压缩算法数据压缩算法第四步第四步：现在输入下一个字符c，三个字符的概率分布为：Pa=1/6，Pb=2/6，Pc=3/6。我们来划分c的区间0.6334-0.6667：算术编码例：考虑某条信息中可能出现的字符仅有 a b c 三种，我们要压缩保存的原始信息为 bccb数据压缩算法数据压缩算法第五步第五步：输入最后一个字符b，因为是最后一个字符，不用再做进一步的划分了，上一步中得到的b的区间

18、为0.6390-0.6501，好，让我们在这个区间内随便选择一个容易变成二进制的数，例如0.64，将它变成二进制0.1010001111，去掉前面没有太多意义的0和小数点，我们可以输出1010001111，这就是信息被压缩后的结果，我们完成了一次最简单的算术压缩过程。算术编码例：考虑某条信息中可能出现的字符仅有 a b c 三种，我们要压缩保存的原始信息为 bccb数据压缩算法数据压缩算法行程编码（Run Length Coding） 无损压缩编码。原理：用一个符号值或串代替具有相同值的连续符号，使符号长度少于原始数据的长度。例一个字符串：5 5 5 5 5 5 7 7 7 7 7 3 3 3

19、 2 2 2 2 1 1 1 1 1 1 1行程编码：(5,6) (7,5) (3,3) (2,4) (1,7)可见，行程编码的位数远远少于原始字符串的位数。在对图像数据进行编码时，沿一定方向排列的，具有相同灰度值的像素被看成是连续符号，并用字串代替这些连续符号，可大幅度减少数据量。行程编码数据压缩算法数据压缩算法LZW（Lempel Ziv Welch）无损压缩编码，用于图像数据的压缩。原理：把复杂的数据用简单的代码表示，并把代码和数据的对应关系建立转换表又叫“字符串表”。转换表记录了代码和数据的对应关系。在压缩和解压缩过程中，LZW压缩编码会生成两个完全相同的转换表，数据以严格对应的方式被

20、压缩和还原。但是应该注意到的是，这里的编译表不是事先创建好的，而是根据原始文件数据动态创建的，解码时还要从已编码的数据中还原出原来的编译表。LZW压缩技术对于可预测性不大的数据具有较好的处理效果，常用于TIF格式的图像压缩，其平均压缩比在2：1以上，最高压缩比可达到3：1。LZW编码数据压缩算法数据压缩算法LZW编码流程图对于文本文件，LZW算法的压缩率可以达到30%50%。对于二进制文件，LZW算法的压缩率则不太好，一般在50%以上。预测编码 有损压缩编码，主要对统计冗余进行压缩原理：用原样本值对新样本进行预测，得到新样本的预测值。接着，取新样本的实际值和预测值进行比较，二者相减得到差值，然

21、后对差值进行编码。数据压缩算法数据压缩算法预测编码中典型的压缩方法有脉冲编码调制（PCM，Pulse Code Modulation）、差分脉冲编码调制（DPCM，Differential Pulse Code Modulation）、自适应差分脉冲编码调制（ADPCM，Adaptive Differential Pulse Code Modulation）等。预测编码预测编码用于图像的传输和存储。对于连续的多帧图像，新一帧通常保留前一帧的部分内容。首先存储当前内容，如像点、帧或线。然后与下一帧图像进行比较（预测），把不同点存储或传输，而相同点则是数据冗余，予以剔除。变换编码 (Transfo

22、rm coding) 有损压缩编码，用于对图像数据进行压缩。原理：首先对时域上的信号进行函数运算，并变换到频域上，然后在频域上对变换后的信号进行编码。数据压缩算法数据压缩算法变换编码不是直接对空域图像信号进行编码，而是首先将空域图像信号映射变换到另一个正交矢量空间（变换域或频域），产生一批变换系数，然后对这些变换系数进行编码处理。变换编码是一种间接编码方法，其中关键问题是如何在变换域中使数据相关性大大减少，数据冗余量减少，参数独立，数据量少，这样再进行量化，编码就能得到较大的压缩比。变换编码典型的准最佳变换有DCT（离散余弦变换）、DFT(离散傅里叶变换)、WHT（Walsh Hadama 变

23、换）、HrT(Haar 变换)等。数据压缩标准数据压缩标准静态图像JPEG编码技术lJPEG算法根据人眼对亮度和颜色变化比较敏感的原理，在对图像数据进行压缩时，只保存亮度和颜色变化的数据部分，而舍弃人眼不敏感的成分，以达到压缩的目的。l在图像还原时，并不重新建立原始图像，而是生成类似图像，该图像保留了人眼敏感的色彩和亮度。lJPEG适合于连续色调、多级灰度、彩色或黑白图像的数据压缩。无损压缩比：大约为4:1。有损压缩比：在10:1100:1之间。不大于40:1时，还原的图像在色彩、清晰度、颜色分布等方面与原始图像相比，误差不大，基本上保持了原始图像的风貌。JPEG 是Joint Photogr

24、aphic Experts Group（联合图像专家小组）的缩写，是第一个国际图像压缩标准。JPEG图像压缩算法能够在提供良好的压缩性能的同时，具有比较好的重建质量，被广泛应用于图像、视频处理领域。人们日常碰到的“.jpeg”、.jpg“等指代的是图像数据经压缩编码后在媒体上的封存形式，不能与JPEG压缩标准混为一谈。顺序模式累进模式数据压缩标准数据压缩标准JPEG压缩操作模式1.基于基于DCT的连续模式的连续模式（Sequential DCT-based mode of operation）2.基于基于DCT的渐进模式的渐进模式（Progressive DCT-based mode of o

25、peration）3.无失真模式无失真模式（Lossless mode of operation）使用预测性编码代替基于DCT的变换，而且在这个模式中没有涉及量化。4.分级模式分级模式（Hierarchical mode of operation）图像以数种分辨率来压缩，其目的是为了让具有高分辨率的图像也可以在较低分辨率的设备上显示。一次将图像由左到右、由上到下顺序处理。从模糊到清晰的方式来传送图像数据压缩标准数据压缩标准JPEG算法的三种压缩系统l基线编码系统。面向大多数有损压缩的应用，采用DCT变换压缩。输入图像精度8位/像素/色，顺序模式，采用Huffman或算术编码；l扩展编码系统。为

26、满足更广泛领域的应用而设置的，从低分辨率到高分辨率逐步递进传递的应用。输入图像精度12位/像素/色，累进模式， 采用Huffman或算术编码；l独立编码系统。面向无损压缩的应用，采用无损预测压缩。输入图像精度16位/像素/色，顺序模式，采用Huffman或算术编码。JPEG压缩步骤 采样DCT变换量化编码动态图像动态图像-MPEG压缩编码技术压缩编码技术数据压缩标准数据压缩标准MPEG(Moving/Motion Picture Expert Group)是专门从事多媒体音、视频压缩技术标准制定的国际组织，针对视频编码制定标准。MPEG视频压缩算法的基本思路l用帧间预测和运动补偿解决时间冗余l用变换编码和预测编码解决空间冗余MPE