学习矢量量化的研究及在图象编码中的应用

1学习矢量量化的研究及其在图象编码中的应用2深圳大学“信号与信息处理”学科学科带头人：谢维信教授学术队伍

:教授15人、副教授11人

三年内可支配科研经费：4053万元目前承担科研项目共

48项：国家及国务院各部门项目

3项

国家自然科学基金项目8项国防科研项目2项近五年发表学术论文共396篇，三大检索165篇

3“信号与信息处理”学科的

研究方向智能信息处理图象编码与数字水印技术

光电信号处理与系统

网络信息处理

张基宏教授李霞教授陶兰教授纪震教授4矢量量化项目来源三项国家自然科学基金项目序号项目名称负责人研究时间1学习矢量量化的研究及其在视频图象编码中的应用（60172065）张基宏教授纪震教授2002.01-2004.12(结题为优)2蚁群算法在矢量量化图像编码中的应用（60372087）李霞教授2004.01-2006.123粒子群优化算法的研究及其在图编码中的应用纪震教授2005刚获批准5二维矢量量化示意图码字聚类边界训练矢量6一、项目意义

本项目通过研究和发展“学习矢量量化”理论，旨在寻找一种新的快速高效的矢量量化算法。这种算法的成功实现，对推动在低码率信道下图象压缩编码技术的研究，具有重要理论意义和广阔的应用前景。7一、项目意义（续）目前国际上通用的图象压缩标准仍然以标量量化为主，未能采用矢量量化的原因主要是矢量量化理论研究本身存在的难度。标量量化技术只能作为矢量量化的一维特例，矢量量化理论把图象信号的处理工作推广到高维空间，显然具有标量量化不可比拟的优势。进一步提高图象压缩编码的性能，迫切需要在矢量量化领域的理论突破。8一、项目意义（续）本项目以学习矢量量化为主要研究方向，同时涉及到的其它重要研究领域包括：模糊聚类神经网络模拟退火蚁群算法粒子群算法智能数字水印等9二、国内外研究情况简介

国际学术界对矢量量化理论的研究仍局限于上世纪80年代的研究热点K-means算法和90年代的研究热点FuzzyK-means（FKM）算法。

10二、国内外研究情况简介（续）FKM算法仍然是目前图象压缩领域中性能最佳的矢量量化算法。目前还没有作者宣称或理论上证明他们的算法能寻求到全局最优解。K-means系列算法的共同点是，在码书训练过程中，只考虑了训练矢量对码字的吸引作用，从而约束了最优解的寻解空间。一些改进算法是在训练过程中，引入随机扰动，优点是拓展了最优解的寻找空间，但缺点是参数多，码书训练过程不可重复，增加了算法的计算复杂度。11三、理论创新（FRLVQ）1.模糊强化学习矢量量化FuzzyReinforcedLearningVectorQuantization12三、理论创新（FRLVQ）(续)创新性地提出了一种新的学习机理:“强化学习”“强化学习”＝吸引学习因子＋排斥学习因子每个码字的最优移动方向由多对吸引和排斥学习因子的合力决定FRLVQ＝“强化学习”＋FKM13三、理论创新（FRLVQ）(续)吸引学习因子传统的K-means算法和FKM算法在码书训练过程中，采用了最近邻域的数学模型。经过论证，最近邻域在数学本质上等价于吸引因子的作用。

初步统一传统学习矢量量化理论的数学模型。14三、理论创新（FRLVQ）(续)排斥学习因子

K-means考虑了训练矢量和最近码字之间的吸引因子；FKM算法考虑的是训练矢量与每个码字之间的模糊吸引因子（距离较近的码字拥有较大的吸引因子）。因为这两种方法都只考虑了吸引因子的影响，所以约束了最优解的寻解空间。排斥学习因子的引入，极大地释放了吸引因子对最优解的寻解空间的约束。

15强化学习:学习因子y1y2xi(wi)y1y2(xi)wiI:吸引因子II:排斥因子γ1γwγ2η1ηwη216强化学习:码字移动示意图y1y2y1y2xi(wi)(xi)wiI:来自Xi的吸引II:来自Wi的排斥17三、理论创新（FRLVQ）(续)FRLVQ与模拟退火、遗传算法的比较传统的模拟退火、遗传算法等技术是通过引入随机扰动，扩大了寻解空间，但缺点是收敛速度慢，参数数量多，参数选择对结果敏感。FRLVQ没有采用引入随机扰动的方法，而是准确地确定了每个码字的最佳移动方向，从而使整体码书向全局最优解靠近。优点是迭代次数少，收敛速度快，只有两个参数需设置，同时参数有较大的选择空间，对结果不敏感。18三、理论创新（FRLVQ）(续)FRLVQ的优越性能在相同的压缩比例下，FKM算法的性能是传统算法中最优的（与发表在国际期刊的文章的实验结果一致）；而FRLVQ算法始终稳定地取得显著优于FKM的性能，达到了国际最高水平。

相关的研究成果已经陆续发表于ICASSP2003学会以及国际著名的信号处理领域学术期刊——IEEProc.-Vis.ImageSignalProcessing和SignalProcessing，获得了国际同行的认可。19三、理论创新（FRLVQ）(续)FRLVQ的优越性能20原图K-meansFKMFRLVQ21三、理论创新（FRLVQ）(续)FRLVQ理论的提出是国际矢量量化研究领域的一次理论创新和突破

22三、理论创新（蚁群算法）2.基于蚁群算法的矢量量化蚁群算法是一种新型的模拟进化算法，属于仿生信号处理的一个分支，其理论研究与应用领域均有待进一步深入与拓展。

23三、理论创新（蚁群算法）(续)本项目在国际上首次将蚁群算法应用于矢量量化的码书设计中，创造性地利用人工蚁群系统中蚂蚁通过信息素留存寻找最优路径的机制，结合单只蚂蚁通过拾起、放下物体从而使得物体聚堆的行为模型，合理设计放下概率、禁忌列表以及信息素更新方式，从而得到性能较好的码书。

24三、理论创新（蚁群算法）(续)

在矢量量化研究领域，进一步深入结合仿生信号处理，推动了该领域的发展。在国际上，本项目已经率先在该方面作出了卓有成效的创新性探索。

25三、理论创新（快速模拟退火）3.快速模拟退火矢量量化

在国际上，首次提出了一种快速模拟退火矢量量化图象编码算法，将模拟退火技术与K-means算法有机结合，通过对K-means算法中的空胞腔码书进行适当处理，并设置适当参数使K-means与模拟退火交替进行，降低计算量和进一步提高码书初始化的性能。

26三、理论创新（矢量量化攻击)

4.第二代智能数字水印的矢量量化攻击

本项目组在国内率先开展了第二代智能数字水印的研究工作，并且取得卓有成效的成果。开拓性地将矢量量化应用到第二代智能数字水印研究中，在压缩图象的版权保护中首次系统地引入矢量量化的攻击分析，并将之结合到Stirmark软件中。

矢量量化攻击的引入，充分考虑了目前的国际图象压缩标准，并且能够兼容今后这些国际标准的拓展，具有较强的理论价值和应用价值。

27四、理论成果

本项目在以下几个方面取得了具有国际领先水平的、开拓性的研究成果：1．在国际上，首次提出了“强化学习”的学习机理。创造性引入了吸引和排斥两类学习因子，前者初步统一了传统学习矢量量化的数学模型，后者能够有效地释放对码书最优解的寻解空间的约束。学习矢量量化理论的研究因此从传统的K-means和FKM算法发展到一个全新的阶段：模糊强化学习矢量量化（FRLVQ）。与各种文献中已公开发表的算法相比，FRLVQ的性能显著优于目前图像压缩领域中性能最佳的矢量量化算法——FKM，达到了国际领先水平,取得了重大的理论突破。28四、理论成果（续）2．在国际上，开拓性地在矢量量化领域引入了仿生信号处理，创造性地提出了一种基于蚁群算法的矢量量化的码书设计算法，有效改善了译码图象的方格效应。

3．在国际上，首次提出了一种快速模拟退火矢量量化算法，与传统的K-means算法相比，减少了计算量，提高了码书性能和收敛速度。4．在国际上，开拓性地将矢量量化应用到第二代智能数字水印研究中，在压缩图象的版权保护中首次系统地引入矢量量化的攻击分析。

29五、论文成果

本项目共发表学术论文31篇。其中国际刊物8篇，国内权威刊物15篇，国际学术会议8篇。论文收录情况

检索名称已经收录数目SCI8EI21ISTP830五、论文成果（续）国际学术期刊名称

发表论文数目

IEEProc.VisualImageSignalProcessing

1SignalProcessing

1ElectronicsLetters

1DynamicsOfContinuousDiscreteAndImpulsiveSystems

1Computers&MathematicsWithApplications1ChineseJournalofElectronics

331五、论文成果（续）国内权威期刊名称

发表论文数目

电子学报4计算机学报

1信号处理

2通信学报1电子科学学刊（英文版）

2模式识别1系统工程与电子技术432六、项目展望FRLVQ理论的应用领域有以下几个方面：运动图象压缩

FRLVQ能准确地捕捉到静止图象中边缘信息丰富的图象分块，这一点与视频图象压缩机理是一致的。人眼总是对视频图象中的边缘信号比较敏感，如果这一部分得到了较好的表征，那么对其整体的效果就会有极大的改善。聚类分析和模式识别矢量量化技术源于聚类分析，其研究成果也可以推动聚类分析的发展。FRLVQ非常适合于用来分析球状分布的数据。在生物医学、大型经济分析与预测的实际运用中都会带来较大的理论和经济利益。神经网络的研究

FRLVQ可以进一步发展成为一种新的竞争学习模型。33六、项目展望（续）本项目对蚁群算法的初步研究成果，可以应用于其它聚类分析，对于仿生模式识别领域的理论研究具有重要的学术价值。本项目还将进一步研究具有群体智能的仿生信号处理，譬如粒子群优化算法（ParticleSwarmOptimization）。这些工作对于推动国内的仿生信号处理和仿生模式识别，具有重大的理论价值。

34七、粒子群优化算法PSO算法是源于大自然中生物世界的仿生类算法。PSO算法是一种进化计算技术(evolutionarycomputation)，由Eberhart博士和Kennedy博士发明。源于对鸟群捕食的行为研究同遗传算法类似，是一种基于叠代的优化工具。系统初始化为一组随机解，通过叠代搜寻最优值。但是并没有遗传算法中的交叉以及变异运算，而是粒子在解空间追随最优的粒子进行搜索。

35七、粒子群优化算法(续)1.建立基于粒子群优化算法的矢量量化图象压缩编码模型，认识和掌握其内在机理和本质特性；2．由于国际上的粒子群优化算法研究主要偏重于纯数学理论研究，在工程上的应用研究鲜见报道，所以必须探索粒子群优化算法在矢量量化中如何应用的数学模型；研究工作36七、粒子群优化算法(续)3．分别探讨如何利用粒子群优化算法解决矢量量化中的码书初始化、码书学习矢量超球体收缩和码书仿生优化聚类问题，进一步完善基于矢量量化的图象编码统一模型；4．为了提高矢量量化收敛速度，需要修改粒子群原模型，建立基于粒子群的矢量超