稀疏编码的相关理论

1、视觉信号经过瞳孔折射到紧贴眼球厚壁的视网膜的感光器上，视觉通路始于此，光信号在视杆细胞和视锥细胞内被转换为电信号传至视网膜神经节细胞，通过视觉神经发送至丘脑的侧膝体的突触最后对电信号进行白化后传至视皮层。感受野使神经元产生最大响应的特定视觉刺激模式视网膜和侧膝体的神经节细胞的感受野基本相同，由相互颉颃的以同心圆形式存在的兴奋区和抑制区构成视觉最重要的功能是图像辨别，任何图像都是不同明暗部分的组合，当感受到光的存在，需要神经机制把明暗对比的信息加以特异处理。简单细胞的感受野方向选择性频率选择性（带宽）位置选择性视觉信息通路，视觉刺激通过视网膜和LGN传至视皮层V1区，而LGN的神经节细胞大约10

2、0万左右，V1区的简单细胞却约有2亿左右，也就是说，2亿的简单细胞对100万的神经节细胞的特征表达处于一种亚定架构，在数学上，成为信号表达空间上的超完备性（Over-Completeness）。对于单个细胞而言，稀疏性是指在不同的视觉刺激下，简单细胞多数时间内处于不激活状态；对于多个细胞协同工作，稀疏性是指在同一视觉信号刺激下，简单细胞多数处于不激活状态，以上分析这就成为了稀疏编码的生物依据。基函数简单细胞简单细胞的相应脉冲值基函数的响应系数基的集合（字典）简单细胞的集合（感受野）第一阶段：对原始图像进行白化|低通滤波处理（加强原始图像的边缘等高频信息的能量，降低噪声污染），在进行分块操作（尺

3、寸较小的图像块更利于计算机的处理，也符合生物视觉系统的信息加工机制）。第二阶段：寻找能够反映输入图像本质属性的最佳基函数。矢量量化 Vector Qualification，VQ稀疏编码 Sparse Coding，SCBag-of-wordsBoF模型包含三个模块：输入信号中局部区域的选择和表示；字典生成和特征量化；基于频率直方图的稀疏表示。三个模块中，字典生成和特征量化最为重要，能够直接影响图像表示的质量。字典的基，是构造输入信号的字典的集合。金字塔匹配模型SPM1u u3u u6u u7u u8u u9u u10u u11u u12u u13u u17u u16u u15u u14u u

4、21u u20u u19u u18u u2u u4u u5u u支持向量机SVM特征编码就是对字典的每个基分配最为合适的权重（系数）使其能够正确的表示样本特征。在稀疏编码过程中，为了保证稀疏性，相似的样本特征可能会被不同的基表示，这就丧失了稀疏码之间的相关性。于是J.Wang34提出了局部约束的线性编码（Locality-constrained Linear Coding，LLC），用局部约束条件代替稀疏约束，因此相似的样本就会产生相似的编码。Spatial Pyramid Matching using Laplacian Sparse Coding （ LScSPM ）Kernel Spar

5、se Representation for Image Classification and Face Recognition（KSC）上述算法中，所有类的图像公用一个字典和分类器，这就缺失了类间差异性，若要利用对应于每类的重构误差进行分类也是不可行的。Wright提出了基于稀疏表示的分类算法（Sparse Representation based Classification，SRC）利用对应于每类的重构误差，作为类间差异性信息进行分类，但没有用来生成图像表示。SRC算法生成的图像表示本质上是稀疏的，因为它只能包含整个训练基的一小部分样本，并且假设重构误差服从高斯或拉普拉斯分布，这就在实际应用中导致了样本编码的不精确性。于是L.Zhang提出了鲁棒稀疏编码（Robust Sparse Coding，R