基于标架局部特征联络学习算法

123总结展望1研究背景研究内容流形学习是一种非线性维数约简技术，能在低维空间中反映高维非线性结构数据的本质规律广泛应用于数据可视化，信息检索，图像处理，模式识别等领域随着大数据时代的到来，数据集增长和更新更快、数据维数更高、非结构化性更突出。如何从海量数据集中提取出有效而又合理的数据成为了人们关注的重要问题解决“维数灾难”、数据冗余传统方法：PCA，LDA等24Tenenbaum：等距映射(IsometricFeatureMapping,ISOMAP)[3]采用流形上的测地距离，根据数据间的相异度寻找数据在低维空间中的近似，并尽可能的保留每对观测值之间的近似性关系Saul：最大差异展开(Maximum

Variance

Unfolding,

MVU)[5]保持局部近邻点之间的欧式距离不变，同时使得非近邻点的低维坐标展开得尽可能远张振跃：局部切空间排列(LocalTangentSpaceAlignment,LTSA)[7]通过逼近每个样本点的切空间来构建低维流形的局部几何，然后利用局部切空间排列求出整体的低维嵌入坐标。何晓飞：局部保持投影(Locality

Preserving

Projection,

LPP)[9]在高维空间中离得很近的点投影到低维空间中的像也应该离的很近，作为线性化的流形学习算法，保留了数据的局部信息[3]Tenenbaum

J

B,

De

Silva

V

D,

Langford

J

C.

A

global

geometric

frameworkfor

nonlinear

dimensionality

reduction[J].Science,

2000,

290(5500),

pp.2319-2323.[5]WeinbergerK

Q,

Saul

L

K.

An

introduction

to

nonlinear

dimensionality

reduction

by

maximum

variance

unfolding[C].

Proceedings

of

AAAI,

2006,

pp.1683-1686.[7]Zhang

Z,

Zha

H.

Principal

manifolds

and

nonlinear

dimensionality

reduction

via

tangent

space

alignment[J].Journal

of

Shanghai

University

(English

Edition),

2004,

8(4),

pp.406-424.[9]He

X

F,

Niyogi

P.

Locality

preserving

projections[C].

Proceedings

of

AdvancesinNeural

Information

Processing

Systems,

2003.局部同胚假设两个样本点足够近时，它们之间的距离与其低维嵌入之间的距离近似相等稠密性假设样本点足够稠密以覆盖整个流形连续性假设局部同胚假设与低维嵌入的连续性自然导出数据所处的流形是光滑连续的流形学习一般需要足够多的训练样本5流形学习基本假设流形学习通常假定数据位于一个连通的流形中Training

SampleTest

Sample如何匹配单训练样本.

.

...眼睛流形鼻子流形嘴巴流形w12wwN单样本人脸识别也存在几何变化，表情变化，姿态变化等问题6单样本人脸识别问题转换成多流形匹配问题某个输出结点对某一类模式做出特别反应代表该模式类，相邻的结点也对实际模式分布中相近的模式类做出特别反应SOM神经网络j

jj

˛

N(S)j

ˇ

N

(S)w

j(t

+1)

=

w

j(t)

+h(t)h(t)(xi

(t)

-w

j

(t))w

(t

+1)=

w

(t)使用SOM自组织映射神经网络获得第二种多流形结构ot权值更新方法：h

(t)=h

exp(-t

)d

)2s

2h(t)

=

exp(-7当某种局部特征在相应特征流形上沿某些输入方向连续变化时，联络作为线性组合的系数联系着不同标架系统上向量平移前后各对应分量在纵空间（同一流形）中局部特征变化所对应的方向变化应该对网络的输出产生较大的影响；而横空间中（不同流形），同类局部特征变化对应的方向变化应该不影响网络输出J

(x)

=

W

(x)

-

W

(x)

=

U(x)D(x)VT

(x)v

H82min

Ea

(x)

=

u˛Bx(x)u¶o¶xi

N

w

=

log

+1

n

i

约束方向

我们认为大于ɛ的特征值对应的特征向量就是引起联络系数变化大的方向Bx

={Uk

(x)

|

Dkk

(x)

>

e}监督训练

将此先验知识加入到有监督学习中权重学习在训练多流形结构的同时，学习各局部特征流形权重值9(E

+

mEa

)Dw

=

-m¶¶w方法ORL(%)UMIST(%)PCA66.6678.0462.3174.502DPCA70.2181.6164.7579.67Block-LDA68.4780.5663.0075.30LPP71.3482.9166.3881.42LTSA69.0778.8560.7377.74SOM78.6989.0778.9188.83LFCA-FB80.4291.2381.5890.08表2各算法在ORL和UMIST数据集上的最低和最高识别率在各人脸数据集上验证LFCA-FB效果表情变化子集嘴部遮挡子集眼部遮挡子集10本文使用人脸的局部特征构造多流形结构。通过横空间，纵空