KL变换特征提取

第9章基于K-L变换特征提取线性变换法特征提取9.1傅立叶级数展开式周期随机过程的傅立叶级数（三角级数）平稳随机过程：自相关函数等于其数学期望的2阶原点矩。公式说明：9.2K-L展开非周期随机过程：正弦函数族不能使其傅立叶系数不相关，但是可以寻找一个新的正交函数族ϕn(t)，使得其变换系数互不相关。

K-L变换定义假设一个非周期随机过程，在区间[a,b]展开式为函数族ϕn(t)是正交的变换系数互不相关称式为x(t)的K-L展开，其逆过程为K-L变换。其中n是为使得自相关系数单位化引入的实或复的系数计算相关函数在离散情况下结论9.阅3扬K-茂L展开麻式的妥性质基于铺这些磁性质仔，K-苍L变换品适用插于特络征提蛾取。性质售一：浊展开胞系数肿互不眼相关K-窑L展开避式的箩第一亲个重年要性忌质是邀展开伏系数贴彼此无偷关的吊，即低任意睡两个茎系数平乘积竖的期荣望为其中赏：ij为Kr叫on无ec距ke拘r积势。说明赵：因为站来绞自样拐本，K-牙L坐标差系将风其作了对锋角化姨，消浸除了似原向候量x各分羽量之肉间的辣相关性。贵从而纸可能讽消去司带有纽奉较少廉信息拣的坐隶标轴跳，降低郑空间制的维呀数。林例如精，简替化坐翼标：性质规二：剩表示元熵信息养熵是穗对于挨不确尺定性忽的度嗓量。K-苹L变换葬的实分质是眨使矩恒阵的D个特垄征值畅中，庸只有即几个给是较装大的填，其哭余较乖小，根因此谨，K-欣L坐标载系可讯以有套效地品进行贱信息阅压缩推。说明哪：1如果绵所有茶的特弄征值俱相等监，即哪同等泻重要复，则HR取最引大值封。2如果罚熵值=0，则雪表示x的所歪有信阁息仅骆由一腔个展尝开项谊表示她即可悔。3熵函持数叫算做表蜜示熵提，可植以用搜来估晋计信其息压缩的缴程度窑。4对同腊一特维征向魂量集{x悔}，K-横L坐标难系下败的表梦示熵酿为最么小。性质习三：胞总体退熵一般到说来跪，各躺类均烟值向蜘量通高常包叨含有恢较多鲜的判父别信秩息。选择煮这样凡一些治特征稿量，携使当么用同鹅一类狡的这能些特敲征量懂的均倚值所钻组成赶的向单量代联表该摸类的掉样本朝用来铲进行证分类胁时，金所引榴起的护分类全不确荡定性遣度量饮最小桶。可以诸用总啊体熵弯来度者量这叹种分训类的扁不确圆定性劲。总体急熵可帽以作疑为类艇均值扶向量茶代表址同类眯各样肝本的起不确究定性栏的一暑种度针量。总体亭熵的追意义9.差4栽K-从L坐标漏系的屿生成数据惨集合{x}的K-私L坐标柜系是饿由二雕阶统边计量腹来确携定的斗。可钓以使垄用以迫下几察种方妖法来仆生成K-庭L坐标弯系：样本筒所属四类别诉未知区时：1、可凯以使太用样貌本的坊自相右关矩肤阵2、对骆于无惰类别屈标签禾的样旋本集瘦，均封值向拍量无得意义，捧也常达使用盯协方舒差矩遍阵样本眯所属闯类别浅已知绢时：可以桌使用险各种驼二阶宣矩，呈得到里不同顺的K-棍L坐标墨系1、使吨用总躲类内岂离散绍度矩州阵使用异条件页：（1）样猪本集掏合{x}有类虚别标隆签（2）各乐类的极先验城概率维已知（3）均园值向敬量已字知（4）协岩方差齐矩阵泽已知2、每夏次使劈燕用一阔个类友别样慕本集么合来类建立K-桨L坐标系仁，该K-元L变换牺常用勾于信见息压在缩，目很少疫用于顾分类外。例：9.窃5贪K昏-L变换浑的应哗用类条利件均绸值向果量包蚕含有词大量叹的分则类信庸息。淡可以意应用K-墙L变换锅来降光低研差究问旗题的搬维数晶，以气便有显效地棚分类族。步骤案：1、使呜用总量类内镜离散燃度生擦成K-梦L坐标民系一、凯类均捧值向慈量的亚坐标沫压缩2、计祸算Sw的特僚征值惜矩阵与变谁换矩嫩阵U，3、计文算各如个分铲量的塔分类主性能J(xj)4、将J(xj)重新葱排队确定惨由前d个K-架L分量储来表狸征对测象的堪显著勺性。5、确巡寿定空词间压查缩维办数（d维）巨或者燃分类网。为了家把维经数从2压缩逃到1，首智先求计算叮总类苹内离放散度知，K-穷L坐标旨系生好成依随据。Sw的特快征值那矩阵团与特亮征向不量变换盏矩阵计算瓣类间村离散袄度计算升分类编性能K-棚L分量饿的分估量x1显著选特凭征向棒量1作为执一维孩坐标捎轴压缩仆分析梳：使用厚一维凯坐标军轴u1后，祸完成虏了压芒缩。垮但是按由均疯值向挤量的悠位置过可知怎，仍闪然包沃含有u2坐标屯轴信净息，纳因此赏从数白据压烧缩的奶原理湖上，菠压缩把后的报信息赴仍然最有坐已标的盗相关封性（脊即使辰略去u2坐标斯），份不是江最优剧的。二、帐类均纯值向乐量的环最优K-接L压缩上面抽讨论警的K-艳L压缩揉不是举最优旧压缩乏。寻麦找一镇种解馋除坐标德之间蹄的相挨关性的方只法，竟又称煮两步罗变换拉，即界最优麻压缩凝变换钞。第咐一步杀实现僚坐标桨轴之逗间耦虫合的掀解除倚，第窃二步季实现纲正交倚归一下变换降。例9.星2前例欢，求消保持涛类平施均向猾量中泉全部侮分类信息歇条件备下压见缩为欠一维荣特征批空间企的坐算标系臭。二次准变换郑的最锣优压拉缩对淋数据合的作傻用如斯图所西示三、腹由类软中心族向量贩获取右判别茂信息1、类浙中心浅向量域包含黎的信烘息两类他问题竭：类骂均值区相等喊，但斗是类议方差旬不等灵，其分液类信六息如乳图所挣示。类条烟件方嘉差的号离散飞度可以岸衡量扣该分聚量对砌于分哨类的准显著榴性（3）由等熵准决则J(xj)表征xj的显哗著性（4）熵丑值排阔序，掩根据队分量健的显柳著性隆确定传压缩坐标取前d个坐宵标轴房诚作为聪压缩朱坐标遇系统脊。说明顾：四、属用于亲非监手督模狼式识肆别问题番中的岛特征索提取例题9.鼓4五、K-伸L变换紫用于昨图象砖压缩已知2维像第素数购据作Wa置ls誓h变换Wa莲ls躺h变换声矩阵甲为由2维Wa股ls税h变换矮有计算Y的协算方差条矩阵Ry中大焰于1的数危据只让有4个取Y的近鹅似原来笨传输16个数泼据，现经觉过压胶缩，倾仅传输4个数聚据即波可。作Wa为ls藏h反变搬换均方芬误差猎最小黄。用于份可视摔电话刷数据呆的传犬输可止将数夸据压皂缩为蜂：2b较it弃/p诱ix粗el附录瓜：Wa博ls衣h变换过：哈特并马函走数生成县：h2刺=[泉1革1;骡1边-1墙];h4退=[岭h2挥h机2;粪h2恶-介h2越];h8它=[沫h4郊h扑4;盐h4惠-冤h4旁];Wa背ls伶h变换彩：Y=丸HX六、K-勺L变换脱应用沃于人困脸图薄象的贺识别1、图糖象获忽得X12屑812铅8，12衡812葡8个像遗素点农。2、图叶象归似一化旷：旋光转，樱比例翼，缩恢放，姻裁剪榨，灰基度，缩慧光照丸等变筐换，霞可以桑参考欲图象夺处理健有关疲书籍驴。3、K-塘L变换阻：以市样本稍集合嚼的总枪体离贴散度爱矩阵短作为KL变换窃产生夹矩阵币，M为样灰本数总体院离散投度矩岁阵令矩美阵计算赔矩阵R的特股征值i与正固交归北一化再特征扶向量vi，排序对角粥特征废矩阵变换使矩阵4、构兽造“暑特征置脸”由于“特蛋征脸富”“特笼征脸驼”是足降维牵（r维）言重构妻图象5、识慰别甲，设拦定阈睡值，实允现人承脸的厉识别使用肾信噪惧比评迹价指乡丰标讨论一般泪说来枣，实敲际中旁的一套个模线式识特别问常题往堵往包砖含以衣下5个阶断段：问题描的提牧出和蒙定义窑；数据痕获取舌和预揭处理材；特征坚提取蛾和选塔择；分类辰器设风计；分类喊及结揪果解亮释。1.问题岛的提黄出和足定义即把旅一个达实际展的问殖题抽蜓象成铜一个至模式辫识别危问题姑。对具诊体问监题所彩在的鉴领域耻的充磁分了痛解和苍对模德式识良别技哈术特夸点的辅掌握轧是十凤分必哑要的共。在很膛多情令况下立，一沾个复茫杂问繁题本耽身可纳能就蚕是一县个模或式识俯别问呼题，僻往往显需要泽对问随题进喉行必减要的钳分解铅或简差化。提出浓一个厉好问拴题往描往是限解决凳问题针的一堪半，跪把问耕题定苍义明丑确对暴于设席计一半个模词式识纽奉别系六统来态说是夹十分般必要班的，给这一拍点在格实际娇中往窜往容堆易被典忽略炊。2.数据船获取弟和预卷处理对于界已确能定的汁问题贫（分示类目知标）裤，研裹究获著得什梯么样偷的数炭据才知能有量效地促实现贷模式迁识别景任务岁是十险分重抹要的起。只经有所董提取辛的数咱据确吨实与迟分类倘目标办间存箩在一纵定的雄依存吴关系崖（函旱数关懂系）革，这认个模勉式识置别问贤题才崭能真舍正成息立。问题址领域疼的知漠识应篮该发蚀挥重塔要的盈作用押。所获佣取的置数据呢应该邻具有帐什么松性质赚和特葬点才拾能更蜜好地纷发挥柔模式形识别己技术绑的优盯势，垦这也味许是耻模式