




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
关于张量分解学习第一页,共四十七页,编辑于2023年,星期一2基本概念及记号第二页,共四十七页,编辑于2023年,星期一3张量(tensor)多维数组基本概念及记号一阶张量(向量)二阶张量(矩阵)三阶张量第三页,共四十七页,编辑于2023年,星期一4张量空间由若干个向量空间中的基底的外积张成的空间基本概念及记号向量的外积和内积第四页,共四十七页,编辑于2023年,星期一5阶(order/ways/modes/rank)张成所属张量空间的向量空间的个数一阶张量(向量):二阶张量(矩阵):三阶或更高阶张量:零阶张量(数量):基本概念及记号三阶张量:第五页,共四十七页,编辑于2023年,星期一6纤维(fiber)基本概念及记号mode-1(列)纤维:
mode-2(行)纤维:
mode-3(管)纤维:第六页,共四十七页,编辑于2023年,星期一7切片(slice)基本概念及记号水平切片:
侧面切片:
正面切片:
第七页,共四十七页,编辑于2023年,星期一8内积和范数设
内积:
(Frobenius)范数:基本概念及记号第八页,共四十七页,编辑于2023年,星期一9秩一张量/可合张量N阶张量是一个秩一张量,如果它能被写成N个向量的外积,即基本概念及记号三阶秩一张量:第九页,共四十七页,编辑于2023年,星期一10(超)对称和(超)对角立方张量:各个mode的长度相等对称:一个立方张量是对称的,如果其元素在下标的任意排列下是常数。如一个三阶立方张量是超对称的,如果对角:仅当时,基本概念及记号张量的(超)对角线第十页,共四十七页,编辑于2023年,星期一11展开(matricization/unfolding/flattening)将N阶张量沿mode-n展开成一个矩阵基本概念及记号三阶张量的mode-1展开第十一页,共四十七页,编辑于2023年,星期一12n-mode(矩阵)乘积一个张量和一个矩阵的n-mode乘积,其元素定义为这个定义可以写成沿mode-n展开的形式性质:基本概念及记号第十二页,共四十七页,编辑于2023年,星期一13n-mode(向量)乘积一个张量和一个向量的n-mode乘积,其元素定义为性质:基本概念及记号第十三页,共四十七页,编辑于2023年,星期一14矩阵的Kronecker乘积
,则性质:基本概念及记号第十四页,共四十七页,编辑于2023年,星期一15矩阵的Kronecker乘积矩阵的Kronecker积还和张量和矩阵的n-mode乘积有如下关系基本概念及记号第十五页,共四十七页,编辑于2023年,星期一16矩阵的Khatri-Rao乘积
,则性质:基本概念及记号第十六页,共四十七页,编辑于2023年,星期一17矩阵的Hadamard乘积
,则性质:基本概念及记号第十七页,共四十七页,编辑于2023年,星期一18CP分解第十八页,共四十七页,编辑于2023年,星期一19CP分解的其他名字PolyadicFormofaTensor,Hitchcock,1927PARAFAC(ParallelFactors),Harshman,1970CANDECOMP/CAND(Canonicaldecomposition),Carroll&Chang,1970TopographicComponentsModel,Möcks,1988CP(CANDECOMP/PARAFAC),Kiers,2000CP分解第十九页,共四十七页,编辑于2023年,星期一20CP分解的张量形式将一个张量表示成有限个秩一张量之和,比如一个三阶张量可以分解为CP分解三阶张量的CP分解第二十页,共四十七页,编辑于2023年,星期一21CP分解的矩阵形式因子矩阵:秩一张量中对应的向量组成的矩阵,如利用因子矩阵,一个三阶张量的CP分解可以写成展开形式CP分解第二十一页,共四十七页,编辑于2023年,星期一22CP分解的切片形式三阶张量的CP分解有时按(正面)切片写成如下形式:
其中CP分解三阶张量CP分解的正面切片形式第二十二页,共四十七页,编辑于2023年,星期一23带权CP分解为了计算方便,通常假设因子矩阵的列是单位长度的,从而需要引入一个权重向量,使CP分解变为对于高阶张量,有
其展开形式为CP分解第二十三页,共四十七页,编辑于2023年,星期一24张量的秩和秩分解张量的秩定义为用秩一张量之和来精确表示所需要的秩一张量的最少个数,记为秩分解:
可见秩分解是一个特殊的CP分解,对应于矩阵的SVD目前还没有方法能够直接求解一个任意给定张量的秩,这被证明是一个NP-hard问题
CP分解第二十四页,共四十七页,编辑于2023年,星期一25张量的秩不同于矩阵的秩,高阶张量的秩在实数域和复数域上不一定相同。例如一个三阶张量
在实数域内进行秩分解得到的因子矩阵为
而在复数域内进行分解得到的因子矩阵为CP分解第二十五页,共四十七页,编辑于2023年,星期一26张量的低秩近似相对于矩阵的SVD来说,高阶张量的秩分解唯一性不需要正交性条件保证,只需满足:
这里表示矩阵的k-秩:任意k列都线性无关的最大的kCP分解第二十六页,共四十七页,编辑于2023年,星期一27张量的低秩近似然而在低秩近似方面,高阶张量的性质比矩阵SVD差Kolda给出了一个例子,一个立方张量的最佳秩-1近似并不包括在其最佳秩-2近似中,这说明张量的秩-k近似无法渐进地得到下面的例子说明,张量的“最佳”秩-k近似甚至不一定存在CP分解第二十七页,共四十七页,编辑于2023年,星期一28张量的低秩近似退化:如果一个张量能够被一系列的低秩张量任意逼近边缘秩(borderrank):能够任意逼近一个张量的最少的成分个数CP分解秩2秩3一个秩为2的张量序列收敛到一个秩3张量第二十八页,共四十七页,编辑于2023年,星期一29CP分解的计算分解成多少个秩一张量(成分)之和?通常的做法是从1开始尝试,知道碰到一个“好”的结果为止如果有较强的应用背景和先验信息,可以预先指定对于给定的成分数目,怎么求解CP分解?目前仍然没有一个完美的解决方案从效果来看,交替最小二乘(AlternatingLeastSquare)是一类比较有效的算法CP分解第二十九页,共四十七页,编辑于2023年,星期一30CP分解的计算以一个三阶张量为例,假定成分个数已知,目标为作为ALS的一个子问题,固定和,求解
得
再通过归一化分别求出和CP分解第三十页,共四十七页,编辑于2023年,星期一31CP分解的计算ALS算法并不能保证收敛到一个极小点,甚至不一定能收敛到稳定点,它只能找到一个目标函数不再下降的点算法的初始化可以是随机的,也可以将因子矩阵初始化为对应展开的奇异向量,如将初始化为的前个左奇异向量CP分解第三十一页,共四十七页,编辑于2023年,星期一32CP分解的应用计量心理学语音分析化学计量学独立成分分析神经科学数据挖掘高维算子近似随即偏微分方程…………CP分解第三十二页,共四十七页,编辑于2023年,星期一33Tucker分解第三十三页,共四十七页,编辑于2023年,星期一34Tucker分解的其他名字Three-modefactoranalysis(3MFA/Tucker3),Tucker,1966Three-modeprincipalcomponentanalysis(3MPCA),Kroonenberg&DeLeeuw,1980N-modeprincipalcomponentsanalysis,Kapteynetal.,1986Higher-orderSVD(HOSVD),DeLathauweretal.,2000N-modeSVD,VasilescuandTerzopoulos,2002Tucker分解第三十四页,共四十七页,编辑于2023年,星期一35Tucker分解Tucker分解是一种高阶的主成分分析,它将一个张量表示成一个核心(core)张量沿每一个mode乘上一个矩阵。对于三阶张量来说,其Tucker分解为因子矩阵通常是正交的,可以视为沿相应mode的主成分Tucker分解第三十五页,共四十七页,编辑于2023年,星期一36Tucker分解容易看出,CP分解是Tucker分解的一种特殊形式:如果核心张量是对角的,且,则Tucker分解就退化成了CP分解Tucker分解三阶张量的Tucker分解第三十六页,共四十七页,编辑于2023年,星期一37Tucker分解的矩阵形式三阶Tucker分解的展开形式为Tucker分解可以推广到高阶张量Tucker分解第三十七页,共四十七页,编辑于2023年,星期一38Tucker2和Tucker1对于三阶张量固定一个因子矩阵为单位阵,就得到Tucker分解一个重要的特例:Tucker2。例如固定,则进一步,固定两个因子矩阵,就得到了Tucker1,例如令第二、三个因子矩阵为单位阵,则Tucker分解就退化成了普通的PCATucker分解第三十八页,共四十七页,编辑于2023年,星期一39张量的n-秩近似一个N阶张量的n-秩定义为若设,则叫做一个秩-
张量如果,则很容易得到的一个精确秩-Tucker分解;然而如果至少有一个使得,则通过Tucker分解得到的就是的一个秩-近似Tucker分解第三十九页,共四十七页,编辑于2023年,星期一40张量的n-秩近似Tucker分解截断的Tucker分解:秩-近似第四十页,共四十七页,编辑于2023年,星期一41张量的n-秩近似对于固定的n-秩,Tucker分解的唯一性不能保证,所以需要添加其他的约束通常要求核心张量是“简单”的,如各个mode的主成分之间尽量不发生相互作用(稀疏性),或者其他的“简单性”约束Tucker分解第四十一页,共四十七页,编辑于2023年,星期一42Tucker分解的计算HOSVD:利用SVD对每个mode做一次Tucker1分解(截断或者不截断)HOSVD不能保证得到一个较好的近似,但HOSVD的结果可以作为一个其他迭代算法(如HOOI)的很好的初始解Tucker分解第四十二页,共四十七页,编辑于2023年,星期一43Tucker分解的计算为了导出HOOI迭代算法,先考虑目标函数从而应该满足Tucker分解第四十三页,共四十七页,编辑于2023年,星期一44Tucker分解的计算目标函数的平方变为Tucker分解第四十四页,共四
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 学习资料保安证试题及答案
- 综合实践保安证考试试题及答案
- 新能源汽车充电桩有哪些配件
- 发展有机蔬菜种植的前景分析
- 2025年保安证考试应对技巧试题及答案
- 江苏大学京江学院《公益慈善与政策创新》2023-2024学年第二学期期末试卷
- 甘肃省酒泉市肃北蒙古族自治县2025届四年级数学第二学期期末学业质量监测模拟试题含解析
- 消防安全知识试题及答案解析
- 赣州师范高等专科学校《产能成本决策虚拟仿真实验》2023-2024学年第二学期期末试卷
- 武威职业学院《陈设艺术设计》2023-2024学年第二学期期末试卷
- 人员转正考核表
- 2024年共青团入团积极分子团校结业考试试题库及答案
- 人教版三年级下册劳动教育《清洁教室卫生》
- DL∕T 802.8-2014 电力电缆用导管技术条件 第8部分:埋地用改性聚丙烯塑料单壁波纹电缆导管
- 新教材人教A版高中数学必修第二册全册-教学课件()
- 2024-2030年中国沙棘行业市场发展趋势与前景展望战略分析报告
- 反贿赂与反腐败管理制度
- 大型酒店项目多测合一测绘技术服务 投标方案(技术方案)
- 2024届北京市海淀区小学英语五年级第二学期期末质量检测试题含解析
- 化疗药物溢出处理
- G -B- 43630-2023 塔式和机架式服务器能效限定值及能效等级(正式版)
评论
0/150
提交评论