第三章向量范数与矩阵范数课件

1第三章向量范数与矩阵范数1第三章向量范数与矩阵范数2内容提要

范数的引入

向量范数的类型、定义与性质

矩阵范数的类型、定义与性质

方阵的谱半径

范数及其应用2内容提要范数的引入3本讲内容定义、常见向量范数、性质向量范数

定义、常见矩阵范数、性质矩阵范数矩阵条件数

原因

范数的引入3本讲内容定义、常见向量范数、性质向量范数定义、常见矩4向量范数与矩阵范数引入为了研究线性方程组近似解的误差估计和迭代法的收敛性，我们需要对Rn中向量或Rn2中矩阵的“大小”引进某种度量——范数。4向量范数与矩阵范数引入为了研究线性方程组近似解的误差估计和5向量范数

对于实数和复数，由于定义了它们的绝对值或模，这样我们就可以用这个度量来表示它们的大小（几何上就是长度），进而可以考察两个实数或复数的距离。

对于维线性空间，定义了内积以后，向量就有了长度（大小）、角度、距离等度量概念，这显然是3维现实空间中相应概念的推广。利用公理化的方法，可以进一步把向量长度的概念推广到范数。5向量范数对于实数和复数，由于定义了它们的6向量范数：向量的长度或模

，当且仅当时，等号成立。例1

复数

的长度或模指的是量显然复向量的模具有下列三条性质：6向量范数：向量的长度或模

，当且仅当时，等号成立。显然向量的模也具有下列三条性质：例2

维欧氏空间中向量的长度或模定义为向量范数：向量的长度或模，当且仅当8向量范数定义：设函数f:

Rn

R，若f满足

f(x)0，xRn,等号当且仅当x=0时成立（正定性）

f(x)=||·f(x)，xRn,

R

（齐次性）

f(x+y)f(x)+f(y)（三角不等式）则称f为Rn

上的（向量）范数，通常记为||·||

向量范数8向量范数定义：设函数f:RnR，若f满定义如果是数域上的线性空间，对中的任意向量，都有一个非负实数与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：9向量范数则称是向量的向量范数，称定义了范数的线性空间为赋范线性空间。定义如果是数域上的线性空间，对中的任意向拓扑空间线性空间Hausdorff空间赋范空间

距离空间(度量空间)拓扑线性空间完备距离线性空间距离线性空间内积空间Hilbert空间Banach空间欧氏空间和各类空间的层次关系拓扑空间线性空间Hausdorff空间赋范空间距离空间拓扑11常见向量范数Rn空间上常见的向量范数1-范数：2-范数：-范数（有时也称最大范数）：p-范数：11常见向量范数Rn空间上常见的向量范数1-范数：2-范例3

设是内积空间，则由定义的是上的向量范数，称为由内积导出的范数。这说明范数未必都可由内积导出。例如后面介绍的和。

向量范数例3设是内积空间，则由定义的例4

在赋范线性空间中，定义任意两向量之间的距离为则称此距离为由范数导出的距离。此时按此式定义了距离的满足度量空间的距离三公理（对称性、三角不等式和非负性），所以赋范线性空间按由范数导出的距离构成一个特殊的度量空间。向量范数例4在赋范线性空间中，定义任意两向量之间的例5

对任意，由定义的是上的向量范数，称为2-范数或范数，也称为Euclid范数。常见向量范数：2-范数例5对任意例6

对任意，由定义的是上的向量范数，称为p-范数或范数。常见向量范数：p-范数例6对任意例7

对任意，由定义的是上的向量范数，称为1-范数或范数或和范数，也被风趣地称为Manhattan范数。特别地，p=1时，有常见向量范数：1-范数例7对任意常见向量范数：举例

例：求向量的0，１，2和∞-范数。解：

常见向量范数：举例例：求向量的0，１，2和∞-范数。解：遗憾的是，当时，由定义的不是上的向量范数。因为时，取，则常见向量范数：特殊点遗憾的是，当时，由定例8

对任意，由定义的是上的向量范数，称为

-范数或范数或极大范数。在广义实数范围内，P能否取到正无穷大呢？具体而言，如何计算这种范数呢？也就是常见向量范数：极大范数例8对任意证明：验证是向量范数显然很容易。下证。令，则有由极限的两边夹法则，并注意到，即得欲证结论。常见向量范数：极大范数证明：验证这些范数在几何上如何理解呢？例9

对任意，对应于四种范数的闭单位圆的图形分别为这些范数在几何上如何理解呢？例9对任意例10

对任意，由定义的是上的向量范数，称为范数。特别地，范数、范数和范数分别为非常见向量范数例10对任意定义的是上的向量范数，称为加权范数或椭圆范数。例11

若矩阵为Hermite正定矩阵，则由当时，；当时由对称正定知，即。对于任意，有非常见向量范数：加权范数定义的是上的向量范数，称为加权由于为Hermite正定矩阵，故存在酉矩阵，使得从而有这里的特征值都为正数。此时因此对任意，由于为Hermite正定矩阵，故存在酉矩阵一般地，由于是Hermite正定矩阵，从而有可逆矩阵（未必是酉矩阵），使得，因此如果，此时，这就是加权范数或椭圆范数名称的由来。这从几何上可以理解成求可逆变换的像的“长度”。这说明只要运算成立即可，因此对矩阵的要求可放宽为列满秩矩阵。一般地，由于是Hermite正定矩阵，从而有可逆为李雅普诺夫（Lyapunov）函数，这里是正定对称矩阵。大家已经知道，此函数是讨论线性和非线性系统稳定性的重要工具。在现代控制理论中，称二次型函数非常见向量范数：加权范数为李雅普诺夫（Lyapunov）函数，这里是正定例12（模式识别中的模式分类问题）模式分类的问题指的是根据已知类型属性的观测样本的模式向量，判断未知类型属性的模式向量归属于哪一类模式。其基本思想是根据与模式样本向量的相似度大小作出判断。最简单的方法是用两向量之间的距离来表示相似度，距离越小，相似度越大。最典型的是Euclidean距离例12（模式识别中的模式分类问题）模式分类的问题指的是根其他距离测度还包括其他距离测度还包括以及与椭圆范数类似的Mahalanobis距离：这里是从正态母体中抽取的两个样本。以及与椭圆范数类似的Mahalanobis距离：这里30范数性质范数的性质(1)连续性定理：设f是Rn上的任一向量范数，则f关于x

的每个分量连续。(2)等价性定理：设||·||s

和||·||t

是Rn上的任意两个范数，则存在常数c1和

c2，使得对任意的xRn有30范数性质范数的性质(1)连续性定理：设f是Rn31定理：设||·||

是Rn上的任意一个向量范数，则范数性质(3)Cauchy-Schwarz不等式(4)向量序列的收敛性定理：证明：略定义：设

是Rn

中的一个向量序列，其中如果，则称收敛到，记为31定理：设||·||是Rn上的任意一个向量范数定理

Euclid范数是酉不变的，即对任意酉矩阵以及任意，均有这个定理的结论是显然的，因为酉变换保持向量的内积不变，自然也保持了Euclid意义下的几何结构（长度、角度或范数等）不变。范数性质定理Euclid范数是酉不变的，即对任意酉矩阵这个注意这个结论对无限维未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。定理有限维线性空间上的不同范数是等价的，即对上定义的任意两种范数，必存在两个任意正常数，使得范数性质注意这个结论对无限维未必成立。另外，根据等价性，处理向量问题

向量是特殊的矩阵，矩阵可以看成一个维向量，因此自然想到将向量范数推广到矩阵范数。矩阵范数向量是特殊的矩阵，矩阵可以看成一个35矩阵范数定义：设函数f:

Rnn

R，若f满足

f(A)0，ARnn,且f(A)=0

A=0（正定性）

f(A)=||·f(A)，ARn,

R

（齐次性）

f(A+B)f(A)+f(B)（三角不等式）

f(AB)f(A)f(B)（相容性）则称f为Rnn

上的（矩阵）范数，通常记为||·||

矩阵范数35矩阵范数定义：设函数f:RnnR，若f36矩阵范数定义

对中的任意矩阵，都有一个非负实数与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：则称是矩阵的（广义）矩阵范数。36矩阵范数定义对中的任意矩阵，都有37常见矩阵范数常见的矩阵范数(1)F-范数(Frobenious范数)(2)算子范数(从属范数、诱导范数)其中||·||是Rn上的任意一个范数37常见矩阵范数常见的矩阵范数(1)F-范数(Frob矩阵不仅仅是向量，它还可以看成变换或算子。实际中，从算子或变换的角度来定义范数更加有用。定义5

对中的任意矩阵，用一个非负实数表示对于任意向量，可以“拉伸”向量的最大倍数，即使得不等式成立的最小的数。称为范数和诱导出的矩阵范数或算子范数。算子范数矩阵不仅仅是向量，它还可以看成变换或算子。实际中，从算子或

由矩阵范数的正齐性可知的作用是由它对单位向量的作用所决定，因此可以等价地用单位向量在下的像来定义矩阵范数，即从几何上看，矩阵范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例

的上界。算子范数由矩阵范数的正齐性可知的作用是由它对单位向量40算子范数常见的算子范数③-范数（行范数）②2-范数（谱范数）①1-范数（列范数）40算子范数常见的算子范数③-范数（行范数）②2-范求矩阵A的各种常用范数解:由于求矩阵A的各种常用范数解:由于特征方程为特征方程为容易计算计算较复杂对矩阵元素的变化比较敏感使用最广泛性质较好容易计算计算较复杂对矩阵元素的使用最广泛性质较好同样给出这些范数在几何上的理解。例8

对应于三种向量范数的闭单位球

在矩阵作用下的效果分别为同样给出这些范数在几何上的理解。例8对应于第三章向量范数与矩阵范数ppt课件定理上的谱范数具有下列性质：矩阵范数性质定理上的谱范数具有下列性质：矩阵范数性质(1)设有使，令，则有证明：(1)设有(2)(3)设有使，则证明：(2)(3)设有定理

上的矩阵F--范数和谱范数都是酉不变的，即对任意酉矩阵，恒有令则定理上的矩阵F--范数和谱范数都是酉不变第三章向量范数与矩阵范数ppt课件即对于谱范数的情形，利用定义即可。即对于谱范数的情形，利用定义即可。对于谱范数，这个定理的结论可以推广到列正交酉矩阵，即的情形，此时仍然成立利用定理可以证明这个推广结论。对于谱范数，这个定理的结论可以推广到列正交酉矩阵，即利用定53矩阵范数性质矩阵范数的性质(1)连续性：设f是Rnn上的任一矩阵范数，则f关于A

的每个分量是连续的。(2)等价性：设||·||s

和||·||t

是Rnn上的任意两个矩阵范数，则存在常数c1和

c2，使得对任意的ARnn有(3)若A

是对称矩阵，则证明：略证明：略证明：练习53矩阵范数性质矩阵范数的性质(1)连续性：设f是54算子范数性质算子范数的性质定理：对任意>0,总存在一算子范数||·||

，使得

||A||(A)+证明：略定理：设||·||

是任一算子范数，则注：该性质对F-范数也成立。54算子范数性质算子范数的性质定理：对任意>0,55定理：设||·||

是Rn上的任一向量范数，其对应的算子范数也记为||·||

，则有算子范数性质算子范数的性质该性质就是矩阵范数与向量范数的相容性证明：直接由算子范数定义可得定理：设||·||

是任一算子范数，若||B||<1

，则I±B

非奇异，且55定理：设||·||是Rn上的任一向量范数，其56病态矩阵定义：考虑线性方程组Ax=b，如果A

或b

的微小变化会导致解的巨大变化，则称此线性方程组是病态的，并称矩阵A是病态的，反之则是良态的。什么是病态矩阵例：56病态矩阵定义：考虑线性方程组Ax=b，如果A或b57矩阵条件数定义：设A

非奇异，则称为A

的条件数，其中||·||v

是1-范数，2-范数或-范数。如何判别矩阵是否病态——矩阵的条件数定理：考虑线性方程组Ax=b，设A

是精确的，b

有微小的变化b，此时的解为x+

x

，则57矩阵条件数定义：设A非奇异，则称如何判别矩阵是否病58矩阵条件数定理：考虑线性方程组Ax=b，设b

是精确的，A

有微小的变化A，此时的解为x+

x

。假定，则当A充分小时，不等式右端约为一般来说，当A

的条件数较大时，A

就是病态的条件数越大，病态越严重，此时就越难用一般方法求得线性方程组比较精确的解。58矩阵条件数定理：考虑线性方程组Ax=b，设b是精确59矩阵条件数条件数与范数有关，常用的有无穷范数和2-范数注：Cond(A)2

称为谱条件数，当A

对称时有59矩阵条件数条件数与范数有关，常用的有无穷范数和2-范数60条件数性质条件数的性质Cond(A)1

Cond(A)=Cond(A),其中为任意非零实数

若R

是正交矩阵，则Cond(R)2=1若R

是正交矩阵，则对任意非奇异矩阵A，有Cond(AR)2=Cond(RA)2=Cond(A)260条件数性质条件数的性质Cond(A)161举例例：

计算Cond(A)和Cond(A)2解：Cond(A)=||A-1||||A||4104Cond(A)2=max/min

4104A

对称，且61举例例：62举例例：计算Cond(Hk)其中Hk

为k

阶Hilbert矩阵解：k=1时，Cond(H1)=1k=2时，Cond(H2)=27k=3时，Cond(H3)=748Cond(H4)=28375，Cond(H10)=3.5101362举例例：计算Cond(Hk)其中Hk为k阶向量范数的应用向量范数的概念是复数模的概念的自然推广。二、研究矩阵和向量的序列以及级数的收敛准则范数的主要的应用：一、研究矩阵和向量的误差估计向量范数的应用向量范数的概念是复数模的概念的自然推广。二、研

监督机器学习问题无非就是也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。

参数太多，会导致我们的模型复杂度上升，容易过拟合，训练误差会很小。但训练误差小并不是我们的最终目标，我们的目标是希望模型的测试误差小，也就是能准确的预测新的样本。

所以，我们需要保证模型“简单”的基础上最小化训练误差，这样得到的参数才具有好的泛化性能（也就是测试误差也小），而模型“简单”就是通过规则函数来实现的。

引入

监督机器学习问题无非就是也就是在规则化参数的同时最小化误差

一般来说，监督学习可以看做最小化下面的目标函数：

L(yi,f(xi;w))衡量我们的模型（分类或者回归）对第i个样本的预测值f(xi;w)和真实的标签yi之前的误差。

一般来说，监督学习可以看做最小化下面的目标函数：LL0范数与L1范数

L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0，让参数W是稀疏的。

L1范数是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”。任何的规则化算子，如果他在Wi=0的地方不可微，并且可以分解为一个“求和”的形式，那么这个规则化算子就可以实现稀疏。L0范数与L1范数

L0范数是指向量中非0的元素的个数。

L1是规则化的算子，我们将权值参数以L1的方式放到代价函数里面去。然后模型就会尝试去最小化这些权值参数。而这个最小化就像一个下坡的过程。这说明，W的L1范数是绝对值，|w|在w=0处是不可微的。

L1是规则化的算子，我们将权值参数以L1的方式放到代价函数L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优化求解特性而被广泛应用。在一定条件下，以概率1意义下等价在一定条件下，稀疏的原因特征选择

稀疏规则化受欢迎的一个关键原因在于它能实现特征的自动选择。可解释性

通过稀疏可以使模型更容易解释。稀疏的原因特征选择可解释性L2范数

L2范数:||W||2，在回归里面，有人把有它的回归叫“岭回归”，有人也叫它“权值衰减”。它的强大功效是改善机器学习里面一个非常重要的问题：过拟合。L2范数

L2范数:||W||2，在回归里面，有人把有它上面的图是线性回归，从左到右分别是欠拟合，合适的拟合和过拟合三种情况。

上面的图是线性回归，从左到右分别是欠拟合，合适的拟合和过拟合Logistic回归如果模型复杂（可以拟合任意的复杂函数），它可以让我们的模型拟合所有的数据点，也就是基本上没有误差。对于回归来说，就是我们的函数曲线通过了所有的数据点。对分类来说，就是我们的函数曲线要把所有的数据点都分类正确。这两种情况很明显过拟合了。

Logistic回归如果模型复杂（可以拟合任意的复杂函数），L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的规则项||W||2最小，可以使得W的每个元素都很小，都接近于0，但与L1范数不同，它不会让它等于0，而是接近于0。

通过L2范数，我们可以实现了对模型空间的限制，从而在一定程度上避免了过拟合。L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的

L2范数的好处从学习理论的角度来说，L2范数可以防止过拟合，提升模型的泛化能力。

从优化或者数值计算的角度来说，L2范数有助于处理conditionnumber不好的情况下矩阵求逆很困难的问题。

L2范数的好处从学习理论的角度来说，L2范数可以防止过拟优化两大问题局部最小值问题

要找的是全局最小值，如果局部最小值太多，那我们的优化算法就很容易