人工智能数学基础全套教学课件

人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom全套可编辑PPT课件2思路：不是这些知识本身，更强调的是方法目标：本次课主要介绍人工智能为什么需要数学、学习《人工智能数学基础》这门课的方法、并通过一个具体的例子来讲解作者提出的学习方法。3提纲：

人工智能为什么需要数学学习方法汉密尔顿算子人工智能为什么需要数学

数学是人工智能研究问题描述的语言和工具。特别是微积分、概率论、线性代数、矩阵分析等基础学科是人工智能建模必须掌握的基本数学知识。人工智能与数学在方法论上具有一致性。机器学习是目前AI研究的主流范式之一，从数学的维度来说，机器学习中的“学习”就是学习表示一个函数空间或者参数空间的最优化问题，可见人工智能与数学在方法论上具有一致性。人工智能是从数学基础研究中发展起来的。以数学基础为导向，首先弄清楚人类认识与机器认识共同遵循的数学原理是什么，然后通过强有力的数学手段来实现通用人工智能，这本身就是一种新的人工智能研究范式和研究路径。深入理解人工智能背后的理论需要数学支撑。无论是深入理解人工智能算法背后的理论，还是在算法上理解模型代码，以及在工程上构建应用系统，数学都有着极其重要意义。5学习方法：概念化：理解核心概念，并以此为基础进行演化和分析。几何意义：以图形化的方式，帮助我们理解数学概念的本质。物理意义：将数学公式或模型赋予合适的物理解释，抽象公式具体化加深我们的理解。应用：应用是将知识内化为我们自己的东西的一个重要途径。

思考下面记号是否有意义？

2、回忆导数的概念导数的几何意义：该函数曲线在这一点上的切线斜率，是该点的局部性质。导数的物理意义：物理量的瞬时变化率；例如，位移对时间的导数就是速度，速度对时间的导数就是加速度。偏导数：反映了多元函数沿坐标轴方向的变化率

10

导数概念的应用11

导数概念的应用

注意：函数沿着任意方向的方向导数存在，函数不一定可微3、

从导数到方向导数3、

从导数到方向导数：方向导数计算公式推导3、

从导数到方向导数思考：方向导数反应了函数在某一点处沿着某一个方向的变化率，而从一个点出发的方向有无数多个，我们更关心哪一个？3、

从导数到方向导数结论：为了研究函数f在某点的局部变化率，我们不可能研究无数个方向的变化率，显然更关心哪个方向的变化率最大！这样就引出了下面对梯度的理解4、

梯度的理解

令根据方向导数定义有：

很显然上式最大值是F的模，并且在F的方向与l的方向一致或平行时取得。我们把这时的F称为函数在该点的梯度，即有gradf=F4、

梯度的理解梯度几何意义：函数f在某点梯度方向为等值线的法方向，沿该方向函数变化率最大！也是取得最大方向导数的方向。图示如下4、

梯度的理解问题：为什么梯度方向与等高线切线方向垂直

4、

梯度的理解梯度的物理意义：在空间任意一点，标量函数（或标量场）的梯度的方向是该点函数值（或标量场场量）增加最快的方向；它的模是从该点各个方向移动时可能有的最大增加率。梯度的应用：求函数的极值；机器学习问题求解。问题：前面我们用梯度研究标量函数（或标量场）的局部性质，怎么研究向量函数（或向量场）的局部性质？对上面问题的回答就引出了散度与旋度的概念，它们与物理学中常用的通量和环量密切相关，感兴趣同学可以查阅相关资料谢谢！交流碰撞火花Exchangeproducessparks人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom23思路：聚焦在机器学习框架下理解向量与范数；突出矩阵运算的几何意义，它们在机器学习中广泛使用。目标：本次课主要介绍向量与范数、矩阵运算的几何意义、行列式、函数极限与连续性的概念。24提纲：

向量与范数矩阵因子的几何意义行列式函数的极限与连续性向量与范数

向量与范数

向量与范数

向量与范数

应用要点：在机器学习中，我们经常将研究对象表示为一个向量，以便能参与计算。例如在自然语言处理中，经常将一个单词表示为一个词向量；在计算机视觉中，一张图片28*28像素的图片，可以把它拉长看成一个784维的向量。在机器学习和AI应用中，经常需要评估不同样本之间的相似性度量，将样本表示为向量之后，式（1.2）就是一种常用的相似性度量，称为余弦相似度。余弦相似度的取值在-1和1之间，值越大说明两个向量越相似，值越小说明两个向量越不相似。向量内积(点乘)的几何意义当两个向量都是单位向量时，表示两个向量之间的夹角的余弦；当一个是单位向量时，表示另外一个向量在这个单位向量方向上的投影长度。向量与范数

图1.1向量的叉积

向量与范数

向量与范数

向量与范数

向量与范数

应用要点：在机器学习中，一类常见的方法是监督机器学习，就是定义模型和损失函数后，训练过程中通过最小化损失函数来确定模型的参数。但是这样可能因为模型参数过多，模型复杂度上升，容易导致过拟合。也就是在训练过程中，模型的训练误差很小，但是在实际测试和应用中，误差较大，或者说模型的泛化能力较差。我们最终的目标不是训练误差较小，而是测试误差较小（或泛化性能较好）。在所有可能选择的模型中，应该选择能够很好地拟合训练样本并且简单的模型。这里的“简单”的含义可以理解为在能够很好地拟合或解释训练样本的所有模型中，参数越少的模型就是简单的模型。于是机器学习目标需要保证模型“简单”的基础上训练误差最小，这样得到的参数才具良好的泛化性能。通过模型参数的1-范数和2-范数来构建正则化项是实现简单模型的常用方法

图1.4矩阵因子的缩放示意图

图1.6矩阵因子的旋转示意图矩阵因子的几何意义如果矩阵B是一个上三角矩阵（或下三角矩阵）时，它与一个向量相乘，相当于对对向量进行旋转和缩放，即非均匀的拉伸或者说切边。图1.7和图1.8分别给出了上三角矩阵和下三角矩阵的切边示意图。从这两个示意图可以看出，切边改变了作用对象的大小和方向属性。图1.7上三角矩阵因子的切边示意图图1.8下三角矩阵因子的切边示意图

函数极限的几何意义根据下图可以解释函数极限的几何意义，更好地理解函数极限的定义图1.10函数极限的几何意义

谢谢！交流碰撞火花Exchangeproducessparks人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom50思路：本章特别强调基础数学概念的深刻理解，以及它们的几何意义。同时，也要注意这些概念机器学习、深度学习中的根基作用。目标：本次课主要介绍导数、偏导数、方向导数的基本概念，然后再拓展出梯度、雅可比矩阵、海森矩阵的定义，最后介绍导有广泛应用的泰勒公式。51提纲：

导数、偏导数与方向导数梯度、雅可比矩阵和黑塞矩阵泰勒公式机器学习中常见函数的导数导数、偏导数与方向导数

函数

在点x0处导数的定义为

导数、偏导数与方向导数

函数

在点x0处导数的定义为导数、偏导数与方向导数

函数

在点x0处导数的定义为

导数、偏导数与方向导数

导数、偏导数与方向导数

函数

在点x0处导数的定义为导数、偏导数与方向导数

函数

在点x0处导数的定义为导数、偏导数与方向导数

函数

在点x0处导数的定义为导数、偏导数与方向导数

函数

在点x0处导数的定义为导数、偏导数与方向导数

函数

在点x0处导数的定义为梯度、雅可比矩阵和黑塞矩阵

函数

在点x0处导数的定义为

梯度、雅可比矩阵和黑塞矩阵

函数

在点x0处导数的定义为

梯度、雅可比矩阵和黑塞矩阵

函数

在点x0处导数的定义为

泰勒（Taylor）公式

函数

在点x0处导数的定义为

泰勒（Taylor）公式

函数

在点x0处导数的定义为

泰勒（Taylor）公式

函数

在点x0处导数的定义为

机器学习中常见函数的导数

函数

在点x0处导数的定义为

机器学习中常见函数的导数

函数

在点x0处导数的定义为

机器学习中常见函数的导数

函数

在点x0处导数的定义为

谢谢！交流碰撞火花Exchangeproducessparks人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom72思路：理解微分的思想，并且通过中值定理建立函数值与函数导数之间的联系。目标：本次课主要介绍微分的定义及几何意义，然后介绍在微积分中有广泛应用的微分中值定理。73提纲：

微分的定义微分中值定理微分的定义

函数

在点x0处导数的定义为微分的定义

函数

在点x0处导数的定义为微分的定义

函数

在点x0处导数的定义为微分的定义

函数

在点x0处导数的定义为

微分中值定理

函数

在点x0处导数的定义为微分中值定理

函数

在点x0处导数的定义为微分中值定理

函数

在点x0处导数的定义为微分中值定理

罗尔中值定理的几何意义是：如下图所示，若在两端点纵坐标相等的连续曲线AB上，除端点外处处有不垂直于x轴的切线，则曲线AB上至少有一点C的切线平行于x轴（或该点的导数为零）函数

在点x0处导数的定义为微分中值定理

函数

在点x0处导数的定义为微分中值定理

函数

在点x0处导数的定义为

微分中值定理

函数

在点x0处导数的定义为微分中值定理

函数

在点x0处导数的定义为谢谢！交流碰撞火花Exchangeproducessparks人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom88思路：理解积分的思想与方法，联系现实应用积分方法解决现实问题目标：本次课首先介绍不定积分与定积分的概念，以及相应的积分方法；之后延展出带多个变量的多重积分与广义积分相应的概念与方法。89提纲：

不定积分定积分广义积分多重积分不定积分

函数

在点x0处导数的定义为不定积分

函数

在点x0处导数的定义为不定积分

函数

在点x0处导数的定义为不定积分

函数

在点x0处导数的定义为不定积分

函数

在点x0处导数的定义为不定积分

函数

在点x0处导数的定义为定积分

函数

在点x0处导数的定义为

定积分

函数

在点x0处导数的定义为

定积分

函数

在点x0处导数的定义为

定积分

函数

在点x0处导数的定义为

定积分

函数

在点x0处导数的定义为

定积分

函数

在点x0处导数的定义为

定积分

函数

在点x0处导数的定义为

定积分

函数

在点x0处导数的定义为

定积分

函数

在点x0处导数的定义为

定积分

函数

在点x0处导数的定义为

广义积分

函数

在点x0处导数的定义为

广义积分

函数

在点x0处导数的定义为

广义积分

函数

在点x0处导数的定义为

广义积分

函数

在点x0处导数的定义为

广义积分

函数

在点x0处导数的定义为

广义积分

函数

在点x0处导数的定义为

广义积分

函数

在点x0处导数的定义为

广义积分

函数

在点x0处导数的定义为

广义积分

函数

在点x0处导数的定义为

广义积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

多重积分

函数

在点x0处导数的定义为

谢谢！交流碰撞火花Exchangeproducessparks人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom129思路：理解微分方程的内涵与意义，掌握微分方程的现实意义目标：本次课首先介绍常微分方程的定义与求解，之后对一阶线性微分方程进行详细讲解130提纲：常微分方程基本概念一阶微分方程常微分方程基本概念

函数

在点x0处导数的定义为常微分方程基本概念

函数

在点x0处导数的定义为一阶微分方程

函数

在点x0处导数的定义为一阶微分方程

函数

在点x0处导数的定义为一阶微分方程

函数

在点x0处导数的定义为一阶微分方程

函数

在点x0处导数的定义为一阶微分方程

函数

在点x0处导数的定义为一阶微分方程

函数

在点x0处导数的定义为一阶微分方程

函数

在点x0处导数的定义为谢谢！交流碰撞火花Exchangeproducessparks人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom142思路：本次课特别强调基础数学概念的深刻理解，它们是后续学习的基础。目标：本次课主要介绍矩阵的秩、向量组的线性相关性、矩阵的特征值与特征向量的概念，然后介绍它们的基本应用。143提纲：

矩阵秩的概述向量组的线性相关性特征值与特征向量3.1矩阵的秩

3.2向量组的线性相关性

3.3特征值与特征向量

谢谢！交流碰撞火花Exchangeproducessparks人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom170思路：本次课的内容是代数学基础性知识，它们也是后续学习的基础。目标：本次课主要介线性空间、线性变换、内积空间的基础知识。171提纲：

线性空间线性变换内积空间3.4线性空间

3.5线性变换

3.6内积空间

向量的投影

谢谢！交流碰撞火花Exchangeproducessparks人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom199思路：聚焦在机器学习和深度学习框架下理解矩阵分解。目标：本章主要介绍矩阵的LU分解、矩阵的QR分解、矩阵的特征值分解、矩阵的奇异值（SVD）分解的概念。200提纲：

矩阵的LU分解矩阵的QR分解矩阵的特征值分解矩阵的奇异值（SVD）分解矩阵的LU分解

矩阵的LU分解

矩阵的LU分解

第二步：后向计算，从矩阵U求矩阵A矩阵的LU分解

矩阵的LU分解

上面3个条件中的前面两个很好理解，第三条件实际上可以弱化。在例4-1中，对矩阵A进行初等行变换时，没有进行行交换。但是，并不是所有的矩阵A都满足这样的条件，如果矩阵如下将矩阵A的第一行的负4倍和负3倍分别加到第二行和第三行，得到矩阵如下矩阵的LU分解

矩阵的LU分解

矩阵的LU分解

第三步：后向计算，从矩阵U求矩阵PA

第三步，令

这样就得到由于置换矩阵P的逆矩阵等于它的转置矩阵，对上式两边左乘P-1，得到矩阵的LU分解

4.1.3矩阵LU分解的扩展形式

矩阵的LU分解

矩阵的LU分解

矩阵的LU分解

矩阵的QR分解4.2.1矩阵QR分解的定义

矩阵的QR分解由于矩阵Q是正交矩阵，所以有然后将求得的系数带入向量a的线性组合之中，得到向量a的正交分解为

上式说明，将一个向量a沿着一组正交向量进行正交分解，沿任一向量的系数是该向量的转置与向量a的内积。下面我们讲解矩阵的QR分解时将用到这个性质矩阵的QR分解4.2.2利用施密特正交化方法进行矩阵的QR分解

矩阵的QR分解

这里的系数计算利用了4.2.1最后面介绍的性质2[关于系数的计算也可以直接根据迭代关系获得。]，上面的过程写成矩阵形式就是这样就得到了矩阵A的QR分解中的正交矩阵Q和上三角矩阵R矩阵的QR分解

矩阵的QR分解

再根据得到矩阵的QR分解

这样就得到上三角矩阵R为

矩阵的特征值分解4.3.1矩阵的特征值分解定义

在前面一章介绍了n阶矩阵A能对角化的充要条件是矩阵A有个n个线性无关的特征向量，并且，矩阵A的特征向量构成的可逆矩阵P，使得AP=PD，其中D是对角矩阵，它的对角元素为矩阵A的n个特征值。这样就有下面的特征特征分解的定义。

如果n阶矩阵A有n个线性无关的特征向量，则存在一个可逆矩阵P，使得矩阵A可以分解为A=PDP-1。其中，D是对角矩阵，它的对角元素为矩阵A的n个特征值；矩阵P是n阶可逆矩阵，它的列为矩阵A的特征向量，排列顺序与对角矩阵D中特征值的排列顺序一致。我们把上面的分解称为矩阵A的特征值分解，也称为谱分解。当然，如果进一步矩阵A是实对称矩阵，则存在正交矩阵P，使得矩阵A可以分解为A=PDP-1=PDPT。其中，D是对角矩阵，它的对角元素为矩阵A的n个特征值；矩阵P是n阶正交矩阵，它的列为矩阵A的正交化特征向量。

矩阵的特征分解有很广泛的应用。从矩阵A的特征分解形式上看，最直接的应用是计算矩阵A的逆矩阵、计算矩阵的多项式、矩阵多项式的特征值，这些内容实际上是上一章介绍的相似变换知识点的扩展。下面介绍矩阵的特征分解的本质含义及其在机器学习中的一个经典应用。

矩阵的特征值分解4.3.2矩阵特征值分解的本质一个n阶矩阵与一个n维向量x相乘，本质上等价于对向量x进行旋转和拉伸缩放，也就是相当于改变向量x的基底。为理解这个问题，以二维矩阵和向量为例，对一般情况也适用

于是矩阵的特征值分解

图4.1矩阵向量乘法的几何意义矩阵的特征值分解

矩阵的特征值分解4.3.3矩阵特征值分解的应用矩阵的特征值分解在机器学习、图像处理、量子力学、数据挖掘中具有广泛的应用。下面介绍一个利用python语言，通过对图像矩阵进行特征值分解，达到图像压缩与恢复目的具体应用。下图4.2是手写体识别数据集中的一张28x28的图片图4.2手写体数字4

首先通过Image.open()函数读取该图片，然后将它转化为numpy数组，就是一个28x28的矩阵，也就是上面说的图像矩阵。有了图像矩阵数据之后，利用numpy中的linalg.eig()函数对该矩阵进行特征分解，得到图像矩阵的特征值和相应的特征向量。有了图像矩阵的特征值和特征向量之后，就可以根据矩阵的特征分解表达式A=PDP-1，选取部分特征值对图像进行压缩与恢复。比如我们选取前面个特征值及相应的特征向量恢复图像，可以根据这n个特征值来构造表达式A=PDP-1中的对角矩阵D，对角矩阵D的前面n个主对角元素为这n个特征值，其他元素置为零。再根据numpy中的linalg.inv()函数求出特征向量构成的矩阵P的逆矩阵P-1，这样就可以用表达式A=PDP-1重构出原来的图像。详细的代码如下:矩阵的特征值分解importosfromPILimportImageimportnumpyasnpimportmatplotlib.pyplotaspltdefIM_restore(cvector,cvalue,n,N):cvector1=np.linalg.inv(cvector)diag=np.append(cvalue[0:n],np.zeros(N-n))lam_new=np.diag(diag)new_image=np.dot(np.dot(cvector,lam_new),cvector1)returnnew_imageimg=Image.open('D:/lsbdata/hw4.png')#这里根据实际图片位置和图片名称调整im=img.convert('L')image_data=np.asarray(im)eig_value,eig_vector=np.linalg.eig(image_data)restored_img=IM_restore(eig_vector,eig_value,18,28)plt.subplot(1,2,1)plt.imshow(im,cmap='gray')plt.xlabel('orginalimage')plt.subplot(1,2,2)plt.imshow(restored_img,cmap='gray')plt.xlabel('restoredimage')矩阵的特征值分解

下面的图4.3和图4.4分别给出了选取前面14和18特征值恢复的效果。从图4.3可以看出，如果选取前面14个特征值，基本上恢复出了原始图像的主要特征，已经不影响我们对该手写体数字的识别了，但还存在一些差别。从图4.4可以看出，如果选取前面18个特征值的话，则几乎完全恢复了原始图像。在实际工作中，可以根据我们要求的精度，选取合适特征值个数来压缩或恢复图像。图4.3选取前面14个特征值恢复效果图图4.4选取前面18个特征值恢复效果图矩阵的奇异值（SVD）分解4.4.1矩阵的奇异值分解的定义

矩阵的奇异值（SVD）分解

矩阵的奇异值（SVD）分解4.4.2矩阵的奇异值分解的计算

矩阵的奇异值（SVD）分解

解：第一步，求矩阵AAT的特征值和特征向量，得到这样就得到矩阵P为矩阵的奇异值（SVD）分解

第二步，求矩阵AAT的特征值和特征向量，得到这样得到矩阵Q为最后得到矩阵A的奇异值分解为矩阵的奇异值（SVD）分解4.4.4矩阵的奇异值分解的意义及逼近

在满足逼近精度要求下，如果我们选取r的远小于m和n，则可以较大地减少计算和存储开销。下面从理论上给出矩阵的低秩逼近[6]。对任意一个mxn的矩阵A，不妨假设它的秩为k，根据它的奇异值分解可以得到矩阵的奇异值（SVD）分解

矩阵的奇异值（SVD）分解

因此有

矩阵的奇异值（SVD）分解

奇异值分解在图像压缩、噪声消除和数据挖掘与分析中有广泛应用。下面首先介绍奇异值分解在图像压缩中的一个经典应用。

下面的图4.5是一张分辨率为1280*720的小狗图片。读取该图片数据之后，获得的是R（红色）、G（绿色）和B（蓝色）三通道的像素矩阵数据，通过调用numpy中的linalg.svd函数，对三个通道的像素矩阵进行奇异值分解，获得不同通道的奇异值及左右奇异值向量。由于得到的奇异值中，可能存在一些比较小的奇异值，我们可以舍去后面影响微小的小奇异值信息，就可以在节省存储空间的同时，保留尽可能多的图像信息，从而实现图像压缩图4.5用于数据压缩的原始图片矩阵的奇异值（SVD）分解上面过程的详细程序代码如下fromPILimportImageimportnumpyasnpimportmatplotlib.pyplotaspltdefget_SVD(data,percent):U,s,VT=np.linalg.svd(data)Sigma=np.zeros(np.shape(data))Sigma[:len(s),:len(s)]=np.diag(s)count=(int)(sum(s))*percentk=-1#k是奇异值总和的百分比的个数curSum=0#初值为第一个奇异值whilecurSum<=count:k+=1curSum+=s[k]D=U[:,:k].dot(Sigma[:k,:k].dot(VT[:k,:]))#SVD还原后的数据D[D<0]=0D[D>255]=255returnnp.rint(D).astype("uint8")defrebuild_img(filename,p,get_SVD):img=Image.open(filename,'r')a=np.array(img)R0=a[:,:,0]

G0=a[:,:,1]B0=a[:,:,2]R=get_SVD(R0,p)G=get_SVD(G0,p)B=get_SVD(B0,p)I=np.stack((R,G,B),2)img_svd=Image.fromarray(I)returnimg_svd矩阵的奇异值（SVD）分解filename='C:/users/liaosb/bobby.jpg'img=Image.open(filename).convert('RGB')img_svd1=rebuild_img(filename,0.2,get_SVD)img_svd2=rebuild_img(filename,0.4,get_SVD)img_svd3=rebuild_img(filename,0.6,get_SVD)img_svd4=rebuild_img(filename,0.8,get_SVD)img_svd5=rebuild_img(filename,1.0,get_SVD)plt.figure(1)plt.subplot(2,3,1)plt.imshow(img)plt.axis('off'),plt.title('原始图片')plt.subplot(2,3,2)plt.imshow(img_svd1)plt.axis('off'),plt.title('p=0.2')plt.subplot(2,3,3)plt.imshow(img_svd2)plt.axis('off'),plt.title('p=0.4')plt.subplot(2,3,4)plt.imshow(img_svd3)plt.axis('off'),plt.title('p=0.6')plt.subplot(2,3,5)plt.imshow(img_svd4)plt.axis('off'),plt.title('p=0.8')plt.subplot(2,3,6)plt.imshow(img_svd5)plt.axis('off'),plt.title('p=1.0')

矩阵的奇异值（SVD）分解下面是程序运用的结果图4.6压缩图片恢复效果图

从图4.6中可以看出，只要存储奇异值占比80%的信息，就可以完全恢复该图片了。事实上，对于一些稀疏数据，压缩的比例更大一些。在文献[7]中，作者提供了一个很好的稀疏数据压缩的例子。假设有一张包含15*25个黑白像素点的图片如下矩阵的奇异值（SVD）分解图4.715*25黑白图片示意图图4.7所示的黑白图片，如果我们用0表示白色的像素点，用1表示黑色的像素点，这样就可以构造一个与该图片对应的的矩阵矩阵的奇异值（SVD）分解

图4.8带瑕疵的15*25黑白图片示意图矩阵的奇异值（SVD）分解

这样重构处理的图像，由于去除了一些噪声数据的影响，图像质量会有一定的提升，效果如下图4.9所示，其中左边是原始图片，右边是噪声消减后的图片图4.9噪声消减对比示意图矩阵的奇异值（SVD）分解

下面介绍采用矩阵奇异值分解在数据分析中的一个应用，该案例也是文献[7]给出的，尽管数据示例很简单，但能很好地表达矩阵奇异值分解的应用。假如我们收集了一些数据,数据分布可视化如下图4.10所示。图4.10收集数据分布示意图为了采用矩阵奇异值分解进行分析，将图4.10中的数据构建一个矩阵如下

矩阵的奇异值（SVD）分解图4.11收集数据的真实分布示意图参考文献[1]孙博.机器学习中的数学[M].北京：中国水利水电出版社，2019.[2]霍恩（RogerA.Horn），约翰逊（CharlesR.Johnson）.矩阵分析英文版第2版(图灵出品)[M].北京：人民邮电出版社，2015.[3]北京大学数学力学系前代数小组.高等代数（第五版）[M].北京：人民教育出版社，2019.[4]如何理解矩阵相乘的几何意义或现实意义？[EB/OL].[2022-6-21]./question/28623194?sort=created[5]DanKalman.ASingularlyValuableDecomposition:TheSVDofaMatrix.[EB/OL].[2022-7-9]./~lerman/math5467/svd.pdf[6]奇异值分解的揭秘（一）：矩阵的奇异值分解过程.[EB/OL].[2022-8-3]./p/26306568[7]DavidAustin.WeRecommendaSingularValueDecomposition.[EB/OL].[2022-8-16]./publicoutreach/feature-column/fcarc-svd谢谢！交流碰撞火花Exchangeproducessparks高等工程数学

互动启迪智慧Communicationenlightenswisdom廖盛斌liaoshengbin@AdvancedEngineeringMathematics247思路：本次课特别强调基础数学概念的深刻理解，以及它们的几何意义。目标：本次课主要介绍优化理论及算法中常用的凸集、凸函数、凸函数的判断等概念和方法。248提纲：

优化问题引例凸集凸函数凸函数的判定249优化问题引例

250优化问题引例

251凸集---凸集的定义

252凸集---常见的几种凸集

253凸集---常见的几种凸集

254凸集---常见的几种凸集

255凸集---基本性质

256凸集---基本性质

257凸集---基本性质

258凸集---基本性质

259凸集---基本性质

260凸集---基本性质

261凸函数：定义

262凸函数：几何意义本质是函数的上境图是凸集263凸函数：Jensen不等式

注意：该结论是定义的推广这里利用了归纳假设264凸函数：基本性质

凸函数：基本性质

凸函数：基本性质

凸函数的判定除了根据凸函数的定义判定一个函数是否是凸函数以外，下面介绍几个常见的判定一个函数是否是凸函数的方法。凸函数的判定

凸函数的判定

凸函数的判定

凸函数的判定：定理2的几何意义该图也表明，对于一个可微的凸函数，它图形上面任意一点的切平面，位于它的的图形的下方。凸函数的判定

凸函数的判定

凸函数的判定

谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧Communicationenlightenswisdom廖盛斌liaoshengbin@AdvancedEngineeringMathematics277思路：本次课特别强调采用图形化方法理解优化算法的设计思路。目标：本次课主要介绍优化问题的定义、优化算法的一般设计思路、可行方向与下降方向。278提纲：

最优化问题及解的定义优化算法的一般思路可行方向与下降方向279最优化问题及解的定义

280最优化问题及解的定义

281最优化问题及解的定义

282最优化问题及解的定义

283最优化问题及解的定义

284优化算法的一般思路

285优化算法的一般思路：线性搜索

286优化算法的一般思路：线性搜索

287优化算法的一般思路：线性搜索从上面可知，该类算法包括三个基本要素，即初始点、搜索方向和迭代步长。事实上，很多优化算法的设计以及支撑优化算法设计的基本理论都是围绕这三个基本要素展开的。在讨论具体的算法设计和相关理论分析之前，我们通过下面一个简单的优化问题，以图例的形式，对算法1及它的三个基本要素给出几何表示，帮助理解算法的内涵。288优化算法的一般思路：线性搜索

289优化算法的一般思路：线性搜索

290优化算法的一般思路：信赖域法

291优化算法的一般思路：信赖域法

292优化算法的一般思路：信赖域法同样借助于例5.2的优化问题，对算法5.2给出几何解释。293优化算法的一般思路：信赖域法

294优化算法的一般思路：信赖域法295优化算法的一般思路：信赖域法296优化算法的一般思路：信赖域法

297可行方向与下降方向

298可行方向与下降方向

谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧Communicationenlightenswisdom廖盛斌liaoshengbin@AdvancedEngineeringMathematics301目标：本次课主要介绍优化理论及算法中常用的最优性条件、KKT条件。思路：本次课内容是优化理论及算法中最重要的基础内容，要从理论、算法设计思路、工程实践对它们进行深入理解。302提纲：

最优性条件无约束问题的最优性条件约束问题的最优性条件KKT条件303最优性条件

304无约束问题的最优性条件：

一个基础性的结论305无约束问题的最优性条件：

306无约束问题的最优性条件：

307无约束问题的最优性条件：

308无约束问题的最优性条件：

309无约束问题的最优性条件：

310无约束问题的最优性条件：

311约束问题的最优性条件

312约束问题的最优性条件

313约束问题的最优性条件

314约束问题的最优性条件

315约束问题的最优性条件

316约束问题的最优性条件：几何意义约束问题最优性条件的几何解释317约束问题的最优性条件：几何意义

318约束问题的最优性条件：几何意义

319约束问题的最优性条件：几何意义

320约束问题的最优性条件：思考题

谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧Communicationenlightenswisdom廖盛斌liaoshengbin@AdvancedEngineeringMathematics323目标：本次课主要介绍优化理论及算法中常用的最优性条件、KKT条件。思路：本次课内容是优化理论及算法中最重要的基础内容，要从理论、算法设计思路、工程实践对它们进行深入理解。324提纲：

最优性条件无约束问题的最优性条件约束问题的最优性条件KKT条件325KKT条件

326KKT条件：约束问题一般形式

327KKT条件：有效约束

328KKT条件：有效约束集的表示

329KKT条件：优化问题的等价表示举例

330KKT条件：优化问题的有效约束举例

331KKT条件：FritzJohn条件

332KKT条件：FritzJohn条件

333KKT条件：拉格朗日函数和拉格朗日乘子

334KKT条件

335KKT条件

336KKT条件

337KKT条件

谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧Communicationenlightenswisdom廖盛斌liaoshengbin@AdvancedEngineeringMathematics340目标：本次课主要介绍梯度下降算法、随机梯度下降算法。思路：梯度下降算法和随机梯度下降算法是两个最常用的优化算法，这里更强调在机器学习框架下应用随机梯度下降算法。341提纲：

最速下降方向梯度下降算法随机梯度下降算法342最速下降方向

343最速下降方向:负梯度方向

344最速下降方向:负梯度方向

345梯度下降算法：算法

梯度下降法：机器学习线性模型版本初始化每个Δ𝑤_𝑖为0对于训练样例training_examples中的每个<x,t>，做：

遇到终止条件之前，做以下操作：其中，D是训练样例集合347梯度下降算法：缺点

348梯度下降算法：终止条件

349随机梯度下降算法：算法思路在深度学习算法中，广泛使用的是随机梯度算法。一般需要根据原始模型的输出与期望的输出构建损失函数，然后通过优化算法对损失函数进行优化，使得模型在训练样本集上损失函数的值最小，以便寻找到模型最优的参数。在求解深度网络模型参数中，使用最多的是梯度下降算法的一种变种，称为随机梯度下降算法（SGD）。由于深度学习中，训练样本数量可能比较大，我们可能要对训练样本进行随机采样和分块，每次只是随机地抽取一个样本或一批样本（一个Batch），根据该样本或该批样本得到的损失误差值来更新模型参数，这就是随机梯度下降算法的基本思路。350随机梯度下降算法：算法思路

351随机梯度下降算法：问题问题：这样计算的梯度不是真正的最速下降方向，而是对最速下降方向的近似。正是由于随机梯度下降算法每次计算的梯度有一定的偏差，随机梯度下降算法中每次的搜索方向不一定是下降方向，这样会导致迭代过程中损失函数下降曲线会出现一些波动，有时甚至会出现不收敛的可能性，但是在实际使用中效果比较好。352随机梯度下降算法：算法

随机梯度下降法：机器学习线性模型版本

对于训练样例training_examples中的样本，每次取一个<x,t>，做把实例x输入到此单元，计算输出o

随机梯度下降法：文献阅读SebastianRuder.Anoverviewofgradientdescentoptimizationalgorithms大家主要阅读1、2、3和4.1、4.2、4.3和4.6，并实现2中的代码。论文已经发到课程群里面了谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧Communicationenlightenswisdom廖盛斌liaoshengbin@AdvancedEngineeringMathematics357目标：本次课主要介绍牛顿法、拟牛顿法。思路：牛顿法和拟牛顿法也是两个最常用的优化算法，理解它们的设计思路，比较它们与梯度下降的复杂度。358提纲：

牛顿法拟牛顿法359牛顿法

360

牛顿法361

牛顿法362

牛顿法牛顿法

牛顿法上面说明了牛顿法在收敛性上具有较好的性质。但是，当初始点远离局部最优点时，牛顿法也有可能不收敛，主要是牛顿方向不一定是下降方向。牛顿法也存在计算量比较大的缺陷，因为牛顿法需要计算当前点的梯度、黑塞矩阵和黑塞矩阵的逆矩阵。牛顿法也可能面临黑塞矩阵不可逆或近似不可逆的情况。针对牛顿法的缺陷和可能存在的问题，存在许多改进的牛顿法，最经典的就是下面的拟牛顿法。思考：为什么牛顿方向不一定是下降方向？拟牛顿法

拟牛顿法

拟牛顿法：DFP算法

拟牛顿法：DFP算法

拟牛顿法：BFGS算法

拟牛顿法：BFGS算法

论文阅读与代码实现

1论文阅读：DaiYH.AperfectexamplefortheBFGSmethod.Mathematicalprogramming,2013,138(1-2):501-5302代码实现参考：https:///blog/2790196/谢谢！交流碰撞火花Exchangeproducessparks努力向前！高等工程数学

互动启迪智慧Communicationenlightenswisdom廖盛斌liaoshengbin@AdvancedEngineeringMathematics374目标：本次课主要介绍优化算法在神经网络中的应用。思路：在机器学习框架下，理解最优化算法的工程应用。375提纲：

人工神经网络简介优化算法求解机器学习问题神经网络中的反向传播算法376人工神经网络简介：

生物学背景：“神经网络”这个词实际是来自于生物学，是由大量的神经元细胞以不同方式连接构成的一个复杂网络系统。它具有非线性、自适应、自学习、并行分布式处理等典型特性。人工神经网络：人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。它的信息处理功能是由网络单元（神经元）的输入输出特性（激活特性）、网络的拓扑结构（神经元的连接方式）、连接权大小（突触联系强度）和神经元的阈值（可视为特殊的连接权）等决定。要点：人工神经网络（ArtificialNeuralNetworks——ANNs）提供了一种普遍

实用、健壮的方法，来从样例中学习值为实数、离散或向量的函数。

377神经网络表示：人工神经网络由大量的神经元处理单元构成，是对生物神经系统的模拟。人工神经元模型是生物神经元的抽象和模拟，是神经网络的最基本处理单元，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。常见的处理单元包括：感知器（perceptron）、线性单元（linearunit）和sigmoid单元（sigmoidunit）。3.1处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。人工神经网络简介：3783.2ALVINN系统：

ALVINN系统是一个它是ANN学习的一个及人工神经网络简介：30个输出单元4个隐藏单元30X32个输入学习到的权重学习驾驶汽车的ANN，典型实例。ANN学习就是为网络中的每一条边选取权值。优化算法求解机器学习问题的一般模式

优化算法求解机器学习问题的一般模式

反向传播算法1多层网络：单个感知器仅能表示线性决策面。相反，反向传播算法所学习的多层网络能够表示种类繁多的非线性曲面。下图描述了一个典型的多层网络和它的决策曲面,它比前面的单个单元的线性决策面表征能力更强。上面的网络是用来训练识别10种出现在“h_d”（例如“had”，“hid”）间的元音。它的输入由两个参数F1和F2组成，它们是通过对声音的频谱分析得到的。网络的10个输出对应于10个可能的元音。这个网络的预测是其中有最大值的输出。右图画出了学到的网络所代表的高度非线性决策面。图中的点表示测试样例，它们与用来训练这个网络的样例是完全不同的

反向传播算法

反向传播算法

反向传播算法

算法解释

算法权值调整的推导

算法权值调整的推导

算法补充说明

是冲量常数收敛性和局部极小值反向传播算法实现了一种对可能的网络权值空间的梯度下降搜索，它迭代地减小训练样例的目标值和网络输出间的误差。因为对于多层网络，误差曲面可能含有多个不同的局部极小值，梯度下降可能陷入这些局部极小值中的一个。因此，对于多层网络，反向传播算法仅能保证收敛到误差E的某个局部极小值，不一定收敛到全局的最小误差。对于很多实际的应用，局部极小值的问题没有想象的那么严重。缓解局部极小值的方法：增加冲量、随机梯度、使用不同的初始化权值。前馈网络的表征能力1.任何布尔函数可以被具有两层单元的网络准确表示。2.任何有界的连续函数可以由一个两层的网络以任意小的误差逼近。3.任意函数可以被一个有三层单元的网络以任意精度逼近。算法补充说明隐藏层表示

反向传播算法的一个迷人的特性是:它能够在网络内部的隐藏层发现有用的中间表示。因为训练样例仅包含网络的输入和输出，权值调节的过程可以自由地设置权值，来定义在最小化误差平方E中最有效的任何隐藏单元表示。这能够引导反向传播算法定义新的隐藏层特征，这些特征在输入中没有明确表示出来，但却能捕捉输入实例中与学习目标函数最相关的特征。算法补充说明多层网络在隐藏层自动发现有用表示的能力是ANN学习的一个关键特性。与那些仅限于使用人类设计者提供的预定义特征的学习方法相比，它提供了一种相当重要的灵活性：允许学习器创造出设计者没有明确引入的特征。网络中使用的单元层越多，就可以创造出越复杂的特征。算法补充说明谢谢！交流碰撞火花Exchangeproducessparks努力向前！人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom394思路：概率论是研究随机现象统计规律性的一门学科，数理统计是利用概率论及相关知识研究和分析数据的总体和数量特征的学科。本章更强调概率论和统计学基础知识在机器学习中的应用。目标：本章主要介绍人概率论和数理统计基本概念、概率监督模型的基本思想。395提纲：

随机变量及其分布随机变量的数字特征极限理论机器学习中的参数估计6.1随机变量及其分布：概率基本概念

6.1随机变量及其分布：概率基本概念

6.1随机变量及其分布：概率基本概念

概率模型的基本构成6.1随机变量及其分布：概率基本概念

6.1随机变量及其分布：随机变量的定义

6.1随机变量及其分布：随机变量的分类

随机变量可以分为离散型随机变量和连续型随机变量两种。如果一个随机变量的值域或取值集合是一个有限集或无限可数集，则称这个随机变量是离散型随机变量。如果一个随机变量的值域或取值集合是一个连续的集合或无限不可数集，则称这个随机变量是连续型的随机变量。这里严格地说，我们只是给出了随机变量的分类，而对应离散型随机变量和连续型随机变量定义是一种描述性的，对于离散型随机变量和连续型随机变量的严格刻画，还需要借助随机变量的概率分布。6.1随机变量及其分布

6.1随机变量及其分布：分布函数的几何意义

6.1随机变量及其分布：分布函数的性质

6.1随机变量及其分布：离散型随机变量

6.1随机变量及其分布：离散型随机变量

6.1随机变量及其分布：连续型随机变量

6.1随机变量及其分布：连续型随机变量

6.1随机变量及其分布：连续型随机变量

6.1随机变量及其分布：连续型随机变量

变上限积分求导公式：6.1随机变量及其分布：连续型随机变量

6.1随机变量及其分布：连续型随机变量

6.1随机变量及其分布：连续型随机变量

6.1随机变量及其分布：连续型随机变量

6.1随机变量及其分布：随机变量的函数及其分布

6.1随机变量及其分布：随机变量的函数及其分布

6.1随机变量及其分布：随机变量的函数及其分布

6.1随机变量及其分布：随机变量的函数及其分布

6.1随机变量及其分布：随机变量的函数及其分布

6.1随机变量及其分布：多维随机变量及其分布

二维随机变量图像化表示示意图6.1随机变量及其分布：多维随机变量及其分布

二维随机变量分布函数的几何意义6.1随机变量及其分布：多维随机变量及其分布

6.1随机变量及其分布：多维随机变量及其分布

6.1随机变量及其分布：多维随机变量及其分布

6.1随机变量及其分布：多维随机变量及其分布

6.1随机变量及其分布：多维随机变量及其分布

6.1随机变量及其分布：多维随机变量及其分布

6.1随机变量及其分布：多维随机变量及其分布

6.1随机变量及其分布：多维随机变量及其分布

6.1随机变量及其分布：多维随机变量及其分布

6.1随机变量及其分布：条件概率与条件分布

6.1随机变量及其分布：条件概率与条件分布

6.1随机变量及其分布：条件概率与条件分布

条件概率模型的基本构件可以如图所示条件概率模型示意图6.1随机变量及其分布：条件概率与条件分布

6.1随机变量及其分布：条件概率与条件分布

条件随机变量图像化示意图6.1随机变量及其分布：条件概率与条件分布

6.1随机变量及其分布：条件概率与条件分布

6.1随机变量及其分布：条件概率与条件分布

6.1随机变量及其分布：条件概率与条件分布

谢谢！交流碰撞火花Exchangeproducessparks人工只智能数学基础

MathematicalBasisofArtificialIntelligence互动启迪智慧Communicationenlightenswisdom442思路：概率论是研究随机现象统计规律性的一门学科，数理统计是利用概率论及相关知识研究和分析数据的总体和数量特征的学科。本章更强调概率论和统计学基础知识在机器学习中的应用。目标：本章主要介绍人概率论和数理统计基本概念、概率监督模型的基本思想。443提纲：

随机变量及其分布随机变量的数字特征极限理论机器学习中的参数估计6.2随机变量的数字特征：数学期望

为什么需要随机变量的数字特征？概率分布或概率密度函数很好地刻画了随机变量的变化规律或统计特性，可以说它们完全决定了随机变量的特性或变化规律，但是它们往往在实际应用中很难得到。这样，我们希望能获由随机变量概率分布决定的、能刻画随机变量某一特征的常数，这些量统称为随机变量的数字特征。下面主要介绍随机变量的数学期望、方差与标准差、相关系数，以及它们在机器学习和人工智能中的一些应用。6.2随机变量的数字特征：数学期望

6.2随机变量的数字特征：数学期望

6.2随机变量的数字特征：数学期望

6.2随机变量的数字特征：数学期望

6.2随机变量的数字特征：数学期望

6.2随机变量的数字特征：数学期望

6.2随机变量的数字特征：方差

6.2随机变量的数字特征：方差

6.2随机变量的数字特征：方差

6.2随机变量的数字特征：方差

6.2随机变量的数字特征：方差

6.2随机变量的数字特征：方差

6.2随机变量的数字特征：协方差与相关系数

6.2随机变量的数字特征：协方差与相关系数

6.2随机变量的数字特征：协方差与相关系数

6.2随机变量的数字特征：协方差与相关系数

6.2随机变量的数字特征：协方差与相关系数

6.2随机变量的数字特征：协方差与相关系数

6.2随机变量的数字特征：方差和协方差在PCA中的应用举例

主成分分析（PrincipalComponentAnalysis，PCA）就是对包含有冗余信息的原始数据进行线性变换，在损失比较少的信息前提下，使得变换后的数据维度降低了，同时各个维度数据互不相关。通常把线性变换之后生成的各个维度数据称为主成分，其中每个主成分都是原始数据各个维度的线性组合。原始数据可以由原始数据空间的基向量线性组合表示，而PCA的各个主成分是原始数据各个维度的线性组合，这样PCA的本质就是，获取一组变换后数据的基向量，它们是原始数据空间基向量的线性组合。PCA是一种常用的数据降维方法，由于各个主成分数据之间互不相关，使得主成分比原始数据具有某些更优越的性能。这样在研究复杂问题时可以只考虑少数几个主成分而不至于损失太多信息，但更容易抓住主要矛盾，揭示事物的内在规律性，同时使问题得到简化，提高分析和挖掘效率。既然PCA是一种数据降维方法，那么怎么评估降维之后的效果自然是我们关心的问题。下面通过一个简单的可视化例子来说明这个问题。6.2随机变量的数字特征：方差和协方差在PCA中的应用举例

如果我们有如下图6.10所示的二维数据，现在想通过降维的方法，将它们变换为一维数据。这里假定这些数据点的样本均值为零，否则的话，可以通过平移变