《机器学习-Python实战（微课版）》课件 第二章 机器学习数学基础

第二章机器学习数学基础本章主要讲述机器学习中相关的数学概念、包括线性代数，多元微积分及概率统计等相关知识。通过本节学习可以：熟悉机器学习中数学的用法熟悉机器学习中线性代数熟悉机器学习中多元微积分熟悉机器学习中概率与统计相关知识点学习目标线性代数向量空间矩阵分析概率与统计多元微积分在机器学习的科学研究与工程实践中，经常会遇到m*n线性方程组。它使用m个方程描述个n未知量之间的线性关系。这一线性方程组很容易用矩阵-向量形式简记为：向量空间𝛼1,𝛼2,⋯,𝛼𝑠线性相关

⇔至少有一个向量可以用其余向量线性表示。𝛼1,𝛼2,⋯,𝛼𝑠线性无关，𝛼1,𝛼2,⋯,𝛼𝑠，𝛽线性相关

⇔𝛽可以由𝛼1,𝛼2,⋯,𝛼𝑠唯一线性表示。𝛽可以由𝛼1,𝛼2,⋯,𝛼𝑠线性表示

⇔𝑟(𝛼1,𝛼2,⋯,𝛼𝑠)=𝑟(𝛼1,𝛼2,⋯,𝛼𝑠,𝛽)。向量组的线性表示设𝑟(𝐴𝑚×𝑛)=𝑟，则𝐴的秩𝑟(𝐴)与𝐴的行列向量组的线性相关性关系为：若𝑟(𝐴𝑚×𝑛)=𝑟=𝑚，则𝐴的行向量组线性无关。若𝑟(𝐴𝑚×𝑛)=𝑟<𝑚，则𝐴的行向量组线性相关。若𝑟(𝐴𝑚×𝑛)=𝑟=𝑛，则𝐴的列向量组线性无关。若𝑟(𝐴𝑚×𝑛)=𝑟<𝑛，则𝐴的列向量组线性相关。向量组的秩与矩阵的秩之间的关系若𝛼1,𝛼2,⋯,𝛼𝑛与𝛽1,𝛽2,⋯,𝛽𝑛是向量空间𝑉的两组基，则基变换公式为：其中𝐶是可逆矩阵，称为由基𝛼1,𝛼2,⋯,𝛼𝑛到基𝛽1,𝛽2,⋯,𝛽𝑛的过渡矩阵。𝒏维向量空间的基变换公式及过渡矩阵线性代数向量空间矩阵分析概率与统计多元微积分A称为矩阵，是一个按照长方阵列排列的复数或实数集合。x跟b代表n*1向量和m*1向量。矩阵向量矩阵A可以是线性系统、滤波器、无线信道等的符号表示；而科学和工程中遇到的向量可分为三种：物理向量：泛指既有幅值，又有方向的物理量，如速度、加速度、位移等。几何向量：为了将物理向量可视化，常用带方向的(简称有向)线段表示，这种有向线段称为几何向量。代数向量：儿何向量可以用代数形式表示。向量矩阵的加法设𝐴=(

),𝐵=(

)是两个𝑚×𝑛矩阵，则𝑚×𝑛矩阵𝐶=(

)=

+

称为矩阵𝐴与𝐵的和，记为𝐴+𝐵=𝐶。矩阵的数乘设𝐴=(aij)是𝑚×𝑛矩阵，𝑘是一个常数，则𝑚×𝑛矩阵(kaij)称为数𝑘与矩阵𝐴的数乘，记为k𝐴。矩阵的乘法设𝐴=(aij)是𝑚×𝑛矩阵，𝐵=(bij)是𝑛×𝑠矩阵，那么𝑚×𝑠矩阵𝐶=(cij)，其中cij=ai1b1j+ai2b2j

+⋯+ainbnj

=

称为𝐴𝐵的乘积，记为𝐶=𝐴𝐵。矩阵线性运算(𝐴𝑇)𝑇=𝐴,(𝐴𝐵)𝑇=𝐵𝑇𝐴𝑇,(𝑘𝐴)𝑇=𝑘𝐴𝑇,(𝐴±𝐵)𝑇=𝐴𝑇±𝐵𝑇

𝑨𝑻、𝑨−𝟏、𝑨∗三者之间的关系𝐴可逆⇔𝐴𝐵=𝐸;⇔|𝐴|≠0;⇔𝑟(𝐴)=𝑛;

⇔𝐴可以表示为初等矩阵的乘积；

⇔𝐴无零特征值；

⇔Ax=0只有零解。有关𝑨−𝟏的结论这里A,B均可为逆矩阵。分块求逆公式线性代数向量空间矩阵分析概率与统计多元微积分统计学是研究如何搜集资料、整理资料和进行量化分析、推断的一门科学，在科学计算、工业和金融等领域有着重要应用，统计分析是机器学习的基本方法与统计分析相关的基本概念有以下几个总体：根据定目的确定的所要研究事物的全体样本：从总体中随机抽取的若干个体构成的集合推断：以样本所包含的信息为基础对总体的某些特征作出判断、预测和估计推断可靠性：对推断结果从概率上的确认，作为决策的重要依据统计分析分为描述性统计和推断性统计，描述性统计是通过对样本进行整理、分析并就数据的分布情况获取有意义的信息，从而得到结论。推断统计又分为参数估计和假设检验，参数估计是对样本整体中某个数值进行估计，如推断总体平均数等，而假设检验是通过对所做的推断验证，从而进择行才方案统计分析

统计基础议程

统计基础议程均值、标准差、方差、协方差均值描述的是样本集合的平均值标准差描述是样本集合的各个样本点到均值的距离分布，描述的是样本集的分散程度在机器学习中的方差就是估计值与其期望值的统计方差。如果进行多次重复验证的过程，就会发现模型在训练集上的表现并不固定，会出现波动，这些波动越大，它的方差就越大协方差主要用来度量两个随机变量关系，如果结果为正值，则说明两者是正相关的；结果为负值，说明两者是负相关的；如果为0，就是统计上的“相互独立”统计基础议程

统计基础

正则化与交叉验证L0正则化L1正则化L2正则化HoldOut检验简单交叉检验K折交叉检验留一交叉检验统计基础议程

常见概率分布议程参数估计是用样本统计量去估计总体的参数，即根据样本数据选择统计量去推断总体的分布或数字特征。估计参数的目的，是希望用较少的参数去描述数据的总体分布，前提是要了解样本总体分布（如正态分布），这样就只需要估计其中参数的值。如果无法确认总体分布，那就要采用非参数估计的方法。参数估计是统计推断的种基本形式，分为点估计和区间估计两部分。其中有多种方法，除了最基本的最小二乘法和极大似然法、贝叶斯估计、极大后验估计，还有矩估计、一致最小方差无偏估计、最小风险估计、最小二乘法、最小风险法和极小化极大熵法等。参数估计议程

假设检验议程

假设检验议程线性代数向量空间矩阵分析概率与统计多元微积分导数和微分的概念或者导数函数的可导性与连续性之间的关系：函数𝑓(𝑥)在x0处可微⇔𝑓(𝑥)在x0处可导。若函数在点x0处可导，则𝑦=𝑓(𝑥)在点x0处连续，反之则不成立。即函数连续不一定可导。𝑓′(x0)存在⇔𝑓′−(x0)=𝑓′+(x0)高等数学切线方程:法线方程：平面曲线的切线和法线设函数𝑢=𝑢(𝑥)，𝑣=𝑣(𝑥)在点𝑥可导，则：𝑢±𝑣′=𝑢′±𝑣′(𝑢𝑣)′=𝑢𝑣′+𝑣𝑢′𝑑(𝑢𝑣)=𝑢𝑑𝑣+𝑣𝑑𝑢四则运算复合函数，反函数，隐函数以及参数方程所确定的函数的微分法反函数的运算法则:设𝑦=𝑓(𝑥)在点𝑥的某邻域内单调连续，在点𝑥处可导且𝑓′(𝑥)≠0，则其反函数在点𝑥所对应的𝑦处可导，并且有复合函数的运算法则:若𝜇=𝜑(𝑥)在点𝑥可导,而𝑦=𝑓(𝜇)在对应点𝜇(𝜇=𝜑(𝑥))可导,则复合函数𝑦=𝑓(𝜑(𝑥))在点𝑥可导,且复合函数费马定理若函数𝑓(𝑥)满足条件：函数𝑓(𝑥)在x0的某邻域内有定义，并且在此邻域内恒有𝑓(𝑥)≤𝑓(x0)或𝑓(𝑥)≥𝑓(x0),𝑓(𝑥)在x0处可导,则有𝑓′(x0)=0微分中值定理设函数𝑓(𝑥)满足条件：在[𝑎,𝑏]上连续；在(𝑎,𝑏)内可导；则在(𝑎,𝑏)内存在一个𝜉，使拉格朗日中值定理设函数𝑓(𝑥)，𝑔(𝑥)满足条件：在[𝑎,𝑏]上连续；在(𝑎,𝑏)内可导且𝑓′(𝑥)，𝑔′(𝑥)均存在，且𝑔′(𝑥)≠0则在(𝑎,𝑏)内存在一个𝜉，使柯西中值定理设函数𝑓(𝑥)在(𝑎,𝑏)区间内可导，如果对∀𝑥∈(𝑎,𝑏)，都有𝑓′(𝑥)>0（或𝑓′(𝑥)<0），则函数𝑓(𝑥)在(𝑎,𝑏)内是单调增加的（或单调减少）。（取极值的必要条件）设函数𝑓(𝑥)在𝑥0处可导，且在𝑥0处取极值，则𝑓′(𝑥0)=0。函数单调性的判断设函数𝑓′(x)在x0的某一邻域内可微，且𝑓′(𝑥0)=0（或𝑓(𝑥)在x0处连续，但𝑓′(x0)不存在）。若当𝑥经过x0时，𝑓′(𝑥)由“+”变“-”，则𝑓(x0)为极大值；若当𝑥经过x0时，𝑓′(𝑥)由“-”变“+”，则𝑓(x0)为极小值；若𝑓′(x)经过𝑥=𝑥0的两侧不变号，则𝑓(x0)不是极值。设𝑓(𝑥)在点x0处有𝑓″(𝑥)≠0，且𝑓′(𝑥0)=0，则当𝑓′′(x0)<0时，𝑓(x0)为极大值；当𝑓′′(x0)>0时，𝑓(x0)为极小值。注：如果𝑓′′(x0)=0，此方法失效。极值充分条件(凹凸性的判别定理）若在I上𝑓″(𝑥)<0（或𝑓″(𝑥)>0），则𝑓(𝑥)在I上是凸的（或凹的）。(拐点的判别定理1)若