电子课件数据科学概论ch3

1、数据科学的数学基础引言无论是统计学还是计算机科学，都以数学为基础。每一种分析方法，都可以用数学理论或算法形式来表述；深入地理解各种方法的内涵，需要从基本的数学原理入手；如果研究者想在方法上做出一些学术贡献，也免不了进行各种数学推导和证明。引言Analysis of a Random Forests Model引言A Representer Theorem for Deep Neural Networks引言数学十分重要，但并不意味着一定要完全弄懂数学原理后才能进行分析实践。数据科学是一门应用性很强的科学，需要坚实的基础；还需要以实际问题的解决为导向。掌握一些基础的数学计算在程序中的实现方式具有

2、必要性。本章在介绍数据基础知识的同时将把一些重要的知识点用程序操作的形式展现出来：基础的矩阵运算、概率分布的计算；程序实践操作等。目录线性代数概率论和数理统计最优化方法777线性代数线性代数线性代数在数据科学研究的问题中，变量通常可以对应随机变量。变量的数目也称为 “元”，多变量分析也可以称为“多元分析”。二元变量可以对应一个二维平面，两个变量的值可以对应该平面中的坐标点。多元数据和向量线性代数以此类推，N元变量可以对应一个N维空间。在数据框中，每一行代表一个样本，每一个样本对应空间中的一个点，也称为样本点。在线性代数里，可以用向量来代表N维空间中的点，无论N为多少维，都可以很容易地和二维平面

3、中的情况进行类比。高维空间中多样本的问题可以很轻松地转化为向量和矩阵运算的问题。向量的定义向量和坐标向量和坐标向量数乘向量定义和数乘代码向量数乘向量定义和数乘的代码如下所示：向量加法如果两个相同维数的向量可以进行加法运算。向量加法表示将两个向量的各元素分别相加：其几何意义表示两个向量组成的平行四边形的对角线。向量加法向量加法很像中学物理中计算合力的“平行四边形法则”，实际上力就是向量（有些领域也称矢量），具有大小和方向，计算合力就是做向量加法。向量内积向量内积代码向量基础向量基础矩阵运算矩阵运算矩阵数乘矩阵加法矩阵加法定义矩阵和矩阵加法的代码矩阵乘法矩阵乘法矩阵乘法矩阵乘法的代码方阵如果一个矩

4、阵的行数与列数相等，则称为方阵。除主对角线（左上到右下）外其他数值全为0的方阵称为对角矩阵。对角线上的值都为1的对角矩阵称为单位矩阵，如下所示：单位矩阵与任何矩阵相乘（假设维数相符）都等于原矩阵。方阵的运算矩阵的秩非奇异矩阵矩阵求逆矩阵求逆的代码正交矩阵与矩阵的迹343434概率论和数理统计概率论的由来一般认为，概率论是由法国数学家、物理学家帕斯卡于1654年创立的。他在和法国数学家费马的通信中讨论一个计算赌资的题目，对于这一类的不确定问题，提出了很多清晰而全面的解决方案。1812年，法国数学家拉普拉斯出版了Analytical Probability Theory， 标志着古典概率论的完善。

5、他对概率进行了一个直观的定义：“概率，指的是合适情况的个数占所有可能发生的情况的个数的比例”。1933年，在现代测度论的基础上，苏联数学家柯尔莫哥洛夫建立了概率论的公理化系统，其著作Foundations of the Theory of Probability的出版是现代概率论诞生的标志事件。随机试验伯努利试验随机变量随机事件分布离散型随机变量与分布律计算分布律的代码计算分布律的代码连续型随机变量与分布函数连续型随机变量与分布函数正态分布正态分布正态分布的密度函数连续型随机变量的计算正态分布的相关计算连续型随机变量的计算连续型随机变量计算概率代码总体总体与样本总体与样本随机变量的期望随机变量

6、的期望统计量的定义常用的统计量常用的统计量使用程序代码计算样本的均值、中位数、最大值、最小值：575757最优化方法定义最优化方法是在所有的可行方案中找出最优方案的方法。最优化方法严格来说并不是数据分析的方法，因为它不是从历史数据中发现规律和建立模型。但最优化方法是数据科学中不可或缺的重要方法。可以根据模型的数学公式推导求得精确的解析解。通过一些算法来求得近似的数值解。最优化算法的实现在实际应用中，很多经典的算法已被软件或者运算库实现，用户最主要的工作是将要解决的实际问题转化为数学问题，然后建立最优化模型并调用算法进行求解。优化软件示例无约束的非线性规划问题转化与求解求解算法迭代法：从一个初始

7、点出发，沿着某个方向搜索，得到新的函数值，然后在新的点上确定新的搜索方向，继续搜索新的点。基于某个点的搜索，如果搜索的方向确定，那么寻找下一个点的问题就变成了一维搜索的问题。如果目标函数的值在不断减小，这样的算法就称为下降算法；如果目标函数的值会收敛， 就说明可以找到极值。在算法的设计中，常用的有平分法和黄金分割法。一维搜索求解求解算法在R的函数中，“optimize”函数可以进行一维搜索：“Rosenbrock香蕉函数”的求解“Rosenbrock香蕉函数”的求解Rosenbrock香蕉函数的三维图如下：在山谷中函数值变化并不大，因此不容易搜索到全局最小值，这个函数也成了用来测试优化算法的常

8、用的函数。Rosenbrock香蕉函数R定义目标函数通过R进行规划求解R中自带的“optim”函数可以进行规划求解。定义目标函数的方式如下：传入一个参数x，每个自变量用向量x的分量来表示。通过R进行规划求解在很多优化算法中，需要用到函数的梯度。如果能够显式地传入梯度函数的形式，那么对于计算将会产生很大的便利。在“optim”函数中可通过gr 参数来接纳目标函数的梯度函数，默认为NULL，表示R来自行计算近似值。例如二元函数，可以很容易地通过微分来得到其梯度：传入梯度函数代码示例带约束的非线性规划在很多优化问题中，通常还存在约束条件，如：这个优化问题将不再搜索整个空间，而是要在满足约束条件的前提下求最优解。带约束的规划求解通过R进行规划求解可利用R中自带的“constrOptim”函数来求解：线性规划线性规划的几何角度线性的约束条件对应几何