斯坦福ml公开课笔记中文

上有中英字幕的2。AndrewNg是机器学习方面的大牛，署名的有100LDADL方面贡献显著，主要工作在人工智能方面，参与斯坦福自主直升机项目与STAIR项目，等等3。机器学习动机与应用。课程主页及资源还有课程安排等可在找到。第一部分是机器学习的定义；分别讲了ArthurSamuel与TomMitc的定程序是第一个习的程序，他对机器学习的定义是“FieldofstudythatgivescomputerstheabilitytolearnwithoutbeingexplicitlyprogrammedTomMitcT和性能度P，如果一个计算机TP衡量的性能随着E而自我完善，那么我们称这个程序在经验E中学习”5。值得一提的是，TomMitc的ML第一章即举了西洋棋的例子，足见Arthur的pioneer地位Learning1 345《MachineLearning》Tom（Regression（ClassifitionTheoryLearning很多人在说话时，如何在嘈杂的背景音中提取目标声音，Ng举了一个两个人的实例，效果很好，据称一行代码就能搞定这个问题，对我震撼颇大。Learning，确的决策。Ng举的例子是倒飞（上下方向）的直升飞机，爬物的机器狗机线性回归、梯度下降、正规方(x(i),y(i))i个训练实例，i是上标而不是指数2h(x)=𝜃0+𝜃1𝑥1+𝜃2𝑥2=∑𝜃𝑖𝑥𝑖= 其中，ℎ𝜃(𝑥)表示以𝜃为参数。对于一般问题，如下ℎ𝜃(𝑥)=∑𝜃𝑖𝑥𝑖=

( 1

(𝑖)Jθ=2

)− 使用梯度下降法（gradientdescent）来求参数，更则为𝜃𝑗≔𝑗−𝛼 𝜕 𝐽(𝜃) (ℎ(𝑥)−𝑦)2=(ℎ(𝑥)− (ℎ(𝑥)− 𝜕𝜃𝑗 =(ℎ(𝑥)−

∑𝜃𝑥=(ℎ(𝑥)−

𝑖 将5的结果代入到4，得到𝜃𝑗≔𝜃𝑗−α(ℎ𝜃(𝑥)− 当然，6是针对只有一个训练实例时的情况。这也被称为最小二乘squares考虑到所有m个训练实例，更则变为：𝜃𝑗≔𝜃𝑗−α∑(ℎ𝜃(𝑥(𝑖))−𝑦(𝑖)) descentquadraticfunction。对于7的解法，当数据量较大时，每迭代一次就要遍历全部数据一次，Converge{Fori=1to𝜃𝑗≔𝜃𝑗−α(ℎ𝜃(𝑥(𝑖))− (forevery}}方法被称为增量梯度下降（incrementalgradientdescent）或随机梯度下降（stochasticgradientdescent∇𝐽=

𝜕𝐽 ∈ 再比如，对于一个函数映射（m*n的矩阵到实数的映射f:ℝ𝑚×𝑛⟶

…

∇𝐴𝑓(𝐴) …

( fA=2𝐴11+5𝐴12+3∇𝐴𝑓(𝐴)=[ trA=

trAB= (trABC=trCAB= (trA= (tr(AB)=tr(A) (traA=a (tra= (其中，a是一个实数，A、B、Cn*n∇𝐴trAB= (∇𝐴𝑇f(A)=(∇ (∇𝐴𝑡𝑟𝐴𝐵𝐴𝑇𝐶=𝐶𝐴𝐵+ (∇𝐴|𝐴|= (对于性质10，要求矩阵A可逆，即A为非奇异矩阵。对于每个样本的目标值，按照顺序排列为m*1的向量。因而，数据的矩阵表示X=

⋮

Y= (1) ℎ𝜃(𝑥(1))−Xθ−Y=

)⋮]−

⋮]=

)(𝑥(𝑚) ℎ𝜃(𝑥(𝑚))−)1J(θ) (𝑋𝜃−

(𝑖) 𝑋𝜃−𝑌)=2

)−

(𝑇 𝑇 𝑇=2∇𝜃tr𝜃𝑋𝑋𝜃−𝑌𝑋𝜃−𝜃𝑋𝑌+𝑌1 [∇

−∇𝑡𝑟(𝑌𝑇𝑋𝜃)−∇(𝜃

(𝑇 ( =2∇𝜃tr𝜃𝑋 −∇𝜃𝑡𝑟𝑌 𝑇𝑇 ( =2∇𝜃tr 𝑋𝑋−∇𝜃𝑡𝑟𝑌 𝑇𝑇 ( ( =2∇𝜃tr 𝑋𝑋−∇𝜃𝑡𝑟𝑌𝑋𝜃=𝑋𝑋𝜃−∇𝜃𝑡𝑟𝑌=𝑋𝑇𝑋𝜃− 推导说明15中，第一行展开第二行应用性质6；第三行应用性质4，且YTY是常第四行应用性3；第五1；第六行I是单位矩阵，并应用性质9和性质7。𝑋𝑇𝑋𝜃=𝑋𝑇𝑌⇒𝜃= 附录-重要An*m矩阵，Bm*n trAB= 𝐴𝑖𝑗𝐵𝑗𝑖= 𝐵𝑗𝑖𝐴𝑖𝑗=

An*m矩阵，Bm*n

∇𝐴trAB=∇𝐴 𝐴𝑖𝑗𝐵𝑗𝑖=[ ]= ∇𝐴𝑡𝑟𝐴𝐵𝐴𝑇𝐶=∇𝐴𝑡𝑟𝑓(A)𝐴𝑇𝐶=∇∗𝑡𝑟𝑓(∗)𝐴𝑇𝐶+∇∗𝑡𝑟𝑓(𝐴)∗𝑇=(𝐴𝑇𝐶)𝑇∇𝐴𝑡𝑟𝑓(𝐴)+∇∗𝑡𝑟𝑓(𝐴)∗𝑇𝐶=(𝐴𝑇𝐶)𝑇𝐵𝑇+∇∗𝑡𝑟𝑓(𝐴)∗𝑇=