金融科技工具箱-pub course7深度学习

202 深度学习浅尝

网络

…感知机：一…人工神经网络最初在1943年提出 FrankRosenblatt（1957）集成学习+感知机"""""𝑤"""#𝑎"#""

𝑎#=sign(−1+𝑎"+𝑎") 𝑎"=sign(𝒘$𝒙

+

=

"+𝑏")"

𝑎"=sign(𝒘$

+

… "…单层神经网络示能力上In-In-In-000011101111多层神经网络表示"""-#"-#所有的权重w（线）都是训练得出的结这里只是说，复杂的网络结构使得合适…w可以表示出我们想要的…如果WWIII所以一个神经网络可以非常复前文表明，网络复杂带来表示力的极大提神经网络到底在干什么（直观表达力量的代价神经网络的组合方式在数学上近乎无

反 建网一时爽，推在构想中，我们可以由前向后 建网一时爽，推计算权重，但是现实呢类似之前，我们可以根据最终预测结果的误差回头来进行优需要计算的𝒘𝑠=𝒘𝒂输入信𝒂!"#=𝑠𝑖𝑔𝑛(𝑠!)输出信号逢计算必求导(sign函数不可导但是求导依然是一 的“链式反应BP神经网Rumelhart,Hinton&Williams算法流初始化权重𝒘（整张网络训练过程分为t012,…T1.随机挑选：随机挑选一组数据𝒙(𝒏2.前 ：挑选数据𝒙(𝒏)作为输入，并向 '(3.反 ：将输出与真实值y(𝒏)进行比较，并根据链式法则将残差对某一个𝒘)求'('('(迭代多次后，将最终的𝒘:作为权重进行构建网多数情况下，1-3步会（并行）一起做多次（mini-优化𝒘的过程道阻且长，充满不确定Hardbutwork，做了许多许多年的机器学习“守门员神经网络的VC-dimension寂V=神经元的数 D=权重（边）的数VC–dimension=9*19*14*5神经元数量VD=190300+75+6=结构复杂且没有明确的数学指导——难以确定网络的形模型复杂度极高，参数过模型最优 且没有数学保极高的计算复杂度要序幕：预训 最后 ）反 到最开始序幕：预训练-形象化例预训Hinton&Salakhutdinov(2006Bengioetal.(2007).Greedylayer-wisetrainingofdeepnetworks.InNIPs正式提出预训练正则L2Early

与：人对一 的识实现：卷1000010100111010111111100100101001116*6

Filtersize=3stride=1-------1----111-------1----1100010001111000000--1b=-------------- - -----111-111-实现：稀疏连接与参数共 实现：卷积层与池化

?* 8*864*64

实现：卷积神经网BP提出（1986,Hinton）应用于手写体识别卷积神经网络：why卷积神经网络：扩展&更

Silveretal.Kim

汉顺字序真的不影响阅伊朗 如何把握时序的特征：Recurrent结构的双向RNN与更深的时间的力 梯度截 0.99^365= 1.01^365=LongShort-TermSeppHochreiterandJürgen idhuber.名字其实很关MemoryLongShort-term但是单个节点依赖 现在的一些应用：stacked202 ⽆监督学习

聚类算法：总聚类算法：总览-特K-Means最直观的聚类方给定一个群的数量假设数据convexCurseof群的数量K

AffinityPropagation加精给出一个明确的质心（非均值），计算量很大，时间复杂度𝑂

谱聚类：降维打先降维再聚类，处 数据很Auto-PCA缓解维 ，提高可视化对数据进行放缩（各向同性要进行同参数的mean-shift和Auto- 扩展：Denoising利用AutoEncoder进行manifold

预 GANGenerativeAdversarialGAN干了深度学习预 特征输入：非结构化数据；自动提取充分的深度学习闲扯- 厂商友好 深度学习闲扯-

机器 机器 在机器学习中，我们学了什6.0VC-dimension6.1L2L1L2+L1；为什么计量不用；超参数6.2VC-d6.312.Blending&Bagging：二者区别；Blending的好处&3；OOB；permutation4.AdaBoost5.AdaBoostTree，在深度学习中，我们学了什7.3CNN——CNN7.4RNN——有效性，时 7.57.6降维——PCA，Au