东南大学崇志宏：深度学习的基本原理

深度学习的基本原理与图片检索项目实践

-----自主和泛化2023/2/61崇志宏数据与智能实验室东南大学c提纲2023/2/62基本原理：基于流形假设和函数精简表示的小样本技术关键技术：计算和统计效率图片检索的困难和解决技术方向扩展性障碍：图片的数量/相似函数的复杂性资源障碍：标识数据/计算集群统计学习的基本原理：支持向量机&深度学习2023/2/63统计学习的基本原理：概率图&深度学习2023/2/64多层数目巨大的隐含变量来“解开”高维随机变量间的复杂依赖关系用固定结构代替结构学习隐含变量的理解性差abcdexxxxxxxyyyy2023/2/65统计学习的基本原理：手工特征工程深度学习的问题和目标2023/2/66应用驱动的深度学习技术文本/图像/视频或音频处理AI应用：知识抽取、问答或聊天高维魔咒复杂依赖关系、非邻居依赖的插值…

基本原理：问题（高维复杂依赖的统计效率）2023/2/67深度学习的问题：解决高维/复杂依赖关系的小样本技术方法

分类/回归（有导师学习）：函数依赖关系Y和X分布密度/结构（无导师学习）：高维随机变量的密度分布策略问题（半导师学习问题）：过程学习基本原理：问题（高维复杂依赖的统计效率）2023/2/68深度学习的问题：解决高维/复杂依赖关系的小样本技术方法

分类/回归（有导师学习）：函数依赖关系Y和X分布密度/结构（无导师学习）：高维随机变量的密度分布策略问题（半导师学习问题）：过程学习效率计算效率样本效率基本原理：流形假设的相似性2023/2/69基于邻居假设的局限性

基本原理：流形假设的相似性2023/2/610基于流形假设

基本原理：精简函数表示的高维解决框架2023/2/611基本原理：精简函数表示的高维解决框架2023/2/612函数式编程基本原理：精简函数表示的高维解决框架2023/2/613基本原理：精简函数表示的高维解决框架2023/2/6142023/2/6152023/2/6162023/2/617深度学习的基本观点2023/2/618p神经科学特征表示：流形假设概率统计：隐含变量（影响因素）流形特征空间拓扑变化线性分类2023/2/619深度的基本观点：特征类型&函数式编程2023/2/620Atpresent,threenarrativesarecompetingtobethewayweunderstanddeeplearning.There’stheneurosciencenarrative,drawinganalogiestobiology.There’stherepresentationsnarrative,centeredontransformationsofdataandthemanifoldhypothesis.Finally,there’saprobabilisticnarrative,whichinterpretsneuralnetworksasfindinglatentvariables.Thesenarrativesaren’tmutuallyexclusive,buttheydopresentverydifferentwaysofthinkingaboutdeeplearning.Thisessayextendstherepresentationsnarrativetoanewanswer:deeplearningstudiesaconnectionbetweenoptimizationandfunctionalprogramming.Inthisview,therepresentationsnarrativeindeeplearningcorrespondstotypetheoryinfunctionalprogramming.神经科学特征表示：流形假设（特征表示数据类型化/网络函数式编程）概率统计：隐含变量（影响因素）提

纲2023/2/621基本原理：流形假设和函数精简表示深度学习的问题/目标流形假设和函数精简表示语义表示（Typing）：流形、隐变量、认知科学和脑科学的启发函数精简表示（神经网络）：函数式编程关键技术：计算和统计效率计算效率训练/间接优化技术统计效率特征表示和学习参数共享/类型化记忆机制/关注机制图片检索的困难和解决技术方向关键技术：计算效率2023/2/622递度依赖的优化方法BP算法EM算法非递度依赖的优化方法迭代优化间接/近似优化方法的基本思想和原则大模型+正则化+近似优化=有效模型异步并行算法和系统计算效率：计算图的BP算法2023/2/623计算效率：计算图的BP算法2023/2/624计算效率：EM迭代算法2023/2/625计算效率：非梯度依赖的优化2023/2/626计算效率：AdversaryNet2023/2/627计算效率：AdversaryNet2023/2/628非真实数据的概率计算效率：其他的训练和优化2023/2/629AdversaryNet

VariationalLowerBoundMCMCApproximation

大模型+正则化+近似优化=有效模型数据模型参数模型提

纲2023/2/630基本原理：流形假设和函数精简表示深度学习的问题/目标流形假设和函数精简表示语义表示（Typing）：流形、隐变量、认知科学和脑科学的启发函数精简表示（神经网络）：函数式编程关键技术：计算和统计效率计算效率训练/间接优化技术统计效率特征表示和学习参数共享/类型化记忆机制/关注机制系统工具和应用图片检索的困难和解决技术方向关键技术：从精简表示到统计效率2023/2/631特征学习：数据语义的学习/对数据进行类型化（语义泛化）何为相似？同一流形上的对象是相似的、同一类型的参数共享：关系类型化同一类型依赖分享相同的参数/基于参数的转移学习记忆：对过去的总结通过“+”算子解决长依赖关系的精简表示关注：有选择的关注关注什么？怎么转移关注？策略学习/强化学习效率：稀疏表示或连接、共享、记忆、关注统计效率：特征表示、特征转移（分享）2023/2/632统计效率：特征表示、特征转移（分享）2023/2/633统计效率：特征表示、特征转移（分享）2023/2/634统计效率：参数共享2023/2/635统计效率：参数共享2023/2/636统计效率：参数共享2023/2/637稀疏连接统计效率：参数共享2023/2/638统计效率：记忆2023/2/639统计效率：关注2023/2/640统计效率：关注2023/2/6412023/2/642统计效率：关注2023/2/643统计效率：关注提

纲2023/2/644基本原理：流形假设和函数精简表示深度学习的问题/目标流形假设和函数精简表示语义表示（Typing）：流形、隐变量、认知科学和脑科学的启发函数精简表示（神经网络）：函数式编程关键技术：计算和统计效率计算效率训练/间接优化技术统计效率特征表示和学习参数共享/类型化记忆机制/关注机制系统工具和应用图片检索的困难和解决技术方向深度的基本观点：特征类型&函数式编程2023/2/645Atpresent,threenarrativesarecompetingtobethewayweunderstanddeeplearning.There’stheneurosciencenarrative,drawinganalogiestobiology.There’stherepresentationsnarrative,centeredontransformationsofdataandthemanifoldhypothesis.Finally,there’saprobabilisticnarrative,whichinterpretsneuralnetworksasfindinglatentvariables.Thesenarrativesaren’tmutuallyexclusive,buttheydopresentverydifferentwaysofthinkingaboutdeeplearning.Thisessayextendstherepresentationsnarrativetoanewanswer:deeplearningstudiesaconnectionbetweenoptimizationandfunctionalprogramming.Inthisview,therepresentationsnarrativeindeeplearningcorrespondstotypetheoryinfunctionalprogramming.神经科学特征表示：流形假设（特征表示数据类型化/网络函数式编程）概率统计：隐含变量（影响因素）样本效率计算效率2023/2/646系统工具：Tensorflow

系统工具：Tensorflow

2023/2/647提

纲2023/2/648基本原理：流形假设和函数精简表示深度学习的问题/目标流形假设和函数精简表示语义表示（Typing）：流形、隐变量、认知科学和脑科学的启发函数精简表示（神经网络）：函数式编程关键技术：计算和统计效率计算效率训练/间接优化技术统计效率特征表示和学习参数共享/类型化记忆机制/关注机制系统工具和应用图片检索的困难和解决技术方向图片检索的困难：问题2023/2/649从千万量级的商品图片库中检索与给定图片相似商品的图片输入搜索关键词，从返回商品图片中检索与选定图片相似商品的图片图片检索的困难：基本解决方案2023/2/650从千万量级的商品图片库中检索与给定图片相似商品的图片输入搜索关键词，从返回商品图片中检索与选定图片相似商品的图片图片检索的困难：基本解决方案2023/2/651从千万量级的商品图片库中检索与给定图片相似商品的图片输入搜索关键词，从返回商品图片中检索与选定图片相似商品的图片图片检索的困难：目前实验结果2023/2/652基本技术方案研究研究网络结构、数据规模（商品类别、数量）、泛化能力之间的关系给定网络结构，改变数据规模给定数据规模，改变网络结构bag888560air7467bath78ball766953chess7562bb_cream50boots847729comb4842bike78camera978865fan7671cutlery49computer797447flower6736dustbin46cup776348glove5740dustpan52fitness999786hat7852fridge60furniture817065music9380glasses78jewelry726134ruler7869houseclean73led716248stationary8174kitchen42pethouse644739makeup67sand685944mop55scooter959276perfume39tshirt736538phone44watch847858plate41power_board42range_hood68suitcase35sweeper32switch75tub38washing56water_heater65window46xiangji49L5-64C15C25C502023/2/653L6L6-96+fullconnectedlayer-N10242023/2/6548152550bag90.687.985.360ball79.876.269.253boots84.583.877.128.7camera95.396.888.164.8computer74.379.373.846.5cup757762.547.5fitness98.398.896.985.7furniture64.5jewelry5172.260.534led54.970.562.247.7pethouse56.364.346.738.8sand51.76858.643.8scooter69.495.19275.8tshirt51.872.76538.3watch44.283.678.358.4airchess55.875.462comb4848.141.7fan72.675.571.1flower48.46735.5glove42.756.940.1hat51.578.351.7music59.392.780.4ruler45.677.669.2stationary67.28173.7bath48.677.8bb_cream55.850.3bike28.578.2cutlery40.549.2dustbin35.946dustpan4952.2fridge43.160glasses3677.7houseclean63.572.7kitchen35.242makeup57.567.4mop55.355.2perfume4038.5phone43.944.1plate46.141.4power_board48.741.9range_hood44.368suitcase36.334.6sweeper25.832.3switch4375.3tub32.838.4washing4855.5water_heater56.465.3window37.545.8xiangji41.348.9图片检索的困难：目前实验结果类别之间的泛化能力2023/2/655图片检索的困难：难点2023/2/656问题从千万量级的商品图片库中检索与给定图片相似商品的图片输入搜索关键词，从返回商品图片中检索与选定图片相似商品的图片难点图片数目在千万量级多样性的相似性度量形状、外观相似颜色相似相似性度量函数是复杂函数32.3%图片检索的困难：难点2023/2/657问题从千万量级的商品图片库中检索与给定图片相似商品的图片输入搜索关键词，从返回商品图片中检索与选定图片相似商品的图片难点图片数目在千万量级多样性的相似性度量形状、外观相似颜色相似相似性度量函数是复杂函数图片检索的困难：突破方向2023/2/658后续突破方向数据信息方向嵌入搜索关键词信息（通过无导师学习方法抽取关键词下的图片特征）半导师/转移学习方向（大量的无标志图片）其他数据源/有效样本（用粗糙模型探测样本结构）网络结构方向深度网络结构：verydeepnetwork关注技术图片检索的困难：突破方向2023/2/659后续突破方向数据信息方向嵌入搜索关键词信息（通过无导师学习方法抽取关键词下的图片特征）半导师/转移学习方向（大量的无标志图片）其他的数据源/有效样本（用粗糙模型探测样本结构）网络结构方向深度网络结构：verydeepnetwork关注技术图片检索的困难：突破方向2023/2/660后续突破方向数据信息方向嵌入搜索关键词信息（通过无导师学习方法抽取关键词下的图片特征）半导师/转移学习方向（大量的无标志图片）其他的数据源/有效样本（用粗糙模型探测样本结构）网络结构方向深度网络结构：verydeepnetwork关注技术图片检索的困难：突破方向2023/2/661后续突破方向数据信息方向嵌入搜索关键词信息（通过无导师学习方法抽取关键词下的图片特征）无导师/半导师/转移学习方向（大量的无标志图片）其他的数据源/有效样本（用粗糙模型探测样本结构）（弱导师学习）网络结构方向深度网络结构：verydeepnetwork关注技术不同类别商品的关注策略具有共性，可以转移！统计效率和计算效率的模型：怎么用最少的样本、最小的计算做可能准确的推测！提纲2023/2/662基本原理：基于流形假设和函数精简表示的小样本技术关键技术：计算和统计效率图片检索的困难和解决技术方向扩展性障碍：图片的数量/相似函数的复杂性资源障碍：标识数据/计算集群提纲2023/2/663基本原理：基于流形假设和函数精简表示的小样本技术关键技术：计算和统计效率图片检索的困难和解决技术方向扩展性障碍：图片的数量/相似函数的复杂性资源障碍：标识数据/计算集群大模型+正则化+近似优化=有效模型过度拟合、先验经验统计效率和计算效率流形假设函数嵌套、稀疏连接、共享、转移自主和泛化端到端的方法策略（编程）学习提纲2023/2/664基本原理：基于流形假设和函数精简表示的小样本技术关键技术：计算和统计效率图片检索的困难和解决技术方向扩展性障碍：图片的数量/相似函数的复杂性资源障碍：标识数据/计算集群大模型+正则化+近似优化=有效模型过度拟合、先验经验统计效率和计算效率流形假设函数嵌套、稀疏连接、共享、转移自