人机混合增强智能 课件 Lec4-基础篇

人机混合增强智能

-历史与基础人机混合增强智能的基础理论特征表示面向人机协同的视觉知识理解脉冲神经网络不确定估计理论及相关知识特征表示多模态信息统一表征共享子空间学习解耦表示学习知识蒸馏深度特征表示学习的意义多模态信息统一表征：表现形式复杂主要原因包括：特征表述维度不同，e.g,多模态图像、语音、文本数据某些维度存在缺失观察到的维度相互纠缠大数据缺乏人工标注因而导致标记稀缺、采集数据质量差等。另外，用于预测的深度模型架构过大，不利于在需要考虑性价比的场合，布局人机协同的混合增强智能的应用，需要学习一个更小型的预测模型结构。

多模态信息统一表征多模态信息统一表征统计学习参见《学习理论》PPT深度学习深度学习里的统一表征自编码Autoencoder共享子空间学习共享子空间(SharedSubspace)隐共同(common)个性PrivateIndividualIndependentCanonicalcorrelationanalysis

(CCA,Hotellingetal.1936)KernelCorrelationCanonicalAnalysis(ICML,2013)Idea:Findprojectionsdirectlymaximizingnon-lineardependence.Let:Twochoicesofdependencemeasures:HilbertSchmidtIndependenceCriterion

(HSIC)andKernelTargetAlignment(KTA):

HSIC:KTA:hsicCCAandktaCCAcriterionfunctions:DefinekernelfunctionsandGrammatricesfortheprojecteddata:TrainingbyGradientDescent;Furtherprojectionsbyorthogonalizingxiand

yiontoestimateduandvandrefit.其他基于任务的共享子空间方法基于度量的共享子空间方法

MetricLearning(度量学习）RestrictedBoltzmannMachines,RBMNgiametal.MultimodalDeepLearning,ICML2011GeoffreyHinton受限玻尔兹曼机（辛顿）模型参数：势函数划分函数划分函数:玻尔兹曼分布：两种变形：有向图、无向图（相互作用力）优化：WakeandSleep（预训练+微调）逐层训练+深度模型训练

首先逐层构建单层神经元，这样每次都是训练一个单层网络。当所有层训练完后，Hinton使用wake-sleep算法进行调优。Wake:认知过程/使用自下上升无监督学习（从底层开始，一层一层的往顶层训练）：通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。也就是“如果现实跟我想象的不一样，改变我的权重使得我想象的东西就是这样的”。Sleep:生成过程/自顶向下的监督学习（通过带标签的数据去训练，误差自顶向下传输，对网络进行微调）：通过顶层表示（醒时