四种无监督学习定律(主要讲前两种).ppt

2019/7/19,1,四种无监督学习定律（主要讲前两种）,信号的Heb学习 竞争学习 微分Heb学习 微分竞争学习,2019/7/19,2,1、信号的Heb学习,通过求解Heb学习法则的公式 (132) 可获得如下积分方程 (133),2019/7/19,3,1、信号的Heb学习,近期的影响与遗忘 渐进相关编码 Heb相关解码,2019/7/19,4,近期的影响与遗忘,Heb学习遵循的是指数加权平均的样本模式。式中的遗忘项为 。 上述遗忘项产生了积分方程中先前突触的指数系数。说明学习的同时也在遗忘，而且是呈指数衰减。 在式（132）中的遗忘项 产生了（133）中对先前知识 的指数权 。,2019/7/19,5,近期的影响与遗忘,实际上遗忘定律提供的最简单的局部非监督学习定律为： （134） 说明了两个关键特征： 1 仅依赖于局部信息，即现在的突触强度 。 2 呈指数律达到平衡，可实时操作。,2019/7/19,6,渐进相关编码,突触矩阵M可用双极相关矩阵 表示 (135) X和Y：双极信号 和 。 ， = 1，-1 两种极端情况： 1、 2、 实际中必须使用一个对角衰减记忆指数矩阵 来补偿固有的信息指数衰减。,2019/7/19,7,渐进相关编码,（142） X和Y表示二极信号矢量矩阵。简单说，用对角衰减矩阵W的目的就是对过去的联想模式取一段学习时间，而给最近的m个联想模式取更短一些的学习时间。达到补偿指数衰减的目的。,2019/7/19,8,Heb相关解码,考虑m个二极矢量联想对 的二极相关编码。 表示n维二极空间 中的一个点， 表示p维二极空间 中的一个点。 二极联想对 对应于二值矢量联对 。 这里 表示n维布尔空间 中的一个点， 代表p维空间 中的一个点。,2019/7/19,9,Heb相关解码,可以看出，把1换成0， 就会变成 。这样，若加权矩阵W为单位阵I，二极联想对的Heb编码就对应于（142）的加权Heb编码方案： （143） 可用Heb突触矩阵M对 和 神经元信号进行双向处理。可把神经元信号前向通过M，后向通过 。这里仅考察前向的情况。 二极矢量 提供给神经元系统。有若干 ， 越接近 ，解码精度越高。,2019/7/19,10,Heb相关解码,矢量 通过滤波器M时，同步阈值产生输出双极矢量Y，Y与Yi接近到什么程度？我们可对信噪分解 （144） （145） （146）,2019/7/19,11,Heb相关解码,其中 ， 这里 为信号矢量而 为噪声矢量。 为校正系数，使每个 尽可能从符号上接近于 。把 或其它靠近的矢量Y通过 ，校正性质依然成立。 用神经元网络从有代表性的训练样本中估计连续函数f时，有一个连续的假设。,2019/7/19,12,Heb相关解码,假定异联想样本 从连续函数f上取样，那么输入的微小变化必然引起输出的微小变化。 相同的比特数-不同的比特数 （154） H表示汉明距离：,2019/7/19,13,Heb相关解码, 若两个二值矢量 和 靠近 ，相同的比特数大于不同的比特数，那么 。极端情况下 ， 。 时， ，校正系数将度量上含糊不清的矢量丢弃掉，不参与求和。 与 相差较远， 。极端情况下 则 ， 。,2019/7/19,14,Heb相关解码,Heb编码步骤： 1 把二值矢量 变为双极矢量 ； 2 对邻接的相关编码的联想求和 若时间联想记忆（TAM）假设成立： 则对同步的TAM输入 ，把激励同步阈值化为信号，就产生了 ：,2019/7/19,15,Heb相关解码,Heb编码步骤（例证）： 一个三步极限环 位矢量： 将位矢量转换成二极矢量,2019/7/19,16,Heb相关解码,产生TAM矩阵,2019/7/19,17,Heb相关解码,位矢量 通过T产生： 因此产生前向极限环 后向情况用位矢量 乘以 ，可得到：,2019/7/19,18,2、竞争学习,确定性竞争学习定律： （165） 展开： 这里用的是非线性遗忘项 ，而Heb学习定律用的是线性遗忘项。 因此两种学习方法的区别在于它们如何遗忘而不是如何学习。,2019/7/19,19,2、竞争学习,两种情况下都有当第j个竞争神经元获胜时 ，突触 以指数率迅速编码信号 。与Heb突触不同的是，竞争突触当后突触神经元失败时，并不遗忘，即 。因此（165）就简化为不改变的形式 。而Heb学习则简化为（134）的形式 。 Heb学习是分布式的，对每个样本模式进行编码，因此学习新模式后，会遗忘每个所学模式的部分。,2019/7/19,20,2、竞争学习,而竞争学习不是分布式的，只有赢得突触矢量才对样本模式 或 进行编码。如果样本模式 或 坚持足够长的学习，竞争突触就会成为“grandmother”突触，突触值很快等于模式 或 ，其它突触不会编码这种模式。,2019/7/19,21,2、竞争学习,竞争作为指示器 竞争作为相关检测器 渐进质心估计 竞争协方差估计,2019/7/19,22,竞争作为指示器,质心估计需要竞争信号 近似为局部样本模式 的指示函数 （168） 这样如果样本x来自于区域 ，则第j个竞争元获胜，其它神经元失败。 （169）,2019/7/19,23,竞争作为指示器,上式是 的神经元激励。使用的是随机线性竞争学习和简单的加模型。 与 是随机行矢量， 是 竞争神经元向第j个神经元发出的阻性反馈。 （170）,2019/7/19,24,竞争作为指示器,其中 是阻性反馈值，它等于突触加权信号的和式。式（170）中 为二值阈值化函数，因此该式可简化为：当第j个神经元获胜时 ，如果第k个神经元获胜，则 。 竞争神经元激励自己（或邻近区域），同时抑制其它（或较远的区域）。,2019/7/19,25,竞争作为相关检测器,度量指示函数： （171） 于是竞争学习就简化为信号相关检测。 那么如何将度量竞争学习简化为相关检测？ 设在每个时刻的突触矢量具有相等的正的有限的范数值：,2019/7/19,26,竞争作为相关检测器,（173） 从（4-171）知：第j个竞争神经元获胜当且仅当： （174177）,2019/7/19,27,竞争作为相关检测器,利用等范数特性并进一步简化可得： （179） 可看出当且仅当输入信号模式 x 与 最大相关时，第j个竞争元才竞争获胜。 利用余弦定律： 得到度量竞争学习的几何解释：第j个神经元当且仅当输入模式更平行于突触矢量时才获胜。,2019/7/19,28,渐进的质心估计,简化的竞争学习定律： （181） 突触矢量 倾向于等于区域 的质心，至少也是平均意义上的质心。具体的细节见第六章。 结论：平均突触矢量可以指数规律迅速收敛到质心。应用此特性可以把训练样本只通过一次或少数的几次即可。,2019/7/19,29,竞争协方差估计,质心估计提供未知概率密度函数的一阶估计，而局部的协方差估计提供它的二阶描述。 竞争学习规律扩展到渐进估计条件协方差矩阵 。 （189） 这里 表示 的质心。每个确定类 都有一个质心。,2019/7/19,30,竞争协方差估计,误差估计理论的一个重要定理： （190） 其中 为Borel测度随机矢量函数。,2019/7/19,31,竞争协方差估计,每一步迭代中估计未知的质心 作为当前突触矢量 。这样 就成为一个误差条件协方差矩阵。对于获胜突触矢量有下列随机微分方程算法（191-192） 初始化 ， ，如果初始化 ，则说明随机矢量元素 都是不相关的。,2019/7/19,32,竞争协方差估计,：自行设置的一个合适的递减学习因子 如果第j个 神经元在 度量竞争中失败，则