[机械模具数控自动化专业毕业设计外文文献及翻译]【期刊】变分贝叶斯独立分量分析-中文翻译

变分贝叶斯独立分量分析 摘要 信号的盲分离通过 info-max 算法在潜变量模型中被视为最大似然学习潜变量模型。在本文我们提出一个变换方法最大似然学习这些模型 ,即贝叶斯推理。它已经被证明可以应用贝叶斯推理来确定在主成分分析模型潜在的维度。在本文我们为去除在独立分量分析模型中不必要的来源维度获得类似的方法。我们给一个玩具数据集和一些人为的混合图像提出结果。 1.引言 独立分量分析的目的是为一个基于概率性的独立原件找到一个表示法。实现这样的表示方法是给潜变量是独立约束的潜变量模型拟合一个数据。我们假设一个 ,有潜在的尺寸 W,观察到的尺寸 P 和我们的数据集包含样本 n 的模型M。在 ICA 方法中通常把潜在的维度称为“来源” 。因此我们为独立生成潜在变量 X 寻 找模型表示，我们将任何给定的数据点 n 带入 Iinnxpxp1)()(假设高斯噪声 ,观察到的变量的每个实例化的概率 ,带入 )2exp(),( 2nxn WtWxtp其中 W 是 PXI 矩阵的参数 ,B 代表了一种逆噪声方差和 u 是一个向量的方法。 1.1 源分布 众所周知在独立分量分析 ,潜在分布的选择是很重要的。特别说明它必须是非高斯。非高斯源分布可以分成两类 ,那些积极的峰度或“沉重的尾巴”和那些消极的峰度或“光明的尾巴” 。前者被称为超高斯分布，后者是亚高斯。如果我们真正的源分布属于这两个中的任何一个类我们可以尝试分开。对于我们的ICA 模型 ,我们遵循 (1998)选择超高斯或者是亚高斯灵活的源分布。的运算结果的模型应用于两个可能发生的事。阿蒂亚斯选择了每个因素的混合物 M 高斯模型 Ii mniMmnxxNp12,)( 是混合系数和每个组件是由一个意思毫米和方差 q2m。阿蒂亚斯提到作为m独立的因子分析模型。我们可能现在写下一个可能性 ,是一个函数的参数 W, , xxtnnNn dpWpWp,t1这个功能现在可以最大化的参数来确定独立的组件。传统的优化执行限制作为B 倾向于零。这种方法由贝尔和介绍了盲源分离作为信息最大化算法。与最大的关系可能是由不同的作者包括卡多佐指出 (1997)和麦 (1996)。 2.ICA 的贝叶斯形式主义 在本文中我们提出， 按照推断模型的参数化的贝叶斯方法，而不是通过最大似然学习的参数 。这要求我们把先验对模型参数。我们的目标是如何通过一个特定的选择我们的先验分布的显示 P(W)我们可能自动判断哪些已经产生了数据源的数量。我们是主教的贝叶斯 PCA（ 1999年） ，它的目的是确定在启发我们的方法主要子空间的自动维数。我们选择将噪音精密，与以前的马 , b，gamp这里我们定义伽玛分布 abexp,a1对于混合矩阵 W,我们认为高斯之前。特别是每一个的相关性输入可通过使用自动相关性确定（ ARD）来确定前（尼尔， 1996；麦凯， 1995年） IiPpiipN11,0其中前是由超参数向量管辖， ，长度 I。 参数随着网络的每个输入相关联的向量的一个元素的管辖其决定了它的“相关性” 。该超参数 可以通过分层贝叶斯框架来推断。我们因此，把伽玛分布的超高斯通过这些参数， Iiibaiigmp1)(最后，我们将一个高斯比之前的手段其 PppN1,0中 T 的代表事先的逆差额。现在我们可以定义我们的模型可能性 。 WxtMtp,3.变分法 在贝叶斯推理，我们的目标是后验分布为参数。积分在等式 10 中所示的类型是重要的这一过程。不幸的是，贝叶斯 ICA 正如我们所描述的那样，这个积分是棘手的，我们必须寻找到近似取得进展。 我们选择采取变分法（约旦等， 1998；劳伦斯， 2000） 。 变分方法涉及开发一个近似值， q(),鉴于观察到的变量。变推断可以提供 严格的 下界边缘化数似然的形式， dHqVpdHVpln,ln这个结合的和真实的边缘似然之间的差可以被证明 ,是真正的后验分布之间的距离（ KL）散度近似。 dHqVpdHVpln,ln如果我们利用一个无限制的近似 q()，并执行自由形式的马克西 -结合 11利润最大化，我们会收回 q(） =p（ /）和绑定将成为精确。 这种方法是一种期望最大化算法的期望步骤。然而，在我们的模型中，如果这样的选择被提出， 不会很容易被解决。 相反，通过将限制近似分布的形式，我们希望能尽量减少对 KL-分歧的实现。 变分的选择 q 分布是很重要的 我们寻求一个选择是足够简单，让我们的计算死板，但其中给出了足够的灵活性，以使绑定（ 11） 。 有各种各样的方法来确定一个有用的近似值。拉帕莱宁（ 1999） ，例如，施加于他的变分派特定的参数设置功能表，然后最小化 KL 散度梯度它们的参数的优化。在本文中，我们更愿意考虑我们的近似分布的自由形式的优化正如我们已经提到，如果我们允许后近似完全不受约束的自由形式的优化，我们只会恢复真实后路分布并且很难驾驭。因此，我们必须施加近似的形式约束。考虑一个模型，其中的潜变量， H，分为专属子集。假如我们要对分离性限制在这些子集上我们逼近后， iiq它是直接显示，最佳形式后路分布的各个组成部分是 pqj Hijiqlnex在这里，我们使用的符号 q，表示下分布的期望 q，通过利用穿过模型的参数一个近似值， WxWxq,我们可能获得的表单模型对数似然的一个下 ,lnltpMt qxqxlpqqlnlSSSx 对于贝叶斯 ICA 的模型，正如我们所描述的那样，在等式 14 所有必要的预期可能进行解析地给出下面的结果 DfZqmnNnMnmxI ,11,PppwN1, Ii iibaqgm1,i,其他参数是简单的推导，并可能在主教被发现。为第 q 分布的最佳因素的解决方案是一个隐式 1。每个分布依赖于其他解决方案的时刻。一个解决方案可以通过数字开始用合适的初始猜测和使用甲部给出主教的更新方程，通过循环通过每个分布来确定 图 1：散点图从模型样品。所发现的嵌入尺寸示于图中的实线的中心，而真正的嵌入尺寸示于每个图的虚线的右上方。 4.结果 4.1 玩具问题 对于我们的模型，以确定潜在的维数的能力进行评估，我们采样玩具数据集一个随机参数化模型。两个源分布被选为包含两部分，都与均值为零。每个组件的差异，均被视为 1和 50。随后被带到观测数据的维数是三，噪声的逆差额定为 110-4。混合矩阵 W 随机从高斯采样单元变量 ANCE。 我们高斯随机取样的值获得从模型 200的样本，然后试图通过推理中有三个源 维度模型推断 ，以确定源的数量和噪声方差为的相同类型中的那些生成模型。该值初始化与 PCA 的解决方案。首先分布的优化， 然后通过先进行更新的那么刹那的瞬间， 那么 X 和的时刻，最后时刻 OFW 的时刻进行的。这些时刻被更新，直到收敛或最多 100次。的 和瞬间随后更新。这整个过程重复 50次。 选定的独立成分示于图 1 中。注意，源维度的真实数目已经被正确决定。 图 2 所示为各 log10 的演变。注意，超参数的非常迅速变成幅值比其它有效切断源维度之一大三个数量级。 4.2 实时数据 由于我们的模型的进一步测试中，我们分析了两个图像。该图像是由 Corel公司库 1,000,000 收集并在他们的红色，绿色和蓝色通道进行平均，得到灰度图像。这两个图像的峭度为负值，这表明这两个图像子高斯。从图像中我们子采样 1000 个数据点，然后把它们混合使用相同的矩阵作为玩具的问题。高斯噪声，然后用方差这是源信号大小的 7.8添加。然后，我们执行一个包含三个来源维度模型。 5.讨论 建议的模型表现良好，其上已经采样玩具训练数据时，从类似的源码分发版。然而，在图像上的实验分量分析模型无法确定来源的真实数据的真实数量。这个问题可能是因为出现潜在分布的假定形式是不相匹配的真正来源分布。因此该模型可总是更好地解释该数据通过将“虚拟”源代码分发。这是因为嵌入的观测化空间可以通过增加更多的潜获得更多和更复杂的形式尺寸。这是相对于贝叶斯 PCA 的情况。 在贝叶斯 PCA 的 LA-10吨分布取为高斯和子空间嵌入高斯内分布也将是高斯型的。因此，它不表现出这些问题。我们可能需要删除源具有最高超相关联的方法参数，并检查是否下界在模型上的可能性增大。遗憾的幸运的是，虽然我们最大化下界模型似然贝叶斯 ICA，我们无法确定这个界限的价值。 这是的结果 POS-terior 近似的潜变量是高斯的混合物。为了计算绑定 16，我们需要评估混合分布的熵。有一些希望的进展，因为虽然这个熵的精确计算是棘手的，它可能被下界（劳伦斯 Azzouzi， 1999） 。 （ 1我们不是指子高斯与超高斯分布的问题，我们有假设信源的峭度的符号被称为在这些实验中和所选择的我们潜在的分布相应。 ） 图 3：结果当模型被留下来确定潜在的维度。回收的来源与手动删除幻影潜在维度。注意，有更强的鬼斗兽场的图像上的小狗。 图 4：散点图子样本的观察图像的实验尝试的确定来源的真实数量。所发现的嵌入尺寸示于中心地块为实线，而真正的嵌入尺寸显示各右上角绘制为虚线。另一种解决方案，以及 1我们将提出，将自适应地修改该潜分布作为优化过程的一部分。这可以通过以下方式实现作为所示，例如， ATTIAS（ 1998）的潜变量的分布。最后一种选择是使用一个简单的模型，以确定潜在的维数。我们可以应用贝叶斯 PCA 来确定主要的子空间和相关的潜维度。那么一个简单的最大似然 ICA 的模型可以应用于内该嵌入式领域。 我们更喜欢我们建议的解决方案，但因为它是能够处理那里有比观察到的尺寸更多的来源问题，因此比较一般。另一个非常不同的方法来确定源一直由许韦里宁和欧雅（ 1997）提出了建议。这种方法不是基于一个可能性模型，它与投影寻踪。我们注意到，我们所描述的模型还应该能够处理更多的源二比有数据维度。这一直被认为是一个困难的问题独立分量分析的文献。用我们的方法的另一个问题是在 COM 的数目呈指数增长作为潜空间维数的一个函数。 这使得该方法不且对于有大量的源模型。 q 贝叶斯 ICA 分布资料来源 首先，我们注意到，联合分布在整个数据点可能大家因此，采取 xqnNnxX1在等式 14，我们需要的部件的唯一采取的期望 q，我们将期待采取的其他条款，这是在不断的照顾通过归一化常数是 constnnXIi xnx wtxpq1 2l 2l我们采取是在变