计算机视觉应用开发课件：gram矩阵

gram矩阵gram矩阵的含义01任务gram矩阵的作用02任务gram矩阵的计算03任务学习目标了解什么是gram矩阵了解gram矩阵的作用掌握gram矩阵的计算方式1gram矩阵的含义1风格的概念gram矩阵的数学形式如下：可以看出，gram矩阵实际上是矩阵的内积运算。在风格迁移中，其计算的是featuremap之间的偏心协方差（即没有减去均值的协方差矩阵）。在featuremap中包含着图像的特征，gram矩阵代表着特征之间的相关性。内积数值越大，相关关系越大，两个向量越相似。1风格的概念更加直观的理解：2gram矩阵的作用2gram矩阵的作用既然gram矩阵代表了两个特征之间的相关性，那么哪两个特征同时出现，哪两个特征此消彼长等等，便可以很好的计算了。内积之后得到的多尺度矩阵中，对角线元素提供了不同特征图（a1，a2...，an）各自的信息，其余元素提供了不同特征图之间的相关信息。同时，gram的对角线元素，还体现了每个特征在图像中出现的量，因此，gram有助于把握整个图像的大体风格。有了gram矩阵，要度量两个图像风格的差异，只需要比较它们之间的gram矩阵的差异即可。2gram矩阵的作用总之，gram矩阵用于度量各个维度自身的特性以及各个维度之间的关系。内积之后得到的多尺度矩阵中，对角线元素提供了不同特征图各自的信息，其余元素提供了不同特征图之间的相关信息。这样一个矩阵，既能体现出有哪些特征，又能体现出不同特征间的紧密程度。在网络中提取的特征图，一般来说浅层网络提取的是局部的细节纹理特征，深层网络提取的是更抽象的轮廓、大小等信息。这些特征总的结合起来表现出来的就是图像的风格，由这些特征向量计算出来的gram矩阵，就可以把图像特征之间隐藏的联系提取出来，也就是各个特征之间的相关性高低。2gram矩阵的作用gram矩阵的计算公式如下：如果两个图像的特征向量的gram矩阵的差异较小，就可以认定这两个图像风格是相近的。有了表示风格的gram矩阵，要度量两个图像风格的差异，只需比较他们gram矩阵的差异即可。计算两个图像风格的公式如下：3gram矩阵的计算3gram矩阵的计算gram矩阵实际上是矩阵的内积运算，可以使用Python的科学计算库numpy来实现gram矩阵，当然也可以用更简洁的方式。在一些比较流行的深度学习框架中，已经内置了矩阵相乘的方法。以Tensorflow为例，可以用“tf.matmul()”方法实现矩阵的相乘。具体使用方法如下：gram=tf.matmul(vector,vector,transpose_a=True)上面便是Tensorflow中实现gram矩阵的计算方式。参数‘vector’代表输入的矩阵向量，‘transpose_a=True’意味着在进行乘法之前对第一个矩阵进行转置，该方法还有一个名为“transpose_b”的参数，它等于“True”时意味着在乘法之前对第二个矩阵进行转置。3gram矩阵的计算在计算机视觉中，Gram矩阵用于把握整个图像的大体风格。有了表示风格的Gram矩阵，就可以度量两个图像风格的差异，它也可以度量自己各个维度的特性以及各个维度之间的关系，其对角线元素提供了不同特征图各自的信息，其余元素提供了不同特征图之间的相关信息，既能体现出有哪些特征