《人工智能技术基础》课件 第8章 图神经网络

人工智能技术基础图神经网络第8章图结构普遍存在于人类社会生活中，如人与人之间的社交网络、地铁线路及高铁线路、互联网中网页间的互相链接、论文的引用等等，都可以用图结构来描述。图神经网络（GraphNeuralNetwork，GNN）自提出以来，除了在计算机视觉、自然语言处理等领域应用之外，还在物理、生物、化学、社会科学等跨学科的网络分析、推荐系统、生物化学、交通预测等诸多领域应用。8图神经网络简介社交网络化学分子网络本章在介绍图论基础与图谱理论的基础上，给出图神经网络的基本原理和图神经网络的分类。进而给出几种典型的图卷积神经网络、图循环神经网络、图注意力网络、图生成网络以及图时空网络等模型。8图神经网络简介论文引用网络1.学习图论基础与图谱理论的基本原理，理解掌握分析、构建图神经网络得到基本工具；2.学习图神经网络的基本原理，掌握图神经网络的消息传递、更新与聚合等基本操作，了解图神经网络的应用场景，包括图分类、节点分类、关系预测以及去噪重建；3.学习图神经网络的分类，了解图卷积神经网络、图注意力网络、图生成网络以及时空图神经网络的基本概念；4.深入学习图卷积神经网络、图注意力网络、图生成网络以及时空图神经网络，掌握相关图神经网络的原理以及应用。8图神经网络学习目标目录Contents8.1图论基础与图谱理论图神经网络基本原理图神经网络分类卷积图神经网络8.28.38.48.5图注意力网络图生成网络图时空网络本章小结8.68.78.801图论与图谱理论8.1图论基础与图谱理论8.1.1图论基础——图的定义与表示

8.1图论基础与图谱理论8.1.1图论基础——无向图与有向图图最基本的性质之一是它是有向的还是无向的，如图8-1所示。在一个有向图中，每条边都有一个方向或两个方向。这意味着该边沿着一个特定的方向连接两个节点，其中一个节点是源节点，另一个节点是目的地节点。相比之下，无向图有无向边，其中的边没有方向。图8-1无向图与有向图(a)无向图(b)有向图8.1图论基础与图谱理论8.1.1图论基础——权值图图的另一个重要性质是这些边是有权重还是无权重的。在一个权值图中，如图8-2所示，每条边都有一个与之相关联的权重或代价。这些权重可以代表各种因素，如距离、旅行时间或成本。例如，在一个交通网络中，边的权重可能代表不同城市之间的距离或在它们之间旅行所花费的时间。相比之下，无权图没有与其边相关联的权重。这些类型的图通常用于节点之间的关系是二进制的情况，而边只是表示它们之间是否存在连接。图8-2权值图8.1图论基础与图谱理论8.1.1图论基础——邻接矩阵与关联矩阵邻接矩阵在n个顶点的图需要有一个n×n大小的矩阵A。在一个无权图中，矩阵坐标中每个位置的值为1，代表两个点是相连的，0表示两点是不相连的；在一个有权图中，矩阵坐标中每个位置值代表该两点之间的权重，0表示该两点不相连。对于无向图，邻接矩阵是对称的，而对于有向图，矩阵不一定是对称的。图8-3显示了与该无向图关联的邻接矩阵。图8-3邻接矩阵8.1图论基础与图谱理论8.1.1图论基础——邻域与度矩阵

8.1图论基础与图谱理论8.1.2谱图理论——拉普拉斯矩阵及性质

8.1图论基础与图谱理论8.1.2谱图理论——拉普拉斯矩阵及性质

8.1图论基础与图谱理论8.1.2谱图理论——谱分解

8.1图论基础与图谱理论8.1.2谱图理论——谱分解

8.1图论基础与图谱理论8.1.2谱图理论——谱分解

8.1图论基础与图谱理论8.1.2谱图理论——谱分解

02图神经网络基本原理8.2图神经网络基本原理8.2.1图神经网络基本操作——消息传递

图8-4各个节点的邻域(a)(b)(c)(d)(e)8.2图神经网络基本原理8.2.1图神经网络基本操作——消息传递

图8-4各个节点的邻域(a)(b)(c)(d)(e)8.2图神经网络基本原理8.2.1图神经网络基本操作——聚合

图8-5节点2的聚合操作8.2图神经网络基本原理8.2.1图神经网络基本操作——更新

8.2图神经网络基本原理8.2.1图神经网络基本操作——更新

8.2图神经网络基本原理8.2.1图神经网络基本操作——更新

8.2图神经网络基本原理8.2.1图神经网络基本操作——更新

8.2图神经网络基本原理8.2.1图神经网络基本操作——更新

8.2图神经网络基本原理8.2.1图神经网络基本操作——更新(a)(b)8.2图神经网络基本原理8.2.2多层GNN

图8-7多层GNN(a)(b)(c)8.2图神经网络基本原理8.2.3GNN应用场景

图8-8GNN分类8.2图神经网络基本原理8.2.3GNN应用场景

图8-9GNN自编码器8.2图神经网络基本原理8.2.3GNN应用场景

图8-10GNN节点分类8.2图神经网络基本原理8.2.3GNN应用场景

8-11GNN链接预测03图神经网络分类8.3图神经网络分类卷积图神经网络

8.3图神经网络分类图注意力网络图注意力网络可以简单理解为借助注意力模块取代一般卷积图神经网络中的卷积激活器。在不同的方法中，可以结合门控信息来提升注意力机制感受域的权重参数，达到更好的推理和应用性能。图卷积神经网络实现了对图结构数据的节点分类，而注意力机制目前在NLP领域有非常好的效果和表现。对于图注意力机制（GraphAttention，GAT）而言，邻域节点的特征做累加求和的过程与卷积图神经网络完全不同，通过全局注意力机制替代卷积分层传递的固化操作，可以有效地选择在图结构中更为重要的节点或子图、模型、路径分配更大的注意力权重。8.3图神经网络分类图生成网络图生成网络的目标是基于一组可观察图来生成图。其中的很多方法都是特定领域的。例如，在分子图生成方面，一些研究将分子图的表征建模为字符串。在NLP中，生成语义图或知识图通常需要一个给定的句子。近年来，研究人员又提出了一些通用方法，主要有两个方向：一是将生成过程看成节点或边的形成，另一些则使用生成对抗训练。该领域的方法主要使用卷积图神经网络作为构造块。8.3图神经网络分类时空图神经网络

04卷积图神经网络8.4卷积图神经网络8.4.1基于图谱理论的ConvGNN

8.4卷积图神经网络8.4.1基于图谱理论的ConvGNN

8.4卷积图神经网络8.4.1基于图谱理论的ConvGNN

8.4卷积图神经网络8.4.1基于图谱理论的ConvGNN8.4卷积图神经网络8.4.2基于空间的ConvGNN图像可以被认为是一种特殊形式的图，每个像素代表一个节点。每个像素都直接连接到其附近的像素，如图8-14(a)图所示。类似地，基于空间的图卷积将中心节点的表示与其邻域的表示进行卷积，得到中心节点的更新表示，如图8-14(b)图所示。图8-142D卷积与图卷积(a)(b)8.4卷积图神经网络8.4.2基于空间的ConvGNN

8.4卷积图神经网络8.4.2基于空间的ConvGNNHamilton等人于2017年引入了GraphSAGE，作为用于在大型图（具有超过100000个节点）上进行归纳表示学习的框架。其目标是为下游任务生成节点编码，例如节点分类。此外，它还解决了GCN和GAT面临的两个问题——在大型图上进行扩展和高效地推广到未见数据。在GraphSAGE方法中，每个GNN层都根据它们的邻居计算节点编码。这意味着计算一个只需要这个节点的直接邻居（1跳）。如果GNN有两个GNN层，需要这些邻居和它们自己的邻居（2个跳），以此类推（如图8-15所示）。网络的其余部分与计算这些单个节点编码无关。图8-15以节点0为目标节点和1跳和2跳邻居的图8.4卷积图神经网络8.4.2基于空间的ConvGNN从图8-16可以看出，需要聚合2跳邻居，以计算1跳邻居的。然后对这些编码进行聚合，以获得节点0的编码。上述方法存在两个问题，一是计算图相对跳数呈指数级增长，二是具有高度连接性的节点会创建出巨大的计算图。因此在GraphSAGE中，作者提出了一种称为邻居采样的技术。邻居采样没有在计算图中添加每个邻居，而是采样一个预定义的数量。图8-16节点0的计算图图8-17一个具有邻居采样的计算图来保持两个1跳邻居和两个2跳邻居8.4卷积图神经网络8.4.2基于空间的ConvGNN

05图注意力网络8.5图注意力网络与GCN平等对待节点的所有邻居相比，注意力机制可以为每个邻居分配不同的注意力得分，从而识别出更重要的邻居。将注意力机制纳入图谱神经网络的传播步骤是很直观的。图注意力网络也可以看作是图卷积网络家族中的一种方法。GAT背后的主要思想是，一些节点比其它节点更重要。但是图卷积层已经做过归一化操作，邻居很少的节点比其他节点更重要。这种方法是有局限的，因为它只考虑了节点的度。另一方面，图注意力层的目标是产生考虑节点特征重要性的加权因子，如图8-18所示。图8-18注意力系数计算8.5图注意力网络

8.5图注意力网络

8.5图注意力网络

8.5图注意力网络

图8-19图多头注意力机制级联/平均06图生成网络8.6图生成网络建模和生成图是研究生物工程和社会科学网络的基础。图生成网络（GraphGenerativeNetwork,GGN）是一类用来生成图数据的GNN，其使用一定的规则对节点和边进行重新组合，最终生成具有特定属性和要求的目标图。因为有些图数据具有非唯一性、高维性质，图中边缘之间存在复杂的非局部依赖性。因此不能假设所有的图数据都来自同一个先验分布，尤其是对于异质图，模型在识别过程中必须具有平移不变性。GAN可以模拟图形或生成优化某些约束的网络。后一种选择在寻找具有特定性质的新化合物等应用中很方便。由于其离散性，这个问题非常庞大（超过1060种可能的组合）和复杂。8.6图生成网络由DeCao和Kipf2018年提出的MolGAN是解决这一问题的一个流行方案。它结合了WGAN和直接处理图结构数据的梯度惩罚和RL（强化学习，详见10.4节）目标，以生成具有所需化学性质的分子。这个强化学习目标基于深度确定性策略梯度（DDPG）算法，使用确定性策略梯度的非策略演员-评论家模型。MolGAN的体系结构总结如图（8-20）所示。图8-20MolGAN结构图鉴别器奖励网络分子生成器8.6图生成网络

图8-20MolGAN结构图鉴别器奖励网络分子生成器8.6图生成网络

图8-20MolGAN结构图鉴别器奖励网络分子生成器07图时空网络8.7图时空网络空间‐时间图神经网络（STGNNs）在捕捉图表的动态性方面占据着重要位置。这类方法旨在对动态节点输入进行建模，同时假设相连节点之间存在相互依赖关系。作为解决方案，STGNN同时捕捉了图的空间和时间依赖性。STGNN的任务可以是预测未来节点值或标签，或者预测空间-时间图表的标签。现有的融合神经结构可分为解耦和耦合神经结构两类。8.7图时空网络

解耦空间-时间图神经网络图8-21STGCN结构时间门卷积ST-Conv块输出层1维卷积时间门卷积,C=64时间门卷积,C=64空间图卷积,C=16ST-Conv块8.7图时空网络

解耦空间-时间图神经网络图8-22T-GCN结构8.7图时空网络STGNNs中耦合神经结构的一个例子是DCRNN，它将GCN集成到GRU体系结构中，如图8-23所示。在该模型中，将LSTM中原始的线性单位替换为一个图卷积算子，可以写成：耦合空间-时间图神经网络8.7图时空网络