图神经网络（九）-5.3 强大的消息传递图神经网络

系列文章目录图神经网络目录文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言以下内容来自学习笔记，主要按照《图神经网络-基础、前沿与应用》这本书进行学习。5.3.1 用于集合的神经网络回顾以集合（重集）为输入的神经网络，因为一个集合可以看作一个简化版的图，其中所有的边都被移除。根据定义，集合中元素的顺序不会影响输出；编码集合的模型自然为编码图提供了一个重要的构件。称这种方法为不变池化。定义 5.6（重集）重集是一个集合，其元素可以是重复的，也就是说，有些元素会出现多次。在本章中，默认所有的集合都是重集，因此允许集合中出现重复的元素。如果条件与此不同，将另行说明。定义 5.7（不变池化）给定一个向量的重集，其中，是一个任意的常数，不变池化指的是一个映射，可表示为，它对中元素的顺序是不变的。“池化”（Pooling）这个术语来源于卷积神经网络（CNN）中的“池化层”（Pooling Layer），在消息传递图神经网络（MPNN）和集合神经网络中沿用了这一概念。叫“池化”的原因主要有以下几点：1. 历史渊源在卷积神经网络中，池化操作（如最大池化、平均池化）的作用是将一个局部区域内的多个数值“汇聚”成一个数值，起到降维和提取局部特征的作用。当图神经网络处理集合或图结构时，需要将多个邻居节点的信息“汇聚”到中心节点，这种“汇聚”思想与池化类似，因此沿用了这个名称。2. 操作本质相同定义 5.7 中的不变池化与 CNN 池化在数学本质上是一致的：操作CNN 池化集合/图的不变池化输入一个滑动窗口内的多个数值一个集合/邻居节点集的特征向量操作求和、平均、取最大值等求和、平均、取最大值等输出一个聚合后的数值一个聚合后的向量特性对窗口内位置不变对集合元素顺序不变3. “不变性”是关键定义 5.7 特别强调“对S中元素的顺序是不变的”，这种置换不变性正是池化操作的核心特性。在 CNN 中，池化对特征图局部区域的空间位置具有平移不变性；在集合/图设置中，池化对邻居节点的顺序具有置换不变性。4. 命名习惯在图神经网络文献中，通常将聚合邻居信息的过程称为“聚合”（Aggregation），而将整个集合层面的汇聚称为“池化”（Pooling）或“读出”（Readout）。定义 5.7 处理的是整个集合S，属于全局层面的汇聚，因此称为“不变池化”是恰当的。5. 直观理解可以把“池化”理解为“汇聚到一个池子里”——无论输入元素的顺序如何，它们都会“流”进同一个池子，经过某种操作（求和、平均、取最大）后，形成一个与顺序无关的输出。已得到广泛使用的一些不变池化操作包括和池化​，平均池化和最大池化（其中，）。Zaheer et al (2017) 证明了一个集合S的任意不变池化都可以通过来近似，其中，和是可以由全连接的神经网络进来近似函数。5.3.2消息传递图神经网络消息传递图神经网络是构建 GNN 时使用最为广泛的框架（Gilmer et al., 2017）。给定一个图，消息传递图神经网络用一个向量表征对每个节点进行编码，然后通过迭代地收集其邻居节点的表征，并应用神经网络对这些集合进行非线性变换，从而不断更新这个节点的表征。将节点向量表征初始化为节点属性：。基于图结构的消息传递更新每个节点的表征。在第层（）执行以下操作消息传递：聚合：更新：其中，是节点的邻居节点的集合。可以通过神经网络来实现 MSG、AGG 和 UPT 操作。通常，MSG 操作由前馈神经网络实现，如，其中和是可学习的权重，是一个逐元素的非线性激活函数。UPT 的选择方式与 MSG 类似。AGG 的不同之处在于其输入是一个向量的重集，因此这些向量的顺序不应该影响输出。