GraphNeuralNetworks：谱域图卷积

老酒谣GraphNeuralNetworks：谱域图卷积

以下学习内容参考了：， 2，

0、⾸先回忆CNN，卷积神经⽹络的结构和特点

苍茫云海中秋月

计算机及其应用

处理的数据特征：具有规则的空间结构（Euclidean domains），都可以采⽤⼀维或者⼆维的矩阵描述。（Convolutional neural network (CNN) gains great success on Euclidean data, e.g., image, text, audio, and video）。

什么是卷积：卷积即固定数量邻域结点排序后，与相同数量的卷积核参数相乘求和。

离散卷积本质就是⼀种加权求和。CNN中的卷积就是⼀种离散卷积，本质上就是利⽤⼀个共享参数的过滤器（kernel），通过计算中⼼像素点以及相邻像素点的加权和来构成feature map实现空间特征的提取，当然加权系数就是卷积核的权重系数(W)。

The power of CNN lies in: its ability to learn local stationary structures, via localized convolution filter, and compose them to form multi-scale hierarchical patterns.

Taking image data as an example, we can represent an image as a regular grid in the Euclidean space. CNN is able to exploit the shiftinvariance, local connectivity, and compositionality of image data. As a result, CNNs can extract local meaningful features that are shared with the entire data sets for various image analyses.

那么卷积核的系数如何确定的呢？是随机化初值，然后根据误差函数通过反向传播梯度下降进⾏迭代

优化。这是⼀个关键点，卷积核的参数通过优化求出才能实现特征提取的作⽤，GCN的理论很⼤⼀部分⼯作就是为了引⼊可以优化的卷积参数。

1、图卷积⽹络GCN

⽣活中很多数据不具备规则的空间结构，称为Non Euclidean data，如，推荐系统、电⼦交易、分⼦结构等抽象出来的图谱。这些图谱中的每个节点连接不尽相同，有的节点有三个连接，有的节点只有⼀个连接，是不规则的结构。对于这些不规则的数据对象，普通卷积⽹络的效果不尽⼈意。CNN卷积操作配合pooling等在结构规则的图像等数据上效果显著，但是如果作者考虑⾮欧⽒空间⽐如图(即graph)，就难以选取固定的卷积核来适应整个图的不规则性，如邻居节点数量的不确定和节点顺序的不确定。

总结⼀下，图数据中的空间特征具有以下特点：

1）节点特征：每个节点有⾃⼰的特征；（体现在点上）

2）结构特征：图数据中的每个节点具有结构特征，即节点与节点存在⼀定的联系。（体现在边上）

总地来说，图数据既要考虑节点信息，也要考虑结构信息，图卷积神经⽹络就可以⾃动化地既学习节点特征，⼜能学习节点与节点之间的关联信息。

综上所述，GCN是要为除CV、NLP之外的任务提供⼀种处理、研究的模型。

图卷积的核⼼思想是利⽤『边的信息』对『节点信息』进⾏『聚合』从⽽⽣成新的『节点表⽰』。

借助于卷积神经⽹络对局部结构的建模能⼒及图上普遍存在的节点依赖关系，图卷积神经⽹络成为其中最活跃最重要的⼀⽀。

3、图卷积⽹络的两种理解⽅式

GCN的本质⽬的就是⽤来提取拓扑图的空间特征。⽽图卷积神经⽹络主要有两类，⼀类是基于空间域或顶点域vertex domain(spatial domain)的，另⼀类则是基于频域或谱域spectral domain的。通俗点解释，空域可以类⽐到直接在图⽚的像素点上进⾏卷积，⽽频域可以类⽐到对图⽚进⾏傅⾥叶变换后，再进⾏卷积。

1）vertex domain(spatial domain)：顶点域（空间域）

基于空域卷积的⽅法直接将卷积操作定义在每个结点的连接关系上，它跟传统的卷积神经⽹络中的卷积更相似⼀些。在这个类别中⽐较有代表性的⽅法有 Message Passing Neural Networks(MPNN)[1], GraphSage[2], Diffusion Convolution Neural Networks(DCNN)[3], PATCHY-SAN[4]等

2）spectral domain：频域⽅法（谱⽅法）

这就是谱域图卷积⽹络的理论基础了。这种思路就是希望借助图谱的理论来实现拓扑图上的卷积操作。从整个研究的时间进程来看：⾸先研究GSP（graph signal processing）的学者定义了graph上的Fourier Transformation，进⽽定义了graph上的convolution，最后与深度学习结合提出了Graph Convolutional Network。

基于频域卷积的⽅法则从图信号处理起家，包括 Spectral CNN[5], Cheybyshev Spectral CNN(ChebNet)[6], 和 First order of ChebNet(1stChebNet)[7]　等

弟俩共存款260元论⽂Semi-Supervised Classification with Graph Convolutional Networks就是⼀阶邻居的ChebNet

定义图的邻接矩阵A以及度矩阵D：

神秘的白马王子

定义图的Graph Laplancian 矩阵（刻画了信号在图上的平滑程度）

拉普拉斯矩阵是图上的⼀种拉普拉斯算⼦：

图的傅⾥叶变换

环图的傅⾥叶逆变换

本文发布于:2024-09-22 01:57:52，感谢您对本站的认可！

本文链接：https://www.17tex.com/xueshu/475009.html

上一篇：卷积神经网络的复杂度分析

下一篇：卷积的计算量和参数量计算公式