「几何深度学习」从古希腊到AlphaFold,「图神经网络」起源于物理与化学(9)
扫一扫
分享文章到微信
扫一扫
关注99科技网微信公众号
对通用图结构处理的第一次处理,以及「图神经网络」这一术语的创造,发生在2000年以后,由Marco Gori和Franco Scarselli领导的锡耶纳大学团队提出了第一个GNN。他们依靠递归机制,要求神经网络参数指定收缩映射,从而通过搜索固定点来计算节点表征,这本身就需要一种特殊形式的反向传播,而且完全不依赖节点特征。
上述所有问题都被Yujia Li的Gated GNN(GGNN)模型所纠正,包括许多现代RNN的机制,如门控机制和通过时间的反向传播。
Alessio Micheli在同一时期提出的图的神经网络(NN4G)[37]使用了前馈而非递归的架构,事实上更类似于现代的GNNs。
另一类重要的图神经网络,通常被称之为谱(spectral),是由Joan Bruna和合作者利用图傅里叶变换的概念而产生的。这种构造的根源在于信号处理和计算谐波分析,在2000年代末和2010年代初,处理非欧几里得信号已经成为新趋势。
来自Pierre Vandergheynst和José Moura小组的有影响力的论文普及了图信号处理(GSP)的概念和基于图邻接和拉普拉斯矩阵特征向量的傅里叶变换的概括。
Michaël Defferrard和Thomas Kipf和Max Welling的图卷积神经网络依赖于频谱滤波器,是该领域中被引用最多的。
回归化学原点
有点讽刺的是,现代GNN被David Duvenaud作为手工制作的摩根分子指纹的替代品,以及Justin Gilmer以相当于Weisfeiler-Lehman测试的消息传递神经网络的形式,成功地重新引入了它们所起源的化学领域,五十年后,这个圈子终于又闭环了。
99科技网:http://www.99it.com.cn
