过去的2021年图神经网络头部应用5大领域(3)

在Facebook的作品中，可以将流行的CV数据集COCO中的对象放在画布中，指定对象的位置和大小，并从中创建场景图。然后，使用GNN对图形进行编码以确定每个对象的embedding，然后将其与CNN一起使用以生成对象的蒙版，边界框和外观。结果，最终用户可以简单地在图形中添加新节点（指定该节点的相对位置和大小）以供GNN / CNN生成带有这些对象的图像。

使用场景图生成图像。用户可以将对象放置在画布上的任何位置（红色的“河”；从中心移到右下角）以反映图像的变化（图像中生成的河流也移到右下角）。

CV中图形的另一个来源是两个相关图像的匹配，过去是手工标记来完成的一个经典问题。3D图形公司Magic Leap发布了一种名为SuperGlue的GNN体系结构，该体系结构可在实时视频中执行图形匹配，用于完成3D重建，位置识别，本地化和制图（SLAM）等任务。SuperGlue由一个基于注意力的GNN组成，该GNN学习图像关键点的表示形式，这些图像关键点被进一步馈送到进行匹配的最佳传输层中。该模型可以在现代GPU上实时执行匹配，并且可以轻松集成到现代SLAM系统中。有关图形与计算机视觉相交的更多详细信息，请查看以下内容调查：https://arxiv.org/abs/2010.00130

物理/化学

生命科学受益于将粒子或分子之间的相互作用表示为图形，然后使用GNN预测此类系统的属性。在Facebook和CMU的Open Catalyst项目中，最终目标是找到新的方法来存储可再生能源，例如来自太阳或风的能量。潜在的解决方案之一是通过化学反应将这种能量转换成其他燃料，例如氢气。然而，这需要发现能以高速率驱动化学反应的新催化剂，并且诸如DFT之类的已知方法非常昂贵。Open Catalyst项目打开最大的催化剂数据集，其DFT和GNN基准。希望找到新的低成本分子，这些分子可以增加目前耗时数日的昂贵模拟，并且需要有效的ML能量和分子力的ML近似值（可能需要数毫秒）。

吸附物（小连接分子）和催化剂表面的初始状态和松弛状态的示例。 为了找到一对吸附剂催化剂的松弛状态，必须执行昂贵的DFT模拟，这可能需要几天的时间。