Introduction
作者提出了一种在异构图上进行GNN图卷积的方式,主要是利用了对不同类型的边设定一个独有的参数$W$转到一个相同的空间,同时还用了多头的和边有关的attention机制来进行邻居信息的聚合。
Approach
TAL层:
根据节点两个节点之间种类,用一个对应的线性变换矩阵$W$,把邻居的embedding转换到目标的空间。
邻居聚合:
- 对不同的边的做了一个各自的线性变化$a_r$
然后通过一个attention,在对邻居进行聚合。
然后通过一个multi-head机制,同时使用多个attention参数,并把结果拼接起来,作为一个节点最后的表达。
并在多层卷积的过程中加入了残差层
Extension
针对边和回边的问题,作者希望attention的值应该是正好相反的。
环理论,一个j->j的转换应该等于j->i, i->i, i->j这两个应该是相等的。所以变换矩阵应该有如下的性质。
i->i的矩阵是有方向的,所以需要求一个逆矩阵,这个工作很耗时,所以作者用train的方法来实现求得该逆矩阵。