Representation Learning for Attributed Multiplex Heterogeneous Network
简介：
现有的方法主要专注于具有单一类型节点/边缘的网络，并且不能灵活处理大型网络。许多真实世界的网络包括数十亿个节点和多种类型的边，每个节点与不同的属性相关联。本文提出了一种带属性多通道异构图网络，本网路结构可以支持transductive和indective的学习。
相关工作：
Transductive Model: GATNE-T：
此处，模型通过边的种类，学习节点在不同边聚类下的表达。采用的是graph sage的聚集方法。
然后把节点的所有边种类信息拼接起来，然后用self-attention进行聚合。
Inductive Model: GATNE-I：
为了解决一些节点之间边不存在的问题，通过节点的属性和节点的种类来对节点进行嵌入。
Meta-Random-walk:
对不同种类的边进行不同的游走，然后用负采样进行训练，最后用于节点预测。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 RMan's Blog！
相关推荐
2021-08-28
HGK-GNN: Heterogeneous Graph Kernel based Graph Neural Networks
Motivation 现有模型不好解决异构图 现有异构图方法缺少理论分析 Intro写作思路： 先介绍GNN以及GNN对应的理论研究，从而过渡到现有GNN模型不能解决异构图问题。（对应背景和现在的工作进度） 接下来介绍现有异构图的问题 现有异构图需要人工指定metapath，或者其他需要经验得到的东西。 缺少针对HGNN理论分析。 引出本文的核心：Graph Kernel（为什么这里不放在开头呢？因为这个东西是用来解决问题的方法，而不是问题核心。问题还是GNN，所以第一段讲的是GNN） Graph Kernel（GK）：用于评价图上两个点或者两个子结构之间相似度的东西。(一种算子) GK在同构图上的应用，但是在异构图上应用仍然存在挑战（存在什么挑战？这里讲一下是不是好一点。） 本文的工作 Contribution 提出了一个基于异构图的Graph Kernel。第一个将马氏距离（Mahalanobis distance，MD）和异构图kernel相结合，来捕获异构信息。 通过理论把graph kernel和传统的HGNN联系起来，对...
2020-09-03
Heterogeneous Deep Graph Infomax
Heterogeneous Deep Graph InfomaxAbstractInspired by the emerging mutual information-based learning algorithm, This paper propose an unsupervised graph neural network Heterogeneous Deep Graph Infomax (HDGI) for heterogeneous graph representation learning. Author utilized the meta-path to model the structure information involving semantics in Heterogeneous graph and apply the graph convolution module and semantic-attention module to capture the individual node local representation. By maximizin...
2020-05-05
Graph U-Nets
简介：在传统图像领域，encoder-decoder结构，比如U-nets已经在许多图像像素领域有着许多成功的应用。然而在图像领域，由于池化和反池化操作在图领域的实现并没有自然的实现，导致这样的结构并没有在图网络中应用。本文提出了一种在图结构上池化和反池化的操作，池化层可以根据节点在可训练投影向量上的标量投影值，自适应地选择节点，形成较小的图。反池化层可以把池化层生成的数据恢复成带位置信息的原始结构。 Graph Pooling Layer：图池化，首先有节点特征X，邻接矩阵A，通过一个P向量来训练节点之间的位置关系，然后通过SIGMOD(y)+TOP-K来提取top-K特征，提取完之后，保存idex，从X，A提取特征和邻接矩阵。 Graph Unpooling Layer：学习distribution，把pool过之后的KC矩阵，和选定的节点idx，恢复成原始的NC矩阵。 只把选定位置的点设为kC的特征，NC的其他位置设为0
2020-06-02
Heterogeneous Graph Transformer
Abstract在传统的GNN中，所有的节点和边都属于一个种类，导致一些传统的GNN手段没有办法适应异构图的结构。在这篇文章中作者提出了一种基于异构图的transformer结构，用来生成不同种类的节点、边的attention值。为了解决任意时间的动态图，作者提出了一个 relative temporal encoding technique。同时为了解决大量的 图数据库，作者提出了一种基于mini-batch的图采样算法，来在图上进行高效的训练。 Current Problem 基于meta-path的方法需要专家知识 简单的假设所有的边和节点都有相同的特征表示空间 对不同的边采用了不同的权重矩阵，有大量的种类的边和节点，同时不同种类的边和节点出现的次数也不一样，对出现数量较少的边可能不是很好建模 忽视了图的动态性 Contribution 针对Heterogeneous Graph 边和点的种类数目过多的问题，作者采用对Meta Relation建模的，方式，通过起点和终点，以及边的种类来对一个meta relation建模。这样可以使用较少的参数。 通过神经网络结构来捕获...
2020-05-19
Neural Graph Collaborative Filtering
Abstract：传统的深度学习协同过滤，ID的嵌入是直接输入交互层，但是在NGCF中，其能捕获用户和物品之间的高阶关系。 Method：假设：Intuitively, the interacted items provide direct evidence on a user’s preference [16, 38]; analogously, the users that consume an item can be treated as the item’s features and used to measure the collaborative similarity of two items. Message Construction:$e_i$,$e_u$ 做哈达玛积，然后通过$W_2$ 转换，然后和$e_1$ 通过$W_1$ 做转换之后相加。然后除以度数乘积进行归一化。 Message Aggregation:邻居信息相加聚合在加到用户自身上和用户相加通过激活函数。 多层次卷积：很典型的图卷积矩阵定义 Model prediction:每一层都会得到用户...
2021-02-20
Heterogeneous Graph Structure Learning for Graph Neural Networks
Motivation：现有的异构图学习中一些图的结构是不好的，不利于下游任务，比如在user-item的异构图中，用户可能会点击一些无用的item，从而给异构图表示学习带来一些噪声。 现有有的一些图结构表示学习的方法，通过把邻接矩阵参数化，学习更好的邻接矩阵用于下游任务。但是他们都是用于同构图的方法。 本文提出了GSL框架，通过考虑三种不同的图结构：特征相似图，特征传播图，和语义图来学习更好的图结构用于下游任务。 Approach： 特征相似图：通过在节点之间的特征上用度量学习的方法，学习节点之间的相似度，构成相似度矩阵。 特征传播图：特征转播图通过特征与拓扑之间的交互来生成图结构，特征之间的相似度是可以传播的。我们通过一个例子来更好的理解。例如，考虑生成用户和电影之间的潜在图结构，存在这样一种图结构生成方式：如果用户U1 看过电影M1，且M1和M2相似，那么用户U1可能对M2感兴趣即和节点存在潜在边。上述潜在的图结构可以分两步构建：得到特征相似的节点对（找到相似的电影M1和M2），随后用拓扑结构传播（通过U1的观影历史得到可能感兴趣的电影M2）。HGSL 也通过上述两步过程...
最新文章
