图学习引擎¶
GraphScope中的图学习引擎 (GLE) 是面向大规模图神经网络的研发和应用而设计的一款分布式框架。 它从实际问题出发，提炼和抽象了一套适合于当下图神经网络模型的编程范式， 并已经成功应用在阿里巴巴 内部的诸如搜索推荐、网络安全、知识图谱等众多场景。 GL注重可移植和可扩展，对于开发者更为友好，为了应对GNN在工业场景中的多样性和快速发展的需求。 基于GL，开发者可以实现一种GNN算法，或者面向实际场景定制化一种图算子，例如图采样。
接下来，我们通过一个入门教程介绍如何使用 GLE 来构建用户自己的CNN模型。
图学习模型¶
图学习算法的实现目前主要有两种方式。第一种是直接以全图为计算对象， 原始的GCN，GAT等算法都是这种实现思路，一般会直接用邻接矩阵进行计算。 然而这种方法在大规模图上会消耗大量内存，导致无法高效训练甚至无法训练。 第二种思路是将全图分成若干子图，用深度学习里常用的批次训练方法进行训练， 每次训练一个子图，代表方法是GraphSAGE，FastGCN, GraphSAINT等。
GLE 主要面向超大规模图神经网络的开发。它由底层的一个图引擎和上层的 算法模型构成。图引擎分布式存储图的拓扑和属性信息并提供高效的图采样查询 接口，算法模型通过调用图采样和查询接口获取子图并进行计算。
GLE 提供了一个图学习算法的统一编程框架，支持常见图学习算法的开发，包括 GNNs, 知识图谱模型，图嵌入算法等，并且和主流的深度学习算法兼容，包括TensorFlow 和PyTorch。目前我们实现了基于TensorFlow的模型，基于PyTorch的模型正在开发中。
数据模型¶
GLE 采用采样子图再计算的方式构建和训练模型。我们首先介绍一下基本的数据模型。
EgoGraph 是图学习算法编程的基本数据对象。它由一个batch的种子点或者边(称为’ego’)
以及他们的’感受野’(多跳邻居)组成。EgoGraph 由图采样和查询到的数据组成，我们实现
了常见的邻居采样、图遍历和负采样方法。
采样的数据组织成numpy格式的 EgoGraph 后根据不同的深度学习引擎转换成对应的tensor格式
EgoTensor，然后用``EgoFlow`` 管理 EgoGraph 到 EgoTensor 的转换，提供训练所需要的数据。
编码器¶
所有的图学习模型可以抽象为使用编码器将 EgoTensor 编码成最终的点、边或者子图的
向量。GLE 首先利用特征编码器来编码原始的点和边上的特征，然后将特征编码器编码后的
原始向量用不同的图编码器进行编码，得到最终的输出。对于大多数GNN模型，图编码器
提供了如何聚合邻居信息到自身节点或者边的抽象，用不同的图卷积层实现。
基于上面介绍的数据模型和编码器，我们可以简单快速地实现不同的图学习算法。在接下来一章里， 我们详细介绍了如何开发一个GNN模型。
自定义算法¶
这篇文档我们将介绍如何用 GLE 提供的基本API配合深度学习引擎(如TensorFlow)来构建图学习算法。 我们以图神经网络里最流行的GCN模型做为示例来说明。
通常来说，实现一个算法需要下面四个步骤：
指定采样模式：用图采样、查询方法采样子图并组织成
EgoGraph。我们抽象了4个基本的函数，
sample_seed,positive_sample,negative_sample和receptive_fn。sample_seed用来遍历图数据产生Nodes或者Edges, 然后positive_sample以这些Nodes或者Edges为输入产生 训练的正样本。对于无监督学习negative_sample产生负样本。 GNNs需要聚合邻居信息, 我们抽象了receptive_fn来采样邻居。 最后将sample_seed产生的Nodes、Edges以及采样出的邻居组成EgoGraph。构建图数据流：使用
EgoFlow将EgoGraph转换为EgoTensor。GLE 算法模型基于类似TensorFlow的深度学习引擎构建。所以采样出的
EgoGraph``s 需要先转换成tensor格式 ``EgoTensor才能使用。我们抽象了EgoFlow来封装这一转换过程。EgoFlow可以产生一个迭代器来进行批次训练。定义编码器：使用
EgoGraph编码器和特征编码器来编码EgoTensor。 得到EgoTensor后，我们首先将原始的点、边特征用一些常见特征编码器编码成原始向量， 做为GNNs模型的特征输入。然后用图编码器处理EgoTensor，将邻居节点特征进行汇聚并 和自身特征进行组合，得到最后的点或者边的向量。编写损失函数和训练过程：选择适当的损失函数，并编写训练过程。
GLE 内置了一些常见的损失函数和优化器，并对训练过程进行了封装，同时支持单机和分布式训练。 你也可以自定义损失函数、优化器和训练过程。
下面我们按照上面介绍的4个步骤来介绍如何实现一个GCN模型。
采样¶
我们使用Cora数据集以点分类任务做为示例。我们提供了一个简单的数据转换脚本 cora.py 来
将原始Cora转换成 GLE 需要的格式。运行完这个脚本后你可以得到下面5个文件
node_table, edge_table_with_self_loop, train_table, val_table and test_table。
分别是点表、边表以及用来区分训练、验证和测试集的点表。
然后可以用下面代码来构建图：
import graphlearn as gle
g = gle.Graph()\
.node(dataset_folder + "node_table", node_type=node_type,
decoder=gle.Decoder(labeled=True,
attr_types=["float"] * 1433,
attr_delimiter=":"))\
.edge(dataset_folder + "edge_table_with_self_loop",
edge_type=(node_type, node_type, edge_type),
decoder=gle.Decoder(weighted=True), directed=False)\
.node(dataset_folder + "train_table", node_type="train",
decoder=gle.Decoder(weighted=True))\
.node(dataset_folder + "val_table", node_type="val",
decoder=gle.Decoder(weighted=True))\
.node(dataset_folder + "test_table", node_type="test",
decoder=gle.Decoder(weighted=True))
使用 g.init() 后这段代码会将图加载进内存：
class GCN(gle.LearningBasedModel):
def __init__(self,
graph,
output_dim,
features_num,
batch_size,
categorical_attrs_desc='',
hidden_dim=16,
hops_num=2,):
self.graph = graph
self.batch_size = batch_size
GCN模型继承自基本的学习模型类 LearningBasedModel，只需要重写基类的采样，
模型构建等方法就可以完成GCN的构建。
class GCN(gle.LearningBasedModel):
# ...
def _sample_seed(self):
return self.graph.V('train').batch(self.batch_size).values()
def _positive_sample(self, t):
return gle.Edges(t.ids, self.node_type,
t.ids, self.node_type,
self.edge_type, graph=self.graph)
def _receptive_fn(self, nodes):
return self.graph.V(nodes.type, feed=nodes).alias('v') \
.outV(self.edge_type).sample().by('full').alias('v1') \
.outV(self.edge_type).sample().by('full').alias('v2') \
.emit(lambda x: gle.EgoGraph(x['v'], [ag.Layer(nodes=x['v1']), ag.Layer(nodes=x['v2'])]))
前两个函数用来采样种子节点和正样本，_receptive_fn 采样邻居并组织 EgoGraph,
outV 回一跳邻居，因此上面代码是采样二跳邻居。这里可以选择不同的邻居采样方法，
对于原始GCN来说因为要获得每个点的所有邻居，因此选择 'full'。采样完后将结果组织
成 EgoGraph 返回。
图数据流¶
在 build 函数里我们使用封装的 EgoFlow 来把 EgoGraph 转换成对应的 EgoTensor,
EgoFlow 包含一个数据流迭代器和若干 EgoTensor。
class GCN(gle.LearningBasedModel):
def build(self):
ego_flow = gle.EgoFlow(self._sample_seed,
self._positive_sample,
self._receptive_fn,
self.src_ego_spec)
iterator = ego_flow.iterator
pos_src_ego_tensor = ego_flow.pos_src_ego_tensor
# ...
你可以从 EgoFlow 获取和前面 EgoGraph 对应的 EgoTensor。
模型¶
接下来，首先使用特征编码器来编码原始特征。这里我们使用 IdentityEncoder，即返回自身即可，因为
Cora的特征已经是处理过的向量格式了。对于既有离散特征由于连续特征的情况，可以使用 WideNDeepEncoder。
更多encoder请参考 feature encoder。
然后用 GCNConv 层构建图编码器，GCN每个节点采样全部邻居，邻居以稀疏格式组织，所以这里使用
SparseEgoGraphEncoder, 邻居对齐的模型可以参考GraphSAGE的实现。
class GCN(gle.LearningBasedModel):
def _encoders(self):
depth = self.hops_num
feature_encoders = [gle.encoders.IdentityEncoder()] * (depth + 1)
conv_layers = []
# for input layer
conv_layers.append(gle.layers.GCNConv(self.hidden_dim))
# for hidden layer
for i in range(1, depth - 1):
conv_layers.append(gle.layers.GCNConv(self.hidden_dim))
# for output layer
conv_layers.append(gle.layers.GCNConv(self.output_dim, act=None))
encoder = gle.encoders.SparseEgoGraphEncoder(feature_encoders,
conv_layers)
return {"src": encoder, "edge": None, "dst": None}
损失函数和训练过程¶
对于Cora点分类模型，我们选择对应的TensorFlow里的分类损失函数即可。
然后在 build 函数里将编码器和损失函数组织起来，最终返回一个数据迭代器和损失函数。
class GCN(gle.LearningBasedModel):
# ...
def _supervised_loss(self, emb, label):
return tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(emb, label))
def build(self):
ego_flow = gle.EgoFlow(self._sample_seed,
self._positive_sample,
self._receptive_fn,
self.src_ego_spec,
full_graph_mode=self.full_graph_mode)
iterator = ego_flow.iterator
pos_src_ego_tensor = ego_flow.pos_src_ego_tensor
src_emb = self.encoders['src'].encode(pos_src_ego_tensor)
labels = pos_src_ego_tensor.src.labels
loss = self._supervised_loss(src_emb, labels)
return loss, iterator
接着使用封装的单机训练过程 LocalTFTrainer 来进行训练。
def train(config, graph)
def model_fn():
return GCN(graph,
config['class_num'],
config['features_num'],
config['batch_size'],
...)
trainer = gle.LocalTFTrainer(model_fn, epoch=200)
trainer.train()
def main():
config = {...}
g = load_graph(config)
g.init(server_id=0, server_count=1, tracker='../../data/')
train(config, g)
这样就完成了一个GCN模型的编写。完整代码请参考 GCN example 目录。
我们实现了GCN, GAT, GraphSage, DeepWalk, LINE, TransE, Bipartite GraphSage, sample-based GCN and GAT等模型，你可以参考相似的模型代码做为开始。