曹建农教授论文获VLDB 2022最佳研究论文奖

      香港科技大学陈雷教授团队、北京邮电大学邵蓥侠副教授、上海交通大学沈艳艳副教授和香港理工大学曹建农教授联合发表的论文“面向大规模图神经网络的陈旧性感知通信回避的去中心化全图训练框架（SANCUS: Staleness-Aware Communication-Avoiding Full-Graph Decentralized Training in Large-Scale Graph Neural Networks）”在国际数据库与数据管理顶级会议"VLDB 2022"上获得了大会最佳研究论文奖（Best Regular Research Paper）。

     近年来，图神经网络（GNN）在社交媒体、电子商务、知识图谱、推荐系统、生命科学等领域得到了广泛应用。随着图数据规模的快速增长，亟需发展分布式大规模图神经网络高效训练技术。现有的方法主要采用中心化的参数服务器（PS）架构，计算节点间的大量网络通信成为了训练的性能瓶颈。

     为了克服这一挑战，该文提出了一种陈旧性感知且通信回避的去中心化全图 GNN 训练框架 SANCUS，实现了高效地分布式图神经网络训练。SANCUS 通过利用历史嵌入，主动创造异步性，避免了大量通信；设计了跳过广播（skip-broadcast）机制，训练时动态重塑通信拓扑，实现了嵌入的灵活传输。为了自适应地维护历史嵌入，提出了嵌入有界陈旧性指标，并从理论上证明了陈旧性感知训练框架的收敛性。实验结果表明，与 SOTA 方法相比，在不损失精度的前提下，SANCUS 可以节约高达 74% 的网络通信，平均吞吐量提升至少 1.86 倍。SANCUS 将传统分布式机器学习中的有界梯度陈旧性泛化到去中心化分布式 GNN 中的历史嵌入上，理论上新指标可以推广至其他分布式 GNN 训练架构。

      论文链接：https://www.vldb.org/pvldb/vol15/p1937-peng.pdf
      代码链接：https://github.com/chenzhao/light-dist-gnn
      更多详细信息：http://home.cse.ust.hk/~leichen/