＜论文＞（谷歌）用于时序链接预测的迁移学习
一、摘要
本文介绍谷歌在2025年4月牵头发表的新论文《Transfer Learning for Temporal Link Prediction》。论文主要探讨了动态图中的时间链路预测（TLP）任务，以及如何让模型在不同图之间进行迁移学习。
译文：
基于图的链接预测应用广泛，涵盖从推荐系统到药物发现等领域。时间链接预测（TLP）指的是预测随时间演化的图中的未来链接，这增加了与图的动态性质相关的额外复杂性。最先进的TLP模型将记忆模块与图神经网络结合，以学习传入节点的时间机制和不断演化的图拓扑结构。然而，记忆模块仅存储训练时看到的节点信息，因此此类模型在测试和部署时无法直接应用于全新的图。在这项工作中，我们研究了时间链接预测的一个新的迁移学习任务，并为含记忆模块的模型开发了有效的迁移方法。具体而言，受表明结构信号对TLP任务具有信息性的研究启发，我们在现有的TLP模型架构中添加了一个结构映射模块，该模块学习从图结构（拓扑）特征到记忆嵌入的映射。我们的工作为TLP的无记忆基础模型铺平了道路。
二、核心创新点
时序图网络（Temporal Graph Networks，TGN）是一种用于链接预测和节点分类的动态节点表示学习模型。与在固定图结构上允许的静态图神经网络（Graph Neural Network，GNN）不同，TGN通过结合记忆机制、消息传递、时间编码和基于GNN的聚合步骤来捕捉时间依赖性。具体来说，TGN包含如下组件：
- 记忆模块：为每个节点维护时间嵌入，并在新的交互发生时不断更新它们；
- 消息函数：聚合来自相邻节点和边的信息，使得模型能够在消息传递中纳入时间依赖性；
- 记忆更新器：通常为门控循环单元GRU或者多层感知机MLP，根据新的交互细化节点记忆；
- 时间编码器：对交互之间的时间间隔进行建模，以有效捕捉时间模式；
- 下游的GNN读出模块：学习一个节点嵌入函数，该函数在图中传播记忆/消息嵌入，通常使用基于注意力机制或者基于图卷积的模型架构来增强结构学习能力。
论文作者提出了两种使得TGN模型能够应用于迁移学习任务的解决方案，并希望将在图G上训练的时序链接预测模型（h）迁移到新图G'上：
- 简单微调：针对TGN迁移学习的问题，最简单的解决方法是在测试图G'的前
个时间步上对在图G上训练得到的h进行微调。这使得模型能够以独特的方式为未见过的节点初始化一定数量的记忆存储。作者将
- 结构映射迁移学习：这种方式基于模型进行迁移学习，为微调提供了一种零样本替代方案。训练期间，作者在TGN中增加了一个新模块，该模块学习节点结构特征与记忆嵌入之间的映射。然后，在测试时应用该映射来初始化未见节点的记忆嵌入。
1、图结构特征的背景
结构特征可以复制/提高时序链接预测性能。这些特征为迁移学习提供了一个通用的潜在空间。作者考虑节点的多种拓扑特征（度、介数中心性、紧密中心性和局部聚类系数）、节点嵌入位置、轨道计数。在目前论文所使用的方法中，作者利用了以下结构特征：4种拓扑结构以及节点位置嵌入。作者研究了记忆嵌入和这些结构特征之间的共享信息。通过比较记忆嵌入和拓扑特征中的节点对距离来衡量共享信息。可以观察到的是，成对距离之间存在高度相关性。
2、通过时间子图聚合进行结构映射
对于每个边批次，作者聚合在该批次之前紧挨着出现的一个边窗口。使用的窗口大小为训练集总时间跨度的1%。然后，针对聚合图中的每个节点计算诸如节点度和聚类系数等结构特征。在训练期间，这些结构特征被输入到结构映射模块中，多层感知机学习这些结构特征到TGN学习到的记忆嵌入的映射。在验证和测试期间，当遇到新节点时，使用结构映射来预测并初始化该节点的记忆嵌入。这实际上是对未见节点的“冷启动”，无需初始微调阶段即可立即进行迁移学习。
