科学家提出图上多任务预训练框架，能统一协作不同的预训练任务

来源：DeepTech深科技

近期，中国科学技术大学团队设计一种多任务预训练与提示学习组合的框架，名为 MultiGPrompt。

它通过图上多个预训练任务和提示学习，缓解了不同任务间的相互干扰。

同时，高效地将在预训练阶段学到的多任务知识，迁移到不同的下游任务。最终，取得优于“单任务预训练+微调/提示学习”的表现。

与大语言模型中，泛用的预训练任务完形填空作为通用预训练范式相比，图由于具有复杂的结构，难以用单一预训练任务来获得广泛的知识。

与之对比的是，多任务预训练框架能够统一地协作不同预训练任务，并在不同下游任务上表现出更好的泛化能力。因此，这种新型框架有望成为通往图大模型的路径之一。

图丨于星橦（来源：于星橦）

在研究初期阶段，该课题组成员提出了一种设想：是否可以使用多种不同的预训练任务，来解决不同的下游任务，以此实现比单一预训练任务更好的效果？

但是，不容忽视的是，这其中存在两个主要的挑战：将不同的训练任务协作，以及将预训练中每个任务的特定知识和全局知识，迁移到下游任务上。

具体来看，如何使目标不一致的训练任务全部互相协作，来提升预训练模型的能力呢？

在预训练阶段，需要用多个不同的智能任务。最直接的方法之一，是将每个预训练任务的损失（loss）加起来，来得到最终的最适应阶段的损失。

于星橦解释说道：“但是这种做法的效果并不理想，由于不同训练任务的目标不同，直接累加任务之间会产生互相干扰，反而导致效果下降。”

图丨MultiGPrompt。a、图的多任务预训练；b、提示下游任务（来源：arXiv）

研究人员针对每个预训练任务，添加了特定的预训练标记（pretext token），通过这种方式让不同目标的任务之间互不干扰。

于星橦指出，预训练标记本身会在预训练的阶段，包含每个预训练的任务特定的内容。所以，通过预训练标记方式，在预训练阶段，可以实现不同的训练任务共同协作的目标。

接下来，研究人员的重点解决目标，是在已经能够把所有任务比较好地统一，并迁移到下游任务的基础上，如何具体地把预训练任务迁移到下游任务。

需要了解的是，不同于单一的预训练任务，多训练任务到下游任务的迁移，不仅要有针对性地考虑每个具体预训练任务的重要程度，还需要考虑如何将全局和特定的知识迁移到下游。

于星橦表示：“全局知识的迁移相对比较简单，是做单一的、大的预训练任务，可以通过提示学习迁移到下游任务上。”

图丨MultiGPrompt 的总体框架，由两个主要阶段组成：多任务预训练，针对下游少样本任务的基于提示的学习（来源：arXiv）

而每个预训练任务特定的知识，利用预训练标记来学习聚合，这是对于下游任务而言，特定的、与具体的预训练任务相关的提示学习。

为此，该课题组提出一种双重提示机制，包括组合提示（composed prompt）以及开放提示（open prompt）。通过特定预训练任务以及全局预训练知识，来指导少样本场景中的下游任务。

研究人员用 MultiGPrompt，将不同的预训练任务进行统一。并且，该框架具有普适性，适用于任何基于图的预训练任务。

最后，他们在 6 个公共数据集上，进行了广泛的实验，来全面评估和分析 MultiGPrompt，并证明它的性能比以往路径更佳。

基于已有的通用预训练模型，在接下来的研究阶段，该团队计划探索协同多种不同图数据集共同预训练图模型的方法。

需要了解的是，图和自然语言处理（Natural Language Processing，NLP）预训练模型的区别在于，NLP 由于所有输入都是文本，因此具有一致性和统一的特征空间。

而图数据本身由于具有拓扑结构，并且图的类型多样，例如社交网络图、分子图、蛋白质图、文献引用图等。

“每种类型的图区别非常大，因此它们的特征空间也不相同，如何统一这些图的特征是个巨大的挑战。”于星橦说。

因此，对于这种预训练模型的训练方式，不能像 NLP 领域那样，直接把所有的文本数据输入到语言模型，而是需要先把所有图的特征空间对齐，然后才能将它们输入到图模型中。

总体来说，该研究提供了一种通用的图预训练范式，下游的双重提示机制为知识迁移提供支持，有望基于此向图大模型发展。

1.https://arxiv.org/pdf/2312.03731.pdf

运营/排版：何晨龙