用基础模型指导特征传播，首个泛化型图像匹配器OmniGlue搞定未见过域|论文_新浪科技

第一个以「泛化」能力为核心设计原则的可学习图像匹配器来了！

对于想要获取两张图像之间的细粒度视觉对应关系而言，局部图像特征匹配技术是高不错的 xuanz，对于实现准确的相机姿态估计和 3D 重建至关重要。过去十年见证了从手工制作到基于学习的图像特征的演变。

最近，研究社区又提出了新颖的可学习图像匹配器，在传统基准上实现了性能的不断改进。尽管已经取得了长足的进步，但这些进展忽略了一个重要方面：图像匹配模型的泛化能力。

如今，大多数局部特征匹配研究都集中在具有丰富训练数据的特定视觉领域（如室外和室内场景），这就导致了模型高度专用于训练领域。遗憾的是，这些方法的性能在域外数据（如以对象为中心或空中捕获）上通常急剧下降，在某些情况下甚至可能并不比传统方法好很多。

因此，传统的域无关技术（如 SIFT）仍被广泛用于获取下游应用的姿态。并且由于收集高质量注释的成本很高，在每个图像域都有丰富的训练数据是不现实的，就像其他一些视觉任务一样。因此，社区应该专注于开发架构改进，使得可学习的匹配方法具有泛化能力。

近日，受上述观察的启发，德克萨斯大学奥斯汀分校和谷歌研究院的研究者联合提出了 OmniGlue，这是第一个以泛化为核心原则设计的可学习图像匹配器。在与域无关的局部特征基础上，他们引入了用于提高匹配层泛化性能的新技术：基础模型指导和关键点位置注意力指导。

论文地址：https://arxiv.org/pdf/2405.12979
项目主页：https://hwjiang1510.github.io/OmniGlue/

如图 1 所示，通过引入的技术，OmniGlue 能够在分布外领域上实现更好泛化性能，同时保持源领域上的高质性能。

研究者首先整合了基础模型的广泛视觉知识。通过对大规模数据进行训练，基础视觉模型 DINOv2 在各种图像域中的各种任务（包括稳健的区域级匹配）中表现良好。尽管基础模型所产生匹配结果的粒度有限，但当专门的匹配器无法处理域位移时，这些模型可以为潜在的匹配区域提供可泛化的指导。因此，他们使用 DINO 来指导图像间特征传播过程，降低不相关的关键点并鼓励模型融合来自潜在可匹配区域的信息。

接着利用关键点位置信息来指导信息传播过程。研究者发现，当模型应用于不同领域时，以往的位置编码策略会损害性能。这促使他们与用于估计对应关系的匹配描述符区分开来。研究者提出了一种新颖的关键点位置指导注意力机制，从而避免过于专注关键点的训练分布和相对姿态变换。

通过实验，研究者评估了 OmniGlue 在各种视觉领域的泛化能力，包括合成图像和真实图像，从场景级到以对象为中心和空中数据集，期间使用小基线和宽基线相机。与以往工作相比，OmniGlue 展示出显著的改进。

方法概览

下图 2 概述了 OmniGlue 方法，主要包括以下四个阶段。

首先，研究者使用两种互补类型的编码器提取图像特征，包括了专注于通用细粒度匹配的 SuperPoint 以及对粗略但广泛的视觉知识进行编码的视觉基础模型 DINOv2。

其次，研究者使用这些特征构建关键点关联图，包括图像内和图像间。

第三，研究者基于构建的图在两张图像中的关键点之间传播信息，分别使用自注意力层和交叉注意力层进行图像内和图像间通信。

最后，一旦获得改进后的描述符，研究者应用最佳匹配层来生成两张图像中关键点之间的映射。

在具体细节上，OmniGlue 方法主要包含以下几步。

特征提取。输入是两张具有共享内容的图像，表示为 I_A 和 I_B。研究者将这两张图像的 SuperPoint 关键点集表示为 A := {A_1, ..., A_N } 和 B := {B_1, ..., B_M}。N 和 M 分别是 I_A 和 I_B 的已识别关键点的数量。每个关键点都与其 SuperPoint 局部描述符 d ∈ R^C 相关联。

利用 DINOv2 构建图形。研究者利用 DINOv2 特征来指导图像间图形的构建。如下图 3（左）所示，他们以 G_B→A_i 为例。对于关键点集合 A 中的每个关键点 A_i，研究者计算其与集合 B 中所有关键点的 DINOv2 特征相似度。